AWS Notes

Мульти-регионная репликация S3 из коробки: https://aws.amazon.com/blogs/aws/new-amazon-s3-replication-adds-support-for-multiple-destination-buckets/ Теперь можно указать несколько Destination бакетов для S3 репликации — как в том же регионе, так и в других. #S3

​​Amplify окрутел настолько, что теперь работает без AWS аккаунта — Amplify Admin UI : https://aws.amazon.com/blogs/aws/aws-amplify-admin-ui-helps-you-develop-app-backends-no-cloud-experience-required/ #Amplify

S3 + Strong Read-After-Write Consistency: https://aws.amazon.com/blogs/aws/amazon-s3-update-strong-read-after-write-consistency/ Теперь не нужно задумываться на экзаменах и при реализации — что записал в S3, то и считал. Теперь и всегда! #S3

​​re:Invent 2020 день первый или торжество Serverless и Machine Learning Новые типы виртуалок: • Coming Soon – Amazon EC2 G4ad Instances Featuring AMD GPUs for Graphics Workloads • New EC2 C6gn Instances – 100 Gbps Networking with AWS Graviton2 Processors • EC2 Update – D3 / D3en Dense Storage Instances • New – Amazon EC2 R5b Instances Provide 3x Higher EBS Performance Новые типы дисков: • Now in Preview – Larger and Faster io2 Block Express EBS Volumes with Higher Throughput • New – Amazon EBS gp3 Volume Lets You Provision Performance Apart From Capacity Новые сервисы: • AWS Proton • Monitron (ML) • Amazon Lookout for Equipment (ML) • Amazon Lookout for Vision (ML) • AWS Panorama Appliance (ML) • Amazon DevOps Guru (ML) Обновлённая Лямбда: • per-millisecond billing for AWS Lambda • 10 ГБ памяти и 6 vCPU • Container image support for Lambda Ещё больше Local Zones: • In the Works – 3 More AWS Local Zones in 2020, and 12 More in 2021 Публичный ECR: Amazon ECR Public: A New Public Container Registry Прокачавшийся Amazon Connect: Amazon Connect – Now Smarter and More Integrated With Third-Party Tools С сервисами аналитики теперь можно разговаривать: • New – Amazon QuickSight Q Answers Natural-Language Questions About Business Data У себя можно поднять свой ECS: • Introducing Amazon ECS Anywhere и EKS: • Introducing Amazon EKS Distro (EKS-D) #reInvent

Amazon EKS Anywhere — свой собственный EKS: https://aws.amazon.com/blogs/opensource/introducing-amazon-eks-distro/ EKS кластер теперь можно будет поднять у себя. #EKS

Amazon ECS Anywhere — cвой собственный ECS: https://aws.amazon.com/blogs/containers/introducing-amazon-ecs-anywhere/ ECS таски теперь можно будет поднять у себя. #ECS

Новый сервис Amazon DevOps Guru: https://aws.amazon.com/blogs/aws/amazon-devops-guru-machine-learning-powered-service-identifies-application-errors-and-fixes/ Сервис предназначен для централизованной обработки всех событий в одном месте с помощью ML, который подскажет, что можно с этим сделать. В следующей версии он ещё и сделает. Тогда можно будет заменить всех, не сдавших на сертификацию AWS девопсов, новым амазоновским сервисом. Шутка. Но, может и нет. #Devops_Guru

AWS Proton — замена Jenkins от Амазона: https://aws.amazon.com/blogs/aws/preview-aws-proton-automated-management-for-container-and-serverless-deployments/ Сервис предоставляет портал для разработчиков, который можно настраивать и с помощью которого можно деплоить сервисы на ECS/Fargate/Lambda. Документация: https://docs.aws.amazon.com/proton/latest/userguide/Welcome.html Сразу в комплекте публичный роэдмэп! https://github.com/aws/aws-proton-public-roadmap/projects/1 #Proton

Докер на Лямбде: https://aws.amazon.com/blogs/aws/new-for-aws-lambda-container-image-support/ Поддерживаются образы до 10 ГБ, которые должны быть собраны либо на базе образов от Амазона и поддерживаемых платформ (Python, Node.js, Java, .NET, Go, Ruby), либо можно сделать свой с помощью AWS Lambda runtime API: https://docs.aws.amazon.com/lambda/latest/dg/runtimes-api.html Популярные вопросы и ответы в обновлённом FAQ: https://aws.amazon.com/lambda/faqs/#Container_Image_Support #Lambda

Публичный ECR: https://aws.amazon.com/blogs/aws/amazon-ecr-public-a-new-public-container-registry/ Ограничения: • Anonymous users: 500 GB в месяц • Authenticated (AWS) users: 5 TB в месяц p.s. Минус ещё один набор велосипедов. #ECR

Возмужавшая Лямбда — до 10 ГБ памяти и 6 ядер: https://aws.amazon.com/blogs/aws/new-for-aws-lambda-functions-with-up-to-10-gb-of-memory-and-6-vcpus/ И официальное подтверждение — миллисекундная тарификация: https://aws.amazon.com/blogs/aws/new-for-aws-lambda-1ms-billing-granularity-adds-cost-savings/ #Lambda

Новые типы EC2 виртуалок: 🔹 D3 / D3en с большим (до 336 ТБ) и дешёвым хранилищем на HDD 🔹 M5zn с быстрой сетью 100 Гбит 🔹 C6gn с быстрой сетью 100 Гбит на Graviton2 🔹 R5b с ускорившимися EBS дисками (до 60 Гбит) 🔹 G4ad с Radeon Pro V520 GPU Цены: https://aws.amazon.com/ec2/pricing/on-demand/ #EC2

Лямбда с миллисекундной тарификацией! https://www.reddit.com/r/aws/comments/k48mzy/lambda_just_got_perms_billing/ До этого было 100мс минимум, что делало невыгодным многие простые вещи. #Lambda

Маки на AWS! https://aws.amazon.com/blogs/aws/new-use-mac-instances-to-build-test-macos-ios-ipados-tvos-and-watchos-apps/ Виртуалка mac1.metal (12 vCPU / 32 GB RAM) на базе Mac mini. На данный момент под капотом Intel Core i7 8-го поколения, системы с процессором Apple M1 будут доступны в 2021-м году. Виртуалка "железная", потому просто поиграться не получится - потребуется Dedicated Host с тарификацией минимум за сутки, т.е. при стоимости доллар с небольшим за час - это 25$ минимум (зависит от региона и не везде пока есть). Так что пробуйте осторожно. 😀 Можно использовать как для работы в терминале через SSH, так и в качестве удалённого рабочего места через VNC: https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/ec2-mac-instances.html В общем, отличная штука для macOS разработчиков, но не побаловаться. #EC2

Перевод Post Mortem-а от Фланта на русский о масштабном сбое Amazon Kinesis в US-EAST-1 (25 ноября) https://habr.com/ru/company/flant/blog/530522/ #aws #amazon #postmortem

В дополнение хороший пост Кирилла Казарина с разбором падения 25 ноября: https://t.me/kazarin_online/1821 Читается как детектив.

Достаточно радикальный, но очень интересный и важный для обсуждения взгляд на зависимость верхнеуровневых AWS сервисов от базовых (на примере упавшего 25 ноября Kinesis Data Streams): https://cloudirregular.substack.com/p/the-cold-reality-of-the-kinesis-incident Детальный разбор произошедшего показал, что упавший Kinesis привёл к выходу из строя большого количества других сервисов (например, IoT линейки), причём в том числе тех, которые было заподозрить в связи не так просто (например, Cognito). И автор задаётся вопросом — хорошо бы знать зависимости по использованию AWS сервисов друг от друга (в каком какие сервисы используются), чтобы иметь хоть какое-то представление и как-то оценивать риски выхода из строя сразу группы сервисов. Не думаю, что это корректно поставленный вопрос, но тема очень болезненная, потому требует особого внимания. Пока же единственной защитой от проблем типа проявившейся 25 ноября, является использование мульти-регионной архитектуры — когда при падении одного из регионов система продожает работать.

​​AWS re:Invent 2020 начнётся в понедельник 30 ноября 2020-го года поздно вечером по тихоокеанскому времени, потому у нас это будет уже вторник 1 декабря 7:00 по Минску/Москве и 6:00 утра по Киеву (т.к. разница с Минском/Москвой 11 часов, с Киевом 10 часов). Это будет лишь вступительная часть, далее будет в удобное время по всему миру, полное расписание здесь: https://reinvent.awsevents.com/agenda/ Продлится AWS re:Invent 2020 три недели (по будням) и закончится в пятницу 18 декабря. #reInvent

Сколько новых AWS сервисов будет объявлено re:Invent 2020? Окончательные ставки (голосование остановлено): 0️⃣ - 2 1️⃣ - 2 2️⃣ - 6 3️⃣ - 26 4️⃣ - 13 5️⃣ - 5 6️⃣ и больше - 25 #тотализатор

Лучшие посты из AWS блога по EC2 за 2020-ый год: • Running Web Applications on Amazon EC2 Spot Instances • Best practices for handling EC2 Spot Instance interruptions • Executing Ansible playbooks in your Amazon EC2 Image Builder pipeline • Facebook uses Amazon EC2 to evaluate the Deepfake Detection Challenge • Improving performance of PHP for Arm64 and impact on Amazon EC2 M6g instances • Amazon EC2 instance port forwarding with AWS Systems Manager • TensorFlow Serving on Kubernetes with Amazon EC2 Spot Instances • AWS Compute Optimizer enhances EC2 instance type recommendations with Amazon EBS metrics • Amazon EC2 P4d instances deep dive • Tracking the latest server images in Amazon EC2 Image Builder pipelines • Airnguru: Using a Multi-region Approach with Amazon EC2 Spot to Reduce Processing Costs #EC2