AWS Notes

​​S3 Event Notifications + EventBridge: https://aws.amazon.com/blogs/aws/new-use-amazon-s3-event-notifications-with-amazon-eventbridge/ Доступ к S3 Event Notifications через EventBridge позволяет их фильтровать, отправлять в разные сервисы и использовать такие фичи EventBridge как archive и replay, что очень пригодится для реализации Disaster Recovery в требовательных проектах. #EventBridge

​​EBS Snapshots Archive — в 4 раза дешевле, чем обычные EBS Snapshots: https://aws.amazon.com/blogs/aws/new-amazon-ebs-snapshots-archive/ Нужно учесть, что при архивации снэпшота, он уезжает в Glacier, поэтому для восстановления потребуется до трёх суток. #EBS

​​AWS Well-Architected Custom Lenses — собственные best practices в сервисе Well-Architected Framework: https://aws.amazon.com/blogs/aws/well-architected-custom-lenses-internal-best-practices/ Полезная возможность сделать и поддерживать список всех лучших практик (и своих, и от AWS) в одном месте. #WAF

​​CloudWatch RUM (Real-User Monitoring): https://aws.amazon.com/blogs/aws/cloudwatch-rum/ Такой себе вариант Google Analytics от AWS для отработки ошибок и производительности на клиентской стороне, т.е. у юзеров (потому Real-User). #CloudWatch

Amazon CloudWatch Evidently – инструмент для A/B тестирования: https://aws.amazon.com/blogs/aws/cloudwatch-evidently/ Тестировать можно не только front-end, но также back-end, мобильные и любые другие приложения. Поддерживаемые языки: C++, Go, Java, JavaScript (and Typescript), .Net, NodeJS, PHP, Python, and Ruby. Цена на CloudWatch Evidently: First time free trial includes 3 million Evidently events and 10 million Evidently analysis units per account #CloudWatch

Кэш для ECR: https://aws.amazon.com/blogs/aws/announcing-pull-through-cache-repositories-for-amazon-elastic-container-registry/ Теперь можно пулить образы из публичных репозиториев (без авторизации) используя для этого свои приватные ECR. Амазон сам автоматически будет синхронизировать тэги в приватном репозитории с теми, что находятся в публичном источнике. Ещё один набор велосипедных Лямбд, подтягивающих опенсорсные образы из внешних репозиториев можно заменить на нативный функционал. #ECR

​​Новые M6a виртуалки на AMD Zen3 : https://aws.amazon.com/blogs/aws/new-amazon-ec2-m6a-instances-powered-by-3rd-gen-amd-epyc-processors/ Самая навороченная виртуалка m6a.48xlarge имеет 192 процессора! Цена практически такая же как и M5a (с микроскопической разницей - M6a дороже на доли центов): m6a.large $0.0864 m5a.large $0.086 m6a.24xlarge $4.1472 m5a.24xlarge $4.128 #EC2

​​Новые G5g виртуалки для ML на Graviton2 + NVIDIA T4G Tensor Core GPUs: https://aws.amazon.com/blogs/aws/new-amazon-ec2-g5g-instances-powered-by-aws-graviton2-processors-and-nvidia-t4g-tensor-core-gpus #EC2

​​AWS Chatbot for Slack now with resource management: https://aws.amazon.com/about-aws/whats-new/2021/11/aws-chatbot-management-resources-slack/ It used to be just monitoring, but now it's almost a complete AWS CLI! --- @aws help Hello! I am the AWS Chatbot. I can run most read-only commands for you as defined by the AWS-Managed ReadOnlyAccess policy, invoke Lambda functions, and create Support cases. You can use standard AWS CLI syntax: @aws service operation --parameter-1 foo --parameter-2 bar For example, you can type: @aws cloudwatch describe-alarms --state-value ALARM Or enter values one parameter at a time by first providing an operation. For example, if you type: @aws support create-case I will prompt you for subject, and then you type: @aws subject Can't ssh to EC2 instance and then I will prompt for the next value: @aws communication-body I created an EC2 instance and can't ssh to it. Please help. until all required parameters are fulfilled. You can get help for a service or operation by including --help. • Service help: @aws ec2 --help • Operation help: @aws lambda invoke --help To see a list of available AWS services, enter @aws help services To see a list of AWS accounts configured for this channel, enter @aws set default-account You can provide feedback to AWS Chatbot by using below syntax @aws feedback <text> === Very cool, I started writing this myself, because the ChatOps approach is obvious here. And it is extremely convenient, especially for small projects. It is clear that security issues may arise, since there is a vulnerability on the part of Slack. However, this is a different problem. The last announcement before the start of re:Invent 2021 made me very happy! #Chatbot

​​AWS Chatbot для Slack теперь с возможностью управлять ресурсами: https://aws.amazon.com/about-aws/whats-new/2021/11/aws-chatbot-management-resources-slack/ Раньше был лишь мониторинг, а теперь почти полная AWS CLI! --- @aws help Hello! I am the AWS Chatbot. I can run most read-only commands for you as defined by the AWS-Managed ReadOnlyAccess policy, invoke Lambda functions, and create Support cases. You can use standard AWS CLI syntax: @aws service operation --parameter-1 foo --parameter-2 bar For example, you can type: @aws cloudwatch describe-alarms --state-value ALARM Or enter values one parameter at a time by first providing an operation. For example, if you type: @aws support create-case I will prompt you for subject, and then you type: @aws subject Can't ssh to EC2 instance and then I will prompt for the next value: @aws communication-body I created an EC2 instance and can't ssh to it. Please help. until all required parameters are fulfilled. You can get help for a service or operation by including --help. • Service help: @aws ec2 --help • Operation help: @aws lambda invoke --help To see a list of available AWS services, enter @aws help services To see a list of AWS accounts configured for this channel, enter @aws set default-account You can provide feedback to AWS Chatbot by using below syntax @aws feedback <text> === Очень круто, начинал такое писать сам, т.к. подход ChatOps в данном случае очевиден. И крайне удобен, особенно для небольших проектов. Понятно, могут возникнуть вопросы с безопасностью, т.к. появляется уязвимость со стороны Slack. Однако это уже другая проблема. Последний перед началом re:Invent 2021 анонс очень порадовал! #Chatbot

​​Что покажут на re:Invent 2021? У автора нет инсайда, все будущие совпадения случайны. Graviton 3 Да, очень жду нового гравитона! 😀 Причём даже сразу двух — бурно растущий спрос на высокопроизводительные вычисления (HPC) и машинное обучение (ML) требует своего процессора. Architecture: ARMv8.2 Ares Neoverse N1 → ARMv9 Neoverse N2 Perseus и ARMv9 Neoverse V1 Zeus для HPC и ML. Process technology: 7nm → 5nm. Memory: DDR4 → DDR5 Max CPU Cores: 64 → 192 Performance: +50% Новые AI Ops сервисы Сервис DevOps Guru и другие инструменты с использованием AI/ML растут и пахнут. И совершенно справедливо. Это очень круто, эффективно и легко внедряется. Потому, да - жду много интересного. Новые Security сервисы Их и так уже много, но тема безопасности становится лишь всё более актуальней. Всё больше компаний внедряют DevSecOps, нужно вести отчётность, а сервиса для этого в AWS (пока) нет. Кроме того, жду новостей по теме Confidential Computing. Да, уже есть AWS Nitro Enclaves, однако новому Graviton3 будет чего предложить по этой части. Organizations Пять лет назад появился сервис AWS Organizations, на базе которого реализуется Multi Account Strategy, теперь являющаяся best practices для реализации безопасности и разделения проектов внутри любой компании. Однако многие болезненные ограничения для работы с Organizations до сих пор так и не сняты. Много раз повторял здесь – закрытие аккаунтов, временные аккаунты, это боль. Не жду полного решения проблем, но точно жду прогресса в этом направлении. S3 Во-первых, не просто жду, а требую 😁 анонса по реализации поддержки S3 со стороны AWS Backup! Во-вторых, жду продолжения глобальных возможностей S3. Вышедшая не так давно S3 Multi-Region Access Points должны быть основанием для чего-то более глобального, чем просто автосинхронизация файлов в разных регионах. Может быть глобальный/мультирегиональный бакет, файловая система. Сервис старый, возможности новые! AMT (Amazon Managed Terraform) Думаю, и так понятно. 😄 === А чего ожидаете увидеть на re:Invent 2021 вы? p.s. Регистрируйтесь, кто ещё не - онлайн бесплатно: https://reinvent.awsevents.com/ #reInvent

​​Weekly Summary on AWS (November 21-27) 🔹 VPC • IPv6 targets for ALB and NLB • IPv6-only subnets • NAT64 and DNS64 to enable communication between IPv6 and IPv4 services • Free Tier Data Transfer Expansion: 1GB→100GB and 50GB→1TB 🔹 EC2 • New R6i instances • New M6i and C6i bare metal instances. • C5/G4/I3 instances + Elastic Fabric Adapter • Mac instances + EBS hot attach/detach • Mac instances + macOS Monterey • ASG Predictive Scaling with Custom Metrics 🔹 Lambda • Event filtering for SQS/DynamoDB/Kinesis • Partial batch response for SQS • OffsetLag for MSK, Self-managed Kafka, AmazonMQ, and RabbitMQ 🔹 Redshift • Cross-region data sharing • Performance enhancements for data sharing • Better cold query performance for AWS China regions • RA3 Reserved Instance migration feature • Spatial GEOGRAPHY datatype support • Concurrency Scaling for write queries 🔹 Graviton2 support for • Beanstalk • Fargate (for ECS) • ElastiCache • MemoryDB for Redis + 2-month Free Trial • CloudWatch Lambda Insights • Amazon Neptune 🔹 DMS (Database Migration Service) • Azure SQL Managed Instance • Google Cloud SQL for MySQL • Kafka multi-topic 🔹 Amplify • Redesigned GraphQL Transformer • In-app messaging (JavaScript) 🔹 AWS SSO for EC2 Windows 🔹 SQS Server-Side Encryption (SSE-SQS ­- the same as SSE-S3) 🔹 New Multi-AZ deployment for RDS 🔹 RDS Proxy PostgreSQL 12 🔹 Amazon MSK + over the internet connection 🔹 New AWS Support plan Enterprise On-Ramp 🔹 EventBridge expands to more Regions 🔹 CloudFormation import into CloudFormation StackSets 🔹 CloudWatch + S3 Storage Lens metrics 🔹 AWS Proton + Terraform 🔹 AWS App2Container + Jenkins CI/CD 🔹 AWS App Runner + GitHub Actions #AWS_week

​​New CloudFront Edges: Australia 🔹 Canberra 🔹 Perth India 🔹 Ahmedabad 🔹 Bhubaneswar 🔹 Patna England 🔹 Birmingham 🔹 Bristol 🔹 Hull 🔹 Manchester Estonia 🔹 Tallinn 👍 New Zealand 🔹 Christchurch Panama 🔹 Panama City Peru 🔹 Lima United States 🔸 Michigan? 🔸 Missouri? 🔸 Nevada? 🔸 New Jersey? 🔸 Tennessee? Vietnam (new AWS Region?) 🔹 Hanoi 🔹 Ho Chi Minh The data is taken from a public official document: https://d1.awsstatic.com/whitepapers/compliance/AWS_SOC3.pdf Pictured here is Tashkent, Uzbekistan, which is not listed on CloudFront Edges. 👀 #CloudFront

​​Сервис AMG обновлён до версии Grafana 8.2 и добавлена поддержка Athena и Redshift в качестве Data sources: https://aws.amazon.com/ru/about-aws/whats-new/2021/11/amazon-grafana-athena-redshift-data-sources-geomap/ Теперь можно делать в AMG дашборды по стоимости ресурсов с помощью Athena плагина (уже есть в консоли) и вешать сложные алерты на Redshift или данные в S3. Очень круто — AMG становится центральной частью observability для AWS, с более широкими (а главное - более удобными и многим более привычными) возможностями. #AMG

NAT64 и DNS64 или IPv6 перешёл в наступление: https://aws.amazon.com/about-aws/whats-new/2021/11/aws-nat64-dns64-communication-ipv6-ipv4-services/ Как раз то, про что говорил раньше, IPv6 атакует, последние объявления (и те, что услышим на реинвенте) — это кардинальные изменения, результат, если не долгой работы, то стратегического решения. Решения о полном переходе на IPv6 внутри AWS. У меня нет инсайда на этот счёт, но сделал бы именно так. 😀 Наружу бы ходил через свежеанонсированные NAT64. Снимает все ограничение на рост. VPC делать без IPv4 вообще. Работу с "legacy IPv4 world" разрулят dualstack балансеры. А внутри исключительно IPv6. Сделал бы так. И AWS тоже бы и сделал. Мне нравится. 😁 #IPv6

Результаты исследования DevOps в России 2021 объявят через час от этого поста — присоединяйтесь по ссылке.

Хорошая подборка DevSecOps ссылок и инструментов для работы с AWS: https://github.com/sottlmarek/DevSecOps 🔨 Tooling 😀 Precommit and threat modeling 👀 SAST 😈 DAST 💥 Supply chain and dependencies 💡 Infrastructure as code 🔎 Containers security ⛵️ Kubernetes security ☁️ Cloud (Now AWS only and expect more from GCP and Azure) 🐵 Chaos engineering 🎯 Policy as code ⚡️ Methodologies #DevSecOps

AWS Proton с поддержкой Terraform и Git: https://aws.amazon.com/blogs/aws/new-aws-proton-supports-terraform-and-git-repositories-to-manage-templates/ В дополнение к очевидному CloudFormation как IaC инструмент, добавили и Terraform. Однако нужно учитывать, что это лишь поддежка файлов, а не самого Terraform: https://docs.aws.amazon.com/proton/latest/adminguide/ag-infrastructure-tmp-files.html#terraform AWS Proton with Terraform IaC considerations: • AWS Proton doesn’t manage your Terraform provisioning. Кто пропустил, то Proton — это такой себе как бы Jenkins, появившийся год назад. p.s. Немой вопрос "а что, не было поддержки Git?!" пропустим — теперь точно есть. 😁 #Proton #Terraform

​​Новый AWS Support plan — Enterprise On-Ramp: https://aws.amazon.com/blogs/apn/announcing-aws-enterprise-on-ramp-a-new-support-plan/ Средний между Busines и Enterprise, который ближе ко второму, то есть можно было бы назвать Enterprise Lite. Удобен тем, что есть доступ к TAM (Technical Account Manager) и WAR (Well-Architected Review). Цена также средняя - минимум $5,500, дальше 10% в месяц. https://aws.amazon.com/premiumsupport/plans/ Сделал табличку, чтобы было удобней видеть отличия текущих планов. Серые строки - то, что не отличается, жирным - различия. #Support

Объём исходящего трафика для Free Tier увеличен! 👍 https://aws.amazon.com/blogs/aws/aws-free-tier-data-transfer-expansion-100-gb-from-regions-and-1-tb-from-amazon-cloudfront-per-month/ ▪️ Из AWS Regions в интернет: 1 GB было → 100 GB стало 🔥 ▪️ Из CloudFront в интернет: 50 GB было → 1 000 GB стало 💪 На https://aws.amazon.com/free/ пока старые значения, они изменятся с 1 декабря. #FreeTier