AWS Notes

Well-Architected подход для Machine Learning: https://aws.amazon.com/blogs/architecture/introducing-the-new-aws-well-architected-machine-learning-lens/ 1. The Well-Architected Machine Learning Design Principles 2. The Well-Architected Machine Learning Lifecycle 3. Cloud and technology agnostic best practices 4. ML Lifecycle architecture diagrams #Well_Architected #design

Serverless Cloud - в текущем виде надстройка над AWS, выглядит очень привлекательно, нужно попробовать. https://www.serverless.com/blog/introducing-serverless-cloud-public-preview #serverless

Присоединяйтесь прямо сейчас — AWS митап User Group Ukraine: https://www.youtube.com/watch?v=18Gy6JK4PhA

​​#Начинающим — сейчас идёт онлайн-конференция AWSome Day: https://pages.awscloud.com/emea-awsome-day-reg-event AWSome Day Online Conference is a free training event delivered by AWS technical instructors. AWSome Day is here to level-up your understanding of the cloud. Learn what AWS Cloud concepts and services are right for you, and get back-to-basics training on key concepts like Compute, Storage, Database, Networking and Security. We will then discuss innovation opportunities through topics like Machine Learning, IoT, Edge Computing and more. At the end of the conference, you’ll leave with resources that will kick-start your learning journey and prepare you to start building on AWS.

​​Эстафетную палочку OVH перехватывают сетевые инженеры из Микрософт: https://status.azure.com/status Update Microsoft says it mitigated one of the largest DDoS attacks: https://www.thehindu.com/sci-tech/technology/internet/microsoft-says-it-mitigated-one-of-the-largest-ddos-attacks/article36979973.ece

На этой неделе сетевики из Facebook передали эстафету коллегам из OVH: https://twitter.com/ovh_status/status/1448185498812485633 Из весёлых комментариев (на самом деле нет): OVH CEO: We need to become a global brand just like Facebook Infra Team: Hold my switches

Напоминаю про сегодняшний AWS митап — присоединяйтесь!

AWS Backup Vault Lock — абсолютная блокировка возможности удалить бэкап: https://aws.amazon.com/blogs/storage/enhance-the-security-posture-of-your-backups-with-aws-backup-vault-lock/ Включение Vault Lock недоступно через AWS консоль — нужно использовать AWS CLI или SDK. После включения блокировки даётся минимум три дня на передумать. После этого периода, если вы вдруг не задали максимальный срок хранения — станете пожизненным спонсором AWS. 😁 #Backup

​​CDK8s + Go: https://aws.amazon.com/blogs/containers/announcing-the-general-availability-of-cdk8s-and-support-for-go/ CDK8s (Cloud Development Kit for Kubernetes) получил поддержку Go и вышел в General Availability. То есть теперь можно сменить профессию YAML-инженера на более привычный язык: 🔸 Python 🔸 TypeScript 🔸 Java 🔸 Go CDK8s+ является надстройкой над CDK8s, что позволяет ещё больше сократить код (см.картинку). #cdk8s

Как избежать бесконечного вызова (рекурсии) Лямбды при работе с S3: https://aws.amazon.com/blogs/compute/avoiding-recursive-invocation-with-amazon-s3-and-aws-lambda/ Способы: (1) Using a prefix or suffix in the S3 event notification (2) Using object metadata to identify the original S3 object (3) Using an Amazon DynamoDB table to filter duplicate events 1 2 3 Output uses the same bucket Y Y Y Output uses the same key N Y Y User-defined metadata N Y N Lambda invocations per object 1 2 1-2 #Lambda

​​15 октября заканчивается раздача 50% скидок на сдачу Solutions Architect - Associate: https://pages.awscloud.com/SAA-Voucher-LP.html #AWS_Certification

Тяжёлая выдалась неделя: 🔸 Падение Facebook 4 октября 🔸 Массивная утечка исходников Twitch 🔸 Падение Facebook 8 октября Ещё предстоит проанализировать последствия, а также отметить позитивные стороны произошедшего. За что нужно искренне поблагодарить коллег из Facebook — для будущих докладов по сетям, безопасности, архитектуре, надёжности, Disaster Recovery, Incident Management и далее по списку — появился великолепный материал. Раньше такое нужно было придумывать и использовать "вот, предположим", а теперь достаточно "а помните". Резервирование — Вот представьте, вы пилите мессенджер и, конечно же, сами его пользуете для всех процессов. А что будет, если у вашего мессенджера возникнут проблемы? А? — Нужно иметь запасной мессенжер для коммуникаций. — Именно! А как заводить пользователей в запасной мессенжер? — Через централизованную авторизацию компании для обоих мессенджеров. Не может же корпоративный домен пропасть, да?... Моделирование — А помнишь, как у нас всё легло 4 октября из-за ошибки в настройках BGP? — Как не помнить. — Так вот, мы решили найти причину и 8 октября провели эксперимент по её моделированию. — Как я понимаю, у вас всё получилось. — Ага. #жизненное

Новые CloudFormation ресурсы — теперь можно разворачивать окружение с Lightsail виртуалками: 🔹 AWS::Lightsail::Instance 🔹 AWS::Lightsail::Disk #CloudFormation #Lightsail

Итоги недели на AWS (10/3-10/9 2021) CodeGuru ▪️ Java код теперь можно анализизировать с помощью Infer ▪️ Python код можно анализировать на проблемы безопасности с помощью двух Security detectors: 🔥 1. Топ10 OWASP категорий, security best practices для AWS APIs, а также проблемы при использовании библиотек шифрования. 2. Используя опенсорсный фреймворк https://github.com/PyCQA/bandit С помощью CodeGuru теперь можно заменять не только девопсов, но и безопасников. 😁 RDS PostgreSQL ▪️ Новые версии 13.4, 12.8, 11.13, 10.18 и PostGIS  3.1.4 для них Network Firewall ▪️ Централизованное логирование Lambda ▪️ Лямбду можно триггерить для SQS из другого аккаунта 🔥 ▪️ Обновилась документация для CloudFormation, где появился пункт Architectures 🎉 ▪️ Можно использовать IAM аутентификацию (в дополнение к парольной), чтобы ходить в Кафку Amazon OpenSearch Service (OSS) ▪️ OpenSearch 1.1.0 с поддержкой Cross-Cluster Replication (CCR) 👍 Теперь можно иметь реплики для OSS в разных регионах, чтобы уменьшить задержки, реализовать мульти-региональную инфраструктуру либо реализовать Disaster Recovery. ▪️ Новая консоль EC2 ▪️ Capacity Reservation Fleet — возможность изменять типы зарезервированных инстансов на новые поколения 👍 ▪️ Поддержка Hibernation для Ubuntu 20.04 LTS  AWS Backup ▪️ Поддержка AWS Backup Audit Manager в CloudFormation (однако документацию ещё не обновили) ▪️ У Backup Audit Manager появились compliance reports ▪️ AWS Backup Vault Lock — можно защитить бэкапы от удаления навсегда (и будете платить за них всю жизнь! 😁) Beanstalk ▪️ Теперь можно не удалять используемую при создании базу данных с помощью опций HasCoupledDatabase и DBDeletionPolicy === Опрос — самые интересные AWS события 10/3-10/9 2021. #AWS_week

Найти сертификаты ACM... aws acm list-certificates ... показать лишь выданные (валидные)...  --certificate-statuses ISSUED ...вывести ARN сертификата для нужного домена my.domain... --query "CertificateSummaryList[?DomainName=='my.domain'].CertificateArn" ...в виде готового значения (а не JSON)...  --output text Итого: aws acm list-certificates --certificate-statuses ISSUED --query "CertificateSummaryList[?DomainName=='my.domain'].CertificateArn" --output text #query #ACM

А вы говорите, это у вас тяжёлая неделя выдалась: https://www.mirror.co.uk/news/world-news/breaking-facebook-instagram-go-down-25173626

Публичный слой для Лямбда + AWS Lambda Powertools for Python: https://awslabs.github.io/aws-lambda-powertools-python/latest/ Теперь добавить поддержку AWS Lambda Powertools for Python можно просто добавив одну строчку в код Лямбды: MyLambdaFunction: Type: AWS::Serverless::Function Properties: Layers: - arn:aws:lambda:us-east-1:017000801446:layer:AWSLambdaPowertoolsPython:3 #Lambda

Все официальные AWS post-mortems в одном месте: https://aws.amazon.com/premiumsupport/technology/pes/ Всегда полезный список для изучения. Память подводит, а здесь можно освежить знания, зрительно увидеть картинку в исторической перспективе и уже даже на основе такой статистики сделать какие-то выводы по дизайну либо Disaster Recovery плану. #design #взакладки

Детали архитектуры Astana International Exchange on AWS Kuanysh 👍🏻 @ekrasikov https://youtu.be/IP03SkGbP-U

Где нужно прописывать временные IAM credentials (не в ~/.aws/credentials) и почему: https://ben11kehoe.medium.com/never-put-aws-temporary-credentials-in-env-vars-or-credentials-files-theres-a-better-way-25ec45b4d73e Для работы с временными кредами нужно использовать переменную credential_process. Для случаев, где не работает credential_process, можно использовать авторскую утилиту https://github.com/benkehoe/aws-export-credentials либо на её базе сделать свою. Очень полезный документ от Ben Kehoe (как и другие) по внутренностям работы IAM: 🔹 Principals and credentials 🔹 Assuming a role and using the credentials 🔹 Configuring and using named profiles 🔹 Assumed role profiles 🔹 AWS SSO profiles 🔹 Federated sign-in (AssumeRoleWithSAML)  🔹 credential_process 🔹 aws-export-credentials Очень рекомендуется к прочтению для понимания IAM — это рафинированный опыт, практические знания, сложные, как и вся тема IAM, но при этом и самые важные. Однозначно в закладки, причём те, что стоит постоянно держать перед глазами. #IAM #security