AWS Notes

🗒️ 4 ноября пройдёт AWS Resilience and Chaos Engineering Day: https://pages.awscloud.com/EMEA-field-OE-resilience-chaos-engineering-day-202111-reg-event.html 🕛 Начало в 12:00 GMT+3. Доклады: ▪️ Getting started with AWS Fault Injection Simulator ▪️ Testing resiliency using chaos engineering ▪️ Achieving Continuous Resilience in DevOps through ML and AI ▪️ Improve Resilience with Controlled Chaos Engineering ▪️ Chaos Engineering for Serverless Architectures 👉 Присоединяйтесь!

​​Добавление заголовков на ответы для CloudFront: https://aws.amazon.com/blogs/networking-and-content-delivery/amazon-cloudfront-introduces-response-headers-policies/ Теперь CORS, Cache-Control и прочие STS, CSP сотоварищи можно добавлять прямо в CloudFront с помощью response headers policies: https://docs.aws.amazon.com/AmazonCloudFront/latest/DeveloperGuide/understanding-response-headers-policies.html Можно удалять свои Edge@Lambda и прочие велосипеды, прикрученные для реализации такого очевидного функционала. #CloudFront

Как посчитать расходы на передачу данных для RDS, DynamoDB, Redshift и DocumentDB: https://aws.amazon.com/blogs/architecture/exploring-data-transfer-costs-for-aws-managed-databases/ This blog post is intended to help you make informed decisions for designing your workload using managed databases in AWS. Note that service charges and charges related to network topology, such as AWS Transit Gateway, VPC Peering, and AWS Direct Connect, are out of scope for this blog but should be carefully considered when designing any architecture. #cost_optimization

Как раз в продолжение темы предыдущего поста - советы по мультирегиональной репликация S3: https://aws.amazon.com/blogs/storage/ten-tips-for-multi-tenant-multi-region-object-replication-in-amazon-s3/ This blog summarized the challenges ISV customers face when building a durable, scalable, and highly available data storage layer for their multi-tenant, multi-Region applications. Examples include the need to replicate data within and between AWS Regions and to reduce undifferentiated heavy lifting.  #S3

Меньше месяца до re:Invent 2021. Можно (нужно) делать прогнозы. Amazon S3 - прогнозы 🔸 Глобальная S3 файловая система Тренд на "мультирегиональность всего" для S3 в этом году уже вылился в фичу Amazon S3 Multi-Region Access Points. Что круто, хотя, понятно, и за (дополнительные) деньги. Но что дальше? Что на счёт глобальной рапределённой глобальной файловой системы на базе S3? Есть популярная s3fs, а недавно Яндекс выкатил сильно улучшенную по производительности GeeseFS на Go, полностью совместимую с Amazon S3. Чем ответит AWS? 🔸 S3 bucket Backup Дальше, обещали бэкап для S3 бакетов — я ведь помню (потому что записываю)! 😁 Где он, спрашивается?! Давайте уже, сколько ж можно. 🔸 S3 bucket name - проблема уникальности В прошлом году порешали, наконец, консистентность, которая с момента создания S3 создавала столько сложных вопросов при сдаче на AWS сертификацию. Другая такая же застарелая проблема - уникальность имени бакетов. Уже есть и средства для решения (S3 Access Points), и прямо реальная очевидность проблемы в виде S3 Bucket Namesquatting, когда команде из AWS Security пришлось просить Ian Mckay вернуть им нужные для работы имена. Можно ожидать её решения. Нужно закрывать столь застарелый technical debt. === А у вас какие прогнозы на re:Invent (и просто пожелания) по фичам для Amazon S3? #S3 #reInvent

Для всех, комк интересен _локальный_ запуск контейнеров на платформе AWS - https://www.youtube.com/watch?v=DPMx7qk9gZg

Итоги недели на AWS (24-30 октября 2021) RDS for MySQL ▪️ Поддержка GTID (Global Transaction ID) based replication. ▪️ Задержка для реплик Delayed Replication. Актуально для некоторых DR сценариев. Например, быстрого отката после дропа главной базы - чтобы это сразу же не попадало в реплику DR окружения. CloudFront ▪️ Header для получения клиентского IP-адреса CloudFront-Viewer-Address. DocumentDB ▪️ User-defined roles для RBAC. ▪️ Поддержка $literal, $map и $$ROOT. ▪️ Поддержка Geospatial запросов. ▪️ Вышла первая версия JDBC Driver v1.0.0. AWS Migration Hub ▪️ Новый раздел Strategy Recommendations для анализа on-prem железяк и приложений для выработки стратегии их миграции в AWS. SageMaker Autopilot ▪️ Поддержка timeseries данных. EC2 ▪️ Новый тип виртуалок DL1 для ML. ▪️ Виртуалки на Intel Ice Lake - C6i. ▪️ Автоподбор типов инстансов для ASG по параметрам ABS (Attribute-Based instance type Selection). Упрощает/улучшает подбор для spot-виртуалок. ▪️ Spot placement score - новая команда get-spot-placement-scores для получения рекомендаций по размещению spot-виртуалок по нужным параметрам с учётом подзон и AWS регионов. В ответе возвращается вероятность наличия spot-ресурсов по шкале от 1 до 10. ▪️ AMI образы виртуалок наконец-то можно шарить не только по аккаунтам, а сразу на целый OU или всю организацию. Aurora ▪️ Babelfish for Aurora PostgreSQL — надстройка над PostgreSQL для возможности работы кода под Microsoft SQL Server. ▪️ Чтобы окончательно расстроить Microsoft SQL Server, Амазон выложил Babelfish в opensource. Статья в блоге по этому поводу с издевательским названием Goodbye Microsoft SQL Server, Hello Babelfish. EKS ▪️ Поддержка Bottlerocket для Managed Node Groups. AWS SAM ▪️ Мгновенное (единицы секунд) обновление кода Лямбды (без передеплоя) с помощью AWS SAM Accelerate. Видео с демонстрацией. Fargate ▪️ Windows Containers для Fargate (на ECS). === ⚠️Проголосуйте, пожалуйста, чтобы знать, какие подбирать события. 👇 Опрос — самые интересные AWS события недели 24-30 октября 2021. #AWS_week

Bottlerocket в EKS Managed Nodes: https://aws.amazon.com/blogs/containers/amazon-eks-adds-native-support-for-bottlerocket-in-managed-node-groups/ Support for Bottlerocket managed node groups in Amazon EKS enables you to run your applications on container-optimized managed nodes with enhanced security. Bottlerocket is image-based and does not include a package manager for customization at runtime. One of the main design goals is to keep the OS image as small as possible for security and performance reasons. #EKS #security #Bottlerocket

​​C6i виртуалки на Intel Ice Lake: https://aws.amazon.com/blogs/aws/new-amazon-ec2-c6i-instances-powered-by-the-latest-generation-intel-xeon-scalable-processors/ Для c6i доступны виртуалки вплоть до 128 процессоров с пропускной способностью до 50 ГБит/с по сети и 40 ГБ/с для диска. Новое поколение c6i как обычно стоит столько же, как и предыдущие c5 виртуалки на Intel (а при этом быстрей на ~15%), потому нет причин не обновиться! c6i.large $0.085 c5.large $0.085 c5a.large $0.077 c6g.large $0.068 Пока доступны лишь в N.Virginia, Ohio, Oregon и Ireland регионах. #EC2

В дополнение по теме Serverless отмечу обязательное к просмотру видео Романа Бойко (Serverless Specialist Solutions Architect, AWS) с разбором подкапотной работы Лямбды: https://www.youtube.com/watch?v=I0BWfDmGj0Q Тот вариант видео, что нужно добавить в закладки и периодически пересматривать. #Lambda

17 и 18 ноября пройдёт Serverless Summit 2021: https://www.serverless-summit.io/ Очень крутые спикеры, самые известные по части Serverless - Yan Cui, Jeremy Daly, Marc Schröter и другие. Дискуссионные панели с участием Alex Casalboni, Darko Mesaroš, а также от AWS в команде экспертов будет в том числе Роман Бойко (Serverless Specialist Solutions Architect). Мероприятие бесплатное (онлайн), в качестве главного спонсора AWS — точно будет интересно, присоединяйтесь! #serverless

https://aws.amazon.com/blogs/aws/new-attribute-based-instance-type-selection-for-ec2-auto-scaling-and-ec2-fleet/ Теперь можно не руками типы инстансов в ASG выбирать, а автоматом по заданным критериям (min/max CPU, RAM, цена, поколение и т.д.) Бомба для спота, по-моему. Со спотом важно много разных пулов емкости (разных типов инстансов) использовать, чтобы было из чего выбрать, теперь это гораздо проще настроить

Другой ускоритель, AWS Secure Environment Accelerator, обновился до мажорной версии 1.5. https://twitter.com/zoph/status/1453376021936295936 Мажорные версии нонче неотличимы от минорных, их носят не стесняясь после точки. Сам "ускоритель безопасности" упоминался здесь год назад, однако без поддержки Control Tower выглядел крайне специфичным решением. После появился superwerker, который позиционируется пусть не как для безопасности, но имеет много фич и для этого. Но при этом ставится (и обновляется) волшебно - полностью из консоли, просто указав ссылку на шаблон. И который изначально умеет Control Tower. Теперь AWS Secure Environment Accelerator с поддержкой Control Tower тоже можно попробовать. https://github.com/aws-samples/aws-secure-environment-accelerator Как представится возможность - протестирую. Если кто пробовал - поделитесь впечатлениями. #security

​​Обучение основам (кибер)безопасного поведения работников компании: https://learnsecurity.amazon.com/ Приставка "кибер", т.к. речь о базовых принципах обращения с данными и знаниями компании — то, что напрямую связано с поддержанием адекватного уровня безопасности внутри любой организации. Обучающий сайт с серьёзными вложениями (ролики-актёры) сделан в рамках оглашённой программы Амазона с целью повышения общей грамотности как отдельных работников, так и работников компаний: https://press.aboutamazon.com/news-releases/news-release-details/amazon-announces-two-new-cybersecurity-initiatives-aimed-protect Очень полезный материал, особенно, как мне кажется, для более возрастной группы работников. Есть переводы на многие языки (в том числе русский) и даже сурдоперевод. Однако перевод русский сделан даже, видимо, не через Amazon Translate (уже на первом же экране будет кнопка "продолжать" 😄), потому лучше выбирать английский (хотя после легко поменять). Большинство советов кажутся очевидными, однако данная очевидность как раз и проблема, т.к. очевидное очевидно не для всех. В любом случае каждому можно/стоит ознакомиться. p.s. В догонку идея применения данного сайта для безопасников — принуждать к двухчасовому просмотру каждого в очередной раз запостившего ключи доступа в гитхаб. С учётом того, что ресурс позиционируется для постоянного пользования (а не один раз пройти), это можно будет делать на постоянной основе! 😁 #security

10 Trends in real-world container use Updated October 2021. 1. Nearly 90 percent of Kubernetes users leverage cloud-managed services 2. Amazon ECS users are shifting to AWS Fargate 3. The average number of pods per organization has doubled 4. Host density is 3 times higher on Kubernetes than on Amazon ECS 5. Pod auto-scaling is becoming more popular 6. Organizations are deploying more stateful workloads on containers 7. Organizations running container environments create more monitors 8. Organizations are starting to replace Docker with containerd as their preferred runtime for Kubernetes 9. OpenShift adoption is growing rapidly 10. NGINX, Redis, and Postgres are the top three container images https://www.datadoghq.com/container-report

Проверка CloudFormation кода на уязвимости: https://github.com/aquasecurity/cfsec Ещё один статический анализатор CloudFormation шаблонов, поддерживаемые форматы — YAML, JSON. #CloudFormation #security #devsecops

​​Как Amazon мониторит свои ветряки и солнечные электростанции: https://aws.amazon.com/blogs/industries/amazon-achieves-near-real-time-renewable-energy-plant-monitoring-to-optimize-performance-using-aws/ Интересно отметить, что переход на возобновляемые источники идёт опережающими темпами, а для мониторинга есть даже специальная команда по "зелёной оптимизиации" - REO (renewable energy optimization) team. В частности, REO-команда разработала свою референсную архитектуру на базе AWS IoT (на картинке). Данные складываются в AWS IoT SiteWise и Amazon Timestream, а для визуализации используются дашборды Grafana (AMG). Интересно узнать, у кого есть IoT проекты сходного назначения - как/где/чем вы храните свои метрики? Приведенное решение от Амазон выглядит недешёвым, хоть и логичным. Поделитесь своими подходами к архитектуре такого типа решений, пожалуйста. Т.к. вот для меня тут не видно multitenancy и как такое можно смасштабировать (особенно в сторону упрощения-удешевления). #IoT #design

DevOps и business playbook (или company playbook) Тема DevOps выходит за рамки одного человека и связана с работой команд/проектов и в целом организации процессов в компании. В результате при внедрении DevOps практик/культуры всегда возникают проблемы — а что имеется в виду? А почему нужно это перестать делать, то выбросить, а такое делать именно так — кто сказал, что так правильно? А какие есть варианты, как это может быть реализовано с учётом нашей специфики — в нашей компании, нашего размера и стиля работы? И действительно, а где посмотреть на примеры организиции процессов в IT компаниях — то, что выше и более общее, чем написание скриптов? Где взять аргументы в споре, почему неправильно не только деплоить на прод в пятницу вечером, но и вообще, как организовать эффективное взаимодействие при возникшем удалённом режиме работы? Ответ есть — playbooks. Не которые ansible playbooks (из-за которых их так сложно нагуглить), а business (company) playbooks — открытые публичные описания, как устроены процессы внутри каких-то компаний. Например, ваша компания перешла на удалённый режим работы и есть проблемы с выстраиванием взаимодействия (а они есть вне всяких сомнений) — обязательно почитайте GitLab playbook: ▫️ https://about.gitlab.com/company/culture/all-remote/ ▫️ https://about.gitlab.com/handbook/ В свете успешно вышедшей на IPO организации, работающей на 100% удалённо не один год, у вас будут серьёзные аргументы в предложениях улучшить практики взаимодействия, в том числе пересекающиеся с DevOps. Другой исключительно детальный и объёмный playbook от Microsoft: ▪️ https://microsoft.github.io/code-with-engineering-playbook/ Отличное чтиво, однозначно рекомендуется ознакомиться, т.к. это и есть набор best practices, что суть DevOps. В дополнение некоторый список от других известных и не очень компаний: 🔹 https://www.atlassian.com/team-playbook 🔹 https://heap.io/resources 🔹 https://www.timble.net/playbook/ 🔹 https://thoughtbot.com/playbook 🔹 https://www.kohactive.com/playbook/ 🔹 https://www.fullstacklabs.co/playbook А у вашей компании есть свой playbook? Используете ли подобные практики для улучшения DevOps в своей компании? #devops #design

Итоги недели на AWS (10/17-10/23 2021) ▪️ RDS Proxy поддерживает MySQL 8.0. И при этом PostgreSQL лишь 11. То есть вот уже использовать RDS PostgreSQL 14 RC 1, а для RDS Proxy нет даже PostgreSQL 12! Вы серьёзно, да?!?😐 ▪️ Amazon Keyspaces (Cassandra) поддерживает TTL (настраиваемый Time to Live). ▪️ AWS Data Exchange for Amazon Redshift. ▪️ KMS шифрование артефактов для CloudWatch Synthetics. ▪️ AWS Panorama Appliance теперь Generally Available. Крутая штука — коробочка, которая подключается к видеокамерам и может работать с видео локально — без отсылки данных в облако. Можно программировать на поиск нужного в видеопотоках с помощью собственных ML моделей. Такой себе мини-Outposts для ML обработки видео. А потому и по цене нового макбука в максимальном конфиге. ▪️ Security Hub теперь умеет собирать свои результаты кросс-регионально. Что критически важно для мульти региональных проектов. Можно глянуть демо-видео, как работает кросс-регион Security Hub. ▪️ FIS (Fault Injection Simulator) теперь умеет ломать spot-виртуалки. ▫️ AWS Load Balancer Controller обновился до версии 2.3 и теперь снова придётся менять IAM права в ваших шаблонах и прочих Терраформах.😑 Добавлена поддержка IPv6, для мульти ALB теперь создаётся одна общая security group, чарт обновлён до Helm v3 - в общем, попробую обновиться и отпишусь по результатам подробней. ▫️ Amazon Chime теперь тоже умеет размывать задний фон. Обновления Solutions: ▫️ Web Client for AWS Transfer Family 1.0.0 — создаёт сайт для доступа в окружение через SFTP. === ⚠️Проголосуйте, пожалуйста, чтобы знать, какие подбирать события. 👇 Опрос — самые интересные AWS события недели 10/17-23 2021. #AWS_week