AWS Notes

​​AWS Architecture Monthly Magazine Хочется чего-нибудь почитать по AWS, возможно, в пути или где вообще нет интернета? Может быть у вас всегда с собой Kindle или же, как я, предпочитаете бумажный вариант? Есть классное место. Уже несколько месяцев читаю и наслаждаюсь. Ведь это не просто ссылка, которая растворится через какое-то время в вашей ленте. Это можно распечать, засунуть в рюкзак, забыть, а потом получить в лесу, или на даче без связи, истинное удовольствие. https://aws.amazon.com/architecture/architecture-monthly/ Реально качественные статьи, тематическая подборка по для каждого месяца, лучшие авторы и рекомендации экспертов, подборка видео по теме, решения и описание референсной архитектуры — всё на самом высшем уровне. В pdf версии ссылки кликабельные (в бумажной, к сожалению, нет😀). Очень рекомендую. Начиная с мая 2021-го года вёрстка и наполнение радикально изменились — каждый месяц увеличивается объём и качество. В AWS вспомнили про нас, кто любит читать бумагу и электронные книжки. Надеюсь, на выходе можно будет подписаться на регулярное издание и получать по (физической) почте. На картинке журналы AWS Architecture Monthly, cкачать pdf: ▫️ November 2021 IoT for the Edge ▫️ October 2021 Aerospace ▫️ September 2021 Advertising Technology ▫️ August 2021 Sustainability #design

​​Итоги недели на AWS (7-13 ноября 2021) 🔹 AWS Backup теперь бэкапит ещё лучше: • Добавлена поддержка DocumentDB (with MongoDB compatibility) • Добавлена поддержка Amazon Neptune • Теперь можно выбрать лишь нужные типы ресурсов для бэкапа (в менюшке "Assign resources" появилась опция "Include specific resource types") 🔹 Amazon Athena теперь умеет делать кросс-аккаунтные запросы (до этого только из того же аккаунта, где и коннектор) 🔹 Поиск в AWS Console теперь (наконец-то) научился отдавать данные не только по сервисам, но и по блогам, статьям, событиям и туториалам. И делает это быстро. Хоть не всегда релевантно (см. картинку с примером для S3 - нет ссылки на документацию именно для S3). 🔹 Amazon ECS: • Ускорил поднятие большого кол-ва тасок при масштабировании • Добавил Health Status запущенных тасок, который теперь можно самому мониторить через ECS API. 🔹 CloudFormation: • Сделал 34 новых ресурса, доступных через CloudFormation Registry • Добавил опции для EKS - Tags, EndpointPublicAccess, EndpointPrivateAccess, PublicAccessCidrs и для логирования Control Plane ClusterLogging. 🔹 CloudTrail выкатил фичу ErrorRate Insights, с помощью которой можно будет увидеть (если успеете), как вас пытаются поломать — показывает всплески активности работы IAM, что также поможет при проблемах с квотами по этому поводу. 🔹 AWS FIS (Fault Injection Simulator) теперь умеет симулировать проблемы через CloudWatch Alarms и запускать SSM Runbooks. 🔹 Новый сервис AWS Resilience Hub — позволяет мониторить приложение на предмет доступности и давать рекомендации по его RPO/RTO (анализирует AWS Backup - как часто делаются бэкапы для ресурсов окружения, которые вытягивает из CloudFormation стэков, чтобы соблюдать нужные значения). Важная штука для тех, кому важно блюсти compliance, интегрирован с FIS, а потому можно им ломать и проверять реальность соблюдения RPO/RTO. Стоит 15$ в месяц за мониторинг каждого подключённого приложения. Можно глянуть пример использования. 🔹 DocumentDB теперь запускается на Graviton2. 🔸 Калгари, Канада — новый AWS Region через два года. === ⚠️Проголосуйте, пожалуйста, чтобы знать, какие подбирать события. 👇 Опрос — самые интересные AWS события недели 7-13 ноября 2021. #AWS_week

​​BLEA (Baseline Environment on AWS) или японский мульти-аккаунт: https://github.com/aws-samples/baseline-environment-on-aws Полностью разворачивается с помощью AWS CDK, одинаково работает и с Single Account и в Multi Account среде. То есть ставится и на просто один аккаунт, и на Organizations, и на Organizations с Control Tower. Выглядит очень круто. Гугло-перевод статьи про BLEA из японского AWS блога: https://aws-amazon-com.translate.goog/jp/blogs/news/announcing-baseline-environment-on-aws/?_x_tr_sl=auto&_x_tr_tl=en&_x_tr_hl=be&_x_tr_pto=nui Картинки и набор сервисов впечатляют, особенно с учётом того, что благодаря использованию CDK, функционал может расширяться очень быстро. Однозначно стоит ознакомиться поближе и наверняка увидим подробности на re:Invent. #CDK #multi_account_strategy #single_account_strategy #security

#машины_aws Пока я работаю над длиннопостом, два занимательных и одновременно неприятных факта про DynamoDB: 1. DynamoDB TTL - бесплатный server-side способ удаления устаревших данных не предоставляет гарантий удаления в срок истечения! Хуже того то, что объекты с истекшим сроком жизни все еще отображаются в запросах, что перекладывает ответственность за фильтрацию валидных данных на клиента. Не смотря на то, что в среднем удаление занимает до 48 часов, мне известны случаи о задержке аж на 10 суток. 2. Capacity Units распределяются по шардам (Partition Key) таблиц, что может привести к ProvisionedThroughputExceededException при том, что throttle происходит только на конкретном шарде - так называемая проблема Hot Partition. По результатам общения с техподдержкой выяснилось, что: - В режиме provisioned CUs, они равномерно распределяются по шардам; далее DDB будет распределять CU на более активные шарды. Как происходит распределение, когда количество шардов превышает количество CU, неизвестно. - В режиме OnDemand, каждый шард получает 1000 WCU и 3000 RCU сразу же и перераспределения между шардами уже не происходит, поскольку 1000 записей и 3000 чтений в секунду - верхний порог. Казалось бы мелочи, но эти мелочи выпили мне немало крови в Uber. И заметно сузили мой личный список подходящих бизнес задач для DynamoDB.

​​Рекомендации по реализации микросервисной архитектуры на AWS: https://docs.aws.amazon.com/whitepapers/latest/microservices-on-aws/microservices-on-aws.html Документ AWS Whitepaper «Implementing Microservices on AWS» описывает подходы к реализации масштабируемой и надёжной микросервисной архитектуры, в том числе с использованием serverless подхода. Описываются подходы для мониторинга распределённых по сервисам окружений и реализации асинхронной работы. #design #best_practices

​​CI/CD best practices — AWS Whitepaper «Practicing Continuous Integration and Continuous Delivery on AWS»: https://docs.aws.amazon.com/whitepapers/latest/practicing-continuous-integration-continuous-delivery/testing-stages-in-continuous-integration-and-continuous-delivery.html 90% рекомендаций не привязаны к AWS, потому полезны для подавляющего большинства проектов/команд. 👍Do: ▪️ Treat your infrastructure as code ▫️▪️ Use version control for your infrastructure code. ▫️▪️ Make use of bug tracking/ticketing systems. ▫️▪️ Have peers review changes before applying them. ▫️▪️ Establish infrastructure code patterns/designs. ▫️▪️ Test infrastructure changes like code changes. ▪️ Put developers into integrated teams of no more than 12 self-sustaining members. ▪️ Have all developers commit code to the main trunk frequently, with no long-running feature branches. ▪️ Consistently adopt a build system such as Maven or Gradle across your organization and standardize builds. ▪️ Have developers build unit tests toward 100% coverage of the code base. ▪️ Ensure that unit tests are 70% of the overall testing in duration, number, and scope. ▪️ Ensure that unit tests are up-to-date and not neglected. Unit test failures should be fixed, not bypassed. ▪️ Treat your continuous delivery configuration as code. ▪️ Establish role-based security controls (that is, who can do what and when). ▫️▪️ Monitor/track every resource possible. ▫️▪️ Alert on services, availability, and response times. ▫️▪️ Capture, learn, and improve. ▫️▪️ Share access with everyone on the team. ▫️▪️ Plan metrics and monitoring into the lifecycle. ▪️ Keep and track standard metrics. ▫️▪️ Number of builds. ▫️▪️ Number of deployments. ▫️▪️ Average time for changes to reach production. ▫️▪️ Average time from first pipeline stage to each stage. ▫️▪️ Number of changes reaching production. ▫️▪️ Average build time. ▪️ Use multiple distinct pipelines for each branch and team. 👎Don’t: ▪️ Have long-running branches with large complicated merges. ▪️ Have manual tests. ▪️ Have manual approval processes, gates, code reviews, and security reviews. #devops #best_practices

​​Докажи, что ты не робот или Captcha от AWS WAF: https://efw47fpad9.execute-api.us-east-1.amazonaws.com/latest Пройди все уровни и получи скидку на сертификат подтверждение, что ты человек. Всё не так просто, как кажется. Весьма своеобразная имплементация капчи. При этом совершенно официальная, вот документация: https://docs.aws.amazon.com/waf/latest/developerguide/waf-captcha-challenge.html Первоисточник и тестовый URL от прошедшего капчу Ian Mckay. #WAF #странное

​​Новый AWS регион в 2023-м году — Калгари, Канада: https://aws.amazon.com/blogs/aws/in-the-works-aws-canada-west-calgary-region/ Регион планируется к открытию в конце 2023-го или же в самом начале 2024-го года. Итого на текущий момент Амазон строит одновременно 9 регионов: ‼️ • Asia Pacific (Jakarta) • Europe (Barcelona) • Europe (Zurich) • Asia Pacific (Hyderabad) • Asia Pacific (Melbourne) • Middle East (UAE) • Middle East (Israel) • Asia Pacific (Auckland) • Canada West (Calagary) Стоит на re:Invent можно ожидать анонс десятого? Эстония? 😏 #AWS_Regions

Итоги недели на AWS (31 октября - 6 ноября 2021) 🔹 Amazon Time Sync Service выкатил опенсорсную библиотеку ClockBound, с помощью которой можно просто генерировать и сравнивать timestamps. Кто пропустил и первый раз слышит, что есть целый сервис Amazon Time Sync Service, то да — уже 4 года как. До этого в приватных подсетях часы могли (и убегали) в виртуалках без NAT GW и получались прекраcные глюки, когда не было доступа на AWS сервисы, т.к. их сертификаты могли не валидироваться. В общем, кому интересна эта специфичная тема, чем сервис отличается от гуглового TrueTime, то можно почитать обсуждение этого на Hacker News. 🔹 Amazon DevOps Guru неплохо прокачался: • Увеличилось количество Amazon EKS метрик, которые отслеживает (как для инстансов, так и для подов). • Теперь он интегрируется с Organizations и может работать через delegated admin. Можно предположить, что DevOps Guru наверняка что-то выкатит на reInvent, т.к. неспроста вышли полезные статьи по его использованию: • Proactive Insights for Amazon ECS. • Anomaly Detection in AWS Lambda. Кто не в курсе про DevOps Guru, то это AI-сервис, который (постоянно) анализирует CloudWatch + CloudTrail + Config + X-Ray и на основе этого строит прогнозы и делает (полезные) рекомендации. Для простых проектов популярны шутки, что он может заменять девопса. И вот если (когда) он научится работать Prometheus-метриками (AMP), то они запросто могут перестать быть шутками. 😁 🔹 Amazon Corretto 17 теперь новая LTS версия (поддержка до 2028 года) для Java. Предыдущие LTS версии Corretto 8 и 11 также будут поддерживаться (до 2026 и 2027 соответственно), однако рекомендуется перейти как минимум на 11-ю версию. 🔹 AWS Secrets Manager увеличил максимальное кол-во секретов до 500 000 в одном аккаунте одного региона. Про эту новость из рубрики "but why?!" уже писал, потому лишь добавлю, что нужно учредить специальную медаль «Секретный Спонсор AWS», т.к. 500 000 * 0.40$ = 200 000$ в месяц. 🔹 Amazon CloudFront теперь сам умеет добавлять CORS. Популярная рубрика "finally". Поддержка CloudFormation на данный момент отсутствует. Но это уже другая популярная рубрика. 🔹 AWS Lambda теперь умеет использовать ECR из других аккаунтов. Всё та же популярная рубрика "finally". Обычно используется одно место (аккаунт) для ECR образов на разные окружения и потому приходилось их реплицировать в аккаунт с Лямбдой. Теперь такой проблемы нет, хотя нужно учесть, что из других регионов по-прежнему нельзя. Но это уже решается настройкой всё той же репликации ECR. 🔹 AWS Toolkits обновился с поддержкой AWS Cloud Control API и потому теперь можно в любимом IDE (Cloud9, JetBrains или VS Code) работать с 200+ типами ресурсов. === ⚠️Проголосуйте, пожалуйста, чтобы знать, какие подбирать события. 👇 Опрос — самые интересные AWS события недели 31 октября - 6 ноября 2021. #AWS_week

​​Data Classification — Secure Cloud Adoption: https://d1.awsstatic.com/whitepapers/compliance/AWS_Data_Classification.pdf Обязательный этап начала выстраивания процессов безопасности на проекте — классификация данных по уровням секретности. В документы перечислены текущие подходы для США и Великобритании, а также даны рекомендации с учётом возможностей AWS сервисов. #security #devsecops

​​DevOps Guru для всей организации: https://aws.amazon.com/ru/about-aws/whats-new/2021/11/amazon-devops-guru-multi-account-insight-aws-organizations/ Теперь можно выдать в девопс-аккаунте права для работы DevOps Guru со всей организацией (Delegated Administrator). С учётом того, что DevOps Guru стал поддерживать ещё больше EKS Insights метрик, то получается солидный инструмент. Не вместо девопса, понятно – это больше для броского словца, но весьма полезный инструмент для девопса. Может быть дорогой, но хипстерский крутой и полезный. 😀 #DevOpsGuru #Organizations #devops

всем привет. сравнил на днях перфоманс x86 vs ARM AWS Lambda для большинства языков https://filia-aleks.medium.com/aws-lambda-battle-x86-vs-arm-graviton2-perfromance-3581aaef75d9

100 бесплатных курсов от AWS - https://www.amazon.com/b/?ie=UTF8&node=14297978011&ref=learnerHubCoursesVanityUrl

Самое интересное на AWS за октябрь 2021 1. NLB с поддержкой TLS 1.3. 2. RDS Proxy + MySQL 8.0. 3. Лямбду можно триггерить для SQS из другого аккаунта. 4. C6i виртуалки на Intel. 5. AWS Load Balancer Controller 2.3. 6. Auto Scaling Groups можно фильтровать по тэгам. 7. AMI образы можно шарить на OU или организацию. 8. OpenSearch 1.1.0 с поддержкой Cross-Cluster Replication. 9. AWS Instanse Scheduler 2.0. 10. Поддержка Bottlerocket для EKS Managed Node Groups. === ⚠️Опрос 👉 самые интересные AWS события октября 2021.👈 #AWS_month

​​Записи AWS Resilience and Chaos Engineering Day: https://pages.awscloud.com/EMEA-field-OE-Resilience-and-Chaos-Engineering-2021-ondemand.html #FIS

Cloud Security Tooling for the Sole Practitioner: https://www.youtube.com/watch?v=7gMjJVdUmwU Отличный старт для безопасника AWS проектов - рекомендуемые инструменты с конкретными примерами ра и советами. #security #devsecops

👆 Присоединяйтесь!