AWS Notes

#машины_разное https://aws.amazon.com/message/11201/ "For the latter communication, each front-end server creates operating system threads for each of the other servers in the front-end fleet." Что может пойти не так, верно? "Rather, the new capacity had caused all of the servers in the fleet to exceed the maximum number of threads allowed by an operating system configuration." Это очень хороший пример, когда scale out проигрывает scale up.

AWS re:Invent 2020 До Нового Года остался месяц 🎄. А до Нового Года по версии AWS — осталось всего пару дней! Ведь re:Invent — главное событие AWS в году. re:Invent до этого проходил в Лас Вегасе и билет туда стоил немало — порядка 2000$. А в этом году впервые re:Invent будет бесплатным 🔥 и при этом ехать никуда не нужно — он пройдёт онлайн. Потому очень стоит зарегистрироваться (считай нахаляву заработал две тысячи!): https://reinvent.awsevents.com/ Чтобы разобраться и подобрать себе интересные сессии, очень рекомендую следующую ссылку: https://cloudpegboard.com/reinvent2020.html Там можно выбрать по нужному направлению, языку (русского, к сожалению, нет) или даже по кому-то из AWS Hero, если у вас есть любимые и вы за ними следите. Эту страничку сделал автор CloudPegboard, про которую я раньше здесь писал и которой сам пользуюсь. С наступающим Новым AWS Годом — re:Invent 2020! 🎉 #reInvent

​​S3game от Василия Пантюхина: https://s3game.workshop.aws Есть однопользовательский и многопользовательский режимы. В первом случае нужно просто пройти все 15 уровней. Во втором случае можно соревноваться с другими на скорость. Наверное, лучшее, что пробовал, для изучения (закрепления, повторения) фич Amazon S3, особенно при использовании aws-cli. Крайне рекомендую! #S3

EC2 ­­— главные фичи 2020 EC2 Spots Instances за год неплохо прокачались: → споты можно стопать и стартовать как обычные инстансы 👍 → их можно тэгировать при запросе на создание → изменять веса на лету → они умеют ребалансировку 👍 → и поддерживают vCPU-based параметры EC2 AutoScaling также прокачался: → его можно включать и выключать на ходу 🔥 → публикует события в AWS Health Service → Instance Refresh - обновление инстансов в Autoscaling Group 🎉 → несколько templates на одну Auto Scaling group 👍 → тоже умеет ребалансировку 👍 → поддерживают несколько сетевых интерфейсов для инстансов EC2 Image Builder активнейше развивался: → поддерживает основные линуксы → AWS PrivateLink → шифрование 👍 → CloudWatch → мульти-аккаунты 👍 → и его теперь можно разрабатывать локально Из появившихся новых типов EC2 виртуалок, без сомнения, самые востребованные, продвигаемые и популярные - на новом (прошлогоднем) Graviton 2: → M6g → C6g → Graviton2 с локальным NVME → и новая "народная" виртуалка T4g, доступная на халяву до 31 декабря 2020 ‼️ 🔥 EBS-диски современных виртуалок благодаря всемогущему Nitro стали на треть быстрей (и бесплатно!) 👈 Для суперзащищённых систем появились AWS Nitro Enclaves вместе с ACM for Nitro Enclaves. ⚠️ Наконец, NLB поддерживает IPv6. 👍 === Предыдущие — главные EC2 фичи 2019. === Возможно через неделю на re:Invent 2020 появится ещё что-то (не забудьте зарегистрироваться - он бесплатный 👍 в этом году!), об этом уже будет отдельно. Кстати, про это будет на русском 🎉 в специальном стриме - не пропустите! 🔥 #итоги #EC2

Пятничное чтиво о том как один стартап с DDoS'ом боролся #aws

Чтобы найти причину проблем последнего падения многочисленных сервисов в N.Virginia, ушло, как понимаю, порядка 10 часов. После ещё пару часов на устранение, однако полное выздоровление затянулось из-за того, что пострадала куча сервисов. В результате общее время проблем составило где-то часов 18. С учётом того, что всё началось с падения Kinesis Data Streams, уронившего CloudWatch, то понятно, почему так долго — непросто найти проблему без (упавшего) мониторинга. Итого, первый вывод из случившегося — Нетфликс был прав, будь как Нетфликс!

кстати судя по всему Cloudwatch Уже починили -у меня вон данные побежали

Ваш проект мультирегионный (т.е. может работать при падении одного из регионов)? 1. У нас уже несколько регионов. 2. Пока один регион, но будем добавлять поддержку кросс-региональности. 3. Нам это не важно (не знаю). 4. Нет и не будем делать. 5. Бессмысленная трата денег и времени на разработку!

Лучшие практики Kinesis data stream + Lambda: https://aws.amazon.com/blogs/big-data/best-practices-for-consuming-amazon-kinesis-data-streams-using-aws-lambda/ #Kinesis #Lambda #best_practices

Increased Error Rates 8:05 AM PST: Kinesis is experiencing increased API errors in the US-EAST-1 Region. The Kinesis Data Streams API is currently impaired in the US-EAST-1 Region. As a result customers are not able to write or read data published to Kinesis streams. CloudWatch metrics and events are also affected, with elevated PutMetricData API error rates and some delayed metrics. While EC2 instances and connectivity remain healthy, some instances are experiencing delayed instance health metrics, but remain in a healthy state. AutoScaling is also experiencing delays in scaling times due to CloudWatch metric delays. This is also causing issues with ACM, Amplify Console, API Gateway, AppMesh, AppStream2, AppSync, Athena, AutoScaling, Batch, CloudFormation, CloudTrail, CloudWatch, Cognito, Connect, DynamoDB, EventBridge, IoT Services, Lambda, LEX, Managed Blockchain, Resource Groups, SageMaker, Support Console, and Workspaces. Other services, like S3, remain unaffected by this event. This issue has also affected our ability to post updates to the Service Health Dashboard. We are continuing to work towards resolution. https://status.aws.amazon.com/

Update.

+ CloudFront: We are investigating longer than usual reporting update delays for change propagation of invalidations and CloudFront configurations. Customer changes are propagating fine across our edge locations but the associated reporting is not getting updated. Also, end-user requests for content from our edge locations are not affected by this issue and are being served normally. + Fargate: We are investigating increased API error rates and delays delivering task events and metrics in the US-EAST-1 region. We are also investigating increased task launch error rates for the Fargate launch type. Running tasks are not impacted. + EKS: We are investigating increased API error rates for cluster and node group operations in the US-EAST-1 region. We are also investigating increased Fargate pod launch failures. Existing EKS clusters and managed node groups are operating normally + ECS: Currently running ECS tasks are not impacted for either the EC2 or Fargate launch types. We are continuing to experience API error rates and delays delivering task events and metrics in the US-EAST-1 region. ECS clusters are also not able to scale up or down due to task launch errors. Customers are missing metrics and events from their running tasks as ECS Insights is not able to propagate information. Task Set and Capacity Providers are also impacted. Customers using ECS on Fargate are not able to launch new tasks, running Fargate tasks are not impacted. === Обновление после окончания инцидента — официальный отчёт о том, что произошло: https://aws.amazon.com/message/11201/

AWS SSO теперь поддерживает WebAuthn, в результате чего появилась возможность авторизоваться через отпечаток пальца или, например, с помощью Windows Hello: https://aws.amazon.com/blogs/aws/multi-factor-authentication-with-webauthn-for-aws-sso/ Также теперь можно использовать более, чем два устройства/варианта для авторизации в AWS аккаунт. #SSO

​​ABAC+SSO: https://aws.amazon.com/blogs/aws/new-attributes-based-access-control-with-aws-single-sign-on/ Прошёл ровно год с появления ABAC (Attribute-Based Access Control) или Tag-Based Access Control. И вот теперь при наличии SSO давать доступ к ресурсам стало ещё проще и удобней. Включаем ABAC на страничке настроек SSO (на картинке), как заработает, добавляем нужные атрибуты, которые будут пробрасываться. Например, банально username (на картинке). Теперь добавив к любому ресурсу в политики доступа условие: "Condition": {  "StringEquals": {   "ec2:ResourceTag/username": "${aws:PrincipalTag/username}"  } } Можно будет просто зайти в тэги, например, RDS базы данных, и добавить тэг username со значением Karen . В результате пользователь Karen, залогинившись через SSO, автоматически получит доступ к этой базе. #ABAC #SSO

Лучшие посты из AWS блога по S3 за 2020-ый год: • Query Amazon S3 analytics data with Amazon Athena • Aggregating logs with S3 Same-Region Replication • Analyze your Amazon S3 spend using AWS Glue and Amazon Redshift • How to use KMS and IAM to enable independent security controls for encrypted data in S3 • Querying data without servers or databases using Amazon S3 Select • IAM Access Analyzer flags unintended access to S3 buckets shared through access points • Discover, review, and remediate unintended access to S3 buckets shared through S3 Access Points • Encrypting existing Amazon S3 objects with the AWS CLI • Using dynamic Amazon S3 event handling with Amazon EventBridge • Managing delete marker replication in Amazon S3 • How to manage retention periods in bulk using Amazon S3 Batch Operations • Replicating existing objects between S3 buckets • Changing your Amazon S3 encryption from S3-Managed to AWS KMS • Tighten S3 permissions for your IAM users and roles using access history of S3 actions • Securing Amazon S3 Glacier with a customer-managed encryption key • How to retroactively encrypt existing objects in Amazon S3 using S3 Inventory, Amazon Athena, and S3 Batch Operations • Auditing Amazon S3 encryption methods for object uploads in real time • Cross-account bulk transfer of files using Amazon S3 Batch Operations • Recovering from a disaster using AWS Storage Gateway and Amazon S3 Glacier • Uploading to Amazon S3 directly from a web or mobile application • Reliable event processing with Amazon S3 event notifications • Migrating and managing large datasets on Amazon S3 (Part 1) • Migrating and managing large datasets on Amazon S3 (Part 2) • Managing Amazon S3 access with VPC endpoints and S3 Access Points • Handling data erasure requests in your data lake with Amazon S3 Find and Forget #S3

S3 ­­— главные фичи 2020 • Поддержка S3 Intelligent-Tiering для AWS Storage Gateway’s File Gateway • Прокачавшиеся S3 Batch Operations: → Job Tags → Object Lock (Legal Hold + Retention) • SigV2 всё, теперь только SigV4 • Автообновление содержимого S3 бакетов для FSx for Lustre • Три новые фичи сразу (в одной статье): → Условие для возможности по номеру AWS аккаунта зафильтровать принадлежащий ему бакет Bucket owner condition → Решение проблемы длиной в 15 лет — S3 Object Ownership → Поддержка Copy API для S3 Access Points • Древние типы урлов для S3 объектов — вида s3.amazonaws.com/my-bucket — передумали убивать. Старые S3 бакеты продолжат (пожизненно) работать по такой схеме. Новые (теперь созданные) уже лишь как my-bucket.s3.amazonaws.com или my-bucket.s3.some-region.amazonaws.com. Update to Amazon S3 Path Deprecation Plan • Свой собственный S3 — Amazon S3 on Outposts • Прокачавшийся S3 Replication: → Delete marker replication → Metrics/notifications • S3 Intelligent-Tiering теперь поддерживает не только IA, но и Glacier + Deep Archive • Дашборды использования S3 для всей организации с разбивкой по аккаунтам, регионам, Storage Class и бакетам — Amazon S3 Storage Lens === Предыдущие — главные S3 фичи 2019. #итоги #S3

​​В консоли DynamoDB появился PartiQL редактор (см. картинку). PartiQL ­- язык, запиленный Амазоном в 2019-м году для возможности работать в SQL-подобном стиле с данными любого формата: https://aws.amazon.com/ru/blogs/opensource/announcing-partiql-one-query-language-for-all-your-data/ Или на русском на Хабре: https://habr.com/ru/news/t/463253/ Кроме того, теперь любые изменения таблиц DynamoDB можно стримить в Kinesis. #DynamoDB

Код Лямбды можно подписать: https://aws.amazon.com/blogs/aws/new-code-signing-a-trust-and-integrity-control-for-aws-lambda/ Что позволяет запускать свою/чужую Лямбду, будучи уверенным, что код не был изменён. #Lambda

​​AWS_notes в Facebook: https://www.facebook.com/aws.notes Кому удобней читать/смотреть/следить/комментировать в Facebook - присоединяйтесь!

В этом году мы будем делать стримы на русском с обзором и обсуждением новинок с re:invent. Вот тут можно зарегистрироваться, там же программа - https://rureinventawsrecaps2020.splashthat.com/