AWS Notes

Фаргейт на спотах: https://docs.aws.amazon.com/AmazonECS/latest/developerguide/fargate-capacity-providers.html Fargate Spot ведёт себя аналогично Spot-инстансам и за две минуты присылает предупрежение об удалении. #Fargate

⁠AWS Outposts - амазоновские сервисы на своём железе Обещали Outposts год назад и вот сделали: https://aws.amazon.com/blogs/aws/aws-outposts-now-available-order-your-racks-today/ Теперь можно в своём датацентре поднять свою VPC, в ней свои EC2 виртуалки со своими EBS дисками, развернуть свои ECS или EKS кластер, а также свои EMR и RDS. Для работы с S3, DynamoDB, CloudFormation, CloudWatch, балансеры и т.д. - используются VPC Endpoints. К сожалению, сервис не доступен в наших пенатах. Однако мы верим. Ждём и верим. #Outposts

⁠Local Zones Вы жаловались, что невозможно запомнить названия регионов и обрадовались их подписи в консоли? Рано радовались (см. картинку): https://aws.amazon.com/blogs/aws/aws-now-available-from-a-local-zone-in-los-angeles/ Если коротко и более серьёзно, для близости к конечным пользователям, "в местах скопления людей, денег и людей с деньгами", будут развёрнуты локальные зоны в дополнение к "обычным". В частности, по причине выполнения вышеназванных факторов, в Лос-Анджелесе в следующем году появится локальная зона с захватывающим названием us-west-2-lax-1a. По-моему - отличная причина туда переехать и быть близко к AWS во всех смыслах (не сарказм). #reInvent

Amazon S3 Access Points: https://docs.aws.amazon.com/AmazonS3/latest/dev/access-points.html Для бакета можно создать одну или больше точек доступа, у каждой будет свой уникальный (внутри региона и аккаунта) DNS и свои полиси. https://aws.amazon.com/blogs/aws/easily-manage-shared-data-sets-with-amazon-s3-access-points/ В общем, маленький (а не глобальный), собственный, региональный S3. #S3

EC2 - главные фичи 2019 Фичи: • EC2 Instance Connect (SSH к виртуалкам через IAM) • EC2 Instance Metadata v2 - аутентификации для метадаты • EC2 Image Builder для создания образов Windows Server и Amazon Linux 2 EBS: • Шифрованный EBS из нешифрованного AMI • Шифрование по умолчанию для EBS • Fast Snapshot Restore (FSR) для EBS - быстрое восстановление из снэпшота Auto Scaling: • Maximum Instance Lifetime - пенсионный возраст для Auto Scaling • Instance Weighting - веса (приоритеты) для Auto Scaling ALB: • Weighted Target Groups (приоритеты) для ALB • Least Outstanding Requests(LOR) для ALB - альтернатива Round-Robin для балансировки NLB: • NLB - теперь можно добавить подсетки для текущего NLB, выбрать конкретный айпишник и использовать подсетки из Shared VPC Опции: • SendDiagnosticInterrupt (блюскрин вручную) • Изменение On-Demand Target Capacity для существующих EC2 Fleet • vCPU-based лимиты для On-Demand виртуалок Сетка: • Elastic Fabric Adapter (EFA) для c5n.18xlarge и p3dn.24xlarge Dedicated: • Host Recovery для Dedicated хостов Windows: • Microsoft SQL Server 2019 на EC2 Улучшайзинги: • Визард для подключения EFS при создании виртуалки • Типы виртуалок в EC2 консоли Инстансы: • t3a инстансы - burstable на AMD • i3en инстансы - быстрая сеть плюс большой и быстрый диск (для баз данных и т.п.) • c5.12xlarge, c5.24xlarge и c5.metal типы виртуалок • c5d.12xlarge, c5d.24xlarge и c5d.metal типы виртуалок • 8xlarge и 16xlarge для m5 и r5 типов виртуалок • g4dn инстансы с NVIDIA T4 для ML и т.п. • High Memory инстансы до 24ТБ - для SAP HANA • a1.metal инстансы на ARM процессорах от Амазона • m5n и r5n инстансы с быстрой сеткой • t2/t3/t3a инстансам можно включить Unlimited mode на уровне аккаунта • inf1 инстансы на Inferentia чипах от Амазона для машинного обучения #итоги

⁠IAM анализатор и S3 анализатор Появились два полезных инструмента по безопасности. IAM Access Analyzer позволяет просканировать аккаунт на предмет доступа - для бакетов, ролей, ключей шифрования и т.д. - из других аккаунтов либо просто публичных. https://aws.amazon.com/blogs/aws/identify-unintended-resource-access-with-aws-identity-and-access-management-iam-access-analyzer/ Сделанный на базе апишки IAM анализатора Access Analyzer for S3 доступен в консоли S3 и показывает доступ лишь для бакетов: https://aws.amazon.com/blogs/storage/protect-amazon-s3-buckets-using-access-analyzer-for-s3/ В общем, давно назревшие решения, для тех, кто не озаботился и не использовал открытые альтернативы (которые местами более детальные и точные, чем свежие амазоновские) - однозначно рекомендуется к (постоянному) использованию. #IAM #S3

​​Новое на AWS: EC2 Image Builder - сервис для создания и сопровождения системных образов для Windows Server и Amazon Linux 2 AWS DeepComposer - сервис для сочинения музыки. DeepRacer Evo - новая машинка с двумя камерами и LIDAR-ом. Amazon Transcribe Medical - сервис перевода в текст речи врачей. Amazon EventBridge Schema Registry Preview - с поддержкой в JetBrains IntelliJ, PyCharm и Microsoft Visual Studio Code. AWS End-of-Support Migration Program (EMP) for Windows Server - позволяет запускать не имеющие уже поддержки Windows приложения, рассчитанные на Windows Server 2003/2008/2008R2 и новей без их изменения. #reInvent

Новые фичи коротко: • Асимметричное шифрование (публичный+приватный ключ) в AWS KMS • Least Outstanding Requests (LOR) для ALB • CloudWatch метрики для VPC Traffic Mirroring • Политики тэгирования в AWS Organizations • NLB поддерживает подсети из Shared VPC • Amazon QuickSight API • Managed Rules для AWS WAF • External Identity Provider для AWS SSO • Поддержка своих ключей (KMS Customer-Provided Keys) в Kinesis и DynamoDB • Поддержка LDAPS в AWS Managed Microsoft AD • Пользовательские функции в Amazon Athena • Параллельная Лямбда под Kinesis • Spot инстансы в Elastic Beanstalk • Materialized Views в Amazon Redshift @aws_update

S3 - главные фичи 2019 • S3 Batch Operations • S3 Path Deprecation Plan до 2020.09.30 • SigV2 Deprecation Period до 2020.06.24 • Same-Region Replication • S3 Replication Time Control (SLA для Cross-Region Replication) • S3 Access Points #итоги

VPC - главные фичи 2019 • Shared VPC • VPC Traffic Mirroring • VPC CNI Version 1.5.0 для EKS • awsvpcTrunking для ECS • VPC NAT для Лямбды • Метадата для VPC Flow Logs • Kinesis добрался до VPC • VPC Ingress Routing #итоги

CloudFormation - главные фичи 2019 • Появился Roadmap • Импорт существующих ресурсов в стэки • Реестр для сторонних ресурсов + cfn (CloudFormation Command Line Interface) #итоги

Подсказка по морскому бою.

Из правил технического отдела EC2. Название для нового типа инстансов формируется по первому потопленному однопалубному кораблю. #правильное

Из правил работы пресс-службы AWS. Если за день не было новостей, то обратитесь в отдел по развёртыванию текущих сервисов в любом регионе или просто печатайте результаты очередного спринта команды CloudFormation. #правильное

Из правил отдела маркетинга AWS. Неправильно говорить «Мы придумали новую фичу», правильно «Почти все фичи сделаны по просьбам наших клиентов». Если фича понравилась — мы заботимся о вас. Если нет — мы тут ни при чём, это ж клиенты. #правильное

Из правил техподдержки AWS. Неправильно говорить «Нет, к сожалению, у нас нет такого сервиса», правильно «Вы можете сделать это сами на Лямбде!» #правильное

Где задать вопрос по AWS Официальный форум: https://forums.aws.amazon.com/ Официальный, англоязычный, требуется аккаунт в AWS. Reddit: https://www.reddit.com/r/aws/ Большой и популярный англоязычный форум, короче - Reddit. Slack og-aws (каналы #questions #cloudformation #ecs и другие) - требуется инвайт. Инвайт можно получить на https://og-aws-slack.lexikon.io/ , большое количество каналов по Амазону, известные AWS-гуру обитают тут, потому вопросы предполагают какой-то достаточный уровень. Задавать вопросы сразу в нескольких каналах не принято. Если не знаете точно темы - задавайте в #questions. Англоязычный. Slack hangops (канал #aws) - требуется инвайт. Инвайт можно получить на https://signup.hangops.com/ , живенький AWS-чат, вопросы предполагают некоторый уровень, англоязычный. Телеграм: AWS_ru AWS Minsk Community AWS@NSK AWS User group Kazakhstan Чат AWS_ru - самый большой и самый популярный русскоязычный чат по AWS. Его преимущества - очень много народу, можно получить с большой вероятностью качественный комментарий, т.к. его читают и в нём отвечают представители AWS. Задать вопрос можно любого уровня и при этом не побьют. Его минусы - когда много народу спрашивает, лента бежит быстро и на ваш вопрос могут так и не ответить, даже если кто-то мог и хотел. Поэтому, если вы из Минска-Новосибирска-Казахстана-поблизости - старайтесь задавать вопрос в своих сообществах. Везде есть профи, только местные точно увидят ваш вопрос и с удовольствие ответят. Кроме того представители AWS мониторят и эти каналы, потому также смогут прокомментировать. Facebook: https://www.facebook.com/groups/aws.notes/ Юзер-группа канала aws_notes, требуется аккаунт в Facebook. Народу нет совсем, но если кто спросит - я точно отвечу. :) Копирую туда новости из этого канала для тех, кому удобней читать и комментировать в Фейсбуке. #info

Инструменты для получения минимальных прав (Least Privilege Principle), что требуются приложению с помощью CloudTrail: https://medium.com/netflix-techblog/introducing-aardvark-and-repokid-53b081bf3a7e https://github.com/duo-labs/cloudtracker Это в дополнение к видео выше.

⁠В̵с̵помнить всё Поучительное совпадение - буквально пару дней назад записал себе в заметки (на картинке - простые гуглошиты, просто копирую себе полезное из обсуждений, каждый месяц меняю название, т.к. много слишком много страниц набегает :) ) из AWS-чатов в слэке, где общаются настоящие гуру, что кто-то отвечая на вопрос не знал какой-то вещи. При этом сомневаться в профессионализме не приходилось и т.к. до этого не раз такое замечал, решил законспектировал конкретный факт, чтобы после написать о такой проблеме. И вот сегодня примерно-показательно выяснилось, что и сам такой же. Кому лень читать лог чата, то коротко - посоветовал вариант решения, предполагая, что Access Control по тэгам объектов в S3 невозможен, а потому нужно использовать другой подход, в то время, как это давно реализовано. То есть вот писал про тэги тут сто раз, понимая и рассказывая их важность, а не знал вещей 2013-го года розлива. Задумался, как же так. После потужился и вспомнил, таки читал в документации, но не встречая реальных примеров использования-обсуждения таких проблем и это ушло на задний план. А после, видимо, было окончательно отторгнуто логикой "это ж ведь расходы какие на каждый запрос к объекту - вряд ли значит так может быть". Выводы я для себя ещё сделаю, но один из них - граждане, спрашивайте и вам ответят. Сила коллективного разума, однако. Другой: делайте внешний аудит ваших решений, какие бы профи у вас не работали (в том числе вы лично или я). Ну и третий - проходите сертификацию, сдавайте на сертификаты. Писал, что не получал сертификатов за ненадобностью, как считал. И на выходе, вот, прорехи в обороне. Надеюсь, что сдача на сертификат позволит структурировать знания и закрыть такие бреши. #учиться #учиться #учиться

Таймкоды к видео Нормально делай - нормально будет: 0:17 - Кому хорошо спится по ночам 2:36 - Зачем нанимают амазонщиков 3:07 - Least Privilege Principle (LPP) 4:40 - Метод обезьянки для борьбы с LPP 5:54 - В любой непонятной ситуации берите M-тип виртуалок 6:34 - Горизонтальное масштабирование против вертикального 8:08 - Только Spot, только хардкор! 9:13 - Проблема next-next-next-finish. 9:50 - Идентификатор зоны доступности и его отличие от имени зоны доступности 11:50 - Не используйте AWS Console вообще! (штоа?!?) 12:25 - Infrastructure As Code и экстремалы из Ansible 14:53 - cfn-lint (линтер, который не валидатор) 16:54 - AWS Trusted Advisor - сервис-советчик 17:54 - AWS Config - история изменения ресурсов с проверкой Compliance 18:51 - RDK (Rule Development Kit) для AWS Config Custom Rules 21:15 - Well-Architected Framework 22:08 - Well-Architected Tool 24:20 - Multi-Account Strategy 28:50 - Расчёт оценки решения 30:51 - Эксплуатационные издержки 32:42 - Делайте нормально и спите хорошо! Вопросы: 33:36 - Как вы относитесь к Фаргейту (спойлер - очень положительно) 34:37 - Когда будут реализованы persistent volumes для Фаргейта (спойлер - следующий вопрос) 35:07 - Когда Карен напишет книжку «Стандарты разработки Serverless приложений» (спойлер - в раздумьях) 36:30 - В каких случаях стоит использовать Serverless (спойлер - отталкивайтесь от проблемы) 38:05 - Serverless - это не лямбда, а подход (ответ из зала) 39:17 - Преобразование одного аккаунта с продом в мультиаккаунт схему (без спойлера) 40:32 - Terrafom vs CloudFormation (спойлер - CloudFormation более надёжный) 44:23 - Подводные камни у Route53 (спойлер - не поддерживает DNSSEC) п.с. Удалось дважды попасть в кадр на 10:12 и 24:25.