AWS Notes

Когда нужно в каком-то аккаунте почистить орды кем-то наделанных EBS снэпшотов и AMI-образов, то вручную кликать можно устать. Для автоматизации процесса подойдёт простая утилитка: https://github.com/bonclay7/aws-amicleaner #EBS #AMI

Cегодня истекли (уже) сертификаты rds-ca-2015, так надоевшие постоянными предупреждениями и просьбами, переходящими в требования, их обновить. Так что, если к вам прилетел алерт с забытого окружения - имейте это в виду. #RDS

⁠Показательная статистика по объёму документации к IAM. Учите лучше сейчас — завтра будет ещё сложней! #IAM

Жертва коронавируса — AWS Summit Sydney отменён After a careful review of the current situation with COVID-19 and listening to the guidance provided by the local authorities, Amazon Web Services regrets to announce that we have made the decision to cancel the AWS Summit Sydney and Amazon Innovation Day 2020, which was scheduled for 31 March - 2 April 2020 at the International Convention Centre, Sydney. Полезный комментарий из твиттера к происшедшему: When Coronavirus really hits the tech industry will we switch to UDP to avoid handshakes? #AWSSummit

⁠Логин в AWS Console сменил дизайн (на человеческий) Теперь, наконец, проще понять самому и объяснить другим - как попасть в консоль через юзера или рута (см. картинку). #AWS_Console

GKE = EKS Kubernetes мастер-ноды на GCP перестают быть бесплатными. Starting June 6, 2020, GKE clusters will accrue a management fee of $0.10 per cluster per hour, irrespective of cluster size or topology. One zonal cluster per billing account is free. GKE cluster management fees do not apply to Anthos GKE clusters. Причём цена у Google теперь точно равна варианту от Amazon. Совпадение? Не думаю! #EKS #pricing

⁠NoSQL Workbench for Amazon DynamoDB: https://docs.aws.amazon.com/amazondynamodb/latest/developerguide/workbench.html Клиентское приложение для разработчиков, чтобы работать с DynamoDB. Есть версия под MacOS и Windows (линуксоиды в пролёте :/ ). Описание функционала NoSQL Workbench (ещё когда оно было в Preview): https://aws.amazon.com/blogs/aws/nosql-workbench-for-amazon-dynamodb-available-in-preview/ #DynamoDB

AWS Secrets Manager + 64KB В секреты теперь можно писать до 64КБ: https://aws.amazon.com/about-aws/whats-new/2020/03/aws-secrets-manager-now-supports-larger-size-for-secrets-and-higher-request-rate-for-getsecretvalue-api/ Приятно, когда Амазон реагирует на чаянья простых пользователей. В общем, спасибо, мне 64КБ достаточно, больше не надо, так что все лишние резервы — срочно перекидывайте в команду CloudFormation! #Secrets

⁠Если вы тренируете свою сетку распознавать котиков или у вас есть другие проекты, относящиеся к AI/ML, то тут можно получить от AWS до 10000$ (десять тысяч долларов прописью) на ваши эксперименты: https://pages.awscloud.com/GLOBAL-other-LN-accelerated-computing-free-trial-2020-interest.html #раздача #слонов

Повторяющиеся записи в эвентах ECS-тасок типа: ...

[2020-03-02 11:56:03 +0300] (service ***) has reached a steady state.
[2020-03-02 17:56:06 +0300] (service ***) has reached a steady state.
[2020-03-02 23:56:44 +0300] (service ***) has reached a steady state.
[2020-03-03 05:56:47 +0300] (service ***) has reached a steady state.

... Обозначают, что всё хорошо, никто ничего не делал (не умирал и не масштабировался), можно ещё 6 часов (они периодические) спать спокойно. #ECS

⁠Serverless пример работы с AWS Textract: https://github.com/aeksco/aws-pdf-textract-pipeline Одна лямбда собирает урлы с pdf-файлами, сохраняя в DynamoDB. Другая их скачивает в S3 бакет. Третья отправляет их в Textract, а четвёртая получает из него результаты и сохраняет результаты в DynamoDB. #Textract #serverless #demo #пример

⁠AWS Simple Iconification Service Простенькое расширение, добавляющее иконку на вкладки AWS Console (см. картинку). Просто и со вкусом, когда вкладок много — хоть как-то можно ориентироваться. Chrome: https://chrome.google.com/webstore/detail/aws-simple-iconification/edagjlhogddnlkbkllibfhbekpcdppbk Firefox: https://addons.mozilla.org/en-GB/firefox/addon/simple-iconification-service/ Исходники: https://github.com/leepa/aws-simple-iconification-service #AWS_Console

Как посчитать файлы в S3 бакете Можно несколькими способами: • Использовать команду list_objects_v2 для AWS CLI (или boto3) https://docs.aws.amazon.com/cli/latest/reference/s3api/list-objects-v2.html Но нужно учесть, что придётся перебирать все страницы выдачи по 1000 шт, пока не дойдёте до конца. • Использовать Amazon S3 CloudWatch Daily Storage Metrics for Buckets https://docs.aws.amazon.com/AmazonS3/latest/dev/cloudwatch-monitoring.html#s3-cloudwatch-metrics Но нужно учесть, что это значение обновляется раз в день. • Использовать Amazon S3 Inventory https://docs.aws.amazon.com/AmazonS3/latest/dev/storage-inventory.html Можно запускать по расписанию, в отличие от других способов — стоит небольшую копеечку. #s3

Почему стоит (нужно, требуется) использовать IPv6 Хотел было написать про IPv6 и тут как раз вышла отличная статья на Хабре: https://habr.com/ru/post/490378/ Проведённый же тут опрос показал, что 85% не используют и не собираются использовать IPv6, 10% собираются и лишь 5% уже используют. В продолжение к статье выше — информация к размышлению для 85% аудитории этого канала. --- → LinkedIn рассказал ещё в 2018-м году, что у них больше половины трафика юзеров из США приходит по IPv6: https://engineering.linkedin.com/blog/2018/06/celebrating-ipv6-launch-day → На сегодняшний день у Facebook около 60% штатовских юзеров на IPv6, сколько в вашей стране можно глянуть здесь: https://www.facebook.com/ipv6/?tab=ipv6_country → В Германии около половины трафика Google на IPv6: https://www.google.com/intl/en/ipv6/statistics.html#tab=per-country-ipv6-adoption&tab=per-country-ipv6-adoption → IPv6 банально быстрей уже лишь только из-за отсутствия NAT. Казалось бы какие-то десятки миллисекунд, однако Амазон говорит, что каждые 100мс стоят 1% выручки в Sales сегменте: https://www.gigaspaces.com/blog/amazon-found-every-100ms-of-latency-cost-them-1-in-sales/ → Переходя от агитации к AWS. Базовые инфраструктурные сервисы, такие как EC2, S3, CloudFront, ALB и VPC — давно поддерживают IPv6. (NLB пока нет — фу, какой ужас — но обещают). В частности, как перейти на IPv6 в VPC из документации: https://docs.aws.amazon.com/vpc/latest/userguide/vpc-migrate-ipv6.html → И туториал - как создать сайт на S3+CloudFront с поддержкой IPv6: https://blogs.infoblox.com/ipv6-coe/configuring-an-ipv6-website-in-aws/ === Итого, проектируя новый проект - обязательно берите во внимание IPv6 или проиграете (придётся до/переделывать), дуалстэк (поддержка IPv4+IPv6) на текущий момент показан чуть меньше, чем для всего. Существующим проектам, особенно штатовским и мобильным - продумайте внедрение IPv6, т.к. это уже местами более половины трафика. Нужно учитывать, что по умолчанию, все IPv6 адреса публичные и инстансы с ними могут разговаривать друг с другом. Это даёт возможность избежать использования NAT, который автоматом отрабатывает для всех IPv4 систем. С другой стороны, для того, чтобы сделать свои IPv6 подсетки приватными — используйте Egress-Only Internet Gateway: https://docs.aws.amazon.com/vpc/latest/userguide/egress-only-internet-gateway.html#IPv6 Если у вас есть что-то своё о плюсах и минусах IPv6 на AWS — спрашивайте и высказывайте в чате. #IPv6

⁠AWS February 2020 Кто пропустил, краткий список основного за февраль на AWS. Вышла AWS CLI v2 В Well-Architected tool добавили раздел для Severless StackSets умеет автодеплой для всех аккаунтов в организации EBS Volumes + Multi-Attach — EBS диски типа io1 можно монтировать сразу к нескольким инстансам одновременно Масштабирование AutoScaling Group можно временно выключать Скидки Savings Plans теперь распространяются также на Лямбды Халявное ускорение на треть у EBS-дисков для T3/T3a/C5/M5/R5 инстансов И по мелочи: Active Directory для RDS SQL теперь раобтает в мульти-аккаунтах и мульти-VPC В CodeBuild можно монтировать EFS Бэкап DynamoDB можно сразу восстанавливать в таблицу в другом регионе Зарелизился VPC CNI Version 1.6 для EKS Amazon Rekognition умеет разгадывать текст в видео AWS Chatbot умеет выводить CloudWatch (метрики, алярмы и логи) ECS научился парсить JSON из Secrets и можно указывать их (секретов) версию (а не только последний, как раньше) #месячное

⁠Тесла плохого не посоветует. #best_practices

Amazon FSx теперь работает в Shared VPC: https://aws.amazon.com/about-aws/whats-new/2020/02/amazon-fsx-enables-create-use-file-systems-shared-amazon-virtual-private-clouds/ В ECR завезли метрики: https://docs.aws.amazon.com/AmazonECR/latest/userguide/monitoring-usage.html В Config добавится большое количество ресурсов: https://www.diffchecker.com/qnK0l5aY А через CloudFormation теперь можно автоматически поднять свой GroundStation: https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/AWS_GroundStation.html #updates

⁠Важная картинка для понимания логики работы IAM. https://docs.aws.amazon.com/IAM/latest/UserGuide/reference_policies_evaluation-logic.html Стоит к ней всегда обращаться, особенно если возникают вопросы взаимодействия Resource-based политик и Identity-based. #IAM

Кто из Минска и кому нечего делать в пятницу вечером, у меня для вас соболезнования и предложение. Есть тёплый уютный ламповый чатик AWS Friday Minsk, где мы обычно обсуждаем всякое около-авс-ное и не только (от вопросов по AWS сертификации до проблем образования вообще), а главное — где собраться в пятницу в оффлайне и поговорить по AWS живьём.

⁠NLB + sticky sessions Теперь и NLB обзавёлся поддержкой Sticky Sessions: https://docs.aws.amazon.com/elasticloadbalancing/latest/network/load-balancer-target-groups.html#sticky-sessions Очень интересно отметить, что новая фича доступна лишь в европейских датацентрах Ирландии, Франции (Paris) и Швеции (Stockholm). Так что не обнаружив NLB Sticky Sessions в как бы дефолтной N.Virginia (us-east-1) — не удивляйтесь, там её нет, европейское подразделение AWS рулит. :) Кстати, на официальной странице возможностей балансеров у NLB ещё нет галочки (см. картинку), но вскоре поставят. #NLB