AWS Notes

Сколько настройщиков FreeBSD поместится в автобус Бэтмена? #пятничное

Сколько настройщиков FreeBSD поместится в автобус Бэтмена? #пятничное

Девопса уволят в любом случае: — Когда он смог всё автоматизировать. — Если он не смог всё автоматизировать.

Лучший AWS VPC Terraform модуль для SRE https://www.youtube.com/watch?v=DFeItULOeHc Обсудили с Виктором его AWS VPC Terraform модуль: https://github.com/ViktorUJ/terraform-aws-vpc Хотите узнать, почему (не) надо писать собственный AWS VPC Terraform модуль — смотрите видео. Комментарии, критика, а также подписка на канал и пулреквесты в репозитории Виктора — категорически приветствуются. #Terraform #VPC #video

Бишкек, сегодня, не пропустите!

Вы жаловались, что AWS изучить невозможно, потому что сервисов очень много и их количество постоянно растёт. Вас услышали. Ещё минус один.

Грамотный инженер знает все best practices и когда их нужно применять. Хороший инженер знает все best practices и когда их не нужно применять.

Storage Browser for S3 Шёл 2024-й год. Не прошло и 20 лет спустя появления Amazon S3, как уже можно прямо в браузере ходить по S3! https://github.com/aws-amplify/amplify-ui/issues/5731 Правда пока альфа-версия, но, глядишь, к юбилею успеют. Хотя, вроде были варианты. Например, S3Fox: https://aws.amazon.com/blogs/aws/s3fox_organizer/ Странно, в чём же прикол? Почему AWS потребовалось два десятка лет, чтобы придумать внешне обычный S3 просмотрщик? Ох. Всё непросто. Дело в том, что у нас теперь новый, правильный S3. Точней, доступ к нему. Вы и не заметили, но это перепридуманный доступ к S3. Причём дважды. AWS разработчикам пришлось всё переделать и при этом чтобы ничего не изменилось для старого и просто древнего кода. А что ж так, зачем? Всё просто, две волшебные буквы — AI. В данном случае данные в виде Data Lake. Нужно иметь возможность задавать доступ к огромному количеству источников данных, где старый-привычный подход на базе IAM Roles и S3 Bucket policy не годится из-за ограничений и тупо неудобности. Так были придуманы S3 Access Grants, которые были анонсированы на re:Invent 2023. https://docs.aws.amazon.com/AmazonS3/latest/userguide/access-grants.html Реально полезное видео с этого реинвента: https://www.youtube.com/watch?v=Ts-ZMBzGeh0 И AWS Blogs: Часть 1 https://aws.amazon.com/blogs/storage/how-to-develop-a-user-facing-data-application-with-iam-identity-center-and-s3-access-grants/ Часть 2 https://aws.amazon.com/blogs/storage/how-to-develop-a-user-facing-data-application-with-iam-identity-center-and-s3-access-grants-part-2/ Кратко смысл следующий. Мы создаём S3 грант в аккаунте, с помощью которого юзер сможет получить доступ к S3 бакету или его префиксу. Юзер через условную Okta или MS Entra ID получает доступ с этим грантом через IAM Identity Center. В результате доступом к своим данным, разбросанным по аккаунтам и бакетам централизованно и при желании — извне Амазона. Итого, что было раньше. Раньше были S3 ACL. Потом S3 Bucket Policy. Затем плюс IAM к ним. После S3 Access Points. И, на радость всем разработчикам AWS курсов, S3 Access Grants. Важно отметить, что S3 Access Grants — нонче рекомендуемый способ предоставления доступа к данным в S3. Перевожу на понятный — все остальные "нерекомендованные". 😁 Причём тут Storage Browser for S3 вообще? Да, собственно, вернёмся к теме. Так вот, с этими грантами вышла следующая беда. Нарезать то их можно, а вот "огласить полный список" для юзера — сразу по всем бакетам и префиксам было нельзя. Короче, та же беда, как нельзя ограничить листинг бакетов в аккаунте, чтобы не показывались те, к которым пользователь не имеет доступа. Помните эту вечную болячку и постоянный вопрос "как сделать листинг только тех бакетов, которые нужно" — никак, листинг s3:ListAllMyBuckets требует звёздочку в ресурсах. И вот, наконец, ему на замену есть s3:ListCallerAccessGrants, который был нужен, чтобы реализовать Storage Browser for S3 — нам же нужно вывести всё, доступное пользователю. https://docs.aws.amazon.com/AmazonS3/latest/API/API_control_ListCallerAccessGrants.html Итого, с помощью s3:ListCallerAccessGrants можно получить полный список доступных S3 бакетов и доступных только этому юзеру, где он не увидит имени сразу всех S3 бакетов в аккаунте. Это победа! P.S. Жаль нет больше в AWS Василия Пантюхина. И эти титанические усилия на стороне AWS остаются не раскрытыми. А тут такая драма, нет, остросюжетный детектив, сериал, что угодно, а видно почти никому. Полезешь копаться, а там и пасхалки, и респауны, и шкафы со скелетами на каждом уровне. #S3

Всем привет! 23 сентября в RS School стартует новый бесплатный курс по основам DevOps на базе AWS, созданный сотрудниками EPAM и волонтерами RS School. Планируется, что несколько лучших выпускников курса смогут получить возможность трудоустройства в EPAM на позицию Junior System Engineer. В рамках подготовки к запуску курса сегодня пройдет YouTube-стрим на тему: "Кто такой DevOps-инженер и какие типичные задачи он решает". Ссылка на стрим: https://www.youtube.com/watch?v=tXyTXCoyZgo Регистрация на сам курс: https://wearecommunity.io/events/aws-devops-course Если вашим знакомым может быть интересна эта возможность, буду признателен за шаринг!

💬 "Hello, you have a special message." Sender: Denis Astahov, Canada 🇨🇦 Receiver: AWS User Group, Armenia 🇦🇲 🎉 Denis will be joining us at AWS Community Day Armenia 2024! 📅 Date: September 14, 2024 📍 Venue: American University of Armenia, Yerevan 🔗 Tickets 🫶 Donations Onward and upward, AWS UG Armenia team! 💌

🆕 AWS WAF + 10 запросов в минуту https://docs.aws.amazon.com/waf/latest/developerguide/waf-rule-statement-type-rate-based-high-level-settings.html Если у вас нежный бэкенд, который падает уже от нескольких параллельных запросов, то ставьте десяточку в Rate limit с минутой в Evaluation window. WAF отработает не сразу после десятого запроса, а с небольшой задержкой в 15-20 секунд (но сработает). И бэкенд не упадёт. Но это не точно. #WAF

Alexa + Claude https://www.reuters.com/technology/artificial-intelligence/amazon-turns-anthropics-claude-alexa-ai-revamp-2024-08-30/ Amazon plans to charge $5 to $10 a month for its new "Remarkable" version of Alexa as it will use powerful generative AI to answer complex queries, while still offering the "Classic" voice assistant for free. #Alexa

Процесс пошёл (обратно). https://www.elastic.co/blog/elasticsearch-is-open-source-again 3 года с копейками назад Elasticsearch возглавил волну перехода из чистого Open Source на закрытые типы лицензий. В результате появился Opensearch и на него переключились многие проекты, и совсем не только для AWS, например, есть OCI Search или Alibaba Cloud Opensearch. И вот теперь он же может возглавить волну "возвращенцев". Не очевидно, чем это закончится, т.к. вряд ли можно ожидать простого объединения проектов, которые успели достаточно серьёзно разойтись за эти годы. В любом случае это отличный подарок на день рождения OpenTofu, которому 25-го августа исполнился год. #open_source

Karpenter Blueprints for Amazon EKS https://github.com/aws-samples/karpenter-blueprints - High-Availability: Spread Pods across AZs & Nodes - Split Between On-Demand & Spot Instances - Prioritize Savings Plans and/or Reserved Instances - Working with Graviton Instances - Overprovision capacity in advanced to increase responsiveness - Using multiple EBS volumes - Working with Stateful Workloads using EBS - Update Nodes using Drift - Launching nodes using custom AMIs - Customizing nodes with your own User Data automation - Protecting batch jobs during the consolidation process - NodePool Disruption Budgets #Karpenter

⭐️ Issue #138 | 25 August 2024 ▪️ Amplify multiple bucket support for Storage ▪️ Bedrock      ▫️ select FMs for batch inference at 50% of on-demand inference price      ▫️ Knowledge Bases supports Claude 3.5 Sonnet ▪️ CloudFormation resource discovery and template review in the IaC Generator ▪️ CloudHSM new hsm2m.medium instance type ▪️ CodeBuild Mac builds ▪️ Connect      ▫️ new ways to configure callbacks      ▫️ an audit trail for changes to an agent performance evaluation ▪️ Direct Connect Announces new location and expansion in Kuala Lumpur, Malaysia ▪️ DocumentDB      ▫️ Global Clusters introduces Switchover      ▫️ Global Clusters introduces Failover ▪️ EMR prioritized and capacity-optimized-prioritized allocation strategies for EC2 instances ▪️ EventBridge Scheduler provides higher default service quotas ▪️ IAM Supports PrivateLink in all commercial Regions ▪️ Lambda      ▫️ Supports function-level configuration for recursive loop detection      ▫️ Supports encryption of filter criteria for event source mappings ▪️ Lightsail Introduces browser-based SSH/RDP support for IPv6-only instances bundles ▪️ Q Provides more details about user subscriptions and associated resources ▪️ Route 53 Resolver Endpoints available in the Asia Pacific (Malaysia) Region ▪️ S3      ▫️ No longer charges for several HTTP error codes      ▫️ Supports conditional writes      ▫️ Adds additional context to HTTP 403 Access Denied error messages ▪️ SageMaker      ▫️ Pipelines provides a drag-and-drop UI to easily create ML workflows      ▫️ Canvas supports data flows import, and faster data prep for ML

Gartner® Magic Quadrant™ for AI Code Assistants

Новый AWS Region — Малайзия: 🎉 https://aws.amazon.com/blogs/aws/now-open-aws-asia-pacific-malaysia-region/ Идентификатор ap-southeast-5, имеет 3 AZ. ✅ Итого на теперь всего — 34 региона. #AWS_Regions

​​CodeBuild + macOS https://aws.amazon.com/blogs/aws/add-macos-to-your-continuous-integration-pipelines-with-aws-codebuild/ ▫️ Apple M2 ▫️ macOS 14 Sonoma ⚠️ $0.02 per minute but 24h minimum (28.8$+) 😐 #CodeBuild