AWS Notes

Тихая Open Source революция AWS Меньше 24 часов назад от времени написания этого поста вышла первая публичная бета PostgreSQL 16: https://www.postgresql.org/about/news/postgresql-16-beta-1-released-2643/ В то же время RDS PostgreSQL16 уже доступна на AWS и даже есть документация: https://docs.aws.amazon.com/AmazonRDS/latest/PostgreSQLReleaseNotes/postgresql-versions.html#postgresql-versions-version16 Так быстро внедрить новую фичу, да ещё и написать документацию?! Документация точно занимает минимум несколько дней — как же так? Всё просто. Единственное объяснение, если вы эту фичу и разрабатываете. Приглядитесь-полистайте, сколько представителей Amazon Web Services среди главных контрибьютеров PostgreSQL: https://www.postgresql.org/community/contributors/ Теперь, думаю, понятно. AWS много лет (и справедливо) ругали за то, что они используют Open Source продукты лишь получая прибыль и ничего не отдавая взамен. Несколько лет стратегия AWS по отношению к Open Source стала совсем другой. Появились крупные Open Source проекты: OpenSearch, bottlerocket, Firecracker, FreeRTOS, Babelfish for PostgreSQL, EKS Distro. Также стоит отметить серьёзный вклад в разработку Fluentd (в тройке) и даже Kubernetes (в десятке). Однозначно есть куда расти, но ещё пяток лет назад такого вообще не было. В общем, ситуация изменилась и продолжает меняться. И это однозначно радует. 👍 #OpenSource

​​EKS + Kubernetes 1.27 🎉 https://aws.amazon.com/blogs/containers/amazon-eks-now-supports-kubernetes-version-1-27/ Спустя официального релиза 1.27 прошло лишь полтора месяца и теперь на AWS снова актуальная версия. 💪 Сделанный в прошлый раз прогноз на эту версию опять был неточным — ошибся почти на месяц. https://docs.aws.amazon.com/eks/latest/userguide/kubernetes-versions.html#kubernetes-1.27 В результате делать прогноз сложней, т.к. следующая версия ещё не вышла, но поставлю, что 1.28 на AWS появится 22 сентября 2023 года. Интересно отметить, что теперь на AWS доступны для установки сразу 6(!) версий Kubernetes: 1.22 - 1.27. Однако уже совсем скоро ситуация "стабилизируется" — версия EKS 1.22 перестанет поддерживаться 4 июня. #EKS

​​🔢 «Evolutionary Architectures» is a four-part blog series that shows how solution designs and decisions evolve as companies go through the different stages of the startups lifecycle. 1️⃣ «I’ve got this great idea!» — MVP: https://aws.amazon.com/blogs/startups/evolutionary-architectures-series-part-1/ 2️⃣ «I think we may be onto something» — evolving technical solution: https://aws.amazon.com/blogs/startups/evolutionary-architectures-series-part-2/ 3️⃣ «To the moon 🚀» — evolving architecture: https://aws.amazon.com/blogs/startups/evolutionary-architectures-series-part-3/ 4️⃣ «Would you like coffee with that?» — formalizing security and backup posture to meet various compliance standards: https://aws.amazon.com/blogs/startups/evolutionary-architectures-series-part-4/ #design

​​Вдруг вы не заметили в AWS IAM Actions есть Generator: https://www.awsiamactions.io/generator В нём можно не только собрать нужную конструкцию политик в JSON, но и сразу же конвертировать это в Terraform и CloudFormation. #IAM #Terraform #CloudFormation

Продолжаем серию - Whiteboard Architecture. В этом видео мы рассказываем как появились даталейки и как они упрощают анализ данных в больших масштабах, а так же о сервисах AWS для работы с данными в даталейках. https://youtu.be/kkI5i0c4810

​​📢 -40% for CKA, CKAD and other certifications! https://training.linuxfoundation.org/may-spring-2023/ Promo Code: MAYSPRING40 The offer ends on May 23rd, but you can purchase the exam now and schedule it to take at a later date within 1 year. #certification

⚒️ specctl is a tool to convert Kubernetes objects to ECS and vice versa: https://github.com/awslabs/specctl specctl uses Terraform to create all the necessary AWS resources needed to run services and tasks on ECS. ⚠️ Currently, only ECS Fargate is supported. #Kubernetes #EKS #ECS #Fargate #Terraform

Issue #72 | 21 May 2023 ▪️  Braket new trapped-ion quantum computer named Aria from IonQ ▪️  Clean Rooms is now HIPAA eligible ▪️  CloudFront stale-while-revalidate and stale-if-error cache control directives ▪️  Config advanced queries +62 resource types ▪️  Control Tower +28 proactive controls ▪️  Cost Categories Usage Type dimension support ▪️  Data Exchange User Notifications | GA ▪️  DataSync copy data to and from S3 compatible storage on Snow ▪️  Detective investigations for additional AWS services ▪️  Device Farm VPC integration for Private Devices ▪️  Distro for OpenTelemetry advanced sampling ▪️  EC2 C6in + 20 regions ▪️  Elemental MediaTailor query parameter pass through ▪️  Global Accelerator extends TCP termination to IPv6 traffic ▪️  IoT SiteWise formula builder improvements ▪️  Kendra       ▫️  Adobe Experience Manager Cloud Connector       ▫️  Adobe Experience Manager On-Premise Connector       ▫️  Alfresco Enterprise Connector       ▫️  Alfresco PaaS Connector       ▫️  Gmail Connector to enable messaging search ▪️  MQ +4 regions ▪️  Neptune Serverless CloudFormation support ▪️  Omics       ▫️  direct upload to Omics storage and automatic variant data parsing       ▫️  EventBridge integration       ▫️  Graphical Processing Units for workflows       ▫️  pre-built bioinformatic workflows with predictable pricing ▪️  QuickSight Common Sub-expression Elimination for SPICE performance optimization ▪️  RDS M6i and R6i database instances +16 regions ▪️  RDS for Oracle April 2023 Release Update for 19c ▪️  Rekognition eye gaze direction detection in Face APIs ▪️  Systems Manager       ▫️  Distributor  CrowdStrike Falcon Sensor agent       ▫️  Patch Manager now supports Alma Linux       ▫️  Patch Manager now supports Ubuntu 22.04 ▪️  Textract updates its Queries feature within Analyze Document API ▪️  Timestream unloading data to S3 ▪️  WAF rate-based rules to support request headers and composite keys

Выбирай язык осторожно.

​​Когда ты думал, что митинг будет через Zoom. #пятничное

​​📙 AWS IAM Actions: https://www.awsiamactions.io/ Хорошая штука для реализации Principle of Least Privilege, уточнения ARN, осознания непостижимости IAM и просто для медитации. Как-то писал про https://aws.permissions.cloud/ со сходным функционалом, но этот вариант выглядит более удобным. #IAM

​​🎉 Terraform v1.5.0 + декларативный импорт ресурсов: https://github.com/hashicorp/terraform/releases Добавляется блок import, который содержит id и to аргументы. Выполнение terraform plan покажет, что будет импортировано. После импорта блок можно import удалить, но можно и оставить — он просто будет игнорироваться, если указанные айдишники уже есть в стэйте. #Terraform

🧡 9 Things I Love About AWS — Corey Quinn https://www.lastweekinaws.com/blog/9-Things-I-Love-About-AWS/ 1️⃣ Employees take my questions seriously 2️⃣ APIs are considered promises 3️⃣ There are immutable boundaries between regions 4️⃣ Peter DeSantis gives delightful re:Invent talks 5️⃣ The AWS Training & Certification team knows its stuff 6️⃣ Your company’s spend is irrelevant 7️⃣ Products solve a real customer problem 8️⃣ Its deadly serious about security 9️⃣ AWS’s community

В новом выпуске подкаста мы в глубину погрузились в мир данных вместе с нашим гостем @skurmanov (Samat Kurmanov) - AWS Community Builder Во время обсуждения мы проследили историю появления аналитических хранилищ данных, включая эволюцию от классических Data Warehouses до Data Lakes и современных Lakehouses. Samat подробно разъяснил основные особенности каждого из этих подходов, их преимущества и слабые стороны, а также ситуации, в которых они проявляют себя наилучшим образом. Послушать можно тут: #podcast Послушать можно тут: - Apple Podcasts - Google Podcasts - Spotify - PodBean - YandexMusic

​​Cloud Regions: AWS vs Azure vs Google vs Alibaba В конце апреля 2023-го года у Google случился инцидент с его регионом в Париже (europe-west9-a): https://status.cloud.google.com/incidents/dS9ps52MUnxQfyDGPfkY Стоит обратить внимание на сухую строчку: Incident began at 2023-04-25 19:00 and ended at 2023-05-10 15:38 (all times are US/Pacific). Штоа!? Две недели!? Целый регион!? AWS подразумевает под Region нечто устойчивое к самым суровым проблемам, когда это по дефолту 3 AZ, где каждая AZ это один или несколько датацентров, разнесённых географически для исключения одинаковых локальных проблем и с разными источниками питания. В то время как конкуренты трактуют регионы и их более расплывчато. В результате на момент написания поста имеем следующую картинку. AWS — 31 regions: https://aws.amazon.com/about-aws/global-infrastructure/ Azure — 60+ regions, more than any other cloud provider: https://azure.microsoft.com/en-us/explore/global-infrastructure https://datacenters.microsoft.com/globe/explore (крутая анимация, когда такое же было у AWS 😐) Google — 37 regions: https://cloud.google.com/about/locations/ Alibaba — 28 regions: https://www.alibabacloud.com/global-locations Что ж, если будет выбирать человек без знания предмета, то AWS получается совсем не лидер, а так, "один из", после двух фаворитов — Azure и Google. Однако при знании предмета никак не вяжется вышеописанный инцидент (постмортем ещё ждём) в Париже у Google. Ответ прячется в отделе маркетинга, когда регионом можно назвать и наличие лишь одной зоны, либо когда эти зоны располагаются без таких строгих требований, как в AWS. В результате, если покопаться в документации каждого из провайдеров, поставив условие, что регион — это больше, чем 1 зона, то получается совсем другая картина. AWS — 31 Azure — 28: https://learn.microsoft.com/en-us/azure/reliability/availability-zones-service-support#azure-regions-with-availability-zone-support Google — 24: https://www.google.com/about/datacenters/locations/ Alibaba — 22: https://www.alibabacloud.com/help/en/basics-for-beginners/latest/regions-and-zones#section-uzg-00a-mki В результате ситуация с Cloud Regions смотрится по-другому. P.S. Этот инцидент обязательно попадёт во все документы, связанные с учётом рисков работы в облаках и будет хорошей пугалкой для выбивания нужного у многих заинтересованных сторон — от безопасников всех уровней до адептов секты мультиклауда. #AWS_Regions

🚩 Issue #71 | 14 May 2023 ▪️  App Mesh PrivateLink ▪️  Athena Apache Hudi 0.12.2 ▪️  Aurora I/O-Optimized ▪️  Aurora MySQL and PostgreSQL Graviton3 based R7g instance family ▪️  Backup now supports User Notifications ▪️  CloudFront one-click security protections with WAF ▪️  CloudTrail Lake enhances query support for all Presto SQL SELECT functions ▪️  CodeWhisperer extension in JupyterLab and SageMaker Studio ▪️  Connect Contact Lens supervisor alerts on agent performance ▪️  Direct Connect in Atlanta Georgia and Lagos, Nigeria ▪️  EC2 I4g storage-optimized instances ▪️  ElastiCache for Redis enabling Cluster Mode configuration on existing clusters ▪️  EMR Serverless available in China Regions ▪️  Glue Crawler custom JDBC drivers ▪️  Glue large instance types | GA ▪️  IoT Core registry adds additional CloudFormation resource types ▪️  IoT SiteWise       ▫️  auto compute aggregated asset property values 15-min intervals       ▫️  enhances optimized storage in hot path data ▪️  IVS monitor the health of live streams with multiple hosts ▪️  Kinesis Data Firehose OpenSearch Service document ID ▪️  Lambda X-Ray tracing for SnapStart-enabled functions ▪️  Managed Service for Prometheus  +4 regions ▪️  Management Console Private Access | GA ▪️  Marketplace self-service listing feature for single AMI products ▪️  MemoryDB for Redis       ▫️  IAM Authentication       ▫️  Redis 7       ▫️  simplifies creating new clusters in Console ▪️  Network Firewall ingress TLS inspection is now available in all regions ▪️  Open-Source Cedar language for access control ▪️  QuickSight       ▫️  new scatterplot options       ▫️  State Persistence + Bookmarks for embedded dashboards       ▫️  VPC Connections via public APIs with Multi-AZ ▪️  RDS M6g and R6g database instances +4 regions ▪️  Redshift Data Sharing now available in China Regions ▪️  SageMaker       ▫️  Autopilot training ML models with weights, +8 objective metrics       ▫️  Canvas operationalize ML models in production       ▫️  notebooks now support ml.p4d, ml.p4de and ml.inf1 instances       ▫️  Serverless Inference Provisioned Concurrency       ▫️  Studio CodeGuru Security plugin  | Preview ▪️  Service Management Connector provisioning with Terraform ▪️  SNS faster automatic deletion of unconfirmed subscriptions ▪️  Systems Manager optimize compute costs of the applications

AWS Elastic Beanstalk: ▪️Классический дизайн ▪️Манёвренность ▪️Простота — сел и поехал! #Beanstalk #пятничное

​​AWS Console Private Access: https://docs.aws.amazon.com/awsconsolehelpdocs/latest/gsg/console-private-access.html With AWS Console Private Access, you can limit the use of the AWS Console to your trusted accounts from within your VPC and on-premises networks. #AWS_Console

Cedar — будущая замена AWS IAM Возможно у заголовка не хватает вопросительного знака в конце, но я воздержусь. Сегодня зарелизился Cedar policy language: AWS Blog 🔗 https://aws.amazon.com/blogs/opensource/using-open-source-cedar-to-write-and-enforce-custom-authorization-policies/ 🔗 https://www.cedarpolicy.com/ 📚 https://docs.cedarpolicy.com/ Написанный на Rust, легковесный движок для авторизации ваших (любых) приложений. Можно было бы считать очередным-надцатым стандартом, если бы не одно, а точней, целых два НО: https://www.cedarpolicy.com/en/integrations Cedar УЖЕ используется в двух свежевышедших сервисах AWS Verified Access и Amazon Verified Permissions. Так что очень стоит присмотреться и разобраться. Примеры: permit( principal, action == Action::"editPhoto", resource ) when { principal.department == "HardwareEngineering" && principal.jobLevel >= 5 } forbid ( principal, action, resource ) unless { context.authentication.usedMFA }; #Cedar #security

​​🆕 EC2 i4g — storage-optimized Graviton instances: https://aws.amazon.com/blogs/aws/new-storage-optimized-amazon-ec2-i4g-instances-graviton-processors-and-aws-nitro-ssds/ ▪️ Up to 800K random write IOPS ▪️ Up to 1 million random read IOPS ▪️ Up to 5600 MB/second of sequential writes ▪️ Up to 8000 MB/second of sequential reads #EC2