AWS Notes

Через три часа от этого поста начнётся первый стрим по новостям с re:Invent, где мы в том числе обсудим выступления Peter DeSantis и Matt Garman: https://www.youtube.com/live/nn2la97zS9I Это будет тёплый ламповый стрим, минимум задолбавшего AI, максимум хардкор hardware, которого на удивление было достаточно на re:Invent 2024.

Самые важные изменения в AWS по части сети: 1️⃣ PrivateLink + access VPC resources 2️⃣ PrivateLink + cross-region 3️⃣ Block public access to VPCs and subnets 4️⃣ Share security groups with AWS Organizations 5️⃣ Associate security groups with multiple VPCs 6️⃣ Security Group Referencing on Transit Gateway 7️⃣ ALB + HTTP header modification 8️⃣ AWS Data Transfer Terminals 9️⃣ PrivateLink + UDP + IPv6 Первые два выделены не просто так, ибо это фундаментальные изменения подходов к архитектуре приложений на AWS — теперь снова всё переделывать. 😀 #Network #reInvent

🆕 AWS Data Transfer Terminal — будущая замена Snowball Edge https://aws.amazon.com/blogs/aws/new-physical-aws-data-transfer-terminals-let-you-upload-to-the-cloud-faster/ https://www.youtube.com/watch?v=H2Z-Byu15qA #DataTransferTerminal

— А давайте придумаем новое название для Aurora Serverless v2? — А давайте! 🆕 Aurora DSQL = multi-region Aurora Serverless v2 https://aws.amazon.com/blogs/database/introducing-amazon-aurora-dsql/ #Aurora

🆕 Amazon Q напишет юнит-тесты, документацию (не только для нового, но и для легаси) и сделает code review. #reInvent

🆕 S3 Tables = S3 buckets для аналитики https://aws.amazon.com/blogs/aws/new-amazon-s3-tables-storage-optimized-for-analytics-workloads/ По сравнению с возможностью сделать на S3 buckets всё то же самое, S3 Tables обещает: 🔹 up to 3x faster query performance 🔸 up to 10x more transactions per second И это весьма серьёзное отличие для прожорливых аналитических запросов. А что с ценой? Отличия по самому хранению минимальные — где-то +5% по сравнению с S3 buckets. Если включить сжатие (S3 Tables compaction), то добавится ещё десяток-другой процентов, что вполне адекватно. С ходу S3 Tables имеют интеграцию с Athena, Redshift, EMR, Glue Data Catalog и QuickSight. Итого, нужно брать. С учётом важности работы с данными сейчас, S3 Tables теперь базовый элемент инфраструктуры. Мои очередные сожаления (поздравления) всевозможным курсам — переделывать (и продавать). #S3

First Keynote from re:Invent for confident English "listeners" :) https://youtu.be/vx36tyJ47ps

Интересное из истории AWS и re:Invent от Andy Jassy: https://www.youtube.com/watch?v=moECYs9sH4g #reInvent

CloudWatch + OpenSearch = возможность запрашивать логи из OpenSearch https://aws.amazon.com/blogs/aws/new-amazon-cloudwatch-and-amazon-opensearch-service-launch-an-integrated-analytics-experience/ #CloudWatch #OpenSearch #reInvent

С новыми фичами типа CloudWatch Logs Insights Observability нагрузка на биллинг CloudWatch увеличится ещё больше: https://aws.amazon.com/blogs/aws/container-insights-with-enhanced-observability-now-available-in-amazon-ecs/ #CloudWatch #ECS #reinvent

Количество метрик, обрабатываемых CloudWatch за последние пять лет выросло в 20 раз. С одной стороны, вот, как сложно обрабатывать такую увеличивающуюся нагрузку на CloudWatch. А с другой, на биллинг. 😃 #reInvent

Storage Browser for Amazon S3 https://www.youtube.com/watch?v=UBpX8hCpLAY AWS Blog: https://aws.amazon.com/blogs/aws/connect-users-to-data-through-your-apps-with-storage-browser-for-amazon-s3/ #S3

🆕 AWS Transfer Family web apps https://aws.amazon.com/blogs/aws/announcing-aws-transfer-family-web-apps-for-fully-managed-amazon-s3-file-transfers/ Если вы не смогли поставить себе какой-нибудь Cyberduck для работы с данными в S3, то теперь можно настроить UI доступ к S3 с помощью AWS Transfer Family web apps. За каких-то 360$ в месяц за приложение. #Transfer_Family #S3

☸️ EKS автопилот — EKS Auto Mode со встроенным Karpener-ом, dual stack сетью, поддержкой block storage, GPU и автообновлением нод по безопасности: https://aws.amazon.com/blogs/aws/streamline-kubernetes-cluster-management-with-new-amazon-eks-auto-mode/ К сожалению, это не ECS обновлять EKS кластер на новую версию по-прежнему нужно будет самостоятельно. #EKS

🆕 MemoryDB + Multi-Region https://aws.amazon.com/blogs/aws/amazon-memorydb-multi-region-is-now-generally-available/ 🔹 active-active replication 🔸 microsecond read latency 🔹 single-digit millisecond write latency #MemoryDB

🆕 Amazon EKS Hybrid Nodes https://aws.amazon.com/blogs/aws/use-your-on-premises-infrastructure-in-amazon-eks-clusters-with-amazon-eks-hybrid-nodes/ Теперь можно поднимать ноды EKS у себя в серверной, по-прежнему управляя кластером в консоли AWS. #EKS

🆕 Invoice Configuration — возможность выставлять счета отдельно по аккаунтам: https://aws.amazon.com/blogs/aws-cloud-financial-management/configuring-your-aws-invoices-using-invoice-configuration/ Крайне востребованная фича, когда по любой причине нет возможности поднимать окружение у заказчика, а он хочет просто платить за AWS аккаунт, что крутится в нашей AWS Organization. Теперь это можно будет делать без костылей. #cost_optimization

Databricks на AWS сильно продвинулся, но таки не дотянул до полноценного сервиса: https://aws.amazon.com/about-aws/whats-new/2024/12/streamlined-deployment-experience-databricks-aws/ Кто не в курсе, Databricks — это очень популярная платформа для работы с данными, которая на фоне хайпа вокруг AI взлетела в востребованности до небес. Аналогичные сервисы давно есть на Azure и GCP.

Новые виртуалки на Intel Xeon 5 решили не зачислять в восьмое поколение и сделали 7ie: https://aws.amazon.com/ec2/instance-types/i7ie/ Сильно уж маркетингово, ну, да ладно. И значит в 8i будет зачислен вышедший пару месяцев назад Intel Xeon 6.

Мои прогнозы на re:Invent 2024. Новые EC2 виртуалки: M8a/R8a/etc виртуалки на AMD Zen5 M8i/R8i/etc виртуалки на Intel Xeon 5 Сервисы: 🔸Aurora Limitless MySQL 🔹AI Architect 🔸Databricks on AWS 🔹Amazon GitLab 🔸Amazon Managed OpenTofu Фичи: Временные AWS аккаунты — пора, уже можно, сколько ж можно ждать. #reInvent