AWS Notes

Новый Амазон сервис... вообще, да, возможно и сервис, но не AWS: https://www.bloomberg.com/news/articles/2020-12-14/amazon-s-zoox-unveils-robotaxi-for-future-ride-hailing-service 4-х местная самодвижущаяся повозка со встроенным кучером и юсби-зарядкой.

У Google проблемы: https://www.google.com/appsstatus

Утилита для работы в мульти-аккаунтной среде от Netflix: https://github.com/Netflix/consoleme #multi_account_strategy

Итоги второй недели AWS re:Invent 2020 Новые сервисы: • Amazon HealthLake (ML) • Amazon Lookout for Metrics (ML) • Amazon Neptune ML (ML) • Amazon Redshift ML (ML) • Amazon SageMaker Clarify (ML) • Amazon SageMaker Debugger (ML) • Amazon SageMaker Distributed Training (ML) • Amazon SageMaker Edge Manager (ML) • Amazon SageMaker JumpStart (ML) • AWS Audit Manager Новые фичи Amazon Redshift: • Data Sharing • Automatic Table Optimization • JSON and semi-structured data • Простое перемещение между AZ-подзонами • RDS/Aurora MySQL as data sources • Дешёвые RA3.xlplus 4vCPU/32GB + 32TB 💰 • Нативная интеграция с Google Analytics, Facebook Ads и др. Новые фичи по сетям: • Amazon VPC Reachability Analyzer 👍 • AWS Global Accelerator Custom Routing • AWS Transit Gateway Connect (GRE) • AWS Transit Gateway IGMP Multicast • EC2 performance metrics Другое: • Amazon ECR cross-region replication 👍 • EMR на EKS === Обзоры новинок второй недели на Твиче AWSPoRusski: ➡️ Machine Learning (ML) ➡️ Контейнеры и сети #reInvent

Spot Blueprints: https://aws.amazon.com/blogs/compute/introducing-spot-blueprints-a-template-generator-for-frameworks-like-kubernetes-and-apache-spark/ #Spot

​​Обзор re:Invent 2020 — сети и контейнеры Получился очень объёмный и информативный обзор, настоятельно рекомендую посмотреть: https://www.twitch.tv/videos/833386109 Для простоты далее: слева ссылка на время обсуждения фичи на Твиче 🔹 справа ссылка на официальный анонс (плюс комментарии) минута 🔹 фича 03 🔹 Новые performance metrics для EC2 07 🔹 VPC Recheability Analyser 13 🔹 Global Accelerator Custom Routing Ссылка, упомянутая при обсуждении GA — https://speedtest.globalaccelerator.aws Также добавлю по Custom Routing, что наряду с гейм-серверами, второй большой сектор, осчастливленный выходом этой фичи - это VoIP. А в моём понимание, он даже первый. 😀 18 🔹 IGMP мультикаст в Transit Gateway 20 🔹 GRE в Transit Gateway Connect 23 🔹 Публичный ECR и его кросс-регионная репликация Добавлю по репликации ECR, что она может быть двусторонняя (настроив один аккаунт-регион на другой) и, к сожалению, реплицирует весь регион, то есть все репозитории в нём, а не выборочные. ☹️ Также ссылочка на фичреквест по кэшированию ECR - дружно ставим палец вверх: https://github.com/aws/containers-roadmap/issues/939 35 🔹 ECS Anywhere 45 🔹 EKS Anywhere 58 🔹 EKS addons 63 🔹 Слухи-скандалы-сенсации 69 🔹 EMR на EKS #reInvent

AWS посиделки (2) Тема: FSx for Lustre Dive Deep Когда: Понедельник 21 декабря 17:00-18:00 MSK Где: https://chime.aws/1448024238 Meeting ID: 1448 02 4238 Как присоединиться: Download Amazon Chime at https://aws.amazon.com/chime/download

Forwarded from Alexander Patrushev Amazon EMR - отличный севис для запуска приложений для анализа больших объемов данных на таких фреймворках, как Apache Spark, Hive, HBase, Flink, Hudi и Presto. В настоящее время заказчики консолидируют вычислительные ресурсы, используя Kubernetes. Тут должна быть какая то связь!!! Рад представить вам новую статью от AWS RU команды о новой возможности запускать Amazon EMR на Amazon EKS.  https://aws.amazon.com/ru/blogs/rus/new-amazon-emr-on-amazon-elastic-kubernetes-service-eks/

​​Мульти-поточная Лямбда с шестью процессорами — возможность кратно сэкономить: https://www.sentiatechblog.com/aws-re-invent-2020-day-3-optimizing-lambda-cost-with-multi-threading Если переписать приложение/функцию на возможность работы в многопоточном режиме, то увеличив мощность используемых Лямбд и получив на выходе некоторое повышение стоимости, при этом имеем серьёзное увеличение производительности за счёт параллелизации. #Lambda

GRE на AWS: https://docs.aws.amazon.com/vpc/latest/tgw/tgw-connect.html#create-tgw-connect-peer #Transit_Gateway

Amplify + Docker: https://aws.amazon.com/blogs/mobile/zero-effort-container-deployment-for-graphql-and-rest-apis-and-web-hosting-with-amplify-cli/ Теперь в проект можно добавлять свои Dockerfile или docker-compose.yml файлы, которые будут задеплоены с помощью Amplify CLI привычным способом. #Amplify

​​VPC Reachability Analyzer: https://aws.amazon.com/blogs/aws/new-vpc-insights-analyzes-reachability-and-visibility-in-vpcs/ Позволяет проверить доступность между различными элементами в одной или разных VPC. В простом случае – между двумя виртуалками (на картинке). Может быть хорошим инструментом для быстрого поиска причин недоступности — чтобы найти и визуально показать забытые NACL или отвалившийся пиринг. #VPC

🔸"I took a first pass at mapping out how AWS security services all connect to one another and where to categorize them. Given all the cycles, PowerPoint was a poor choice given the minimal edge flexibility." https://twitter.com/0xdabbad00/status/1336494125617541120 #aws

Бесплатные T4g micro инстансы на Graviton 2 продлены на три месяца: December 10, 2020 – Post updated for the extension of the T4g free-trial until March 31, 2021. https://aws.amazon.com/blogs/aws/new-t4g-instances-burstable-performance-powered-by-aws-graviton2/ Бесплатные T4g виртуалки доступны всем — и старым аккаунтам, и новым, в том числе для Free Tier: During the free-trial period, customers who run a t4g.micro instance will automatically get 750 free hours per month deducted from their bill during each month. T4g free-trial will be available in addition to the existing AWS Free-Tier on t2.micro/t3.micro. Customers who have exhausted their t2.micro (or t3.micro, depending on the region) free-tier usage can still benefit from T4g free-trial. Два года назад появился AWS Graviton, год назад AWS Graviton 2, в этом году Apple M1, в будущем обещают Apple M2 с 32 ядрами — пора попробовать и переходить на ARM!

​​Кто пропустил (например, я 😀 ) — сегодняшнее обсуждение нового AWS по части ML на Твиче: https://www.twitch.tv/videos/830984232?t=0h5m47s Полезно и для знающих, и для лишь интересующихся.

EMR на EKS: https://aws.amazon.com/blogs/aws/new-amazon-emr-on-amazon-elastic-kubernetes-service-eks/ #EMR