AWS Notes

AWS Lambda’s recursive loop detection + S3 🎉

Starting July 8, 2024, recursive invocations that pass through Lambda and S3 where S3 is NOT the event source or trigger to the Lambda function will be detected and terminated after approximately 16 recursive invocations.

#Lambda

Все датацентры AWS нонче на 100% зелёные. ✅ https://www.aboutamazon.com/news/sustainability/amazon-renewable-energy-goal #sustainability

В новом выпуске говорим о миграции баз данных с экспертом из AWS, Dimitriy Kumundzhiev, Senior Database Engineer из Австралии. Обсуждаем: - Типы миграций: гомо/гетеро и сложные/простые - Почему компании выбирают миграцию баз данных - Ассесмент с помощью AWS SCT или Ora2PG - Как выбрать целевую СУБД - Оценка стоимости миграции по времени - Оценка стоимости дальнейшей поддержки и девелопмента - Пример с отправкой email через UTL_HTTP - Гомо миграции в виде lift and shift: On-prem to Cloud/Cloud to Cloud - Использование AWS Fleet Advisor для выбора размера инстанса - Начинаем говорить про AWS DMS - AWS Snowball для больших объемов данных (> 1Pb) - Общая архитектура DMS и его компоненты - Replication Instance (RI) как EC2 машина с кодом на борту - Migration Task как инструкция для RI Продолжение следует! Во второй части мы углубимся в детали AWS DMS и обсудим практические примеры миграций. Присоединяйтесь, чтобы узнать все тонкости миграции баз данных! Как всегда послушать можно тут: - Podbean - ApplePodcast - Yandex Music - Spotify - YouTubePodcast #podcast #AWSpodcast #подкаст

​​Graviton4 R8g instances: https://aws.amazon.com/blogs/aws/aws-graviton4-based-amazon-ec2-r8g-instances-best-price-performance-in-amazon-ec2/ Graviton4 на 10% дороже Graviton3 (которые в свою очередь на 5% дороже Graviton2), но в результате должны получаются эффективней. Интересно, что по ошибке сейчас в прайсе указаны конкретные скорости сети для них, а не upto, как в блоге. Получается, это их базовая скорость. Так что стоит учесть, что "upto 12.5 GBit" для младших виртуалок это всего лишь реальные 0.5 GBit. #EC2 #Graviton

MVP Обычная беда — нужно сделать MVP вчера и без требований. Причём требования появятся примерно никогда. Как же быть? Пока ведь всё на одной виртуалке. Настраивать автоскелинг? Ведь в будущем придут пользователи, а мы не готовы. И по бест практисам ведь рекомендуется. И споты бы хорошо прикрутить, чтобы экономить. Допилим бэкенд для этого за пару месяцев и всё, теперь готовы. Хотя нет, ещё же мониторинг. Графана сейчас лютует. А нормальные люди её ставят только в кубернетес. Так что вместе со спотами ещё сразу переделаем всё под кубер, чтобы два раза не вставать. Максимум плюс полгодика получится. Тесты и безопасность потом сделаем, а то вдруг не взлетит. А, ещё логи. Их ведь нужно собрать. Разрабы сказали, что их будет "хер его знает, но точно много". Спасибо, родные, очень помогло. Короче, нужно сделать с запасом. И чтобы хранились дёшево и вечно, потому что может аудит появится по требованиям. Стоп, ещё же эяй наверняка потребуется. Нонче проект без эяя — деньги на ветер. И кафка. Бэк сказал, что кафка по-любому потребуется, очереди прошлый век. Так, вроде всё продумали, годика за полтора запилим. Но это не точно.

MVP is not a result, it's a process.

#design #MVP

В новом выпуске говорим о миграции баз данных с экспертом из AWS, Dimitriy Kumundzhiev, Senior Database Engineer из Австралии. Обсуждаем: - Типы миграций: гомо/гетеро и сложные/простые - Почему компании выбирают миграцию баз данных - Ассесмент с помощью AWS SCT или Ora2PG - Как выбрать целевую СУБД - Оценка стоимости миграции по времени - Оценка стоимости дальнейшей поддержки и девелопмента - Пример с отправкой email через UTL_HTTP - Гомо миграции в виде lift and shift: On-prem to Cloud/Cloud to Cloud - Использование AWS Fleet Advisor для выбора размера инстансаНачинаем говорить про AWS DMS - AWS Snowball для больших объемов данных (> 1Pb) - Общая архитектура DMS и его компоненты Replication Instance (RI) как EC2 машина с кодом на борту Migration Task как инструкция для RI Продолжение следует! Во второй части мы углубимся в детали AWS DMS и обсудим практические примеры миграций. Присоединяйтесь, чтобы узнать все тонкости миграции баз данных!

Kubernetes_Upgrade_Tracker https://docs.google.com/spreadsheets/d/1ZjraBd4JdLslQnfVd8pvncxotAET-iWVzwgb0fwtaAU/edit?gid=1246489326#gid=1246489326 1. Tasks list with segregated stages: pre-upgrade, upgrade, and post-upgrade. 2. Ability to mark task status for each stage. 3. Node-specific updates for master and worker nodes. 4. Detailed task descriptions with step-by-step instructions and commands. 5. Automatic calculation of completion % based on task statuses. 6. Visual dashboard with a pie chart for completion and bar graph for task progress. File => Make a Copy to start using it. #Kubernetes

Когда-нибудь, надеюсь, скоро, за анимированные диаграммы будут сразу банить. Худший способ привлечения внимания. Казалось, моргающие фонты и бэкграунды закончились двадцать лет назад. И вот опять. Не делайте так, пожалуйста.

⭐️ Issue #131 | 7 July 2024 ▪️ Amazon Q Developer in the Visual Studio IDE | GA ▪️ AMS Accelerate Trusted Remediator ▪️ Application Migration Service Dynatrace post-launch action ▪️ Connect preferentially route contacts to specific agents within a queue ▪️ DataZone fine-grained access control ▪️ Direct Connect native 400 Gbps Dedicated Connections at select locations ▪️ EKS EC2 capacity blocks for ML ▪️ Elastic Fabric Adapter supports cross-subnet communication ▪️ Lambda  new controls to make it easier to search, filter, and aggregate Lambda function logs ▪️ Launch Wizard programmatic deployments through APIs and Cloudformation templates ▪️ MQ RabbitMQ version 3.13 ▪️ OpenSearch Ingestion ingesting data from self-managed sources ▪️ Partner Central Streamlined Migration Acceleration Program (MAP) funding and approval process ▪️ RDS      ▫️ Db2 Private Offers on licensing through AWS Marketplace      ▫️ PostgreSQL PL/Rust crates serde, serde_json, regex, and url ▪️ S3 Access Grants      ▫️ integrate with open source Python frameworks      ▫️ SageMaker Studio

From this point on, the intelligence of LLMs will only continue to improve. Human intelligence will not.

Задумайтесь, смертные!

​​Happy Birthday, Amazon! 🎉 5 июля 1994-го года у себя в гараже Джеф Безос открыл фирму и думал как её назвать. Ему нравилось название Abracadabra, но оно почему-то не понравилось юристам. Те попытались сократить хотя бы до Cadabra, но это не устроило Джефа. После была попытка назвать Relentless, но тоже не прокатило (хотя relentless.com вполне себе работает). В результате выбрали: 1. Чтобы начиналось на А (первая буква в каталогах). 2. Название самой большой реки в мире. 3. Не абракадабра, конечно, но тоже звучит прикольно. С Днём Рождения, Амазон!

Какой чудный пайплайн для деплоя вебсайта на S3: React app => build Docker image => ArgoCD on Kubernetes => Kubernetes to S3 Все модные технологии задействованы, GitOps в полный рост!

В дополнение, секретные регионы AWS: AWS partitions: aws-iso CIA, US aws-iso-b DoD, US aws-iso-e MI6, UK aws-iso-f NSA, US aws-iso-? ASD (Australian Signals Directorate) AWS partitions — это часть, которая в начале ARN:

arn:aws:iam::0123456789012:role/AWSDevOpsRole

Обычно тут aws, но для китайского AWS это будет aws-cn, а для AWS GovCloud — aws-us-gov. Поэтому, если ваши скрипты захардкодили AWS partition, то они не заработают в Китае или в GovCloud. Чтобы сделать нормально, нужно использовать соответствующую переменную: https://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/pseudo-parameter-reference.html#cfn-pseudo-param-partition #AWS_Regions

Не забудь про бэкап. И каску. #пятничное

Полезная ссылочка для вечных дискуссий о "небезопасности облаков". https://www.abc.net.au/news/2024-07-04/amazon-contract-top-secret-australian-military-intelligence/104057196 #security

Упал билд. Что за ерунда, думаю. Должен ведь стоять лежать собраться — ничего ж не менялось. Лезу в логи. Ветка, запустившая билд, выглядит чутка подозрительно:

AI-9671-backend-incorrect-number-of-parameters-in-response-when-executing-GET-workspaces-owner_id-parameters-request-with-Role-query-filter

TIL

The tag must be valid ASCII and can contain lowercase and uppercase letters, digits, underscores, periods, and hyphens. It can't start with a period or hyphen and must be no longer than 128 characters.

Тэг формируется из ветки и, как оказалось, бывают весьма скурпулёзные разработчики. Поэтому их нужно фильтровать (как минимум, тэги).

​​Slack Gateway for Amazon Bedrock: https://github.com/aws-samples/amazon-bedrock-slack-gateway ◽️ in DMs it responds to all messages ◽️ in channels it responds only to @mentions ◽️ aware of conversation context - it tracks the conversation and applies context ◽️ aware of multiple users - when it's tagged in a thread, it knows who said what, and when - so it can contribute in context and accurately summarize the thread when asked. #Bedrock #Slack

Amazon Linux 2023 - Fixed ✅ https://alas.aws.amazon.com/AL2023/ALAS-2024-649.html

AWS + CVE-2024-6387 (RCE vulnerability in OpenSSH) Amazon Linux 2 - Not Affected ✅ Amazon Linux 2023 - Pending Fix ⚠️ https://explore.alas.aws.amazon.com/CVE-2024-6387.html CVE-2024-6387 description: https://www.wiz.io/blog/cve-2024-6387-critical-rce-openssh

Based on what is currently known about this vulnerability, Wiz Research estimates that widespread exploitation is unlikely.

The vulnerability has only been proven as exploitable under lab conditions on 32-bit Linux/glibc systems with ASLR. Exploitation on 64-bit systems has not been proven but is believed to be possible.

#security

​​EC2 T2 виртуалкам 10 лет! 🎉 https://aws.amazon.com/blogs/aws/low-cost-burstable-ec2-instances/ Это было реально крутое событие. Супердёшево по сравнению со всем, что было доступно тогда. T1, которые были тоже в своё время дешёвыми, когда появились в 2010-м году, по сравнению с T2 выглядели уже тогда динозаврами — сильно медленней и сильно дороже (почти в два раза). Начиная с T2 вместо фиктивных ECU (Effective Compute Units) для измерения производительности использовались "честные" vCPU, отражающие реальные ядра процессора, по крайней мере, без попытки пересчитать их по какому-то своему хитрому рейтингу. Памяти у t2.micro был целый (почти) честный гигабайт! Ну, по крайней мере не позорные 0.6 GB как в t1.micro. А скорость — да она просто летала! Intel Xeon E5-2686 v4 под капотом на тот момент был реальным лидером в серверах. Просто так отдавать пользователю AWS такое счастье не захотел и добавил условие — такое счастье можно запускать только в VPC. А тогда, спустя 5 лет после появления VPC, всё ещё большинство нагрузок его не использовали. А зачем, если и так работает? И, вот, появление столь аппетитного процессора дало сильный толчок для миграции в VPC. Сам тогда по сути окончательно мигрировал все нагрузки в VPC, оставив лишь то, что крутилось проде (и что пришлось в 2022-м году принудительно заапдейтить, т.к. кончилась поддержка EC2-Classic, как назывались инстансы без VPC). В общем, T2 — реально самый эпохальный процессора на AWS. И, знаете, ещё почему? А потому что T2 до сих пор "current generation" Processor! Да, да, это не ошибка, его нет в "previous generation" (как минимум, это верно на его десятилетие): https://aws.amazon.com/ec2/previous-generation/ C4/M4, вышедшие в 2015-2016-м, уже отправлены на пенсию, даже A1 из 2018-го уже списали, а T2 всё ещё бодрячком! И по-прежнему в качестве дефолтного во Free Tier. На текущий момент T2 единственный не из Nitro семейства. Понятно, что Nitro ещё не было, а он был. Он последний доступный процессор, умеющий в paravirtual и даже 32 bit! T2 был один из самых популярных, вроде второй по популярности, из всех процессоров в 2020-м году. Так что, скорей всего, такая популярность и не даёт простой возможности отправить его, не Nitro-based на покой. В общем, классный процессор T2. И не пишу "был". Много связано с ним хороших воспоминаний. И наверняка у вас до сих пор крутится что-то на T2, верно? И не только в проде, да? А если найду? 😁 #EC2