AWS Notes

r8g RDS PG полет прекрасный. r6g>r7g было улучшение, теперь такое же улучшение r7g>r8g

Стыд и скрам:

Within minutes, we found a publicly accessible ClickHouse database linked to DeepSeek, completely open and unauthenticated, exposing sensitive data. It was hosted at oauth2callback.deepseek.com:9000 and dev.deepseek.com:9000.

https://www.wiz.io/blog/wiz-research-uncovers-exposed-deepseek-database-leak #security

Выбор AWS региона в Европе В Stockholm eu-north-1 завезли Graviton 4 C8g инстансы. Как обычно, самые дешёвые в Европе. https://aws.amazon.com/about-aws/whats-new/2025/01/amazon-ec2-c8g-instances-aws-europe-stockholm Теперь в Европе уже целый набор регионов и если у вас проект для EU, то не всегда очевидно, что ж выбрать. Понятно, что если только одна страна и/или требования хранить данные локально, то тут понятно, где нужно, тот и регион. Но если просто EU/UK или вообще Европа? Вот некоторые критерии. Исторически самый первый регион — Ireland. Многие по привычке считают, что это самый дешёвый и что там больше всего разных типов виртуалок. Уже нет. Для старых ещё актуально, для новых нет. Самый дешёвый регион (речь про EC2) — Stockholm. Дешевле самого дорогого Frankfurt eu-central-1 на 10-15%. Однако несмотря на цену, Frankfurt очень важный (особенно по части сети и локальных зон) и, скажем так, "передовой" регион, куда и сервисы завозят быстрее и виртуалки новые. Второй по дешевизне (чуть-чуть дешевле Ireland или столько же) и при этом наличии современных типов виртуалок — Spain eu-south-2. Эти четыре региона — Ireland, Frankfurt, Stockholm, Spain рекомендую рассматривать в первую очередь при прочих равных. #AWS_Regions #EC2 #cost_optimization

DeepSeek — что за шум, простыми словами DeepSeek — китайская компания, выпустившая в конце января Open Source модель DeepSeek-R1: https://github.com/deepseek-ai/DeepSeek-R1 R1 — это "думающая" (reasoning) модель, прямой конкурент OpenAI o1, условно самой крутой на сегодняшний момент. Собственно она и наделала столько шуму, потому что показала очень близкие результаты, где-то даже лучше. При этом она Open Source и резко выбивается из общего ряда способом "размышления" и потрясающей скоростью работы. А также ценой, которая в десятки раз меньше текущих на рынке. При этом месяцем раньше компания выпустила DeepSeek-V3 — прямой конкурент GPT-4o: https://github.com/deepseek-ai/DeepSeek-V3 Она круче его на голову, но все дружно проигнорили это, т.к. Claude 3.5 Sonnet тоже лучше и все давно привыкли, что тут ничего нового. К модели R1 прилагается детальный процесс, как она была получена из которого следует, что стоимость обучения модели на порядок меньше, чем у OpenAI сотоварищи. Как же им это удалось? Если говорить максимально упрощённо, они тупо пропустили самый дорогой и долгий этап проверки результатов работы модели живыми людьми. Берём запрос, генерируем ответ, смотрим, чтобы он был не хуже того, что генерит OpenAI или Claude. Если хуже, переделываем. Всё. Нет людей, машины учатся у машин. Можно сравнить с AlphaGo, которая сначал обучалась на партиях профи, а после тренировалась сама с собой методом проб и ошибок. Ну, а дальше уже подключились политические аспекты противостояния USA-China, что отразилось и на рынке, вызвав резкое снижение акций NVIDIA. Из некоторых сообщений можно было сделать вывод, что какая-то неизвестная компания с минимальными ресурсами уделала лидеров рынка, что приведёт к крушению AI индустрии вообще и NVIDIA в частности. Это не так. Любое удешевление технологии приводит к увеличению спроса на железо, а не уменьшению. Все хотят этим воспользоваться, так что DeepSeek это спонсор NVIDIA, просто в будущем. Касаемо ресурсов, то известно, что материнская компания DeepSeek владеет многими десятками тысяч карт AI ускорителей от NVIDIA, которые при этом запрещено экспортировать в Китай. Подытожу, DeepSeek получил такую вирусность благодаря тому, что это Open Source. Почему такое эффективное решение сделали сделали Open Source, это уже второй вопрос. И время для этого получилось очень удачное — Lllama 4 ещё не вышла и на сейчас R1 на вершине хайпа. R1 прямо сейчас уже есть и в AWS, и в Perplexity Pro. Все спешат его поставить, можно даже поставить и себе локально на компьютер, ведь это Open Source. Open Source is the way! #AI #OpenSource #DeepSeek

DeepSeek-R1-Distill-Llama + Bedrock: https://github.com/aws-samples/amazon-bedrock-samples/blob/main/custom-models/import_models/llama-3/DeepSeek-R1-Distill-Llama-Noteb.ipynb #Bedrock

Самая удивительная особенность, которая обнаружилась после перехода RDS(8.0.mysql_aurora.3.08.0) на Gravitron v2, это способность на высокий утилизации CPU не снижать эффективность/производительность. А я не знаю как это точнее назвать, пусть будет слово эффективность. Давайте к примерам. Когда был db.r5.2xlarge, при CPU usage 85-100% длительностью больше 10-15 минут начиналась небольшая, но деградация работы с базой данных. Из замеченного мной: - небольшое отставание лага у read реплик - timeout со стороны приложения к бд(для новых коннекшнов) - slow query (честно говоря они появлялись примерно после 22-24 минут непрерывного CPU usage 85-100%) - очереди запросов (самое больное по бизнес аппликейшн, почти везде real-time) - binary log писался с небольшим лагом(используется для Debezium+Kafka для реалтайма) Когда переключили на db.r6g.2xlarge при ровно таких же жёстких нагрузках: - регулярные миграции - по расписанию какие-то профилактические работы - онбординг новых очень крупных клиентов (там прям DP-MySQL series в этот момент) - запуск snowflake - запуск retool, база свободно выдерживает 85-100% в течении длительного времени 15-30 минут без снижения эффективности. Никаких диких таймаутов, никаких слоулогов, даже репликация проходит без лагов. Какая-то удивительная магия для меня. Заставляет задуматься и даже скорректировать алёрты на такое поведение. И да, я не знаю причина тому смена c5->r6 или же невероятная магия ARM у Gravitron. * К сожалению графики Grafana, графики и логи у NewRelic в качестве доказательств не могу предоставить: там если замазать, то будет совсем непонятно, а без замазки полный NDA, а потому без картиночек. Trust me, Neo. #AWS #CostOptimization

SwiftChat — референс-проект от AWS для создания AI-чата: https://github.com/aws-samples/swift-chat React + Bedrock, поддержка Ollama, DeepSeek, OpenAI, Nova. #Bedrock

Новый понедельник, новая китайския моделька от DeepSeek — Janus Pro 7B для создания картинок: https://github.com/deepseek-ai/Janus Janus Pro по бенчмаркам вровень или лучше OpenAI DALL-E 3 и Stable Diffusion. Тоже Open Source, так что можно пользоваться: https://huggingface.co/deepseek-ai/Janus-Pro-7B #AI

А давайте будем клепать тулы с одинаковыми названиями, чтобы все страдали? А давайте! Встречайте — Microsoft DocumentDB: https://github.com/microsoft/documentdb Microsoft DocumentDB (не путать с Amazon DocumentDB) — это Open Source NoSQL база данных на базе PostgreSQL, которая используется в Azure под капотом Azure Cosmos DB for MongoDB. В полку конкурентов прибыло и теперь обновлять сравнение MongoDB Atlas vs Amazon DocumentDB: https://www.mongodb.com/lp/cloud/atlas/compare-mongodb-vs-documentdb #DocumentDB #NoSQL #MongoDB #Azure

Open Source replacements for OpenAI Operator: https://github.com/browser-use/browser-use https://github.com/browserbase/open-operator #AI #OpenSource

EKS + Kubernetes 1.32 🎉 Спустя официального релиза 1.32 прошло лишь полтора месяца и теперь на AWS снова актуальная версия. 💪 Сделанный в прошлый раз прогноз на эту версию был весьма точным (ошибка 4 дня). https://docs.aws.amazon.com/eks/latest/userguide/kubernetes-versions.html Версия 1.33 должна официально выйти 23 апреля, так что поставлю, что 1.33 на AWS появится 7 мая 2025 года. На текущий момент на AWS доступны для установки: ▫️ EKS Auto Mode: версии 1.29 - 1.32. ▫️ Custom configuration: версии 1.28 - 1.32. Рекомендации по версиям EKS: ❌ EKS 1.23 и древнее — не поддерживаются. ❎ EKS 1.24-1.28 — поддерживаются за дополнительную плату. ❗️EKS 1.24 — перестанет поддерживаться совсем 31 января (будет принудительно обновлён до 1.25) ❗️EKS 1.25 — перестанет поддерживаться совсем 1 мая (будет принудительно обновлён до 1.26) ⚠️ EKS 1.29 — начнёт взимать дополнительную плату 23 марта. ⚠️ EKS 1.30 — начнёт взимать дополнительную плату 23 июля. ✔️ EKS 1.31 — минимально рекомендуемая на текущий момент (на дефолтной поддержке до 26 ноября). ✅ EKS 1.32 — можно спать спокойно до 23 марта 2026 года. #EKS

OpenTofu 1.9: for_each in the provider block https://opentofu.org/docs/intro/whats-new/#provider-iteration-for_each

variable "regions" {
  description = "A list of regions."
  type        = set(string)
}

provider "aws" {
  alias    = "by_region"
  region   = each.value
  for_each = var.regions
}

module "deploy" {
  source    = "./deploy"
  providers = {
    aws = aws.by_region[each.key]
  }
}

#OpenTofu

При переходе с Amazon Linux 2 на Amazon Linux 2023 стоит учесть, что в AL2023 /tmp по дефолту монтируется как tmpfs, то есть располагается в памяти. А не на диске, как в AL2. Поэтому, если ваши скрипты туда лихо скачивают гигабайты, то рискуете получить сюрприз, особенно для простеньких типов виртуалок, где этой памяти немного. Соответственно, либо меняйте логику скриптов, либо перемонтируйте /tmp: sudo systemctl mask tmp.mount sudo systemctl stop tmp.mount #AmazonLinux

15-летний школьник, вместо того, чтобы учить математику, публикует 0-click уязвимость в CloudFlare/Signal/Discord/Telegram: https://gist.github.com/hackermondev/45a3cdfa52246f1d1201c1e8cdef6117

Картинка к новости о проекте Stargate — 500 миллиардов долларов на строительство датацентров в США для развития AI. Полезно увидеть "а же как сейчас". Инфографика на базе открытых данных: https://cloudscene.com/region/datacenters-in-europe #info

EventBridge + cross-account targets 💪 https://aws.amazon.com/blogs/compute/introducing-cross-account-targets-for-amazon-eventbridge-event-buses/ EDA (Event-Driven Architecture) продолжает цвести и пахнуть — теперь в EventBridge можно отправить любое событие в любой аккаунт, что и ускоряет работу, и убирает костыли. #EventBridge

EventBridge + cross-account targets 💪 https://aws.amazon.com/blogs/compute/introducing-cross-account-targets-for-amazon-eventbridge-event-buses/ EDA (Event-Driven Architecture) продолжает цвести и пахнуть — теперь в EventBridge можно отправить любое событие в любой аккаунт, что и ускоряет работу, и убирает костыли. #EventBridge

RCP (Resource control policies) examples: https://github.com/aws-samples/data-perimeter-policy-examples/tree/main/resource_control_policies ◽ identity_perimeter_rcp – Enforces identity perimeter controls on resources within your Organizations organization. ◽ network_perimeter_rcp – Enforces network perimeter controls on resources within your Organizations organization. ◽ data_perimeter_governance_rcp – Includes controls for protecting data perimeter controls’ dependencies, such as session tags used to control their scope. Note that the RCP policy do not grant any permissions; they only restrict access by explicitly denying specific data access patterns. You still have to grant appropriate permissions with explicit Allow statements in identity-based or resource-based policies. #RCP #security

Прикольно, как быстро меняется технологический ландшафт. Появление AI разрушило (и продолжает) многие бизнесы. Появление Starlink и выход его на проектную мощность грозит проблемами огромным старым сетевым компаниям. https://dl.acm.org/doi/pdf/10.1145/3700412 Интересное исследование от Нетфликс про стриминг их видео через Starlink на основе миллиона пользователей почти сотни стран. В нём про особенности работы алгоритмов доставки видеоконтента. Но что будет дальше? CDN провайдеры наверняка напряглись. #Networking