AWS Notes

Kafka 4.0: ➖ ZooKeeper 🪦 ➕ Queues 🔥 https://kafka.apache.org/blog#apache_kafka_400_release_announcement #Kafka

Google + Wiz Что не было куплено год назад за 23 миллиарда $, теперь куплено за 32. https://cloud.google.com/blog/products/identity-security/google-announces-agreement-acquire-wiz Что ж. Се ля курити. #security

MCP-server for Kubernetes: https://github.com/Flux159/mcp-server-kubernetes ▫️ Connect to a Kubernetes cluster ▫️ List all pods ▫️ List all services ▫️ List all deployments ▫️ List all nodes ▫️ Create a pod ▫️ Delete a pod ▫️ Describe a pod ▫️ List all namespaces ▫️ Get logs from a pod for debugging (supports pods deployments jobs and label selectors) ▫️ Support Helm v3 for installing charts ▪️ Install charts with custom values ▪️ Uninstall releases ▪️ Upgrade existing releases ▪️ Support for namespaces ▪️ Support for version specification ▪️ Support for custom repositories #MCP #Kubernetes

Lambda best practices:​ https://aws.amazon.com/blogs/compute/handling-billions-of-invocations-best-practices-from-aws-lambda/ 🔸 Stateless functions: Ensure functions do not maintain state between invocations.​ 🔹 Service over custom code: Utilize AWS services instead of writing custom solutions.​ 🔸 Decouple components: Minimize dependencies between services to enhance scalability.​ 🔹 Idempotent operations: Design functions to handle repeated events safely.​ 🔸 On-demand processing: Process events as they occur, avoiding batch processing.​ 🔹 Use Step Functions: Consider Step Functions for complex workflows.​ 🔸 Multiple AWS accounts: Manage quotas and isolation by using separate accounts. #Lambda

🚀 Join our AWS Workshop: Decoupled Microservices on March 21! 🚀 ☁️ Free of charge ☁️ Online ☁️ English AWS Step Functions is a serverless workflow service that simplifies managing long-running processes and coordinating distributed applications. This workshop explores how Step Functions can implement the Saga design pattern to maintain data consistency across microservices without using Distributed Transaction Coordinators (DTC) or two-phase commits. You'll gain hands-on experience in orchestrating local transactions within a cloud-based architecture. We will provide a dedicated training account for each participant who registers via the Google Form [https://forms.gle/YnaQS8wyjpkMaWby8]. However, you can also use your personal AWS account. ⚠️ IMPORTANT: Please complete the registration form [https://forms.gle/YnaQS8wyjpkMaWby8] by 21:00 UTC+1 on March 20. Find out more details and register via the link below: https://wearecommunity.io/events/workshop-decoupled-microservices

MCP server for Terraform: https://github.com/nwiizo/tfmcp ◽️ Reading Terraform configuration files ◽️ Analyzing Terraform plan outputs ◽️ Applying Terraform configurations ◽️ Managing Terraform state ◽️ Creating and modifying Terraform configurations #MCP #Terraform

MCP сервер для Cost Explorer: https://github.com/aarora79/aws-cost-explorer-mcp-server Даёт доступ Claude к Cost Explorer, что позволяет запрашивать и рисовать все расходы с помощью обычных текстовых запросов. Опционально также есть возможность подключения расходов на Bedrock. По умолчанию работает локально, но можно запустить и в качестве виртуалки на AWS, чтобы использовать роль для доступа. #MCP #cost_optimization

Если ты всё ещё игноришь AI, который настолько туп, что не способен сосчитать даже буквы в слове. Если шутка про vibe coding выше абсолютно не понятна тебе. Если не в курсе про то, что такое MCP сервер и почему это новый API всего AI... Тогда ещё раз глянь на дату окончания твоего контракта и сильно задумайся, продлят ли его. Ибо променяют тебя на тех, кто как раз все эти выше слова не только знает, но использует и пилит сейчас денно и нощно. #AI

Когда осознал, чем теперь занимаюсь большую часть времени.

Когда осознал, чем теперь занимаюсь большую часть времени.

AWS поломал поддержку S3 со всеми сторонними S3-совместимыми инструментами. В январе 2025-го года прилетело такое обновление AWS SDK: https://github.com/aws/aws-sdk-go-v2/blob/release-2025-01-15/service/s3/CHANGELOG.md#v1730-2025-01-15 В нём появились два параметра: AWS_REQUEST_CHECKSUM_CALCULATION AWS_RESPONSE_CHECKSUM_VALIDATION Они как бы должны быть опциональными, но нет. Поэтому, если у вас что-то не собирается, вы повторяете какой-то туториал, где всё красиво, а у вас лезут ошибки, то придётся страдать добавьте в ~/.aws/config переменные: request_checksum_calculation=when_required response_checksum_validation=when_required Либо через экспорт: export AWS_REQUEST_CHECKSUM_CALCULATION=when_required export AWS_RESPONSE_CHECKSUM_CALCULATION=when_required В качестве альтернативы, просто пиньте версию до этого обновления, например, AWS CLI 2.23.0. #S3

Следи за собой, будь осторожен. (звук) #пятничное

#aws #eks #sqs #CostOptimization scaleOnInFlight - Indication of whether or not to include in-flight messages when calculating the number of SQS messages. (default: true, Optional) Благодаря точной настройке мы неслабо экономим: - во время нагрузки мы не скейлим так много реплик - нет большого лишнего скейла реплик - нет и скейла нод кластера AWS EKS - нет скейла нод - платим серьёзно меньше Всего один параметр и в разы снижаем нагрузку и косты. ❕Прежде чем делать подобное, уточните у девелоперов и бизнеса - подойдёт ли это вам и продукту. Не все процессинги можно переключить только на инфлайт режим. Полный пример манифеста(код в телеге неудобно читать). https://gist.github.com/kruchkov-alexandr/e6328137107e49c6a5e7c05c40851680

#aws #eks #sqs #CostOptimization Материал уровня middle. Снова про экономию. У нас есть AWS SQS. В него прилетает миллион вебхуков с полезным и важным payload. Бывают пики, бывают нет. У нас есть AWS EKS и приложение в POD-e, который вычитывает SQS, процессит и всё ок. Нам надо настроить масштабирование не за счёт CPU/memory usage, а за счёт количества сообщений. В этом нам помогает KEDA. Опустим этапы установки/настройки/прав и авторизации. У нас есть готовый манифест scaledobject.

---
apiVersion: keda.sh/v1alpha1
kind: ScaledObject
...
spec:
  cooldownPeriod: 300
  maxReplicaCount: 50
  minReplicaCount: 2
  pollingInterval: 30
  scaleTargetRef:
    name: application
  triggers:
  - authenticationRef:
      name: keda-aws-credentials
    metadata:
      awsRegion: us-east-1
      identityOwner: operator
      queueLength: "500"
      queueURL: https://sqs.us-east-1.amazonaws.com/123456789/sqsname
    type: aws-sqs-queue

Всё работает, всё скейлится, всё ок. В HPA некрасиво выглядят цифры, хочется видеть точное количество мессаджем. Добавляем metricType

---
apiVersion: keda.sh/v1alpha1
kind: ScaledObject
...
spec:
...
    metricType: Value

И теперь в kubectl get hpa blablabla видим точное количество мессаджей в TARGETS(а не системы счисления инопланетян). Этого нам мало, нужна точная подстройка. Читаем дальше доку, у нас есть адвансед настройки.

---
apiVersion: keda.sh/v1alpha1
kind: ScaledObject
...
spec:
  advanced:
    horizontalPodAutoscalerConfig:
      behavior:
        scaleDown:
          policies:
          - periodSeconds: 15
            type: Pods
            value: 1
          stabilizationWindowSeconds: 300
        scaleUp:
          policies:
          - periodSeconds: 15
            type: Pods
            value: 1
          selectPolicy: Max
          stabilizationWindowSeconds: 60
... (остальное так же)

Теперь у нас всё динамически скейлится, прописаны все триггеры, трешхолды. Всё отлично и бизнес ликует(не вру, прям ликует, сильно помогло). Однако меня, как рьяного и верного пса девопс церкви, напрягает, что в период высокой нагрузки всё упирается в максимум реплик. Да, можно поставить не 50, а 100, но я думаю, что настройка неверная. Углубляемся дальше в доку(вру, я ничо не понял и просто спросил ребят-гуру-AWS-технологий в телеге) и вспоминаем про визибл/анвизибл настройки у sqs. https://keda.sh/docs/2.14/scalers/aws-sqs/ https://docs.aws.amazon.com/AWSSimpleQueueService/latest/SQSDeveloperGuide/sqs-visibility-timeout.html Окончательно пилим манифест.

---
apiVersion: keda.sh/v1alpha1
kind: ScaledObject
...
spec:
  advanced:
...(тут тоже самое)
    metadata:
...
      scaleOnInFlight: "false"   << - - вот это вот важное нам
...

Отлично. Теперь самая точная и потрясающая настройка.

ECR to ECR pull through cache Вместо репликации для мульти-аккаунт/мульти-регионов, теперь можно включить кэширование: https://docs.aws.amazon.com/AmazonECR/latest/userguide/pull-through-cache.html То есть первый раз качается образ из другого региона, после используется лишь кэш из текущего. Отличная замена предыдущим костылям на синхронизацию плюс экономия на стоимости (когда приходилось всё дублировать). #ECR #cost_optimization

Долго читал и всё не мог сообразить, зачем Володька сбрил усы TypeScript переписали на Go? https://devblogs.microsoft.com/typescript/typescript-native-port/ TL;DR — VS Code теперь будет работать в 10 раз быстрей. Но только, если вы пилите в нём свои TypeScript проекты. Потому что переписали на Go лишь компилятор для TypeScript. Остальные будут задаваться вопросом — почему бы всё сразу не переписать? Причём сразу на Rust.

Step Functions for local use and testing directly in VSCode: https://aws.amazon.com/blogs/compute/introducing-an-enhanced-local-ide-experience-for-aws-step-functions/ #StepFunctions

Заполонивший всю AI-ленту новостей, очередной китайский хит Manus AI, general AI agent, хороший пример, как можно запилить крутую штуку без собственной модели, с уже имеющимися сервисами и #OpenSource инструментами. Manus AI использует Claude Sonnet 3.7 в качестве LLM, а для просмотра интернет browser-use, который недавно советовал как опенсорсную замену OpenAI Operator. Keep It Simple. #AI

Новости квантокомпьютеростроения кратко — китайский 105-кубитный квантовый компьютер: https://postquantum.com/industry-news/zuchongzhi-3-0-quantum-chip/ Прямой ответ на вышедший в конце 2024 Willow от Google (тоже 105-кубитный): https://blog.google/technology/research/google-willow-quantum-chip/ #PQC

Morning people jan 🤗 Enjoy your morning coffee with this BIG NEWS and get ready to be AWS Certified for 𝐅𝐑𝐄𝐄?! 🎉 Amazon Web Services (AWS) is offering FREE 𝐜𝐞𝐫𝐭𝐢𝐟𝐢𝐜𝐚𝐭𝐢𝐨𝐧 𝐯𝐨𝐮𝐜𝐡𝐞𝐫𝐬 𝐟𝐨𝐫 𝐬𝐞𝐥𝐞𝐜𝐭 𝐞𝐱𝐚𝐦𝐬 𝐟𝐫𝐨𝐦 𝐅𝐞𝐛 𝟐𝟖 𝐭𝐨 𝐀𝐮𝐠 𝟐𝟎𝟐𝟓! 🔹 What’s covered? ✅ 𝐅𝐨𝐮𝐧𝐝𝐚𝐭𝐢𝐨𝐧𝐚𝐥: Cloud Practitioner, AI Practitioner ✅ 𝐀𝐬𝐬𝐨𝐜𝐢𝐚𝐭𝐞: Solutions Architect, SysOps Admin, Developer, Data Engineer, ML Engineer 🔹 How to claim your voucher? Go through all the detailed steps here. 1️⃣ Sign up on AWS Educate & AWS SkillBuilder (use the same email). 2️⃣ Complete the required training in the Emerging Talent Community (ETC) section of AWS Educate. 3️⃣ Finish the Standard Prep Course + Official Question Set for your chosen cert. 4️⃣ Redeem your 100% free exam voucher from the Rewards menu! ⚠️ 𝐈𝐦𝐩𝐨𝐫𝐭𝐚𝐧𝐭: 𝐈𝐭 𝐦𝐚𝐲 𝐭𝐚𝐤𝐞 𝐮𝐩 𝐭𝐨 𝟕𝟐 𝐡𝐨𝐮𝐫𝐬 for the “Emerging Talent Community” to appear in your AWS Educate account console. Once visible, complete the onboarding content for full access. 📌 This is a limited-time opportunity—get started today! for the FAQ and details.