Updates rtfm.co.ua 🇺🇦

Arduino: перше знайомство та мій Arduino Starter Kit Бути девопсом – то, звичайно круто – всі ці клауди, Терраформи, сесуріті і прочі дуже цікаві штуки. Але я давно хотів спробувати і щось більш “реальне”, щось таке, щоб можна було потримати в руках, і цими ж руками зібрати. В минулому році, коли думав про чергову підготовку до зими (див. Підготовка до зими 2023-2024: електрохарчування),… https://rtfm.co.ua/arduino-pershe-znajomstvo-ta-mij-arduino-starter-kit/

Karpenter: моніторинг та Grafana dashboard для Kubernetes WorkerNodes Маємо AWS EKS з Karpenter, який займається автоскелінгом EC2 – див. AWS: знайомство з Karpenter для автоскейлінгу в EKS, та встановлення з Helm-чарту. В цілому проблем з ним поки не маємо, але в будь-якому разі потрібен його моніторинг, для чого Karpeneter “з коробки” надає метрики, які можемо використати в Grafana та Prometheus/VictoriaMetrics алертах. Тож що… https://rtfm.co.ua/karpenter-monitoring-ta-grafana-dashboard-dlya-kubernetes-workernodes/

Не пробував, бо слава богу Ажура вже давно нема, але комусь може бути корисним: https://github.com/Azure/karpenter

AWS: EKS Pod Identities – заміна IRSA? Спрощуємо менеджмент IAM доступів Ще з дуже цікавих новинок останнього re:Invent – це EKS Pod Identities: нова можливість керувати доступами подів до ресурсів AWS. Contents - The current state: IAM Roles for Service Accounts - The f(ea)uture state: EKS Pod Identities ◦ Створення IAM Role ◦ Amazon EKS Pod Identity Agent add-on ◦ Підключення IAM Role до ServiceAccount ◦… https://rtfm.co.ua/aws-eks-pod-identities-zamina-irsa-sproshhuyemo-menedzhment-iam-dostupiv/

https://www.youtube.com/watch?v=8qdvynaWDgQ Please join the party on December 14th and let us know if you have any ideas/suggestions for the agenda and party plans. Preliminary agenda: Intro & Warm Up What's new in VictoriaMetrics - Roman Khavronenko - - Managed VictoriaMetrics - Ivan Yatskevich - - Anomaly Detection - Daria Karavaieva / Fred Navruzov Vicky Community Update Our Vicky Story - - Egor Pronin (WEDOS) - - Andrey Tyulenev (Deutsche Bank) - - Carsten Aulbert (Max Planck Institute for Gravitational Physics, Albert Einstein Institute) - - Haley Wang: From Vicky contributor to Vicky team member Community News - Denys Holius -- Latest VictoriaMetrics News - Jean-Jérôme Schmidt-Soisson Party Time: Celebrating 5 Years of VictoriaMetrics BYOD (Bring Your Own Drink) for a toast BYO Cake with 5 candles AMA session

AWS: CloudWatch – Multi source query: збираємо метрики із зовнішнього Prometheus Ще один цікавий анонс з останнього re:Invent – це те, що в CloudWatch додали можливість збирати метрики із зовнішніх ресурсів (див. дуже цікавий доклад AWS re:Invent 2023 – Cloud operations for today, tomorrow, and beyond (COP227)). Тобто тепер ми можемо створювати графіки та/або алерти не тільки з дефолтних метрик самого CloudWatch – але й за… https://rtfm.co.ua/aws-cloudwatch-multi-source-query-zbirayemo-metriki-iz-zovnishnogo-prometheus/

Вже 12 грудня, запрошуємо на наш новий івент AWS Notes. Chapter 1. IoT від AWS User Group Ukraine ком’юніті. AWS Notes — це серія віртуальних конференцій, де кожен Chapter — окремий розділ клауду AWS, зібраний зі спеціальних доповідей Notes 📝 Що на вас чекає? 🔸 1 день віртуальної конференції 🔸 5 Tech Notes, де спікери розкажуть про вплив IoT на різні галузі та з якими викликами стикаються розробники при створенні проєктів на основі IoT. 🔸 2 короткі, але наповнені інсайтами Snap Notes, де спікери поділяться своїми інноваційними IoT-проєктами. 🔸 та понад 600 фанів AWS, зібраних разом Свої теми вже готують Віталій Павлюк з Mathem, Денис Доронін з Yalantis, Олексій Іванченко та Konstantinos Kourmousis з AWS, Іван Коваленко з Global Logic та Sixing Huang з Gemini Data Inc. Коли: 12 грудня Де: онлайн Реєструйтеся вже зараз👈 Та слідкуйте за оновленнями, найцікавіше попереду!

AWS: Amazon Q – знайомство, можливості та перші враження В цікаві часи живемо. Отже, поговоримо про дуже гучний запуск Amazon Q – нової системи від AWS, яка має допомогти нам, інженерам і не тільки, в роботі. Сам Amazon його називає “AI-powered assistant”, по факту для нас, як інженерів, це просто chatbot, з яким ми можемо поговорити, щоб отримати допомогу у розв’язанні якихось проблем або… https://rtfm.co.ua/aws-amazon-q-znajomstvo-mozhlivosti-ta-pershi-vrazhennya/

Запрошуємо на першу частину нашого AWS re:Invent Recap українською мовою! Не партнерський матеріал, просто сподобалось)

Остання єТЕМА від SQUAD у цьому році, і вона обіцяє бути потужною — DevOps & ML Edition Kubeflow + DevOps != a land of unicorns and ponies 07.12.2023 | 19:00-20:30 | online Подія для DevOps та MLOps інженерів всіх рівнів, де спікери розкажуть про KubeFlow та нюанси застосування цієї платформи у реальних проєктах. Участь безоплатна. Будемо говорити про: – архітектуру та компоненти Kubeflow через призму DevOps – переваги та недоліки різних опцій деплойменту – нюанси використання Kubeflow на AWS – чи відповідає дійсності те, як описують Kubeflow у рекламних буклетах (spoiler: не зовсім) Деталі та реєстрація — https://bit.ly/46wfAsr

https://aws.amazon.com/about-aws/whats-new/2023/11/amazon-eks-pod-identity/ Опа. Звучить прям дуже цікаво. Заміна IRSA? Треба спробувати.

Чи існує трушний паралелізм у Python? Який фреймворк швидший: Django та FastAP? Чи є майбутнє у GIL та які його переваги? Запрошуємо на Levi9 Python Meetup, щоб детальніше розібратися у цих темах! Коли: 7 грудня Де: онлайн Участь безкоштовна Під час онлайн-трансляції ми також відкриємо збір донатів для фонду “Повернись живим” 💙💛 Команда Levi9 поділиться своїм досвідом та інсайтами про: - оптимальний підбір інструментів (asyncio, multithreading та multiprocessing), use cases та скрапінг - Django та FastAPI: протестуємо та порівняємо, який з них кращий/швидший - міфи, які оточують GIL, а також переваги, які він приносить у розробку на Python Деталі на сайті 👀 Реєструйтеся та не пропустіть!

Kubernetes: забезпечення High Availability для Pods Що маємо: є у нас Kubernetes cluster, на якому скейлінгом WorkerNodes займається Karpenter, який для NodePool має параметр disruption.consolidationPolicy=WhenUnderutilized, тобто він буде намагитись “ущільніти” розміщеня подів на нодах так, щоб максимально ефективно використати ресурси CPU та Memory. В цілому все працює, але це призводить до того, що досить часто перестворюються WorkerNodes, а це викликає “переселення”… https://rtfm.co.ua/kubernetes-zabezpechennya-high-availability-dlya-pods/

Grafana Loki: збираємо логи AWS LoadBalancer з S3 за допомогою Promtail Lambda Зараз ми вміємо збирати логи API Gateway та CloudWatch Logs, див. Loki: збір логів з CloudWatch Logs з використанням Lambda Promtail. Але в процесі міграції в Kubernetes у нас з’явились Application Load Balancers, які вміють писати логи тільки в S3, і нам треба навчитись збирати логи і звідти. Формат логу AWS ALB див. у Access… https://rtfm.co.ua/grafana-loki-zbirayemo-logi-aws-loadbalancer-z-s3-za-dopomogoyu-promtail-lambda/

Kubernetes: Liveness та Readiness Probes – Best practices Кілька корисних порад по використанню Liveness та Readiness Probes в Kubernetes – різниця між ними, та як правильно налаштовувати ці перевірки. Якщо зовсім коротко, то: - livenessProbe: використовується Kubernetes, щоб знати, коли потрібно виконати restart поду - readinessProbe: використовується Kubernetes, щоб знати, коли контейнер готовий приймати трафік, тобто – коли відповідний Kubernetes Service може додавати… https://rtfm.co.ua/kubernetes-liveness-ta-readiness-probes-best-practices/

Привіт 👋🏻 Раді запросити 30 листопада на онлайн конференцію Cloud Builders: Java Conf! Це вже четверта Java-конференція ком’юніті, де на вас чекають: - 6+ Java&Cloud експертів, які поділяться кращими практиками; - Спільнота з понад 500 однодумців. В агенді👇🏻 - “Java 11–21 Evolution” від Mohamed Taman, Senior Solutions Architect в Nortal - “The Keys to Developer Productivity: Collaborate and Innovate” від Heather VanCura, Vice President в Oracle - “Why Quarkus should be your next tech stack” від Holly Cummins, Senior Principal Software Engineer в Red Hat - Доповідь від з Emily Jiang, STSM, Cloud Native Architect and Advocate в IBM - Fireside chat з Josh Long, Spring Developer Advocat у VMware Реєстрація безкоштовна 👉 https://bit.ly/3MqVTv2 📆 Коли: 30 листопада 🌎 Де: онлайн-трансляція в YouTube 📍Мова доповідей: англійська Save the date and let’s build up together ☁️

VictoriaMetrics: Exporter в CronJob та пуш метрік без Pushgatway В пості Prometheus: запуск Pushgateway у Kubernetes з Helm та Terraform писав про те, як для Prometheus додати Pushgateway, який дозволяє використовувати Push-модель замість Pull, тобто – експортер може відправити метрики прямо в базу замість того, щоб чекати, коли до нього прийде сам Prometheus або VMAgent. У VictoriaMetrics з цим набагато простіше, бо ніякого Pushgateway… https://rtfm.co.ua/victoriametrics-exporter-v-cronjob-ta-push-metrik-bez-pushgatway/

Karpenter: Beta version – обзор змін та upgrade v0.30.0 на v0.32.1 Отже, Karpenter зробив ще один великий шаг до релізу, і у версії 0.32 вийшов з етапу Alpha до Beta. Давайте кратко подивимось на зміни – а вони досить суттєві, а потм виконаємо апгрейд на EKS з Karpneter Terraform module та Karpenter Helm chart. Сам процесс установки Karpenter описував у пості Terraform: створення EKS, частина 3… https://rtfm.co.ua/karpenter-beta-version-obzor-zmin-ta-upgrade-v0-30-0-na-v0-32-1/

The Guardian tells a story of their migration into AWS Aurora Serverless. This article doesn’t go too deep into technical aspects, but provides a nice overview of the issues one may encounter when trying to move to Aurora. A couple of things that I found interesting: - Whatever cloud migration tools are there, pg_dump and pg_restore are your trusted friends. - This paragraph: We’re spending roughly $220/month for storage and compute for the database. For the same price we could have rented a db.m7g.xlarge (16GB RAM, 4 vCPUs) Postgres instance along with 100GB of EBS storage or a db.r7g.large (16GB RAM, 2 vCPUs) Aurora instance. I suspect both of these options would have done the job for us, and maybe not have suffered from the same cold start problems as our serverless database, but after 3 migrations, it’s probably time to get back to doing some feature work! #databases #postgres #aws

GitHub Actions: Docker-білд в AWS ECR та деплой Helm-чарту в AWS EKS Отже, маємо розгорнутий кластер Kubernetes – див. серію Terraform: створення EKS, частина 1 – VPC, Subnets та Endpoints. Маємо GitHub Actions workflow для його деплою – див. GitHub Actions: деплой Dev/Prod оточень з Terraform. Прийшов час почати деплоїти наш бекенд в Kubernetes. Тут знов використаємо GitHub Actions – будемо білдити Docker-образ з API-сервісом бекенду, зберігати… https://rtfm.co.ua/github-actions-docker-bild-v-aws-ecr-ta-deploj-helm-chartu-v-aws-eks/