DevOps&SRE Library

As a Seasoned K8s Expert: An In-Depth Analysis of the OpenAI’s Incident and Mitigation Strategies

On December 11, 2024, OpenAI experienced a major outage caused by a failure in the Kubernetes cluster control plane. For outsiders, this may simply seem like an interesting incident, but as an insider, I analyzed this failure from a technical perspective.

https://midbai.com/en/post/how-to-avoid-openai-incident

What I Really Mean When I Say “Good Communication” in Incident Response https://uptimelabs.io/good-communication-in-incident-response

Как построить overlay-сеть для публичного облака на десятки тысяч виртуалок? Смотрите 6-ю серию реалити про разработку облака от MWS — Building the Cloud. Что будет в эфире: ⏺как мы строили control plane для VPC новой публичной платформы ⏺что происходит "под капотом" облака при создании ВМ ⏺как организовали обработку трафика в data plane И, конечно, розыгрыш мерча от MWS за лучший вопрос. ⏩Интересуетесь сетевыми технологиями и внутренней кухней облаков? Подключайтесь к эфиру. ➡Зарегистрироваться

Azure Verified Module - Azure Landing Zones

In this article, we take a look at the Azure Verified Module for Azure Landing Zones, and how we can customise deployments.

P1: https://mikeguy.co.uk/posts/azure-verified-module-landing-zones-part-1 P2: https://mikeguy.co.uk/posts/azure-verified-module-landing-zones-part-2

Готовы к карьерному рывку? Станьте DevOps Engineer в команде Телекома YADRO🔥 Хотите создавать надёжные и технологичные процессы для разных продуктовых команд компании? Тогда отправляйте резюме в одно из направлений: Infrastructure или CI/CD. Что предлагаем 🚀 удалёнка или офис в одном из городов (Москва, СПб, Нижний Новгород, Екатеринбург, Минск) 🚀 возможность влиять на продукт и стать частью большого инженерного сообщества 🚀 возможность вертикального и горизонтального роста — проводим performance review раз в год 🚀 ДМС с первого дня работы, а ещё консультации юристов, психологов, экспертов по ЗОЖ и управлению финансами Кого ждём в команду DevOps-инженеров с опытом работы от года и желанием развивать новые продукты в нашей команде Какие задачи вас ждут ⏺ настройка и внедрение систем мониторинга и Observability для продуктов, определение ключевых метрик совместно с командами разработки ⏺ разработка с нуля и доработка существующих CI/CD пайплайнов для продуктов и их компонентов в рамках экосистемы Gitlab CI ⏺ участие в создании отказоустойчивой инфраструктуры и её дальнейшей поддержке для обеспечения высокой скорости и качества сборки продуктов Больше подробностей — по ссылке. 📆 Отправляйте резюме до 8 июня и присоединяйтесь к команде YADRO!

Terratags: Enforce Tags on your AWS Terraform configuration https://dev.to/quixoticmonk/terratags-enforce-tags-on-your-aws-terraform-configuration-1ck5

❔ Как микросервисы общаются между собой в Kubernetes? Знание сетевого взаимодействия — ключ к эффективному управлению кластерами! ⏺️ На открытом уроке 28 мая в 20:00 МСК вы разберётесь с типами сервисов Kubernetes: ClusterIP, NodePort, ExternalService и LoadBalancer. Мы детально расскажем, как правильно настроить маршрутизацию трафика и обеспечить доступность сервисов как внутри, так и вне кластера. Вы получите не только теоретические знания, но и практические навыки настройки маршрутизации трафика в реальном времени с живой демонстрацией. Научитесь правильно выбирать и применять сетевые паттерны для ваших проектов. Регистрация открыта: https://vk.cc/cMd58N Урок пройдет в преддверии старта курса «Инфраструктурная платформа на основе Kubernetes», участники получат скидку на обучение. 🎁 Промокод на доп.скидку на курс Kuber_06 , срок ограничен. Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, erid: 2VtzqvLMHEm

stunner

A Kubernetes media gateway for WebRTC.

https://github.com/l7mp/stunner

kubewall

A single binary to manage your multiple kubernetes clusters. kubewall provides a simple and rich real time interface to manage and investigate your clusters.

https://github.com/kubewall/kubewall

Understanding the 1MB Limit of Etcd in Kubernetes: Challenges with Helm Deployments https://logeshbalu1998.medium.com/understanding-the-1mb-limit-of-etcd-in-kubernetes-challenges-with-helm-deployments-47ef41f37e9c

The Hidden Risk of Running WordPress on Kubernetes: Debugging an Unexpected Downtime Issue https://medium.com/1000farmacie/the-hidden-risk-of-running-wordpress-on-kubernetes-debugging-an-unexpected-downtime-issue-e810bf4fb577

kro

This project aims to simplify the creation and management of complex custom resources for Kubernetes. Kube Resource Orchestrator (kro) helps you to define complex multi-resource constructs as reusable components in your applications and systems. It does this by providing a Kubernetes-native, vendor agnostic way to define groupings of Kubernetes resources. kro's fundamental custom resource is the ResourceGraphDefinition. A ResourceGraphDefinition defines collections of underlying Kubernetes resources. It can define any Kubernetes resources, either native or custom, and can specify the dependencies between them. This lets you define complex custom resources, and include default configurations for their use. The kro controller will determine the dependencies between resources, establish the correct order of operations to create and configure them, and then dynamically create and manage all of the underlying resources for you. kro is Kubernetes native and integrates seamlessly with existing tools to preserve familiar processes and interfaces.

https://github.com/kro-run/kro

🎥 Вебинар: Маршрутизатор на базе Linux: настройка и запуск 📝 На вебинаре вы узнаете: - Как настроить маршрутизацию в Linux и обеспечить доступ в интернет - Что нужно для раздачи интернета внутри локальной сети - Как настроить NAT и базовые правила iptables - Какие возможности открывает использование Linux в роли роутера 💪 В результате: - Сможете настроить Linux как маршрутизатор для локальной сети - Научитесь применять iptables/NFT для управления трафиком и безопасности - Попробуете настроить NAT и проброс портов - Поймёте принципы маршрутизации и взаимодействия сетевых интерфейсов в Linux 🎁 Все участники вебинара получат скидку на курс "Administrator Linux. Professional". 👉 Для участия зарегистрируйтесь https://vk.cc/cMbqHV Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, erid: 2VtzquqxuiU

How we tested scaling to 10,000 Kubernetes clusters without missing a beat https://www.spectrocloud.com/blog/how-we-tested-scaling-to-10-000-kubernetes-clusters-without-missing-a-beat

🚀 Откройте для себя Infrastructure as Code с Terraform ❓Задумывались, как упростить управление инфраструктурой и сделать её более прозрачной и управляемой? Узнайте, как сделать это с помощью Terraform на открытом вебинаре. Мы расскажем, как концепция Infrastructure as Code помогает автоматизировать и контролировать процессы, избавляя вас от необходимости вручную управлять виртуальными машинами через интерфейс облачных провайдеров. Один раз описав желаемое состояние инфраструктуры, вы сможете подключать любые облачные провайдеры, когда это будет нужно. Преимущества очевидны: автоматизация, контроль версий и возможность откатиться к предыдущим состояниям. Понимание этих инструментов — шаг к эффективному управлению вашей инфраструктурой. 🎁 Зарегистрируйтесь на вебинар и получите в подарок запись полезного эфира "Ansible: быстрый старт". Это отличная возможность узнать, как использовать Terraform и Ansible для решения ваших задач. 👉 Регистрация открыта: https://vk.cc/cMbq8q Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, erid: 2VtzqufWJ12

A CNI 'Chicken-and-Egg' Dilemma: How Does Calico Assign IPs to Itself?

While research CNI recently, I recalled an interesting issue I encountered during the development of network plugins and investigation of Calico: Calico assigns IP addresses to its own components’ Pods (e.g., calico-kube-controllers). How does Calico achieve this? From the installation of the Calico network plugin to assigning IPs to its own Pods, what happens at the underlying level? This essentially poses a “chicken-and-egg” problem: running a Pod requires the CNI plugin, while the CNI plugin’s operation depends on the proper functioning of other Pods. This analysis is based on Cilium v1.16.5, Calico v3.29.1, and Kubernetes v1.23.

https://midbai.com/en/post/cni-chicken-egg-problem

Amazon EKS Auto Mode vs Azure AKS Automatic: The Better Managed Kubernetes Solution? https://pixelrobots.co.uk/2024/12/amazon-eks-auto-mode-vs-azure-aks-automatic-the-better-managed-kubernetes-solution

Код истории пишут победители. Будь одним из них, приходи на «ВНЕДРЕЙД» 5 компаний‑держателей задач: Т‑банк, Авито, Lamoda, CDEK, Magnit Tech 48 часов, чтобы зарелизить фичу 4 дня на Эльбрусе — если твоя команда сделает это круче всех Что получишь еще? - фаст-трек в Orion soft - жирный кейс в резюме - буст IT‑мышц и респект комьюнити Собирай команду из 3–5 человек и подавай заявку. Режим «ВНЕДРЕЙД» — ON [Принять участие]

A Case Study in Synchronizing Database Schema Updates between Projects and Environments

If you’ve come across this post, you probably know about relational database schema migrations. You’ve likely worked with a relational database like PostgreSQL or MySQL and a tool for managing schema migrations via code. This post doesn’t walk you through the basics of schema migrations but rather explains an especially complicated and non-typical schema migrations use case. This post will also show you the nuances of the custom schema migration solution we created here at DoubleVerify.

https://medium.com/doubleverify-engineering/a-case-study-in-synchronizing-database-schema-updates-between-projects-and-environments-a69a3cc38985

Zero-Touch Bare Metal at Scale

In this episode, we talk about how we operationalize the hardware once it’s installed.

https://blog.railway.com/p/data-center-build-part-two