DevOps&SRE Library

Netflix Stratum Media Processing: Automated Container Right-Sizing

Stratum is Netflix’s internal serverless media processing platform, shaped by over a decade of experience developing large-scale distributed systems. It powers a wide range of media workloads — including encoding, packaging, inspection, and quality scoring — behind playback, advertising, studio workflows, AI embeddings, and more.

https://netflixtechblog.com/netflix-stratum-media-processing-automated-container-right-sizing-ddf9aa68a801

31 октября AvitoTech собирает инфраструктурных инженеров на Avito Infraween Party 🤩 Вместо классических докладов — два круга открытых дискуссий: можно будет обсудить инфраструктурные задачи, поделиться своими кейсами и поспорить о решениях с экспертами AvitoTech и другими участниками. А на афтерпати устроят настоящий чемпионат по метанию старой списанной техники 🔥 Победителей наградят реальными чемпионскими поясами! Хороший повод пообщаться с инфракомьюнити — зарегаться можно тут! P. S. Кстати, костюмы максимально приветствуются! Так что если хотите прийти в образе, welcome.

Saving another 100TB of RAM with math (and Rust)

In this post, we’ll look at how small changes to a single algorithm reduced the memory footprint of one of our Pingora-based services significantly. That allowed us to reclaim more than 100TB of RAM globally, on top of the 100TB of memory the DNS team was able to shed last month.

https://blog.cloudflare.com/saving-100-tb-of-ram-with-math

Can Claude fix itself? From no to maybe

Alex Palcuie helps keep Claude running at Anthropic; he is on-call and handles incidents. When he gave a talk called Can Claude fix itself? in March, his answer was “no.” At Signals Berlin earlier this month, that had become a "maybe": Claude can investigate production systems, come up with valid fixes and surprise Alex with Move 37* moments, yet it can also still send responders chasing a convincing, wrong explanation.

https://www.sylvainkalache.com/blog/can-claude-fix-itself

Portager

Portager is a Kubernetes operator that declaratively syncs container images between OCI-compliant registries. Define an ImageSync custom resource specifying source images, a destination registry, a cron schedule, and authentication — the operator handles the rest.

https://github.com/jarodr47/Portager

fqdn-network-policy

Write egress rules against hostnames instead of hand-curated CIDR lists. The controller resolves them to IPs, tracks DNS TTLs, and reconciles a standard networking.k8s.io/v1 NetworkPolicy — so enforcement stays with whatever CNI you already run.

https://github.com/kunaldevxxx/fqdn-network-policy

WaaS — Kubernetes-native Workspace-as-a-Service

Open-source, Kubernetes-native Workspace-as-a-Service. helm install it on any cluster (the only prerequisite is cert-manager) and give people a full remote desktop — Linux (VNC) or Windows (RDP via KubeVirt, auto-detected) — accessible from any browser.

https://github.com/XoRHub/waas

Understudy

Run singleton workloads through node drains, upgrades, consolidation and spot reclaims, without paying for a second replica around the clock.

https://github.com/mitis-cloud/understudy

PigeonEye

PigeonEye is a fast, native Kubernetes GUI. Every resource type your cluster serves — including every CRD — shows up automatically, with the same columns kubectl get prints.

https://github.com/tackish/pigeoneye

NooBaa Operator

NooBaa is an object data service for hybrid and multi cloud environments. NooBaa provides an S3 object store service (and Lambda with bucket triggers) to clients both inside and outside the cluster, and uses storage resources from within or outside the cluster, with flexible placement policies to automate data use cases.

https://github.com/noobaa/noobaa-operator

Kube API не отвечает, LoadBalancer не пропускает трафик, DNS не резолвит, исходящие запросы не уходят. Причина обычно кроется на стыке облачной сети и кластера, и найти её без понимания всей цепочки сложно. 3 ноября в 12:00 Роман Ерема, разработчик в команде Managed Kubernetes MWS Cloud Platform, на практике покажет: ⏺как взаимодействуют сеть облака, CNI и сеть Kubernetes ⏺как работают SNAT и Source IP ⏺когда нужен externalTrafficPolicy: Local и почему при нём может не проходить health check ⏺как диагностировать проблемы на реальных кейсах (live-demo) Все участники получат чек-лист для проверки доступности. Полезно инженерам, разработчикам и специалистам по сетям и облачной инфраструктуре. 🗓 3 ноября в 12:00 Регистрируйтесь по ссылке

event-generator

Generate a variety of suspect actions that are detected by Falco rulesets.

https://github.com/falcosecurity/event-generator

What happens inside the Kubernetes API server?

The Kubernetes API server handles all of the requests to your Kubernetes cluster. But how does it actually work? When you type kubectl apply -f my.yaml, your YAML is sent to the API and stored in etcd.

https://learnkube.com/kubernetes-api-explained

🏁 Оффер до Нового года: план на 10 недель До 31 декабря осталось около 10 недель Если давно собираешься сменить работу или перейти на грейд выше, самое время заняться подготовкой. Разберём, как выстроить этот процесс и на что обратить внимание, чтобы повысить свои шансы на оффер 😎 24 октября в 12:00 МСК Даниил Динько, Senior Backend Engineer, бывший техлид и Senior Go в Ozon, разберёт подготовку к офферу по шагам: 1️⃣ Определить, что мешает перейти на следующий грейд; 2️⃣ Научиться рассказывать о своём опыте так, чтобы он убеждал интервьюера; 3️⃣ Подготовиться к техническим и поведенческим интервью; 4️⃣ Выбрать лучшее предложение и не продешевить на переговорах. На эфире также разберём: 👉🏻 За что отказывают кандидатам при переходе на Middle и Senior; 👉🏻 Чем отличаются ответы Junior, Middle и Senior на одну и ту же задачу; 👉🏻 Как сравнивать офферы и отвечать на вопрос «Сколько вы хотите?». Подойдёт разработчикам и DevOps-инженерам с разным стеком: Java, Python, C#, Go, Frontend и DevOps. 🚀 Участие бесплатное Эфир проходит в рамках менторской программы ШОРТКАТ для разработчиков Регистрируйся в боте и забирай место 👉 @shortcut_devops_bot Реклама. О рекламодателе.

KServe from Zero to Production: A Hands-On Engineer’s Guide to Model Serving on Kubernetes

This guide assumes you already know Kubernetes deeply (Deployments, Services, RBAC, HPA, Ingress/Gateway API, CRDs). It does not re-teach Kubernetes — it teaches everything KServe adds on top of it, and drives every concept through a runnable example.

https://medium.com/@chebba.asma/kserve-from-zero-to-production-a-hands-on-engineers-guide-to-model-serving-on-kubernetes-216d2c9078f6

▶Как Apache Nessie меняет работу с Data Lakehouse

Логика, работающая на Stage, может не сработать на продакшене из-за неполноты тестовых данных. В разработке эту проблему решает Git: ветки, ревью и откат позволяют менять код без риска для основной версии.

На вебинаре 22 октября эксперты Cloud․ru покажут, как Apache Nessie переносит этот подход на данные. В программе:

▶что такое транзакционный каталог таблиц и как Apache Nessie добавляет версионирование поверх Apache Iceberg — ветки, теги, история коммитов и Time Travel; ▶как устроен паттерн Write-Audit-Publish: ETL пишет в изолированную ветку, DQ-тесты работают как гейт, а публикация в продакшен происходит после их прохождения; ▶как проверять гипотезы и делать A/B-тестирование трансформаций без копирования данных и риска для продакшена; ▶как организовать параллельную работу команд в отдельных ветках и разрешать конфликты при слиянии.

➡ Зарегистрироваться

Why We Open-Sourced ZSvirt?

ZSvirt didn’t start life as an open-source project. Its commercial counterpart, ZStack ZSphere, is a virtualization platform built by ZStack’s engineering team over years of large-scale VMware replacement work — continuously developed, validated in real production environments, and deeply optimized.

https://zsvirt.medium.com/why-we-open-sourced-zsvirt-1c0e776336b6

Your Kubernetes OIDC issuer is just two static files

How we brought on-prem Kubernetes clusters into an AKS-based GitOps platform without rebuilding a control plane every time we created one.

https://medium.com/@post_26031/your-kubernetes-oidc-issuer-is-just-two-static-files-77e627437314

Your gRPC Service Only Talks to One Pod. Here’s Why.

You scaled your gRPC service to five replicas. One of them is on fire. The other four are asleep. This isn’t a bug — it’s a direct consequence of how Kubernetes moves traffic between pods, and once you see the mechanism, the fix is obvious.

https://medium.com/@sundaradhi97/your-grpc-service-only-talks-to-one-pod-heres-why-da54ad78aa90

automaxprocs now costs your Go binary a CPU

Since the past eight years, if you ever found that your Go service was getting throttled inside Kubernetes, the way to fix that was using one import. And with the release of Go 1.25, that same job was absorbed into the runtime itself. But that import is still sitting in your go.mod file, and it is now taking a CPU away from you.

https://medium.com/@omlahore47/automaxprocs-now-costs-your-go-binary-a-cpu-61d63a12e3ec