DevOps&SRE Library

Client’s GKE Cluster Ate Their Entire VPC

GKE pod IP exhaustion is one of the few failure modes that gives you no warning before it goes terminal. I recently stepped into a war room where a client’s primary scaling group had flatlined — workloads cordoned, deployments stuck in Pending, and the estimated cost of the stall nearing $15k per hour in lost transaction volume. The culprit wasn’t traffic. It was a /20 subnet that had quietly run out of address space, and a set of GKE allocation defaults nobody had questioned at design time.

The IP Math I Uncovered During Triage: https://www.rack2cloud.com/gke-pod-ip-exhaustion-triage-part-1 The Class E Rescue: https://www.rack2cloud.com/gke-ip-exhaustion-fix-part-2

🔥 Приглашаем на бесплатный открытый вебинар курса «Observability: мониторинг, логирование, трассировка»: «Системы логирования: ELK, EFK или Graylog?» 🗓 Когда: 17 августа, 20:00 (мск) Логи — один из ключевых источников информации о состоянии системы. Но без правильно выбранного инструмента они превращаются в хаотичный поток данных, в котором сложно найти причину проблемы. На вебинаре сравним популярные системы централизованного логирования и поможем вам выбрать оптимальное решение под вашу инфраструктуру. Что будет на вебинаре: - Чем отличаются ELK, EFK и Graylog и в каких сценариях каждый стек наиболее эффективен - Как устроен процесс сбора, обработки, хранения и поиска логов - Как организовать централизованное логирование для мониторинга и диагностики распределённых систем - На что обратить внимание при выборе системы логирования для своей инфраструктуры В результате вы: - Получите понимание сильных и слабых сторон ELK, EFK и Graylog - Научитесь выбирать подходящее решение под задачи проекта и инфраструктуры - Узнаете лучшие практики построения централизованной системы логирования - Сможете использовать логи для ускорения диагностики и повышения наблюдаемости сервисов Кому будет полезно: DevOps- и SRE-инженерам, системным администраторам, Backend-разработчикам и архитекторам, которым важно быстро находить причины сбоев и анализировать поведение систем. 👉 Зарегистрируйтесь https://vk.cc/d0m7Cs Бесплатное занятие приурочено к старту курса «Observability: мониторинг, логирование, трассировка», на котором вы научитесь строить современные системы наблюдаемости с Prometheus, Grafana, ELK, Tempo и другими инструментами. Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, erid: 2VtzqvHEFpX

What Does 4.4% GPU Utilization Actually Mean?

A few weeks after publishing the 1M token/s post, I spent a weekend helping my good friend Milko Ilari set up vLLM on his shiny new DGX Spark with Gemma 4. My first in-person reaction was “It’s Champagne” (from the old days of PC Perspective) The Spark is a wild little machine — 128 GB of unified memory in a box you can hold with one hand, running the same Blackwell architecture as the datacenter B200s. But its memory bandwidth is 273 GB/s. The B200s in our cluster do 8,000 GB/s. Almost 30x less. Watching the numbers on that tiny machine got me thinking. The benchmark I ran on GKE Autopilot with 96 B200 GPUs had reported 4.4% FLOPS utilization. 10.9% memory bandwidth. Tensor cores active 1.5% of the time. The GPUs looked almost idle while pushing a million tokens per second. Was something wrong? No. And honestly, figuring out why turned out to be more interesting than the benchmark itself. That first post covers the journey — every optimization, and many failure 🫠. This one covers the physics.

https://medium.com/google-cloud/what-does-4-4-gpu-utilization-actually-mean-ee61fabebbf0

❗️Небольшое уточнение к предыдущему посту: в нём была указана некорректная ссылка на бота. Актуальная ссылка для получения доступа к эфиру: @shortcut_devops_bot

noisia

Harmful workload generator for PostgreSQL.

https://github.com/lesovsky/noisia

🔍Тестовое собеседование с Head of DevOps уже завтра 11 августа(уже завтра!) в 19:00 по мск приходи онлайн на открытое собеседование, чтобы посмотреть на настоящее интервью на Middle DevOps-разработчика. Как это будет: 📂 Александр Хренников, Head of DevOps в KTS с опытом 14+ лет, будет задавать реальные вопросы и задачи разработчику-добровольцу 📂 Александр будет комментировать каждый ответ респондента, чтобы дать понять, чего от вас ожидает собеседующий на интервью 📂 В конце можно будет задать любой вопрос Александру Это бесплатно. Эфир проходит в рамках менторской программы от ШОРТКАТ для DevOps-разработчиков, которые хотят повысить свой грейд, ЗП и прокачать скиллы. Переходи в нашего бота, чтобы получить ссылку на эфир → @shortcut_devops_bot Реклама. О рекламодателе.

ZeroFS

ZeroFS serves S3-compatible buckets as POSIX filesystems over NFS and 9P, and as raw block devices over NBD. All three servers run in a single userspace process. Data is compressed and encrypted before upload.

https://github.com/Barre/ZeroFS

kubernetes-mcp-server

A powerful and flexible Kubernetes Model Context Protocol (MCP) server implementation with support for Kubernetes and OpenShift.

https://github.com/containers/kubernetes-mcp-server

davit

A native macOS UI for Apple's container platform — think OrbStack/Docker Desktop, but for the Linux-containers-as-lightweight-VMs stack Apple ships for Apple silicon.

https://github.com/wouterdebie/davit

OfficeCLI

OfficeCLI is the first and best Office suite purpose-built for AI agents to read, edit, and automate Word, Excel, and PowerPoint files. Free, open-source, single binary, no Office installation required.

https://github.com/iOfficeAI/OfficeCLI

cmux

A Ghostty-based macOS terminal with vertical tabs and notifications for AI coding agents

https://github.com/manaflow-ai/cmux

How we migrated a live routing system using AI-assisted refactoring

When the storage backend for Stream Router hit hard limits, we needed to redesign its data model and migrate it to a new storage architecture without disrupting live production traffic. We would not have completed the implementation in the time frame we had without AI tools.

https://www.datadoghq.com/blog/engineering/ai-assisted-storage-migration

lore

Lore is an open source version control system designed for unprecedented scalability of both data and teams. It is optimized for projects that combine code with large binary assets, including games and entertainment, and caters for the needs of developers and artists alike.

https://github.com/EpicGames/lore

tabularis

Tabularis is an open-source desktop SQL workspace for PostgreSQL, MySQL/MariaDB, SQLite and 12+ more databases like DuckDB, ClickHouse, Redis and Firestore.

https://github.com/TabularisDB/tabularis

🎥 Вебинар: Kubernetes + CI/CD + GitOps — делаем стабильный деплой без выхода из кластера 📌 На уроке вы узнаете: - Как настроить конвейер CI/CD для автоматизации развертывания приложений в Kubernetes. - Что такое GitOps, и как с его помощью управлять инфраструктурой и релизами через декларативные манифесты. - Использование Kubernetes для построения стабильных и безопасных процессов развёртывания приложений. - Лучшие практики внедрения, внедрения и управления изменениями прямо из кластера. 🎯 После вебинара вы: - Вы поймёте, как интегрировать Kubernetes, CI/CD и GitOps для создания стабильных и автоматизированных процессов развертывания. - Освоите изменение и оптимизацию конвейеров CI/CD для работы в Kubernetes-кластерах. - Изучите подходы к мониторингу, организации тестирования и управлению релизами через GitOps, повышению доступности и безопасности процессов. ⚠️ Открытый урок проходит в преддверии старта курса «Инфраструктурная платформа на основе Kubernetes». 👉 Для участия зарегистрируйтесь: https://vk.cc/d09Vni Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru, erid: 2VtzqvwpkP4

hasp

HASP is a local secret broker for coding agents. Agents need credentials to run tests, call APIs, and deploy code. Copying those credentials into prompts, shell history, .env files, or repo-local notes makes the agent faster today and harder to trust tomorrow. HASP keeps secrets in a local encrypted vault and gives commands only the values they are allowed to use at runtime. The core rule is: Managed secret values must not enter agent context.

https://github.com/gethasp/hasp

How We Rebuilt Our Vault Architecture with Raft, Snapshots, and DR

Managing secrets at scale is not just about security — it’s about availability, resilience, and cost efficiency. At BioCatch, we use HashiCorp Vault to manage secrets in our Kubernetes environment, but our initial setup left room for improvements. Here’s how we redesigned our Vault architecture using Raft storage, Kubernetes automation, and snapshot-based disaster recovery — resulting in a system that is highly available, cost-effective, and production-ready.

https://medium.com/@BioCatchTechBlog/how-we-rebuilt-our-vault-architecture-with-raft-snapshots-and-dr-b6789ea5fa28

Battle for Resources or the SSA Path to Kubernetes Diplomacy

In the world of Kubernetes, resource management is more than just creating, deleting, or updating objects. It's an intricate dance involving numerous tools, operators, and users. As our infrastructure grows, it becomes increasingly challenging to maintain control, necessitating the adoption of more advanced and sophisticated resource management and control systems and approaches. In this article, I will not delve into the basic methods of creating resources, as that is a rather trivial task. Instead, I would like to share my experience in optimizing resource update paths, which have proven to be immensely valuable in managing resources within large and complex Kubernetes clusters, as well as during the development of operators.

https://hackernoon.com/battle-for-resources-or-the-ssa-path-to-kubernetes-diplomacy

Understanding and Fixing CPU Limits in Kubernetes

Are your Kubernetes applications inexplicably slowing down, even when your nodes seem to have plenty of CPU to spare? You might be experiencing CPU throttling. I recently watched an excellent CNCF video by Dave Chiluk, an engineer at Indeed. This article has some of my takeaways from the video.

https://www.kubeblog.com/blog/understanding-and-fixing-cpu-limits-in-kubernetes

Tuning Linux Swap for Kubernetes: A Deep Dive

The Kubernetes NodeSwap feature, likely to graduate to stable in the upcoming Kubernetes v1.34 release, allows swap usage: a significant shift from the conventional practice of disabling swap for performance predictability. This article focuses exclusively on tuning swap on Linux nodes, diving into the critical Linux kernel parameters that govern swap behavior and how they influence workload performance, swap utilization, and eviction mechanisms.

https://kubernetes.io/blog/2025/08/19/tuning-linux-swap-for-kubernetes-a-deep-dive