DevOps&SRE Library

Monitoring & Observability: Using Logs, Metrics, Traces, and Alerts to Understand System Failures

When your application ships to production, it becomes partly opaque. You own the code, but the runtime, network, and platform behaviors often fall outside your direct line of sight. That’s where Monitoring and Observability come in. Monitoring warns you when predefined thresholds break. Observability lets you explore unknowns, asking new questions in real time and getting meaningful answers without redeploying. For engineers running software in production, observability rests on three pillars: logs, metrics, and traces. Each offers a different lens into system behavior. Understanding where each excels and where it doesn’t is essential for building a practical, scalable visibility strategy.

https://blog.railway.com/p/using-logs-metrics-traces-and-alerts-to-understand-system-failures

The stacking workflow

Stacked PRs. Stacked diffs. Stacked changes. A better workflow to manage pull requests.

https://www.stacking.dev

How We Scaled Code Repository Management at DNSimple

Managing a handful of GitHub repositories is straightforward. Managing hundreds of them consistently is a challenge. Over the years at DNSimple, we've evolved from manual configuration to a fully automated Infrastructure as Code (IaC) approach. This is the story of that evolution, the lessons we learned, and how we built a system that now manages all our GitHub resources through pull requests and CI/CD pipelines. At DNSimple, we've managed our internal infrastructure as code since day one, primarily using Chef for configuration management. Infrastructure as Code wasn't new to us, it was the foundation of how we operated. The challenge was applying these same principles to externally managed resources like GitHub repositories, which required a different approach than our traditional internal infrastructure management.

https://blog.dnsimple.com/2025/11/managing-repositories-terraform-github

Shifting left at enterprise scale: how we manage Cloudflare with Infrastructure as Code

The Cloudflare platform is a critical system for Cloudflare itself. We are our own Customer Zero – using our products to secure and optimize our own services. Within our security division, a dedicated Customer Zero team uses its unique position to provide a constant, high-fidelity feedback loop to product and engineering that drives continuous improvement of our products. And we do this at a global scale — where a single misconfiguration can propagate across our edge in seconds and lead to unintended consequences. If you've ever hesitated before pushing a change to production, sweating because you know one small mistake could lock every employee out of critical application or take down a production service, you know the feeling. The risk of unintended consequences is real, and it keeps us up at night. This presents an interesting challenge: How do we ensure hundreds of internal production Cloudflare accounts are secured consistently while minimizing human error? While the Cloudflare dashboard is excellent for observability and analytics, manually clicking through hundreds of accounts to ensure security settings are identical is a recipe for mistakes. To keep our sanity and our security intact, we stopped treating our configurations as manual point-and-click tasks and started treating them like code. We adopted “shift left” principles to move security checks to the earliest stages of development. This wasn't an abstract corporate goal for us. It was a survival mechanism to catch errors before they caused an incident, and it required a fundamental change in our governance architecture.

https://blog.cloudflare.com/shift-left-enterprise-scale

💥 IaC: Тестирование инфраструктуры — как внедрить инженерные практики и перестать бояться изменений 🔥 14 января в 20:00 мск — бесплатный открытый вебинар OTUS Вы вносите изменения в Terraform/Ansible и молитесь, чтобы ничего не сломалось в проде? Пора перестать бояться: инфраструктура должна тестироваться так же жёстко, как продуктовый код. На вебинаре разберём, как построить полноценную систему тестирования IaC и превратить изменения в инфраструктуре из лотереи в предсказуемый процесс. 📌 Что будет: — Мифы и реальные боли: почему без тестов инфраструктура ломается в самый неподходящий момент — Пирамида тестирования IaC — Как встроить проверки в GitLab CI и сделать pipeline’ы предсказуемыми — Практики выживания: стандарты, структура проектов, кодстайл, документация 🎯 После вебинара вы сможете: — Автоматически проверять инфраструктурный код до применения — Ловить регрессии и «магические» конфиги на этапе MR — Внедрить тесты в текущие процессы без боли — Снизить количество аварий и ночных звонков — Поднять инженерную культуру команды до взрослого уровня 👉 Регистрация уже открыта https://vk.cc/cSE5uW Вебинар приурочен к старту курса «DevOps-инженер: практики и инструменты»: за 5 месяцев вы построите полностью протестированную, автоматизированную и отказоустойчивую инфраструктуру на реальном боевом стеке. Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, erid: 2Vtzqx3pEhY

doh

Simple DNS over HTTPS cli client for cloudflare

https://github.com/mxssl/doh

sqlit

The lazygit of SQL databases. Connect to Postgres, MySQL, SQL Server, SQLite, Supabase, Turso, and more from your terminal in seconds.

https://github.com/Maxteabag/sqlit

Что загадывает DevOps на Новый год? ⏺чтобы кластер обновлялся без ночных алертов ⏺сеть работала стабильно и предсказуемо ⏺апгрейд кластера не превращался в вечер с release notes Разработчики Managed Kubernetes в облаке MWS Cloud Platform ⬜ знают все ваши тайные желания и готовы упростить вашу DevOps-рутину.

С Managed Kubernetes вы получаете: ⏺готовый кластер за несколько минут без сложной настройки ⏺управление жизненным циклом кластера и нод ⏺ автоматическое масштабирование под нагрузку ⏺ нативную работу с сетью и storage через CCM / CSI ⏺ централизованное управление доступами через IAM

🎄🎁 Попробуйте с грантом до 10 000 ₽ ➡Попробовать

runme

Runme is a tool that makes runbooks actually runnable, making it easier to follow step-by-step instructions. Shell/Bash, Python, Ruby, JavaScript/TypeScript, Lua, PHP, Perl, and many other runtimes are supported via Runme's shebang feature. Runme allows users to execute instructions, check intermediate results, and ensure the desired outputs are achieved. This makes it an excellent solution for runbooks, playbooks, and documentation that requires users to complete runnable steps incrementally—making operational docs reliable and much less susceptible to bitrot. Runme achieves this by literally running markdown. More specifically, Runme runs your commands (shell, bash, zsh) or code inside your fenced code blocks. It's 100% compatible with your programming language's task definitions (Makefile, Gradle, Grunt, NPM scripts, Pipfile or Deno tasks, etc.) and markdown-native. Much like a terminal session, environment variables are retained across execution, and it is possible to pipe previous cells' output into successive cells. Runme persists your runbooks in markdown, which your docs are likely already using.

https://github.com/runmedev/runme

Как сократить расходы на Managed K8S в Yandex Cloud почти вдвое Devops-инженер из спортивного медиа Спортс" Кирилл Мухин рассказал, как в компании перевели часть кластера в Yandex Cloud на прерываемые ВМ и написали собственный k8s-оператор, который аккуратно выводит ноды из нагрузки и не ломает прод. В статье: — почему прерываемые ВМ опасны «из коробки» — как автоматизировать их безопасное использование — для каких сервисов это подходит, а для каких – нет — какой получился эффект по деньгам 📚 Читайте про кейс на Хабре и забирайте идею для оптимизации облака Реклама. ООО «Спортс.ру» , ИНН: 7705933383, erid: 2Vtzqw5FGt2

trow

Image management and caching for Kubernetes. We're building a small registry to make image management in Kubernetes easy. The Trow Registry runs inside the cluster with very little resources, and is simple to set-up so it caches every image.

https://github.com/Trow-Registry/trow

Что почитать/посмотреть в обед, чтобы провести время с пользой, но не перегрузить себя? Без шуток, нас спасает канал команды AvitoTech. Ну сами смотрите. Там:ㅤㅤ - простым языком рассуждают на сложные технические темы; - делятся экспертизой и рабочими кейсами из практики Авито; - ищут полезные знакомства во время митапов и вебинаров (для будущих стажёров тоже немало анонсов); - собирают подборки с полезной литературой для менеджеров. Подписывайтесь по ссылке и заглядывайте в обед.

lazygit

simple terminal UI for git commands

https://github.com/jesseduffield/lazygit

walrus

Walrus is a distributed message streaming platform built on a high-performance log storage engine. It provides fault-tolerant streaming with automatic leadership rotation, segment-based partitioning, and Raft consensus for metadata coordination.

https://github.com/nubskr/walrus

Под капотом управляемой базы данных в MWS Cloud Platform Разбираем внутренности managed баз в 10-м выпуске реалити-проекта Building the Cloud. Покажем, как устроена архитектура управляемых баз данных, как работают агенты и реконсиляция, и что нужно сделать инженеру managed-решения, чтобы оно было безопасным. 📅 Эфир 25 декабря, 14:00 (мск) 🎁 Розыгрыш мерча MWS за лучший вопрос 👉 Регистрация

renovate

Renovate is an automated dependency update tool. It helps to update dependencies in your code without needing to do it manually. When Renovate runs on your repo, it looks for references to dependencies (both public and private) and, if there are newer versions available, Renovate can create pull requests to update your versions automatically.

https://github.com/renovatebot/renovate

The "Meh-trics" Reloaded: Why I Was 100% Wrong About Metrics (and Also 100% Right) https://www.honeycomb.io/blog/the-meh-trics-reloaded

Better observability, deeper insights: OpenSearch’s new Piped Processing Language capabilities https://opensearch.org/blog/better-observability-deeper-insights-opensearchs-new-piped-processing-language-capabilities

Patterns for Deploying OTel Collector at Scale

As applications grow, the question quickly shifts from what OTel can do to how we can deploy it effectively at scale. In this post, we’ll explore some deployment patterns for the OTel Collector!

https://newsletter.signoz.io/p/patterns-for-deploying-otel-collector

Introducing Observable Load Testing = Locust + OpenTelemetry! https://medium.com/locust-cloud/observable-load-testing-locust-opentelemetry-c5fced129d84