DevOps&SRE Library

The Cost Crisis in Observability Tooling

The cost of services is on everybody’s mind right now, with interest rates rising, economic growth slowing, and organizational budgets increasingly feeling the pinch. But I hear a special edge in people’s voices when it comes to their observability bill, and I don’t think it’s just about the cost of goods sold. I think it’s because people are beginning to correctly intuit that the value they get out of their tooling has become radically decoupled from the price they are paying. In the happiest cases, the price you pay for your tools is “merely” rising at a rate several times faster than the value you get out of them. But that’s actually the best case scenario. For an alarming number of people, the value they get actually decreases as their bill goes up.

https://www.honeycomb.io/blog/cost-crisis-observability-tooling

SLA vs. SLO vs. SLI: What’s the Difference? https://uptimerobot.com/blog/sla-slo-sli

Terraform Modules: From Development to Deployment on Gitlab P0 - Introduction: https://medium.com/@vighnesh_prakash/terraform-modules-from-development-to-deployment-on-gitlab-9191b0aea673 P1 - Publishing Terraform Modules to Gitlab Infra Registry: https://medium.com/@vighnesh_prakash/publishing-terraform-modules-to-gitlab-infra-registry-a52755ebc712 P2 - Just Enough Gitlab: https://medium.com/@vighnesh_prakash/part-02-just-enough-gitlab-3145d0ee56e P3 - Publishing Terraform Modules using GitLab Pipelines: https://medium.com/@vighnesh_prakash/part-03-publishing-terraform-modules-using-gitlab-pipelines-dc04186472c P4 - Documenting Terraform Modules: https://medium.com/@vighnesh_prakash/part-04-documenting-terraform-modules-9e284d692d8 P5 - Release Strategy: https://medium.com/@vighnesh_prakash/part-05-release-strategy-80865327bf8d P6 - Structuring Terraform Modules: https://medium.com/@vighnesh_prakash/part-06-structuring-terraform-modules-77747573c371

Parsing Terraform for Forms

Transforming Terraform Variable Types into JSON Schema

https://melvinkoh.me/parsing-terraform-for-forms-clr4zq4tu000309juab3r1lf7

Anti-patterns of using layers with Terraform

In the ever-evolving landscape of cloud computing and infrastructure management, Terraform has emerged as a transformative force, empowering organizations to define, provision, and manage their infrastructure as code (IaC). The versatility of Terraform extends to its project structuring, offering a myriad of approaches, from modular designs and remote state management to utilizing workspaces and version control, providing users with a spectrum of options to tailor their IaC projects to diverse needs. In Terraform, the typical organizational structure involves modules, which are reusable units of code that encapsulate infrastructure components. These modules can be composed to create more complex infrastructure. There isn’t a standardized or official concept referred to as “Terraform layers” in the Terraform documentation. However, the term has gained popularity in the Terraform community. If you search the tern “Terraform layers” various articles will pop up discussing the concept.

https://xebia.com/blog/anti-patterns-of-using-layers-with-terraform

#вакансия #удалённо #parttime #преподаватель #devops #kubernetes OTUS – образовательная платформа. У нас авторские курсы разной степени сложности, вступительное тестирование для студентов и преподаватели-практики из крупнейших компаний. Вакансия: преподаватель онлайн-курсов - Специализация DevOps - DevOps практики и инструменты - Инфраструктурная платформа на основе Kubernetes Требуется опыт в DevOps и готовность делиться знаниями, помогать студентам. Можно без опыта в преподавания, методисты помогут вам освоить best practices. Обязанности: преподаватель раскрывает тему с помощью теории и примеров из практики. Занятия в Zoom в вечернее время. Можно выбрать удобную нагрузку и темы занятий. Приветствуется проверка домашних заданий. С нами вы сможете ✅ - структурировать свой опыт и знания; - прокачать софт-скиллы; - получать от 3000 до 6000 руб. за вебинар (полтора часа), 300-400 руб. за проверку одного ДЗ, есть доплата за разработку материалов к занятиям (при необходимости) Бонусы 🎁 - наши курсы со скидкой/бесплатно; - можно приглашать лучших выпускников к себе на работу; - воркшопы и конференции для наших преподавателей. Обсудить подробнее @yu_grin

HashiTalks 2024: Mastering Terraform Testing, a layered approach to testing complex infrastructure https://mattias.engineer/posts/hashitalks-2024

Executing Cron Scripts Reliably At Scale

Cron scripts are responsible for critical Slack functionality. They ensure reminders execute on time, email notifications are sent, and databases are cleaned up, among other things. Over the years, both the number of cron scripts and the amount of data these scripts process have increased. While generally these cron scripts executed as expected, over time the reliability of their execution has occasionally faltered, and maintaining and scaling their execution environment became increasingly burdensome. These issues lead us to design and build a better way to execute cron scripts reliably at scale.

https://slack.engineering/executing-cron-scripts-reliably-at-scale

📬 Создаём почтовый сервер с чистого поля Михаил, DevOps-инженер компании Nixys, пишет цикл статей по созданию полноценного почтового сервера с нуля. В первой части он разбирает основные компоненты почтового сервера (Exim4, Dovecot, PostfixAdmin и RainLoop) и показывает, как настроить Exim и обеспечить надёжную отправку писем. Публикация будет полезна всем начинающим администраторам. Прочитать статью можно здесь.

A Distributed Systems Reading List

This document contains various resources and quick definition of a lot of background information behind distributed systems. It is not complete, even though it is kinda sorta detailed. I had written it some time in 2019 when coworkers at the time had asked for a list of references, and I put together what I thought was a decent overview of the basics of distributed systems literature and concepts. Since I was asked for resources again recently, I decided to pop this text into my blog. I have verified the links again and replaced those that broke with archive links or other ones, but have not sought alternative sources when the old links worked, nor taken the time to add any extra content for new material that may have been published since then. It is meant to be used as a quick reference to understand various distsys discussions, and to discover the overall space and possibilities that are around this environment.

https://ferd.ca/a-distributed-systems-reading-list.html

🖥 Не используете Docker в своей работе? Очень зря! 🫵 Приглашаем 18 марта в 20:00 МСК на бесплатный вебинар «Внутренние механизмы Docker» от Отус. Вебинар пройдет в рамках полноценного онлайн-курса "DevOps практики и инструменты". На вебинаре, вы получите глубокое понимание работы с Docker, аименно: ✅ изучите неймспейсы, cgroups, хранение данных, сетевое взаимодействие контейнеров и сборку образов; ✅ рассмотрите практические кейсы; ✅ узнаете о подводных камнях; ✅ разберете примеры решения проблем. ➡ Регистрация на вебинар https://vk.cc/cvpX0b В рамках вебинара преподаватель подробно объяснит каждый из этих кейсов, расскажет о подводных камнях и покажет примеры решения проблем. Все участники смогут задать вопросы, обсудить возникающие проблемы и получить рекомендации по использованию Docker в своих проектах. 🤝 Записывайтесь сейчас, а мы потом напомним. Участие бесплатно. Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru, erid: 2VtzqufXX4p

connect() - why are you so slow? https://blog.cloudflare.com/linux-transport-protocol-port-selection-performance

SRE Archetypes

Different hats that SRE's wear in the industry: Admin, Architect, Toolsmith, and firefighter

https://blog.alexewerlof.com/p/sre-archetypes

The importance of SEV-1 call leaders

Incidents come in different shapes and sizes. The most severe incidents require special handling that is unlike their less-critical variants. These SEV-1 (aka CRITICAL) incidents can have material financial impact for a company and create a challenging environment for any incident commander creating a need for specially designated SEV-1 call leaders.

https://argoday.medium.com/sev-1-call-leaders-8fdc0ae5f6be

The Single Pain of Glass

How do we create better dashboards?

https://medium.com/site-reliability-engineering-leadership/the-single-pain-of-glass-6e42930e966

VK Kubernetes Conf — первая Kubernetes-конференция 2024 года ⏰ 28.03.2024, 14:00 МСК 28 марта VK Cloud проведёт новую конференцию VK Kubernetes Conf, чтобы команды, которые работают с оркестратором и накапливают колоссальный опыт, могли поделиться им с сообществом. Основной темой обсуждения внутри комьюнити была и остается сложность оркестратора: растёт количество инструментов, усложняются архитектурные паттерны, повышаются требования к ИБ и к администрированию решений — защищенность Kubernetes становится приоритетом №1. Первое K8s-событие этого года будет посвящено отказоустойчивости и аварийному восстановлению, уязвимостям кластеров и тому, как с ними бороться. Спикеры и участники обсудят сценарии применения Kubernetes, которые в последние годы набирают обороты, среди них — работа с данными и ML. Спикерами конференции станут эксперты из «Тинькофф», VK, Wildberries, VK Cloud, Газпромбанка, билайна и других компаний. Доклады помогут решить типичные проблемы пользователей оркестратора, а также просто расширят кругозор, чтобы в непредвиденных ситуациях каждый специалист понимал вектор подходов к решению аварийной или среднестатистической задачи на своих проектах. VK Kubernetes Conf — это повод встретиться с сообществом и обменяться опытом, получить совет от специалистов и просто хорошо провести время с людьми, которые говорят с тобой на одном языке. Конференция будет интересна разработчикам, инженерам доступности сервисов (SRE), DevOps и DevSecOps-инженерам, архитекторам, тестировщикам и всем, кто работает с Kubernetes. Регистрация

Staying in the Zone: How DoorDash used a service mesh to manage data transfer, reducing hops and cloud spend

There have been many benefits gained through DoorDash’s evolution from a monolithic application architecture to one that is based on cells and microservices. The new architecture has reduced the time required for development, test, and deployment and at the same time has improved scalability and resiliency for end-users including merchants, Dashers, and consumers. As the number of microservices and back-ends has grown, however, DoorDash has observed an uptick in cross-availability zone (AZ) data transfer costs. These data transfer costs — incurred on both send and receive — allow DoorDash to provide its end users a highly available service that can withstand degradations of one or more AZs. The cost increase prompted our engineering team to investigate alternative ways to provide the same level of service more efficiently. In this blog post, we describe the journey DoorDash took using a service mesh to realize data transfer cost savings without sacrificing service quality.

https://doordash.engineering/2024/01/16/staying-in-the-zone-how-doordash-used-a-service-mesh-to-manage-data-transfer-reducing-hops-and-cloud-spend

Как ускорить SQL-проекции с 7 часов до 7 минут А еще быстро разрабатывать MVP и запускать свои пет-проекты на .Net. Все это специалисты из Тинькофф расскажут на митапе в Москве, который проведут вместе с Moscow .Net. Встречу соберут 18 марта в новой штаб-квартире на Белорусской. Сначала будут обсуждаться кейсы, а потом можно остаться понетворкать. 📆 18 марта в Москве. Регистрируйтесь и зовите коллег с собой! erid:2Vtzqw5L4Ub Реклама. АО "Тинькофф Банк", ИНН 7710140679, лицензия ЦБ РФ № 2673

testkube

Testkube natively integrates test orchestration and execution into Kubernetes and your CI/CD/GitOps pipeline. It decouples test artifacts and execution from CI/CD tooling; tests are meant to be part of your clusters state and can be executed as needed: - Kubectl plugin - Externally triggered via API (CI, external tooling, etc) - Automatically on deployment of annotated/labeled services/pods/etc (WIP) Testkube advantages: - Avoids vendor lock-in for test orchestration and execution in CI/CD pipelines - Makes it easy to orchestrate and run any kind of tests - functional, load/performance, security, compliance, etc. in your clusters, without having to wrap them in docker-images or providing network access - Makes it possible to decouple test execution from build processes; engineers should be able to run specific tests whenever needed - Centralizes all test results in a consistent format for "actionable QA analytics" - Provides a modular architecture for adding new types of tests and executors

https://github.com/kubeshop/testkube

erid: 2VtzqxVzBdD Приглашаем на вебинар завтра: Динамические окружения для stateless- и stateful-сервисов Завтра в 12:00 ребята из KTS и Yandex.Cloud проведут вебинар про динамические окружения. Вот некоторые из тем, которые будут на вебинаре: — Какие проблемы решают динамические окружения? — Какие проблемы они создают? — Динамические окружения для фронтенда и для бэкенда: отличия, тонкости. — Отличия стендов для монолитных и микросервисных приложений Посмотреть более подробную программу можно на странице вебинара. 👉 Ссылку на трансляцию можно получить в нашем боте Ждем вас завтра, приходите! Реклама. ООО "СТУДИЯ КТС" , ИНН 7733257480