DevOps&SRE Library

Comparison of Networking Solutions for Kubernetes

In this study, our goal was to find the solution with the lowest latency, highest throughput, and the lowest setup cost. Since our load is latency-sensitive, our intent is to measure high percentile latencies at relatively high network utilization. We particularly focused on the performance under 30–50% of the maximum load, because we think this best represents the most common use cases of a non-overloaded system.

https://machinezone.github.io/research/networking-solutions-for-kubernetes

🔥 Тест по высоким нагрузкам на Linux 🔥 Одним из самых востребованных навыков для Linux-администраторов является способность решать задачи, связанные с высокими нагрузками. Прокачать свои навыки вы сможете на курсе «Инфраструктура высоконагруженных систем» от OTUS. Там вы научитесь решать три глобальные задачи: 1. Виртуализация с помощью таких инструментов как proxmox, KVM, oVirt, Xen 2. Кластеризация сервисов на базе pacemaker, k8s, nomad и построение дисковых кластеров на базе ceph, glaster, linstore 3. Построение высоконагруженных систем на базе nginx 🏆 А еще углубитесь в тонкости работы с высоконагруженными системами, что очень востребовано на рынке уже сейчас! 👉 Пройти вступительный тест — https://vk.cc/cGo8zD 💣 Пройдете тест, получите специальные условия для поступления на курс и доступ к открытым урокам курса. Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru, erid: 2Vtzqw84Vvi

studio

A lightweight Database GUI in your browser. It supports connecting to Postgres, MySQL, and SQLite.

https://github.com/outerbase/studio

bento

Bento is a high performance and resilient stream processor, able to connect various sources and sinks in a range of brokering patterns and perform hydration, enrichments, transformations and filters on payloads.

https://github.com/warpstreamlabs/bento

🚀Узнайте, какие решения можно применять для эффективной автоматизации задач обслуживания 1C! На бесплатном вебинаре онлайн-курса «DevOps 1C» - «Современные решения для автоматизации задач обслуживания 1С»: регистрация Обсудим следующие аспекты: - какие задачи обслуживания могут возникать - какие инструменты для решения могут применяться - плюсы и минусы предлагаемых инструментов Урок будет полезен: Программистам 1С, Системным администраторам, DevOps-инженерам 🤝После вебинара продолжите обучение на курсе с новогодней скидкой и даже в рассрочку! Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, erid: 2Vtzquj2hSr

How using Availability Zones can eat up your budget — our journey from Prometheus to VictoriaMetrics https://engineering.prezi.com/how-using-availability-zones-can-eat-up-your-budget-our-journey-from-prometheus-to-be8a816f7efe

How to Handle Sudden Bursts of Traffic or "Thundering Herd Problem"?

Techniques to Avoid Potential Failures Caused by Sudden Traffic Spikes

https://newsletter.scalablethread.com/p/how-to-handle-sudden-bursts-of-traffic

Что делать, если не хватает практики для работы с k8s? 👉 пойти учиться в Слёрм и систематизировать знания о работе с кластером! Тем более, что до 28 декабря сделать это можно по специальной цене. ✅ Чему научим: - Основам работы с K8s, системой автоматизации развертывания, масштабирования и управления приложениями в контейнерах. - Запускать кластер, работать с базовыми абстракциями и подключать дополнительные компоненты - Запускать приложение в кластере, понимать принципы работы сети и настраивать CI/CD пайплайн ⭐ Курс обновлён в июле 2024 Стоимость потока: До 28 декабря 2024 — 70 000 ₽ С 29 декабря 2024 — 90 000 ₽ Старт потока — в январе. Забронируйте место по старой цене — оплатить можно в новом году. Подробности — на сайте 👈 Реклама ООО «Слёрм» ИНН 3652901451

tufw

This go package provides a terminal user interface for ufw.

https://github.com/peltho/tufw

Multi-environment infrastructure with terraform variables files

In our company we have thousands of resources managed by Terraform. Which are deployed to multiple environments (dev, staging, production) and different regions.

https://dev.to/musukvl/multi-environment-with-terraform-variables-file-16bp

Selectel открывает двери в мир своей инженерной команды! На новой странице вы найдете: — Основные принципы, которыми руководствуются инженеры компании; — Подробный взгляд на внутренние процессы и используемые технологии; — Информация о том, как живут и развиваются технические комьюнити Selectel. А также будет доступна база знаний команды: доклады и статьи команды на Хабре. Заходите и читайте — будет интересно! Реклама, АО «Селектел», ИНН: 7810962785, ERID: 2VtzqwzkVyU

Terraform 'data source will be read during apply' messages - What is it and how to fix

Terraform users will likely be familiar with “data source will be read during apply” messages that may appear in the plan output. These messages can be confusing and may even lead to unexpected re-creation of resources. Typically, these messages are related to using data sources in combination with Terraform modules and explicit dependencies.

https://sanderknape.com/2024/11/terraform-data-source-read-during-apply-messages-fix

🎉 Новый хаб «Разработка облачных платформ» от МТС Web Services на Хабре! 🚀 MWS создали место, где облачные инженеры могут обсудить тонкости разработки, рассказать о своих кейсах и поделиться опытом. В новом хабе вас уже ждут статьи: 🔗 Как мы строим публичное облако с нуля: опыт MWS Данила Дюгуров, CTO MWS, рассказывает, о чём нужно подумать, прежде чем стартовать разработку публичной облачной платформы 🔗 Проектирование облачной сети MWS: выбор технологий и решений Яков Жданов, руководитель направления Network, делится опытом проектирования облачной сети для нового облака MWS 🔗 Изобретаем IAM для нового облака MWS Андрей Халиуллин, руководитель направления IAM, объясняет, какую ресурсную модель мы выбрали для новой платформы. Присоединяйтесь к сообществу, подписывайтесь на хаб, следите за новыми статьями и вносите свой вклад в развитие облачного комьюнити!

The Terralith: Monolithic Architecture of Terraform & Infrastructure as Code

This article explores the challenges and pitfalls of Terralith, a monolithic Terraform architecture in Infrastructure as Code, and uncovers why a Terralith is not considered best practice.

https://masterpoint.io/updates/terralith-monolithic-terraform-architecture

🎥 Вебинар: «Отказоустойчивое хранилище DRBD: настройка, управление, надежность» Хотите защитить свои данные от сбоев и создать отказоустойчивую систему? DRBD — ваш ключ к максимальной надёжности! Что будет на вебинаре: - Разберём, что такое DRBD и как он работает. - Поговорим о типах репликации данных и тонкостях настройки. - Научимся восстанавливать систему после сбоев. Занятие для системных администраторов, инженеров DevOps и специалистов по инфраструктуре. ⭐️ Спикер Андрей Буранов — системный администратор в VK, входит в топ-3 лучших преподавателей образовательных порталов. 🚀 Урок проходит в преддверии старта курса «Инфраструктура высоконагруженных систем». Участники вебинара получат скидку на обучение! ⏰ Встречаемся 26 декабря в 18:00 мск. 👉 Для участия зарегистрируйтесь: https://vk.cc/cGf8Td Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru, erid: 2VtzqvBbktS

The long way towards resilience P1: https://www.ufried.com/blog/road_to_resilience_1 P2: https://www.ufried.com/blog/road_to_resilience_2 P3: https://www.ufried.com/blog/road_to_resilience_3 P4: https://www.ufried.com/blog/road_to_resilience_4 P5: https://www.ufried.com/blog/road_to_resilience_5 P6: https://www.ufried.com/blog/road_to_resilience_6

Why we use our own hardware at Fastmail

Fastmail has a long history of using our own hardware. We have over two decades of experience running and optimising our systems to use our own bare metal servers efficiently.

https://www.fastmail.com/blog/why-we-use-our-own-hardware

Breaking down CPU speed: How utilization impacts performance

The Performance Engineering team at GitHub assessed how CPU performance degrades as utilization increases and how this relates to capacity.

https://github.blog/engineering/architecture-optimization/breaking-down-cpu-speed-how-utilization-impacts-performance

Учимся разворачивать отказоустойчивые кластеры по ценам 2024 года 🔥 27 января стартует курс «Kubernetes Мега» от учебного центра Слёрм: повышайте устойчивость, безопасность и производительность своих приложений, не ломая кластеры и не роняя прод. За 7 недель вы научитесь: 🔵переносить продукт на платформу k8s разворачивать отказоустойчивые кластеры 🔵ускорять траблшуттинг 🔵повышать отказоустойчивость продукта 🔵разворачивать и обслуживать кластер с автоматической ротацией сертификатов, автодеплоем и правильным хранением секретов ОБНОВИЛИ ВЕСЬ КУРС в сентябре 2024 ⭐ - Старт 27 января - 7 недель обучения - 78 часов практики - 7 встреч со спикерами Стоимость: ▶до 31 декабря 2024: 90 000 ₽ ▶с 1 января 2025: 110 000 ₽ Забронировать скидку или полностью оплатить обучение — на сайте 👈 Реклама ООО «Слёрм» ИНН 3652901451

The Case for Shared Storage

In this post, I’ll start off with a brief overview of “shared nothing” vs. “shared storage” architectures in general. This discussion will be a bit abstract and high-level, but the goal is to share with you some of the guiding philosophy that ultimately led to WarpStream’s architecture. We’ll then quickly transition to discussing the trade-offs between the two architectures more specifically in the context of data streaming and WarpStream; this is the WarpStream blog after all!

https://www.warpstream.com/blog/the-case-for-shared-storage