DevOps&SRE Library

Kubernetes Operator. Create the one with Kubebuilder

One of possible way to customize the Kubernetes cluster is to use Operators. They extend Kubernetes capabilities by automating the lifecycle management of applications beyond what’s natively supported. This process is powered by Custom Resource Definitions (CRDs) and Custom Resources (CRs). CRDs allow you to define your own API objects, while CRs are the instances of these definitions.

https://fenyuk.medium.com/kubernetes-operator-create-the-one-with-kubebuilder-5d1ac240d0d4

Exposing Ports in Kubernetes: What You Should Know https://awsmorocco.com/exposing-ports-in-kubernetes-what-you-should-to-know-cd1a80655f6c

Доклады, нетворкинг и облачные технологии — всё на K2 Cloud Conf. Ребята из K2 Cloud сделали свою конференцию, где поделятся всем про облака: как подключаться к ним без компромиссов в безопасности, автоматизировать процессы с помощью PaaS, а также расскажут о новом типе сетевых дисков – всё это и не только! Встречаемся 4-го марта. Подробности и регистрация по ссылке

Container networking https://alesbrelih.dev/posts/2024-07-31-containers-and-network-namespaces

Securing Secrets in Confidential Containers: Usage patterns to avoid https://itnext.io/securing-secrets-in-confidential-containers-usage-patterns-to-avoid-941388cde546

Открытый урок «ISIS vs. OSPF, или почему же ISIS до сих пор проигрывает битву OSPF в корпоративных сетях?» 🗓 05 февраля в 20:00 МСК 🆓 Бесплатно. Урок в рамках старта курса «Network Engineer. Professional» от Otus. ISIS и OSPF - каждый хорош по-своему, или нет? Почему корпоративные и операторские сети до сих пор ведут священную войну какой же протокол лучше? На вебинаре: ✔ Выясним в чем сходства и различия ISIS и OSPF ✔ Разберемся, что мешает ISIS завоевать корпоративные сети ✔ Поймем, какие преимущества нам может дать использование ISIS в корпоративных сетях ✔ В результате разберем основы ISIS. На практике изучим как работает ISIS. 🔗 Ссылка на регистрацию: https://vk.cc/cHZBFs Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, erid: 2VtzqvTP83e

A hands-on lab: Why running as root in Kubernetes containers is dangerous? https://medium.com/@marcin.wasiucionek/why-is-running-as-root-in-kubernetes-containers-dangerous-e5f1a116080e

GitOps Secrets with Argo CD, Hashicorp Vault and the External Secret Operator

In this post, we showcase the External Secret Operator and Hashicorp Vault and focus on 2 important aspects. - How to avoid saving ANY secrets in Git, including tokens for fetching the application secrets - How to refresh secrets automatically without pod restarts and application deployments

https://medium.com/containers-101/gitops-secrets-with-argo-cd-hashicorp-vault-and-the-external-secret-operator-eb1eec1dab0d

Алгоритмы управления потоком (Flow Control) в TCP служат для предотвращения перегрузки сети и потерь данных. Исследования в этой области не прекращаются и на сегодня нам доступно множество вариантов: * Reno (1986) * New Reno (1999) * CUBIC (2004) * FAST TCP (2005) * BBRv1 (2016) * BBRv2 (2019) * BBRv3 (2023) * ... По умолчанию в Linux используется CUBIC. Однако создатели BBR (Google) выкладывают любопытные исследования, где резюмируют:

BBR enables big throughput improvements on high-speed, long-haul links...
BBR enables significant reductions in latency in last-mile networks that connect users to the internet...

Так может нам просто переехать на новые рельсы? Хотя кажется правильнее поставить вопрос по другому: в каких случаях какой алгоритм может быть предпочтительнее? ———— Алгоритмы Flow Control можно условно разделить на два типа: 1. Loss-based (ориентированы на потери пакетов): Reno, NewReno, CUBIC 2. Delay-based (ориентированы на изменения RTT): FAST TCP, BBRv* Основная цель любой реализации Flow Control — максимально эффективно использовать пропускную способность канала, сохраняя баланс между скоростью передачи данных и предотвращением перегрузок. Скорость регулируется через Congestion Window (окно перегрузки) — сколько данных можно отправить без получения подтверждения. Разница между подходами к контролю перегрузки заключается в методах её определения. Loss-based (CUBIC) Алгоритмы этого типа оценивают перегрузку по потерям пакетов. Пришел дублирующий ACK или сработал Retransmission Timeout (RTO)? Значит есть потери и следовательно канал перегружен - снижаем скорость. Затем ориентируясь на поступающие ACK, скорость увеличивается, пока не обнаружатся новые потери. Такой подход может забивать очереди в канале до предела, что и будет приводить к потерям. Реакция носит реактивный характер: перегрузка фиксируется только после её возникновения. Delay-based (BBR) В Delay-based алгоритмах, таких как BBR, перегрузка оценивается на основе изменения задержек: * минимальный RTT (RTT_min) принимается за эталон; * если текущий RTT (RTT_now) превышает RTT_min, алгоритм предполагает, что канал перегружен, и снижает скорость передачи данных. Таким образом, BBR стремится избегать заполнения очередей, что позволяет сократить задержки. Его подход более превентивный: предотвращение перегрузки до её появления. ———— CUBIC проигрывает BBR в сетях с высоким RTT, например, в интернете. Это происходит из-за медленного роста скорости после обнаружения потерь: ACK приходят с задержкой. Внутри дата-центров, где RTT низкий, CUBIC должен справляться лучше - быстрые ACK ускоряют рост скорости передачи данных. BBR же в таких сетях может не дать преимуществ. При всплесках трафика он снижает скорость, чтобы избежать заполнения очередей, из-за чего канал используется не полностью. Кроме того, возможны конфликты между алгоритмами, когда та или иная реализация будет захватывать пропусную способность, вытесняя другие. Настоящие войны) Вообщем как обычно надо быть осторожее! Почитать: - https://blog.apnic.net/2017/05/09/bbr-new-kid-tcp-block/ - https://book.systemsapproach.org/congestion.html - https://tcpcc.systemsapproach.org/ tags: #network #tcp

tfmv

tfmv is a CLI to rename Terraform resources, data sources, and modules and generate moved blocks.

https://github.com/suzuki-shunsuke/tfmv

Go All the Way: Why Golang is Your Swiss Army Knife for Modern Development

At Oodle's inception, we faced a common dilemma: choosing the right technology stack to get started. With a small team proficient in Go and a big vision, we needed a language that could handle everything from application development to infrastructure management. After careful consideration, we chose Go, and it has proven to be our Swiss Army knife for modern development. Here's why.

https://blog.oodle.ai/go-all-the-way-why-golang-is-your-swiss-army-knife-for-modern-development

🎥 🚀 Вебинар: Транзакции в реляционных СУБД — основы, лучшие практики и стратегии обеспечения согласованности данных. 💪 Особенности вебинара: 1. Как организовать управление в реляционных СУБД и почему их использование важно для защиты и согласования данных. 2. Принципы ACID: что лежит в основе надежной работы транзакций и как обеспечить выполнение этих преобразований. 3. Механизмы управления конкурентным доступом, включая блокировку и изоляцию транзакций, для предотвращения помех и аномалий. ⭐️ В результате вебинара: - Вы поймёте, как эффективно использовать обработку данных в реляционных СУБД. - Изучите основные понятия ACID, блокировки и реализации, необходимые для построения устойчивых и безопасных систем. - Узнаете, как разрабатываются подходы, минимизирующие ошибки, повышающие производительность и кратковременные масштабирования приложений. 🚀 Не упустите возможность стать экспертом. Всем участникам будут доступны сециальные условия для постулпения на курс Highload Architect в Otus. Дата и время: 30.01.2025, в 20-00 (мск) 👉 Зарегистрируйтесь для участия: https://vk.cc/cHWfwI Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru, erid: 2VtzqxZSe2G

Kafka vs NATS: A Comparison for Message Processing

Kafka and NATS are both popular tools for message processing. This article provides a comparison between Kafka and NATS.

https://dzone.com/articles/kafka-vs-nats-message-processing

Вы ещё не настроили систему алертов? Это как ехать на машине без тормозов. Вроде ничего, пока не случится ЧП. 💡 Узнайте, как создать оповещения, которые действительно помогают, а не раздражают. Разберём метрики, триггеры, интеграцию с инструментами вроде Prometheus и Slack. Ваши алерты будут точными, полезными и избавят команду от шума и ложных тревог. Реакция на инциденты станет быстрой, а устранение причин — эффективным. ⌨️ Спикер Михаил Чугунов — ведущий DevOps-инженер. ⏺️Встречаемся 30 января в 20:00 мск. Участники получат скидку на большое обучение «SRE практики и инструменты». Регистрация открыта: https://vk.cc/cHJYst Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru, erid: 2Vtzqv2cU6p

documentdb

DocumentDB offers a native implementation of document-oriented NoSQL database, enabling seamless CRUD operations on BSON data types within a PostgreSQL framework. Beyond basic operations, DocumentDB empowers you to execute complex workloads, including full-text searches, geospatial queries, and vector embeddings on your dataset, delivering robust functionality and flexibility for diverse data management needs. PostgreSQL is a powerful, open source object-relational database system that uses and extends the SQL language combined with many features that safely store and scale the most complicated data workloads.

https://github.com/microsoft/documentdb

💣 Освойте принципы и популярные инструменты DevOps-инженера, которые помогут повысить вашу востребованность и доход! ➡️Успейте на онлайн-курс «DevOps практики и инструменты» от OTUS с максимальной скидкой по промокоду DevOps01. Группа стартует уже 30 января: https://vk.cc/cHJWoE 💻 Для кого этот курс? - Для разработчиков. Вы научитесь настраивать системы разворачивания и тестирования приложений, либо плавно перейти в новую профессию. - Для системных администраторов. Сможете разобраться в построении процесса DevOps и оптимизировать нагрузки на системы и сервисы, освоить новые инструменты и подходы, а после сменить профессию. - Для тестировщиков. Станете более востребованным специалистом за счет изучения инструментов DevOps.  ✅За эти годы мы выпустили уже 700 Девопсов, поднявших свой доход до 4 раз. Работодатели - партнёры OTUS уже ждут выпускников. Сделайте шаг вперёд и вы! ➡️ ПРОЙТИ ВСТУПИТЕЛЬНЫЙ ТЕСТ: https://vk.cc/cHJWoE Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, erid: 2Vtzqx55kZz

Pushing the whole company into the past on purpose

Every six months or so, this neat group called the International Earth Rotation Service issues a directive on whether there will be a leap second inserted at the end of that six month period. You usually find out at the beginning of January or the beginning of July, and thus would have a leap second event at the end of June or December, respectively.

https://rachelbythebay.com/w/2025/01/09/lag

Проект масштабируется, и приходится изобретать велосипеды, чтобы он работал? 🔆 Значит, пора углубляться в паттерны k8s и внедрять их. Все знания и практику можно получить на курсе «Kubernetes Мега» от учебного центра Слёрм.

⭐ До 31 января комплект «Kubernetes Мега» + интенсив «Service Mesh» со скидкой 25% — для тех, кто хочет подготовиться к внедрению паттерна без костылей в архитектуре. 230 000 ₽ 172 500 ₽

Подробности и программа курса — на сайте 👈 За 7 недель вы научитесь: 🔹переносить продукт на платформу k8s 🔹разворачивать отказоустойчивые кластеры 🔹ускорять траблшуттинг 🔹повышать отказоустойчивость продукта 🔹разворачивать и обслуживать кластер с автоматической ротацией сертификатов, автодеплоем и правильным хранением секретов 🔹работать с собственным оператором, сайдкарами и Service Mesh Еще раз ссылка на сайт 👈 Реклама ООО «Слёрм» ИНН 3652901451

television

Television is a fast and versatile fuzzy finder TUI. It lets you quickly search through any kind of data source (files, git repositories, environment variables, docker images, you name it) using a fuzzy matching algorithm and is designed to be easily extensible.

https://github.com/alexpasmantier/television