DevOps by REBRAIN

🗓️ Расписание вебинаров на сегодня ⏰ 19:00 МСК - Онлайн-траблшутинг: WebApp Gateway Timeout 🔗 Регистрация и программа О вебинаре напомним за 5 минут до начала на этом канале. Также вы сможете зайти через личный кабинет. 🔥 Задать вопросы и обсудить детали можно в нашем чате

📌 Ключевой момент: при auto-ack: false брокер считает доставку успешной только после d.Ack(false). При сбое или обрыве связи происходит повторная доставка, поэтому обработчик обязателен должен быть идёмпотентным. 🚀 Kafka: распределённый журнал событий Kafka — это распределённый commit log с долговечным хранением данных (retention). Топики разделены на партиции (порядок строго гарантирован только внутри одной партиции), а *consumer groups* позволяют параллельно масштабировать чтение. Пример продюсера (Go, IBM/sarama):

package main


import (
 "fmt"
 "log"


 "github.com/IBM/sarama"
)


func main() {
 config := sarama.NewConfig()
 config.Producer.RequiredAcks = sarama.WaitForAll // Ждём подтверждения от всех синхронных реплик (ISR)
 config.Producer.Retry.Max = 5
 config.Producer.Return.Successes = true


 // Инициализируем синхронного продюсера
 producer, err := sarama.NewSyncProducer([]string{"localhost:9092"}, config)
 if err != nil {
  log.Fatal(err)
 }
 defer producer.Close()


 msg := &sarama.ProducerMessage{
  Topic: "user-events",
  Value: sarama.StringEncoder(`{"event": "login", "user_id": 123}`),
 }


 partition, offset, err := producer.SendMessage(msg)
 if err != nil {
  log.Fatal(err)
 }
 fmt.Printf("[x] Sent to partition %d at offset %d\n", partition, offset)
}

📌 Ключевой момент: WaitForAll ждёт ответа от всех синхронных реплик (ISR). Настройте min.insync.replicas (например, 2 при `replication.factor=3`), чтобы избежать потери данных при отказе одной из реплик. ⚖️ Архитектурный выбор: Что выбрать? 🔹 RabbitMQ — для сложной маршрутизации и точечных задач (обработка заказов, фоновые задачи, отправка писем). 🔹 Kafka — для высокой пропускной способности, логов, аналитики, потоковой обработки и сценариев, где необходимо повторное чтение истории. 🛠 Чек-лист по внедрению асинхронности: 1. Найдите синхронные узлы: Цепочки из 3+ HTTP-вызовов — первые кандидаты на перенос в очередь. 2. Защитите данные (RabbitMQ): Используйте *quorum queues*, *persistent*-сообщения и *publisher confirms*. 3. Обрабатывайте ошибки: Используйте ретраи с экспоненциальной задержкой (джиттером) и уводите неисправимые сообщения в DLQ. Избегайте бесконечных немедленных requeue. 4. Обеспечьте идёмпотентность: Из-за дублирования сетевых пакетов передавайте UUID события и проверяйте по БД/Redis, обрабатывалось ли оно ранее. 5. Мониторьте метрики: Для RabbitMQ отслеживайте *ready/unacked messages*; для Kafka — *consumer lag* и состояние ISR. 🎓 Хотите освоить брокеры сообщений на практике? Открывайте 🔥бесплатный демодоступ🔥: • RabbitMQ — маршрутизация, кластеризация, DLQ и мониторинг. • Kafka — партиционирование, consumer groups и тюнинг брокеров. • Docker — деплой брокеров через docker-compose. В демодоступе развёрнута полноценная боевая среда. Приходите!

📨 Очереди сообщений: Погружение в RabbitMQ и Kafka для обработки событий Синхронные HTTP-вызовы связывают микросервисы в жесткие цепочки. В пиковые нагрузки достаточно сбоя в одном узле (например, в сервисе оплаты), чтобы по цепочке таймаутов упало всё приложение. Асинхронная коммуникация через брокеры сообщений разрывает эту зависимость: сервис заказов быстро принимает запрос клиента, а фоновые обработчики забирают задачи из очереди по мере готовности. 🐰 RabbitMQ: гибкая маршрутизация RabbitMQ — классический брокер с развитой маршрутизацией (`direct`, topic, fanout, `headers`) и поддержкой DLQ (dead letter queues). Работает по модели доставки «как минимум один раз» (*at-least-once*). Пример продюсера (Go, `PublishWithContext` + publisher confirms):

package main


import (
 "context"
 "log"
 "time"


 "github.com/rabbitmq/amqp091-go"
)


func main() {
 // Подключаемся к RabbitMQ
 conn, err := amqp091.Dial("amqp://guest:guest@localhost:5672/")
 if err != nil {
  log.Fatal(err)
 }
 defer conn.Close()


 ch, err := conn.Channel()
 if err != nil {
  log.Fatal(err)
 }
 defer ch.Close()


 // Для критичных данных в продакшене используйте реплицируемую quorum queue.
 // Этот сокращённый пример объявляет обычную durable-очередь.
 q, err := ch.QueueDeclare(
  "order_queue", // name
  true,          // durable
  false,         // delete when unused
  false,         // exclusive
  false,         // no-wait
  nil,           // arguments
 )
 if err != nil {
  log.Fatal(err)
 }


 body := `{"order_id": 12345, "user_id": 678, "amount": 5000}`


 // Создаём контекст для отправки
 ctx, cancel := context.WithTimeout(context.Background(), 5*time.Second)
 defer cancel()


 // Включаем publisher confirms: persistent-флага и durable-очереди недостаточно,
 // чтобы продюсер узнал, принял ли брокер сообщение.
 if err := ch.Confirm(false); err != nil {
  log.Fatal(err)
 }

 confirmation, err := ch.PublishWithDeferredConfirmWithContext(ctx,
  "",     // exchange
  q.Name, // routing key
  false,  // маршрут - заранее объявленная очередь
  false,  // immediate
  amqp091.Publishing{
   ContentType:  "application/json",
   Body:         []byte(body),
   DeliveryMode: amqp091.Persistent,
  })
 if err != nil {
  log.Fatal(err)
 }

 acked, err := confirmation.WaitContext(ctx)
 if err != nil {
  log.Fatal(err)
 }
 if !acked {
  log.Fatal("broker rejected the message")
 }
 log.Printf("[x] Confirmed: %s", body)
}

Пример консьюмера (Go, ручное подтверждение):

package main


import (
 "log"


 "github.com/rabbitmq/amqp091-go"
)


func main() {
 conn, err := amqp091.Dial("amqp://guest:guest@localhost:5672/")
 if err != nil {
  log.Fatal(err)
 }
 defer conn.Close()


 ch, err := conn.Channel()
 if err != nil {
  log.Fatal(err)
 }
 defer ch.Close()


 q, err := ch.QueueDeclare(
  "order_queue",
  true,
  false,
  false,
  false,
  nil,
 )
 if err != nil {
  log.Fatal(err)
 }


 msgs, err := ch.Consume(
  q.Name,
  "",    // consumer tag
  false, // auto-ack (false - включаем ручное подтверждение)
  false, // exclusive
  false, // no-local
  false, // no-wait
  nil,   // args
 )
 if err != nil {
  log.Fatal(err)
 }


 forever := make(chan struct{})
 go func() {
  for d := range msgs {
   log.Printf("[x] Received: %s", d.Body)


   // Обработка сообщения
   if err := processOrder(d.Body); err == nil {
    d.Ack(false) // Подтверждаем успешную обработку
   } else {
    log.Printf("[!] Error processing order: %v", err)
    // Не делайте бесконечный немедленный requeue: это создаёт горячий цикл.
    // В продакшене направляйте сообщение в retry-очередь с задержкой,
    // лимитом попыток и последующим переводом в DLQ.
    d.Nack(false, false)
   }
  }
 }()


 log.Printf("[*] Waiting for messages. To exit press CTRL+C")
 <-forever
}


// Заглушка для демонстрации бизнес-логики обработки заказа
func processOrder(body []byte) error {
 return nil
}

❗ Открытый практикум Первое знакомство с ZFS идёт уже 30 минут Если вы ещё не с нами, скорее подключайтесь! Ссылка для входа: https://my.rebrainme.com/live-class/566 🔥 Задать вопрос по практикуму и обсудить детали можно в нашем чате

❗Начало Открытого практикума Первое знакомство с ZFS уже через 5 минут Встречаемся в 20:00 МСК. Ссылка для входа: https://my.rebrainme.com/live-class/566 Также вы можете подключиться к вебинару через личный кабинет, в разделе «Вебинары». 🔥 Задать вопрос по практикуму и обсудить детали можно в нашем чате

Открытый практикум Первое знакомство с ZFS начнётся сегодня в 20:00 МСК. Практикум будет проходить на площадке Zoom.US Важно!!! Чтобы вы смогли без проблем к нам присоединиться, заранее протестируйте комнату по ссылке: https://zoom.us/test Ссылку для доступа отправим вам за 5 минут до начала. Либо заходите через личный кабинет в разделе «Вебинары». 🔥 Задать вопрос по практикуму и обсудить детали можно в нашем чате

Всем привет!👋 Нам очень важно, чтобы наши курсы были полезны для вас. Хотим двигаться в правильном направлении - а для этого нужна ваша обратная связь! 👇 📝 Просим пройти вас небольшой опрос из 4 вопросов - это займёт не больше 2-3 минут. Самый главный для нас - вопрос №4. Именно там мы ждём ваших идей, пожеланий. Помогите нам стать лучше! 💡 🔗 Ссылка на опрос Спасибо, что развиваете Rebrain вместе с нами! ❤️

🔥Новое видео с Андреем Бурановым по администрированию дисковых систем: работа с LVM уже на канале Вебинар про LVM в Linux: архитектура (PV, VG, LV), изменение размеров разделов на лету и перенос данных на RAID без остановки сервисов. Смотрите полную запись на любой платформе. ↘️ Смотреть в YouTube ↘️ Смотреть в ВК Краткий конспект 👇🏼 1. Проблемы классической разметки При работе с классическими разделами (`/dev/vdb1`, `/dev/vdb2`) администратор жёстко ограничен их физическими границами: • увеличить можно только последний раздел на диске; • сдвиг начала раздела ломает суперблок ФС (у ext4 он смещён на 1024 байта, у XFS — в первом секторе) — раздел становится нерабочим; • любые перемещения блоков требуют остановки служб и размонтирования. Алгоритм увеличения последнего раздела (ext4):

partprobe   # или kpartx — сообщить ядру об изменении таблицы разделов
resize2fs /dev/vdb3   # для ext4
xfs_growfs /mnt/point # для XFS

2. Архитектура LVM PV (Physical Volume) — диск или раздел, инициализированный под LVM VG (Volume Group) — пул из одного или нескольких PV LV (Logical Volume) — раздел внутри VG, на нём создаётся ФС Пространство делится на экстенты (PE) по 4 МБ — это минимальная единица выделения места.

pvs / pvdisplay
vgs / vgdisplay
lvs / lvdisplay

3. Создание LVM

pvcreate /dev/vde
vgcreate vgnew /dev/vde
lvcreate -n lv01 -L 100M vgnew
lvcreate -n lv02 -L 100M vgnew
lvcreate -n lv03 -L 100M vgnew

mkfs.ext4 /dev/mapper/vgnew-lv01
mount /dev/mapper/vgnew-lv01 /mnt/01

4. Изменение размера LV Свободное место из VG можно добавить в любой LV независимо от порядка создания.

# в два шага
lvextend -L 200M /dev/vgnew/lv01
resize2fs /dev/mapper/vgnew-lv01

# в один шаг
lvextend -r -L 200M /dev/vgnew/lv02

Увеличивать ФС можно онлайн без проблем. А вот уменьшение почти нигде не поддерживается на лету: ext4 требует размонтирования, XFS не поддерживает вообще. 5. Перенос на RAID-1 без остановки сервисов Задача: перенести данные с диска /dev/vde (в VG vgnew`) на зеркало RAID-1 из `/dev/vdb1 и /dev/vde.

# 1. деградированный RAID-1 на одном диске
mdadm --create /dev/md127 --level=1 --raid-devices=2 missing /dev/vdb1

# 2. добавляем массив в VG
vgextend vgnew /dev/md127

# 3. переносим данные онлайн — ФС остаётся доступна на чтение и запись
pvmove /dev/vde

# 4. убираем старый диск из VG
vgreduce vgnew /dev/vde
pvremove /dev/vde

# 5. добавляем освободившийся диск в массив — начнётся синхронизация
mdadm --manage /dev/md127 --add /dev/vde

При сбое питания pvmove просто начнётся заново — данные не теряются. 6. Тонкие тома и альтернативы Thin-тома дают overcommit места: физически занимается только то, что реально записано. Удобно для образов ВМ и снапшотов. Но из VG с thin pool почти невозможно безопасно вывести PV — теряется главное преимущество LVM: гибкая миграция дисков. ZFS и Btrfs сами совмещают RAID, менеджер томов и ФС — LVM поверх них смысла не имеет. Ключевые выводы LVM — стандарт де-факто для серверов на Linux: снимает жёсткие границы классических разделов lvextend -r расширяет том и ФС одной командой без остановки сервисов; уменьшение — почти всегда офлайн-операция pvmove переносит данные между дисками онлайн — так можно менять диски или переезжать на RAID без простоя связка mdadm + LVM — стандартное решение для отказоустойчивости в production Если хочешь узнать больше, начни с бесплатного демодоступа к практикумам: 🔥Начать Linux Basics 🔥Начать Linux: Анализ производительности и тюнинг 🔥Начать Повышение привилегий в Linux

🗓️ Расписание вебинаров на сегодня ⏰ 20:00 МСК - Первое знакомство с ZFS 🔗 Регистрация и программа О вебинаре напомним за 5 минут до начала на этом канале. Также вы сможете зайти через личный кабинет. 🔥 Задать вопросы и обсудить детали можно в нашем чате

Всем привет! Сегодняшний вебинар GameDay (или Chaos Day): «Тяжело в учении — легко в бою» отменяется в связи с техническими неполадками у спикера. Позже сообщим новую дату и время проведения вебинара. Приносим извинения за доставленные неудобства!

Открытый практикум GameDay (или Chaos Day): «Тяжело в учении — легко в бою» начнётся сегодня в 20:00 МСК. Практикум будет проходить на площадке Zoom.US Важно!!! Чтобы вы смогли без проблем к нам присоединиться, заранее протестируйте комнату по ссылке: https://zoom.us/test Ссылку для доступа отправим вам за 5 минут до начала. Либо заходите через личный кабинет в разделе «Вебинары». 🔥 Задать вопрос по практикуму и обсудить детали можно в нашем чате

Grafana Loki: в 10 раз дешевле хранение логов, чем в Elasticsearch Elasticsearch индексирует весь текст лога: каждое слово, каждую строку стектрейса. После первого миллиарда записей счёт за инфраструктуру ELK пугает финансового директора сильнее, чем сам инцидент в проде. Мы собрали практикум по Grafana Loki, чтобы инженеры прошли путь от однобинарного запуска на одной машине до отказоустойчивого кластера в Kubernetes с объектным хранилищем, мультитенантностью и алертингом прямо из логов. В программе тебя ждёт: 🟢Проектирование схемы меток с низкой кардинальностью и использование Structured Metadata для высококардинальных данных 🟢Развертывание Loki в режимах monolithic, Simple Scalable и microservices; горизонтальное масштабирование через Helm в Kubernetes 🟢Написание LogQL-запросов любой сложности: от stream selector и line filter до metric queries с unwrap, quantile_over_time и absent_over_time 🟢Настройка ingestion через Grafana Alloy, Promtail, OpenTelemetry Collector и Docker Log Driver 🟢Конфигурация объектного хранилища (S3/MinIO), TSDB-индекса, глобального и per-stream retention через Compactor 🟢Настройка мультитенантного режима с per-tenant overrides и ограничениями через X-Scope-OrgID 🟢Создание alerting rules, recording rules и dead man's switch через Ruler с интеграцией в Alertmanager 🟢Мониторинг самого Loki через Loki Canary, официальные миксины и логи в формате JSON ↘️ Подробная программа В финальном проекте ты развернёшь в Kubernetes logging-стек для приложения из трёх микросервисов: Loki в режиме Simple Scalable с MinIO, Grafana Alloy как DaemonSet и два тенанта с retention 7 и 90 дней через overrides. Добавишь LogQL-дашборд, алертинг через Ruler и мониторинг самого Loki через Loki Canary. Практикум уровня Middle. Нужны базовые навыки администрирования Linux и CLI, опыт работы с Docker и Docker Compose, начальный опыт работы с Grafana и понимание Kubernetes: Pod, Deployment, DaemonSet, Helm-чарты. Отдельно мы добавили тренажёры, более сложные практические задачи на инфраструктуре: например, поиск и устранение high cardinality в живом кластере через logcli. 🎁 До 22 сентября действует скидка 5 000 рублей для новых участников ↘️ Практикум Grafana Loki ↘️ Практикум Grafana Loki + тренажёры Если ты DevOps-инженер, SRE или системный администратор и хочешь на практике научиться проектировать схему меток, разворачивать отказоустойчивый кластер Loki в Kubernetes и укрощать high cardinality в живой инфраструктуре, этот практикум для тебя 🤍

🗓️ Расписание вебинаров на сегодня ⏰ 20:00 МСК - GameDay (или Chaos Day): «Тяжело в учении — легко в бою» 🔗 Регистрация и программа О вебинаре напомним за 5 минут до начала на этом канале. Также вы сможете зайти через личный кабинет. 🔥 Задать вопросы и обсудить детали можно в нашем чате

🔥 Новый траблшутинг с призами от Васи Озерова! Твой продакшн лежит, а стандартные iptables -L и tcpdump показывают, что всё чисто? Добро пожаловать в реальный мир современных Linux-систем. В этом симуляторе инцидента ты останешься один на один со сломанной инфраструктурой: Nginx, Go-приложение и PostgreSQL отказываются общаться друг с другом, хотя каждый сервис запущен и рапортует об успехе. Твоя задача - восстановить связность трехкомпонентного веб-приложения на изолированной виртуальной машине. В этот раз траблшутинг будет проходить в новом формате: 🟢Вася проведет эфир по траблшутингу 7 сентября с 19:00-21:00 мск, во время которого будет доступна задача 🏆 инженер, который решит задачу быстрее всех во время эфира, получит место на новом Васином интенсиве 🟢После эфира доступ к инфраструктуре с задачей будет открыт для всех до 16 сентября. Среди остальных участников разыграем классные призы от Васи 🟢17 сентября Вася проведет эфир с разбором задачи Что нужно сделать сейчас: 1️⃣ Зарегистрироваться на эфир, 7 сентября 19:00-21:00 мск 2️⃣ Получить бесплатно доступ к траблшутингу на платформе Встречаемся и решаем задачу вместе с Васей Озеровым 7 сентября в 19:00 мск! Всем удачи 🤍

❗ Открытый практикум OSPFv3. Протокол динамической маршрутизации идёт уже 30 минут Если вы ещё не с нами, скорее подключайтесь! Ссылка для входа: https://my.rebrainme.com/live-class/565 🔥 Задать вопрос по практикуму и обсудить детали можно в нашем чате

❗Начало Открытого практикума OSPFv3. Протокол динамической маршрутизации уже через 5 минут Встречаемся в 19:00 МСК. Ссылка для входа: https://my.rebrainme.com/live-class/565 Также вы можете подключиться к вебинару через личный кабинет, в разделе «Вебинары». 🔥 Задать вопрос по практикуму и обсудить детали можно в нашем чате

Открытый практикум OSPFv3. Протокол динамической маршрутизации начнётся сегодня в 19:00 МСК. Практикум будет проходить на площадке Zoom.US Важно!!! Чтобы вы смогли без проблем к нам присоединиться, заранее протестируйте комнату по ссылке: https://zoom.us/test Ссылку для доступа отправим вам за 5 минут до начала. Либо заходите через личный кабинет в разделе «Вебинары». 🔥 Задать вопрос по практикуму и обсудить детали можно в нашем чате

Дневник никто не проверит и тройку за поведение не поставят. А вот кластер, который не понимает OSPFv3, рано или поздно уронит половину маршрутов, и разбираться с этим придется не на уроке, а в проде 😉 Поздравляем всех с днем знаний! Чтобы было проще и интереснее изучать новое, делимся календарем вебинаров на сентябрь. Будет много интересных тем: от Linux, DevSecOps до GitOps и Hermes Agent. ↘️ Календарь вебинаров 🟢 OSPFv3. Протокол динамической маршрутизации 1.09 в 19:00 мск. Ведущий: Андрей Шабалин 🟢GameDay (или Chaos Day): «Тяжело в учении — легко в бою» 3.09 в 20:00 мск. Ведущий: Илья Сачков 🟢Первое знакомство с ZFS 4.09 в 20:00 мск. Ведущий: Андрей Буранов 🟢Отправка событий безопасности с Linux-хоста в ELK-стек средствами Auditbeat 8.09 в 19:00 мск. Ведущий: Андрей Шабалин 🟢Первое знакомство с btrfs 9.09 в 20:00 мск. Ведущий: Андрей Буранов 🟢DevSecOps: от SAST и DAST до автоматизации с Renovate Bot 10.09 в 19:00 мск. Ведущий: Роман Хохлов 🟢Централизованное управление доступом (AAA) средствами протокола RADIUS на маршрутизаторах Eltex 15.09 в 19:00 мск. Ведущий: Андрей Шабалин 🟢Распределенное хранилище DRBD 16.09 в 20:00 мск. Ведущий: Андрей Буранов 🟢GitOps: как мы перестали ходить в кластер через kubectl и стали спать спокойно 22.09 в 20:00 мск. Ведущий: Кирилл Ряховский 🟢Hermes Agent изнутри: архитектура, память и практическое развертывание 23.09 в 20:00 мск. Ведущий: Марк Кудрицкий 🟢Мониторинг производительности в Linux 24.09 в 20:00 мск. Ведущий: Николай Лавлинский 🟢Безопасность в Angie 29.09 в 20:00 мск. Николай Лавлинский ↘️ Выбрать один вебинар или записаться на все

🗓️ Расписание вебинаров на сегодня ⏰ 19:00 МСК - OSPFv3. Протокол динамической маршрутизации 🔗 Регистрация и программа О вебинаре напомним за 5 минут до начала на этом канале. Также вы сможете зайти через личный кабинет. 🔥 Задать вопросы и обсудить детали можно в нашем чате