Системный Аналитик
Канал для системных аналитиков и не только: подборки полезных материалов на все случаи жизни. Реклама и сотрудничество @radale https://gosuslugi.ru/snet/67b0613c6411ff785396754a
Показати більше📈 Аналітичний огляд Telegram-каналу Системный Аналитик
Канал Системный Аналитик (@sys_sa) у мовному сегменті Російська є активним учасником. На даний момент спільнота об'єднує 19 088 підписників, посідаючи 6 874 місце в категорії Технології та додатки та 34 328 місце у регіоні Росія.
📊 Показники аудиторії та динаміка
З моменту свого створення невідомо, проект продемонстрував стрімке зростання, зібравши аудиторію у 19 088 підписників.
За останніми даними від 16 листопада, 2026, канал демонструє стабільну активність. Хоча за останні 30 днів спостерігається зміна кількості учасників на -34, а за останні 24 години на -6, загальне охоплення залишається високим.
- Статус верифікації: Не верифікований
- Рівень залученості (ER): Середній показник залученості аудиторії становить 16.66%. Протягом перших 24 годин після публікації контент зазвичай збирає 9.16% реакцій від загальної кількості підписників.
- Охоплення публікацій: В середньому кожен допис отримує 0 переглядів. Протягом першої доби публікація в середньому набирає 1 748 переглядів.
- Реакції та взаємодія: Аудиторія активно підтримує контент: середня кількість реакцій на один пост – 0.
- Тематичні інтереси: Контент зосереджений навколо ключових тем, таких як api, архитектура, собеседование, транзакция, документация.
📝 Опис та контентна політика
Автор описує ресурс як майданчик для висловлення суб'єктивної думки:
“Канал для системных аналитиков и не только: подборки полезных материалов на все случаи жизни.
Реклама и сотрудничество @radale
https://gosuslugi.ru/snet/67b0613c6411ff785396754a”
Завдяки високій частоті оновлень (останні дані отримано 17 листопада, 2026), канал підтримує актуальність та високий рівень охоплення публікацій. Аналітика показує, що аудиторія активно взаємодіє з контентом, що робить його важливою точкою впливу в категорії Технології та додатки.
outbox — очередь неотправленных событий, которую сервис ведёт у себя
Работает так:
1⃣Сервис фиксирует бизнес-данные и событие одной транзакцией
Внутри транзакции два INSERT:
- строка в бизнес-таблицу (сам заказ)
- и строка события в outbox — идентификатор, тип события, полезная нагрузка
COMMIT фиксирует обе записи атомарно: либо обе, либо ни одной
Упавший сервис не оставит после себя «заказ без события» или «событие без заказа»
2⃣Ретранслятор доставляет события в брокер
Событие из outbox отправляет не сам сервис в ходе бизнес-операции, а отдельный фоновый процесс — ретранслятор (message relay)
Два типовых способа:
🔵 Polling publisher — периодически опрашивает таблицу outbox, публикует новые записи в брокер и помечает их отправленными;
🔵 CDC (Change Data Capture, захват изменений данных) — процесс читает журнал транзакций БД и публикует события напрямую из него
➡️ например, Debezium с трансформацией Outbox Event Router
3⃣ Отправленное фиксируется
При поллинге запись помечается отправленной после публикации в брокер;
При CDC таблицу чистит отдельная фоновая задача — трансформация Debezium реагирует только на INSERT
❕ доставка получается at-least-once — брокер доставит сообщение минимум один раз, но возможны повторы.
Ретранслятор может отправить событие в брокер и упасть до того, как пометит запись, — после перезапуска он отправит событие повторно.
Дубли неизбежны, и их гасит вторая половина связки
Как работает Transactional Inbox
➡️ Зеркальный паттерн на стороне консьюмера
🟢Брокер доставляет at-least-once — одно и то же сообщение может прийти и второй раз (после сбоя сети, перезапуска консьюмера или таймаута подтверждения)
🟢Повторы нужно распознавать
«Памятью» консьюмера служит таблица inbox в его БД — там лежат идентификаторы уже обработанных сообщени
Дедупликация выполняется в той же транзакции, что и бизнес-обработка:
1. Консьюмер (получатель сообщений из брокера) забирает сообщение и открывает транзакцию.
2. Сверяет message_id сообщения с таблицей inbox: не обрабатывалось ли оно раньше.
3. Сообщение новое: в одной транзакции выполняется бизнес-операция и вставляется отметка в inbox.
4. Сообщение уже есть в inbox — это дубль: обработка пропускается, брокеру уходит подтверждение (иначе брокер будет доставлять его снова).
5. COMMIT фиксирует бизнес-операцию и отметку «обработано» атомарно.
✳️ Если сбой случился после коммита, но до подтверждения брокеру, — брокер доставит сообщение повторно, консьюмер найдёт message_id в inbox и не повторит операцию.
Это применение идемпотентности: повторная обработка безопасна по построению, а не по договорённости
Связка Outbox и Inbox
Ни брокер, ни один из паттернов по отдельности не дают честного exactly-once — следствие базовых гарантий доставки в Kafka и других брокеров. Связка работает так:
🔵 Outbox + подтверждения брокера ➡️ сообщения доставляются at-least-once, без потерь
🟢 Inbox ➡️ дубликаты отбрасываются, бизнес-эффект применяется ровно один раз
Пример
Интернет-магазин, заказ и резервирование товара на складе:
⚪ покупатель оформляет заказ — сервис заказов в одной транзакции пишет строку заказа и событие OrderCreated в outbox
⚪ CDC-процесс читает журнал БД и публикует событие в топик orders
⚪ Сервис склада получает событие, в одной транзакции вставляет message_id в inbox и резервирует товар
⚪ Ретранслятор не дождался подтверждения и доставил событие повторно — message_id уже в inbox, повторного бронирования нет
✔️ Сервис заказов упал сразу после оформления — события никуда не ушли:
после восстановления ретранслятор дочитает outbox и доставит всё накопленное
📎 Материалы
1. Паттерн Outbox: как не растерять сообщения в микросервисной архитектуре
2. Паттерн Transactional Outbox: от теории до продакшена
3. Transactional Outbox: от идеи до open-source
4. Как мы четыре раза переписали Outbox
5. Реализация Transactional outbox pattern и немного DDD
6. Outbox pattern для System Design Интервью
📚 Книги
1. Высоконагруженные приложения. Программирование, масштабирование, поддержка — Мартин Клеппман
2. Создание микросервисов — Сэм Ньюман
3. Apache Kafka. Потоковая обработка и анализ данных — Гвен Шапира и др
#проектирование #архитектура
➿➿➿➿➿➿➿➿➿➿
🧑🎓 Более поробное сравнение в базе знаний по системному анализуorders.europe.created). * заменяет ровно одно слово, # — ноль и более слов.
🟣headers: маршрутизация по заголовкам сообщения, без routing key.
AMQP 1.0
AMQP 1.0 — не следующая версия 0-9-1, а другой протокол
✖️ С 0-9-1 его не связывает ничего, кроме имени
👇 1.0 описывает только передачу и не навязывает модель брокера: гарантии доставки настраиваются на каждом канале отдельно
Гарантии доставки в AMQP 0-9-1
Базовая публикация не подтверждается брокером: без дополнительных механизмов это «отправил и забыл» (at most once)
Надёжность собирается из частей:
🔘publisher confirms: брокер подтверждает приём каждого сообщения (расширение RabbitMQ)
🔘consumer acknowledgements: сообщение считается обработанным только после подтверждения потребителем. Без подтверждения брокер доставит его повторно
🔘persistent-сообщения и durable-очереди: защита от потери при перезагрузке брокера
👇 Комбинация даёт семантику at least once (как минимум один раз)
Её цена — дубликаты, поэтому потребитель должен быть идемпотентным
Когда использовать AMQP
- корпоративная интеграция и микросервисы: сложная маршрутизация, разделение и слияние потоков событий
- приоритизация, транзакционность (несколько публикаций «всё или ничего»)
- гарантии доставки
Брокеры
🔘RabbitMQ
🔘Azure Service Bus (основной протокол — AMQP 1.0)
🔘ActiveMQ
MQTT
MQTT — лёгкий бинарный протокол публикации/подписки для устройств с ограниченными ресурсами и нестабильной сетью
👇 Стандартные порты — 1883 (TCP) и 8883 (TLS)
Архитектура
Издатель ➡️ брокер ➡️ подписчики
🟣 У клиентов нет адресов: издатель публикует сообщение брокеру, тот фильтрует по топикам и рассылает подписчикам
🟣 Издатель и подписчик не знают друг о друге.
Топики
Данные адресуются топиками — иерархическими метками
Уровни разделяются слэшем:
🟣factory/line2/temperature — топик датчика температуры второй линии цеха.
🟣Подписка — на точный топик или маску:
🟣factory/+/temperature — датчики температуры всех линий (+ заменяет ровно один уровень);
🟣factory/# — всё производство (# заменяет ноль и более уровней, включая сам factory).
Формат payload (JSON, бинарные данные) стандарт не описывает — это договорённость сторон
Гарантии
QoS (Quality of Service) действует на каждом участке отдельно
Итоговый QoS для подписчика — минимальный из QoS публикации и QoS подписки
Поэтому идемпотентность потребителя остаётся актуальной даже при QoS 2 («ровно один раз»).
Механизмы MQTT
🟣Retained-сообщения: брокер хранит последнее сообщение топика и выдаёт его каждому новому подписчику
Подключился — сразу получил актуальное состояние
🟣LWT (Last Will and Testament, «завещание»): при подключении клиент оставляет брокеру сообщение, которое тот опубликует при нештатном обрыве связи
Типовой паттерн — топик статуса устройства со значениями online/offline
🟣 Persistent-сессии: брокер помнит подписки офлайн-клиента и накапливает для него сообщения QoS 1/2.
Когда использовать MQTT
🟡 IoT и телеметрия: датчики, телематика, умные здания и производства
🟡 Мобильные приложения, где важны расход трафика
🟣Если устройство на сетевом питании отправляет данные раз в час, HTTP может оказаться проще
Брокеры
Eclipse Mosquitto, EMQX, HiveMQ
STOMP
STOMP (Streaming Text Oriented Messaging Protocol) — простой текстовый фреймовый протокол по мотивам HTTP
Единственный из тройки, которым можно пользоваться вручную: сессию с брокером можно открыть даже через telnet
🟣Общение идёт фреймами: команда, заголовки вида «ключ: значение», тело
🟣Ключевое отличие: у STOMP нет собственной модели маршрутизации. Destination — непрозрачная строка, семантику которой задаёт брокер:
- в RabbitMQ /queue/имя — разделяемая очередь
- /topic/ключ — публикация в topic-exchange
- /exchange/имя/ключ — произвольный exchange
✅ Есть подтверждения (ACK/NACK) и транзакции (BEGIN/COMMIT/ABORT) — группа отправок «всё или ничего»
✖️ Уровней QoS, как в MQTT, нет
Когда использовать STOMP
🟣Браузерные клиенты поверх WebSocket: чаты, уведомления, обновления в реальном времени
🟣Скриптовые языки, быстрые прототипы, ручная отладка
🟡Для высоконагруженных прод-интеграций бинарные AMQP и MQTT эффективнее
Реализации
👇 Плагин RabbitMQ (TCP-порт 61613, для браузеров — Web STOMP),
👇 Apache ActiveMQ и Artemis
👇 встроенный брокер Spring
Типичные ошибки
✖️ «Это конкуренты Kafka» → это протоколы, а Kafka — платформа потоковой обработки со своим бинарным протоколом. Сравнивать надо брокеров: Kafka vs RabbitMQ
✖️ «AMQP — это брокер» → AMQP — протокол; брокеры (RabbitMQ, Qpid, ActiveMQ) — его реализации
✖️ «MQTT — это очередь» → нет: это pub/sub «многие ко многим», а не очередь точка-точка
✖️ «AMQP 1.0 — развитие 0-9-1» → два разных протокола под одним именем
📎 Материалы
1. Протокол MQTT: концептуальное погружение
2. AMQP vs. MQTT: 9 ключевых различий
3. Краткий обзор протокола AMQP
4. Сравнение популярных брокеров MQTT с открытым исходным кодом
📚 Книги
RabbitMQ для профессионалов — Гэвин Рой
#проектирование #интеграции
➿➿➿➿➿➿➿➿➿➿
🧑🎓 Более поробное сравнение в базе знаний по системному анализуЗащита системы состоит из нескольких слоёв-барьеров, и в каждом есть слабые места — «отверстия» Инцидент происходит, когда отверстия выстраиваются в одну линию и угроза проходит насквозь.Отсюда два типа причин: 💠 Активные отказы: действия и ошибки, которые привели к событию 💠 Латентные условия: скрытые системные проблемы организации, которые существовали до инцидента Причины разбираются по факторам: ➡ отсутствующие или несработавшие барьеры: контроли, которые должны были предотвратить или смягчить инцидент, но не справились ➡ действия людей и команд: что сделали или не сделали вовлечённые люди — включая ошибки и нарушения ➡ условия задачи и рабочей среды: состояние оборудования, нехватка времени, нагрузка, факторы среды, сбои коммуникации ➡ организационные факторы: управленческие решения, распределение ресурсов Иногда выделяют пятую группу — человеческие факторы: усталость, стресс, ситуационную осведомлённость. Как работает по шагам: 1⃣ Немедленное реагирование: локализовать инцидент, защитить людей и окружающую среду 2⃣ Сбор доказательств: физические, документальные и свидетельские — документы, логи, интервью. Доказательства быстро теряют качество, поэтому сбор начинается в течение часов; сам анализ — после стабилизации сервиса 3⃣ Хронология: восстановить последовательность событий и условий, в которых они происходили 4⃣ Анализ барьеров: какие контроли должны были предотвратить инцидент, где они отказали или отсутствовали 5⃣ Анализ действий и условий: что делали вовлечённые люди и в каких условиях — задачи, рабочая среда — они работали 6⃣ Анализ организационных факторов: какие решения, политика и культура допустили такие условия 7⃣ Рекомендации и отчёт: сформулировать корректирующие действия по принципу SMART — конкретные, измеримые, достижимые, релевантные, ограниченные по времени — и внести их в отчёт расследования Команда расследования должна быть независимой Пример Ситуация: в финансовой компании произошёл сбой платформы — выставление счетов задержалось на две недели, компания понесла потери Разбор по ICAM выявит: 💚 несработавший барьер: плановое обслуживание платформы было назначено внахлёст с критическими бизнес-операциями 💚 действия людей: инженеры неверно интерпретировали инструкции по перезагрузке системы 💚 латентные условия: реестр рисков устарел и не отражал ИТ-зависимости бизнес-процессов 💚 организационные факторы: ИТ-отдел работал изолированно, интеграция с бизнес-операциями была слабой Итог: перестроили планирование между отделами, усилили управление подрядчиками, руководителям внедрили дашборд, который в реальном времени показывает состояние ИТ-систем. 💚 Все выводы — про изменение системы, а не про поиск виноватых. 📎 Материалы 1. Метод ICAM (Incident Cause Analysis Method) 2. Контрольный список шаблона метода анализа причин инцидента (ICAM) 3. Модель швейцарского сыра 4. Постмортем без наказаний: культура разбора ошибок, которая реально улучшает качество проектов 5. Инцидент-менеджмент с нуля: практический гайд для растущих команд 📚 Книги 1. Безопасные и надежные системы. Лучшие практики проектирования, внедрения и обслуживания как в Google — Хизер Адкинс, Бетси Бейер и др. #инфраструктура ➿➿➿➿➿➿➿➿➿➿ 🧑🎓 Более поробное сравнение в базе знаний по системному анализу
MVCC — каждая работает со своим снимком данных на момент старта, читающие не блокируют пишущих.
6️⃣ Глобальное время для согласованности между дата-центрами
Например, чтобы упорядочить транзакции по всему миру, Google Spanner использует TrueTime — атомные часы и GPS-приёмники в каждом ЦОД с известной погрешностью.
Перед коммитом транзакция ждёт, пока эта неопределённость не станет нулевой
▶️ Плата за распределённость — дополнительные раунды обмена между узлами: чем больше шардов и реплик проходит транзакция, тем выше задержка
👉 NewSQL выгоден там, где нужна именно горизонтальная масштабируемость, а не предельная скорость одиночного сервера
Классификация NewSQL-систем
Выделяют два подхода к появлению NewSQL-систем:
1️⃣ Созданные с нуля
Опираются на оперативную память (in-memory) и быстрые накопители (SSD) для предельной скорости доступа
Например, VoltDB (in-memory NewSQL-СУБД для OLTP-нагрузок реального времени),
2️⃣ Модификация существующих движков
Расширяют зрелые СУБД (например, MySQL/MariaDB) новыми движками хранения и оптимизациями
Например, Percona Server (оптимизированный форк MySQL),
▶️ Отдельная ветка — связующее ПО (middleware), которое делает прозрачное шардирование над обычными одноузловыми СУБД: Apache ShardingSphere, MaxScale.
Это не полноценный NewSQL: такие слои маршрутизируют запросы, но не дают распределённого ACID
Примеры СУБД
🔹YDB (Яндекс) — open-source распределённая реляционная SQL-СУБД
Горизонтальная масштабируемость, строгая согласованность и ACID-транзакции, совмещение OLTP- и OLAP-нагрузок; язык запросов — YQL (диалект SQL)
🔹CockroachDB — распределённая SQL-база, совместимая с диалектом PostgreSQL, с упором на географическое распределение и живучесть
🔹Tarantool (экосистема VK) — in-memory СУБД с хранимыми процедурами на Lua, синхронной репликацией и автоматическими выборами лидера. Не классический NewSQL, а смежное решение для высоконагруженных сценариев: очереди, кэши, мастер-хранилища с высокой пропускной способностью
Когда применять
😫 высоконагруженные OLTP-системы, где критична строгая согласованность данных (финтех, биллинг, обработка платежей)
😫 географически распределённые системы. Когда данные и пользователи размазаны по дата-центрам и регионам, а согласованность всё равно нужна
😫 когда вертикальное масштабирование классической реляционной БД упёрлось в потолок, но переходить на NoSQL с конечной согласованностью нельзя по требованиям бизнеса.
Когда НЕ стоит использовать
➖ небольшие проекты с предсказуемой нагрузкой. Классической реляционной БД (MySQL, PostgreSQL) хватит
➖ неструктурированные и слабоструктурированные данные. Соцсети, логи, данные датчиков, вложенные документы — для NoSQL (документные, ключ-значение, графовые БД)
Плюсы и минусы
➕ горизонтальная масштабируемость без отказа от строгой согласованности и ACID
➕ привычный SQL и совместимость с реляционными инструментами
➕ отказоустойчивость и высокая доступность за счёт распределённой архитектуры и репликации
➕ подходит для систем с большим потоком параллельных транзакций
➖ сложность настройки, обслуживания и диагностики неполадок по сравнению с классическими реляционными БД
➖ ограниченная переносимость между решениями: разные NewSQL используют разные диалекты SQL и архитектуры, миграция между ними не всегда простая
➖ выше задержка на запись из-за раундов согласования между узлами (консенсус, распределённый коммит)
📎 Материалы
1. Кратко про NewSQL
2. Как выбрать NewSQL-СУБД для вашей компании
3. NewSQL: SQL никуда не уходит
4. NewSQL — новый виток в эволюции BigData
5. Сравнение производительности YDB, CockroachDB и YugabyteDB на бенчмарке YCSB
6. Разбираемся в типах баз данных
📚 Книги
1. Высоконагруженные приложения. Программирование, масштабирование, поддержка — Мартин Клеппман
#бд #sql
➿➿➿➿➿➿➿➿➿➿
🧑🎓 Более поробное сравнение в базе знаний по системному анализу