Системный Аналитик
Канал для системных аналитиков и не только: подборки полезных материалов на все случаи жизни. Реклама и сотрудничество @radale https://gosuslugi.ru/snet/67b0613c6411ff785396754a
إظهار المزيد📈 نظرة تحليلية على قناة تيليجرام Системный Аналитик
تُعد قناة Системный Аналитик (@sys_sa) في القطاع اللغوي الروسية لاعباً نشطاً. يضم المجتمع حالياً 19 088 مشتركاً، محتلاً المرتبة 6 874 في فئة التكنولوجيات والتطبيقات والمرتبة 34 328 في منطقة روسيا.
📊 مؤشرات الجمهور والحراك
منذ تأسيسه في невідомо، حقق المشروع نمواً سريعاً وجمع 19 088 مشتركاً.
بحسب آخر البيانات بتاريخ 16 نوفمبر, 2026، تحافظ القناة على نشاط مستقر. خلال آخر 30 يوماً تغيّر عدد الأعضاء بمقدار -34، وفي آخر 24 ساعة بمقدار -6، مع بقاء الوصول العام مرتفعاً.
- حالة التحقق: غير موثّقة
- معدل التفاعل (ER): يبلغ متوسط تفاعل الجمهور 16.66%. وخلال أول 24 ساعة من النشر يحصد المحتوى عادةً 9.16% من ردود الفعل نسبةً إلى إجمالي المشتركين.
- وصول المنشورات: يحصل كل منشور على متوسط 0 مشاهدة. وخلال اليوم الأول يجمع عادةً 1 748 مشاهدة.
- التفاعلات والاستجابة: يتفاعل الجمهور بانتظام؛ متوسط التفاعلات لكل منشور يبلغ 0.
- الاهتمامات الموضوعية: يركز المحتوى على مواضيع رئيسية مثل api, архитектура, собеседование, транзакция, документация.
📝 الوصف وسياسة المحتوى
يصف المؤلف القناة بأنها مساحة للتعبير عن الآراء الذاتية:
“Канал для системных аналитиков и не только: подборки полезных материалов на все случаи жизни.
Реклама и сотрудничество @radale
https://gosuslugi.ru/snet/67b0613c6411ff785396754a”
بفضل وتيرة التحديث المرتفعة (أحدث البيانات بتاريخ 17 نوفمبر, 2026) تحافظ القناة على حداثتها ومستوى وصول مرتفع. وتُظهر التحليلات تفاعلاً نشطاً من الجمهور، ما يجعلها نقطة تأثير مهمة ضمن فئة التكنولوجيات والتطبيقات.
outbox — очередь неотправленных событий, которую сервис ведёт у себя
Работает так:
1⃣Сервис фиксирует бизнес-данные и событие одной транзакцией
Внутри транзакции два INSERT:
- строка в бизнес-таблицу (сам заказ)
- и строка события в outbox — идентификатор, тип события, полезная нагрузка
COMMIT фиксирует обе записи атомарно: либо обе, либо ни одной
Упавший сервис не оставит после себя «заказ без события» или «событие без заказа»
2⃣Ретранслятор доставляет события в брокер
Событие из outbox отправляет не сам сервис в ходе бизнес-операции, а отдельный фоновый процесс — ретранслятор (message relay)
Два типовых способа:
🔵 Polling publisher — периодически опрашивает таблицу outbox, публикует новые записи в брокер и помечает их отправленными;
🔵 CDC (Change Data Capture, захват изменений данных) — процесс читает журнал транзакций БД и публикует события напрямую из него
➡️ например, Debezium с трансформацией Outbox Event Router
3⃣ Отправленное фиксируется
При поллинге запись помечается отправленной после публикации в брокер;
При CDC таблицу чистит отдельная фоновая задача — трансформация Debezium реагирует только на INSERT
❕ доставка получается at-least-once — брокер доставит сообщение минимум один раз, но возможны повторы.
Ретранслятор может отправить событие в брокер и упасть до того, как пометит запись, — после перезапуска он отправит событие повторно.
Дубли неизбежны, и их гасит вторая половина связки
Как работает Transactional Inbox
➡️ Зеркальный паттерн на стороне консьюмера
🟢Брокер доставляет at-least-once — одно и то же сообщение может прийти и второй раз (после сбоя сети, перезапуска консьюмера или таймаута подтверждения)
🟢Повторы нужно распознавать
«Памятью» консьюмера служит таблица inbox в его БД — там лежат идентификаторы уже обработанных сообщени
Дедупликация выполняется в той же транзакции, что и бизнес-обработка:
1. Консьюмер (получатель сообщений из брокера) забирает сообщение и открывает транзакцию.
2. Сверяет message_id сообщения с таблицей inbox: не обрабатывалось ли оно раньше.
3. Сообщение новое: в одной транзакции выполняется бизнес-операция и вставляется отметка в inbox.
4. Сообщение уже есть в inbox — это дубль: обработка пропускается, брокеру уходит подтверждение (иначе брокер будет доставлять его снова).
5. COMMIT фиксирует бизнес-операцию и отметку «обработано» атомарно.
✳️ Если сбой случился после коммита, но до подтверждения брокеру, — брокер доставит сообщение повторно, консьюмер найдёт message_id в inbox и не повторит операцию.
Это применение идемпотентности: повторная обработка безопасна по построению, а не по договорённости
Связка Outbox и Inbox
Ни брокер, ни один из паттернов по отдельности не дают честного exactly-once — следствие базовых гарантий доставки в Kafka и других брокеров. Связка работает так:
🔵 Outbox + подтверждения брокера ➡️ сообщения доставляются at-least-once, без потерь
🟢 Inbox ➡️ дубликаты отбрасываются, бизнес-эффект применяется ровно один раз
Пример
Интернет-магазин, заказ и резервирование товара на складе:
⚪ покупатель оформляет заказ — сервис заказов в одной транзакции пишет строку заказа и событие OrderCreated в outbox
⚪ CDC-процесс читает журнал БД и публикует событие в топик orders
⚪ Сервис склада получает событие, в одной транзакции вставляет message_id в inbox и резервирует товар
⚪ Ретранслятор не дождался подтверждения и доставил событие повторно — message_id уже в inbox, повторного бронирования нет
✔️ Сервис заказов упал сразу после оформления — события никуда не ушли:
после восстановления ретранслятор дочитает outbox и доставит всё накопленное
📎 Материалы
1. Паттерн Outbox: как не растерять сообщения в микросервисной архитектуре
2. Паттерн Transactional Outbox: от теории до продакшена
3. Transactional Outbox: от идеи до open-source
4. Как мы четыре раза переписали Outbox
5. Реализация Transactional outbox pattern и немного DDD
6. Outbox pattern для System Design Интервью
📚 Книги
1. Высоконагруженные приложения. Программирование, масштабирование, поддержка — Мартин Клеппман
2. Создание микросервисов — Сэм Ньюман
3. Apache Kafka. Потоковая обработка и анализ данных — Гвен Шапира и др
#проектирование #архитектура
➿➿➿➿➿➿➿➿➿➿
🧑🎓 Более поробное сравнение в базе знаний по системному анализуorders.europe.created). * заменяет ровно одно слово, # — ноль и более слов.
🟣headers: маршрутизация по заголовкам сообщения, без routing key.
AMQP 1.0
AMQP 1.0 — не следующая версия 0-9-1, а другой протокол
✖️ С 0-9-1 его не связывает ничего, кроме имени
👇 1.0 описывает только передачу и не навязывает модель брокера: гарантии доставки настраиваются на каждом канале отдельно
Гарантии доставки в AMQP 0-9-1
Базовая публикация не подтверждается брокером: без дополнительных механизмов это «отправил и забыл» (at most once)
Надёжность собирается из частей:
🔘publisher confirms: брокер подтверждает приём каждого сообщения (расширение RabbitMQ)
🔘consumer acknowledgements: сообщение считается обработанным только после подтверждения потребителем. Без подтверждения брокер доставит его повторно
🔘persistent-сообщения и durable-очереди: защита от потери при перезагрузке брокера
👇 Комбинация даёт семантику at least once (как минимум один раз)
Её цена — дубликаты, поэтому потребитель должен быть идемпотентным
Когда использовать AMQP
- корпоративная интеграция и микросервисы: сложная маршрутизация, разделение и слияние потоков событий
- приоритизация, транзакционность (несколько публикаций «всё или ничего»)
- гарантии доставки
Брокеры
🔘RabbitMQ
🔘Azure Service Bus (основной протокол — AMQP 1.0)
🔘ActiveMQ
MQTT
MQTT — лёгкий бинарный протокол публикации/подписки для устройств с ограниченными ресурсами и нестабильной сетью
👇 Стандартные порты — 1883 (TCP) и 8883 (TLS)
Архитектура
Издатель ➡️ брокер ➡️ подписчики
🟣 У клиентов нет адресов: издатель публикует сообщение брокеру, тот фильтрует по топикам и рассылает подписчикам
🟣 Издатель и подписчик не знают друг о друге.
Топики
Данные адресуются топиками — иерархическими метками
Уровни разделяются слэшем:
🟣factory/line2/temperature — топик датчика температуры второй линии цеха.
🟣Подписка — на точный топик или маску:
🟣factory/+/temperature — датчики температуры всех линий (+ заменяет ровно один уровень);
🟣factory/# — всё производство (# заменяет ноль и более уровней, включая сам factory).
Формат payload (JSON, бинарные данные) стандарт не описывает — это договорённость сторон
Гарантии
QoS (Quality of Service) действует на каждом участке отдельно
Итоговый QoS для подписчика — минимальный из QoS публикации и QoS подписки
Поэтому идемпотентность потребителя остаётся актуальной даже при QoS 2 («ровно один раз»).
Механизмы MQTT
🟣Retained-сообщения: брокер хранит последнее сообщение топика и выдаёт его каждому новому подписчику
Подключился — сразу получил актуальное состояние
🟣LWT (Last Will and Testament, «завещание»): при подключении клиент оставляет брокеру сообщение, которое тот опубликует при нештатном обрыве связи
Типовой паттерн — топик статуса устройства со значениями online/offline
🟣 Persistent-сессии: брокер помнит подписки офлайн-клиента и накапливает для него сообщения QoS 1/2.
Когда использовать MQTT
🟡 IoT и телеметрия: датчики, телематика, умные здания и производства
🟡 Мобильные приложения, где важны расход трафика
🟣Если устройство на сетевом питании отправляет данные раз в час, HTTP может оказаться проще
Брокеры
Eclipse Mosquitto, EMQX, HiveMQ
STOMP
STOMP (Streaming Text Oriented Messaging Protocol) — простой текстовый фреймовый протокол по мотивам HTTP
Единственный из тройки, которым можно пользоваться вручную: сессию с брокером можно открыть даже через telnet
🟣Общение идёт фреймами: команда, заголовки вида «ключ: значение», тело
🟣Ключевое отличие: у STOMP нет собственной модели маршрутизации. Destination — непрозрачная строка, семантику которой задаёт брокер:
- в RabbitMQ /queue/имя — разделяемая очередь
- /topic/ключ — публикация в topic-exchange
- /exchange/имя/ключ — произвольный exchange
✅ Есть подтверждения (ACK/NACK) и транзакции (BEGIN/COMMIT/ABORT) — группа отправок «всё или ничего»
✖️ Уровней QoS, как в MQTT, нет
Когда использовать STOMP
🟣Браузерные клиенты поверх WebSocket: чаты, уведомления, обновления в реальном времени
🟣Скриптовые языки, быстрые прототипы, ручная отладка
🟡Для высоконагруженных прод-интеграций бинарные AMQP и MQTT эффективнее
Реализации
👇 Плагин RabbitMQ (TCP-порт 61613, для браузеров — Web STOMP),
👇 Apache ActiveMQ и Artemis
👇 встроенный брокер Spring
Типичные ошибки
✖️ «Это конкуренты Kafka» → это протоколы, а Kafka — платформа потоковой обработки со своим бинарным протоколом. Сравнивать надо брокеров: Kafka vs RabbitMQ
✖️ «AMQP — это брокер» → AMQP — протокол; брокеры (RabbitMQ, Qpid, ActiveMQ) — его реализации
✖️ «MQTT — это очередь» → нет: это pub/sub «многие ко многим», а не очередь точка-точка
✖️ «AMQP 1.0 — развитие 0-9-1» → два разных протокола под одним именем
📎 Материалы
1. Протокол MQTT: концептуальное погружение
2. AMQP vs. MQTT: 9 ключевых различий
3. Краткий обзор протокола AMQP
4. Сравнение популярных брокеров MQTT с открытым исходным кодом
📚 Книги
RabbitMQ для профессионалов — Гэвин Рой
#проектирование #интеграции
➿➿➿➿➿➿➿➿➿➿
🧑🎓 Более поробное сравнение в базе знаний по системному анализуЗащита системы состоит из нескольких слоёв-барьеров, и в каждом есть слабые места — «отверстия» Инцидент происходит, когда отверстия выстраиваются в одну линию и угроза проходит насквозь.Отсюда два типа причин: 💠 Активные отказы: действия и ошибки, которые привели к событию 💠 Латентные условия: скрытые системные проблемы организации, которые существовали до инцидента Причины разбираются по факторам: ➡ отсутствующие или несработавшие барьеры: контроли, которые должны были предотвратить или смягчить инцидент, но не справились ➡ действия людей и команд: что сделали или не сделали вовлечённые люди — включая ошибки и нарушения ➡ условия задачи и рабочей среды: состояние оборудования, нехватка времени, нагрузка, факторы среды, сбои коммуникации ➡ организационные факторы: управленческие решения, распределение ресурсов Иногда выделяют пятую группу — человеческие факторы: усталость, стресс, ситуационную осведомлённость. Как работает по шагам: 1⃣ Немедленное реагирование: локализовать инцидент, защитить людей и окружающую среду 2⃣ Сбор доказательств: физические, документальные и свидетельские — документы, логи, интервью. Доказательства быстро теряют качество, поэтому сбор начинается в течение часов; сам анализ — после стабилизации сервиса 3⃣ Хронология: восстановить последовательность событий и условий, в которых они происходили 4⃣ Анализ барьеров: какие контроли должны были предотвратить инцидент, где они отказали или отсутствовали 5⃣ Анализ действий и условий: что делали вовлечённые люди и в каких условиях — задачи, рабочая среда — они работали 6⃣ Анализ организационных факторов: какие решения, политика и культура допустили такие условия 7⃣ Рекомендации и отчёт: сформулировать корректирующие действия по принципу SMART — конкретные, измеримые, достижимые, релевантные, ограниченные по времени — и внести их в отчёт расследования Команда расследования должна быть независимой Пример Ситуация: в финансовой компании произошёл сбой платформы — выставление счетов задержалось на две недели, компания понесла потери Разбор по ICAM выявит: 💚 несработавший барьер: плановое обслуживание платформы было назначено внахлёст с критическими бизнес-операциями 💚 действия людей: инженеры неверно интерпретировали инструкции по перезагрузке системы 💚 латентные условия: реестр рисков устарел и не отражал ИТ-зависимости бизнес-процессов 💚 организационные факторы: ИТ-отдел работал изолированно, интеграция с бизнес-операциями была слабой Итог: перестроили планирование между отделами, усилили управление подрядчиками, руководителям внедрили дашборд, который в реальном времени показывает состояние ИТ-систем. 💚 Все выводы — про изменение системы, а не про поиск виноватых. 📎 Материалы 1. Метод ICAM (Incident Cause Analysis Method) 2. Контрольный список шаблона метода анализа причин инцидента (ICAM) 3. Модель швейцарского сыра 4. Постмортем без наказаний: культура разбора ошибок, которая реально улучшает качество проектов 5. Инцидент-менеджмент с нуля: практический гайд для растущих команд 📚 Книги 1. Безопасные и надежные системы. Лучшие практики проектирования, внедрения и обслуживания как в Google — Хизер Адкинс, Бетси Бейер и др. #инфраструктура ➿➿➿➿➿➿➿➿➿➿ 🧑🎓 Более поробное сравнение в базе знаний по системному анализу
MVCC — каждая работает со своим снимком данных на момент старта, читающие не блокируют пишущих.
6️⃣ Глобальное время для согласованности между дата-центрами
Например, чтобы упорядочить транзакции по всему миру, Google Spanner использует TrueTime — атомные часы и GPS-приёмники в каждом ЦОД с известной погрешностью.
Перед коммитом транзакция ждёт, пока эта неопределённость не станет нулевой
▶️ Плата за распределённость — дополнительные раунды обмена между узлами: чем больше шардов и реплик проходит транзакция, тем выше задержка
👉 NewSQL выгоден там, где нужна именно горизонтальная масштабируемость, а не предельная скорость одиночного сервера
Классификация NewSQL-систем
Выделяют два подхода к появлению NewSQL-систем:
1️⃣ Созданные с нуля
Опираются на оперативную память (in-memory) и быстрые накопители (SSD) для предельной скорости доступа
Например, VoltDB (in-memory NewSQL-СУБД для OLTP-нагрузок реального времени),
2️⃣ Модификация существующих движков
Расширяют зрелые СУБД (например, MySQL/MariaDB) новыми движками хранения и оптимизациями
Например, Percona Server (оптимизированный форк MySQL),
▶️ Отдельная ветка — связующее ПО (middleware), которое делает прозрачное шардирование над обычными одноузловыми СУБД: Apache ShardingSphere, MaxScale.
Это не полноценный NewSQL: такие слои маршрутизируют запросы, но не дают распределённого ACID
Примеры СУБД
🔹YDB (Яндекс) — open-source распределённая реляционная SQL-СУБД
Горизонтальная масштабируемость, строгая согласованность и ACID-транзакции, совмещение OLTP- и OLAP-нагрузок; язык запросов — YQL (диалект SQL)
🔹CockroachDB — распределённая SQL-база, совместимая с диалектом PostgreSQL, с упором на географическое распределение и живучесть
🔹Tarantool (экосистема VK) — in-memory СУБД с хранимыми процедурами на Lua, синхронной репликацией и автоматическими выборами лидера. Не классический NewSQL, а смежное решение для высоконагруженных сценариев: очереди, кэши, мастер-хранилища с высокой пропускной способностью
Когда применять
😫 высоконагруженные OLTP-системы, где критична строгая согласованность данных (финтех, биллинг, обработка платежей)
😫 географически распределённые системы. Когда данные и пользователи размазаны по дата-центрам и регионам, а согласованность всё равно нужна
😫 когда вертикальное масштабирование классической реляционной БД упёрлось в потолок, но переходить на NoSQL с конечной согласованностью нельзя по требованиям бизнеса.
Когда НЕ стоит использовать
➖ небольшие проекты с предсказуемой нагрузкой. Классической реляционной БД (MySQL, PostgreSQL) хватит
➖ неструктурированные и слабоструктурированные данные. Соцсети, логи, данные датчиков, вложенные документы — для NoSQL (документные, ключ-значение, графовые БД)
Плюсы и минусы
➕ горизонтальная масштабируемость без отказа от строгой согласованности и ACID
➕ привычный SQL и совместимость с реляционными инструментами
➕ отказоустойчивость и высокая доступность за счёт распределённой архитектуры и репликации
➕ подходит для систем с большим потоком параллельных транзакций
➖ сложность настройки, обслуживания и диагностики неполадок по сравнению с классическими реляционными БД
➖ ограниченная переносимость между решениями: разные NewSQL используют разные диалекты SQL и архитектуры, миграция между ними не всегда простая
➖ выше задержка на запись из-за раундов согласования между узлами (консенсус, распределённый коммит)
📎 Материалы
1. Кратко про NewSQL
2. Как выбрать NewSQL-СУБД для вашей компании
3. NewSQL: SQL никуда не уходит
4. NewSQL — новый виток в эволюции BigData
5. Сравнение производительности YDB, CockroachDB и YugabyteDB на бенчмарке YCSB
6. Разбираемся в типах баз данных
📚 Книги
1. Высоконагруженные приложения. Программирование, масштабирование, поддержка — Мартин Клеппман
#бд #sql
➿➿➿➿➿➿➿➿➿➿
🧑🎓 Более поробное сравнение в базе знаний по системному анализу