QA-Логия

⁣Детекция split-brain в сессионной аффинности при частичном отказе WebSocket-шлюзов Коллеги, разберем кейс, который многие QA видели в логах, но не всегда могут воспроизвести в тестовой среде: частичный отказ WebSocket-шлюзов и расщепление сессий. Эта ситуация критична для real-time коммуникаций, где балансировщик переключает клиента на новый шлюз без синхронизации состояния. Проблема: потеря контекста сессии При отказе одного шлюза балансировщик переключает клиента на другой. Если session affinity настроена жестко по IP или хэшу, новый шлюз может не иметь состояния сессии. Клиент остается в полуживом состоянии: WebSocket сломан, HTTP-запросы проходят, но данные расходятся. Это классический split-brain, который сложно отловить в production без специальной детекции. Техника: health-check с версионностью и gateway ID Добавьте в каждый шлюз заголовок X-Gateway-Sequence при WebSocket-рукопожатии. Клиент хранит sequence и gateway ID, а при смене шлюза отправляет RECONNECT с force: true. Дополните сессионный heartbeat: ping/pong содержит ID текущего шлюза. Если клиент получает ответ от другого шлюза без предупреждения, это триггер split-brain. Пример кода на Python:

class GatewayAwareWebSocket:
    def __init__(self, url):
        self.current_gateway_id = None
        self.session_token = str(uuid.uuid4())

    async def on_health_check(self, message):
        if self.current_gateway_id is None:
            self.current_gateway_id = message['gateway_id']
            return
        if message['gateway_id'] != self.current_gateway_id:
            await self.resync_session(message['gateway_id'])

    async def resync_session(self, new_gateway_id):
        log.warning(f"Split-brain: {self.current_gateway_id} -> {new_gateway_id}")
        response = await http_client.post(
            "/session/resync",
            json={"session_token": self.session_token}
        )
        if response.status == 200:
            self.current_gateway_id = new_gateway_id

Как тестировать: симуляция отказа шлюза Используйте Docker Compose с разными gateway_id. Выключите один шлюз (docker stop) во время активного WebSocket-соединения. Проверьте, что клиент детектирует смену gateway_id и вызывает resync_session. После рестарта старого шлюза клиент не должен переключаться обратно — sticky session должна оставаться стабильной. Типичная ошибка: health-check успешен, но состояние устарело. Решение: добавьте в health-check поле session_valid: boolean для проверки актуальности. Торговля инженерными рисками Split-brain в WebSocket — не баг, а архитектурная особенность при масштабировании. Быстрое обнаружение через идентификацию шлюза снижает время восстановления до миллисекунд, но добавляет complexity в клиентскую логику. Убедитесь, что resync_session не вызывает race conditions при параллельных вызовах. Для экономии ресурсов можно использовать кумулятивные heartbeat с флагами вместо полной синхронизации. Вывод: Детекция split-brain через gateway ID и версионированный health-check позволяет предотвратить расхождение сессий за миллисекунды, что критично для любой real-time архитектуры с сессионной аффинностью.