Timeweb Cloud Alerts

⚠️Обновление по инциденту Зоны: ams-1 Тип: ❗️ Major После прибытия инженера на площадку и проведённой диагностики электропитания работы по восстановлению были запущены. На текущий момент фиксируем положительную динамику — доступность сервисов в зоне ams-1 начала восстанавливаться. Продолжаем контролировать ситуацию на месте. Следующий апдейт — через час.

⚠️Обновление по инциденту Зоны: ams-1 Тип: ❗️ Major Подтверждённая причина — проблемы с электропитанием в дата-центре. Для дальнейших действий по восстановлению необходима диагностика оборудования на месте: инженер уже выехал на площадку, ожидаемое прибытие — в течение часа. Следующий апдейт — в течение 2 часов.

🛑Проблема с сетевой доступностью Зоны: ams-1 Тип: ❗️ Major Зафиксирована недоступность части сервисов в зоне ams-1. Инженеры изучают масштаб затронутых компонентов и работают над восстановлением. Следующий апдейт — через 30 минут.

Разбор инцидента с балансами и блокировкой аккаунтов 4 мая Что произошло 4 мая во время плановых работ с базой данных возникла техническая ошибка. В 19:45 мск была запущена миграция, которая из-за асинхронного выполнения в продакшн-среде привела к некорректному отображению балансов. Последствия В 20:00 система биллинга зафиксировала «нулевые балансы» и автоматически инициировала блокировку аккаунтов за неуплату. Автоматика приостановила процесс на отметке ~4500 аккаунтов. Статус К 5 мая в 00:36 мск все аккаунты разблокированы, корректность балансов восстановлена. Всем затронутым пользователям будет начислена индивидуальная компенсация в ближайшее время. Что меняем Биллинг переводится в режим техосблуживания на время плановых и аварийных работ — отменяются любые блокирующие действия с аккаунтами. Также изменили пороговые значения для ложных блокировок и добавили временной лаг между решением и фактической блокировкой.

✅ Вернули корректное отображение баланса в панели управления. Создание новых сервисов и изменение конфигурации текущих работают в штатном режиме.

Получили апдейт от инженеров — было затронуто 4514 аккаунтов. Сейчас разбираемся с зависшими статусами в панели управления.

Работа сервисов, созданных до начала инцидента, полностью восстановлена. Было задето: 3927 аккаунтов Даунтайм: с 20:05 по 22:45 мск Сейчас мы фокусируемся на том, чтобы вернуть возможность создания новых ресурсов и поправить отображение баланса. Инженеры продолжают работу до полного устранения неполадок. Разбор инцидента будет отдельно.

Производим постепенный запуск остановленных сервисов. Планируемое время восстановления — 1 час. Дополнительно уведомим о завершении.

В течение 10 минут ожидаем запуск остановленных сервисов. Создание новых сервисов сейчас недоступно.

🛑 Возникли технические неполадки во время проведения работ с базой данных. В личных кабинетах может отображаться нулевой баланс. Также может не отображаться список сервисов. Инженеры уже занимаются решением проблемы.

✅ Работы завершены, сетевой трафик восстановился. Сервисы работают в штатном режиме.

🛑 Аппаратная проблема на роутере в Амстердам. Сетевые инженеры занимаются восстановлением.

✅ Работы завершены, сетевой трафик восстановился. Сервисы и панель управления работают исправно.

Работы полностью завершены. Работоспособность серверов в Амстердаме восстановлена в 12:00 мск. На данный момент восстанавливается трафик: могут наблюдаться задержки в работе панели и сервисов.

⚠️ Модернизация зарубежной инфраструктуры: локация Амстердам Сегодня проведем срочную модернизацию сетевого сегмента в Европе. Обновление оборудования позволит повысить отказоустойчивость международных каналов и обеспечить стабильную работу при высоких нагрузках. Старт работ: сегодня в 11:45 мск Длительность: до 30 мин Влияние на сервисы: • Временная недоступность сервисов в Амстердаме на период перезагрузки • В остальных локациях возможно снижение скорости из-за автоматического перестроения маршрутов Инфраструктура в РФ работает в штатном режиме. О завершении работ тоже проинформируем.

Постмортем инцидента в зоне MSK-1 (09.04-10.04) Подготовили подробный разбор инцидента с дисковой подсистемой. Детали, таймлайн и принятые меры по ссылке ниже. Подробный технический разбор → Коротко о причинах • Ошибка СХД спровоцировала reboot loop узлов хранения. Рекурсивные перезагрузки вызвали оверлоад шины данных. • Зависание процессов виртуальных машин на уровне гипервизоров, I/O wait и сетевая недоступность из-за блокировки системных процессов ОС. Что сделано • Внедрены сценарии каскадных отказов в протоколы тестирования. • Запущен подбор альтернативных СХД для диверсификации рисков. • Автоматизирован сброс сессий гипервизора при зависшем I/O.

Фиксируем массовые сообщения о недоступности сервисов Telegram (включая api.telegram.org). Симптомы • Ошибки подключения (timeout) при обращении к Bot API. • Нестабильная работа интеграций и уведомлений через Telegram-ботов. • Задержки в обновлении статусов в веб-версии мессенджера. Данная проблема не связана с работами на стороне Timeweb Cloud и наблюдается у большинства провайдеров и дата-центров. Рекомендуем временно использовать альтернативные каналы уведомлений, если ваши бизнес-процессы завязаны на Telegram API.

✅ Массовые перезагрузки нод завершены. Сейчас работаем точечно — проверяем подключение и корректную работу виртуальных машин. Параллельно исправляем зависшие статусы сервисов в панели управления. На доступность это не влияет. Разбор инцидента опубликуем позднее.

Мы локализовали проблему с частичным отсутствием доступа по SSH и зависанием части виртуальных машин. Для их возвращения в строй инженерам необходимо провести перезагрузку нескольких нод в Москве. Суммарное время работ составит до 2 часов, и до 15-20 минут для конкретных виртуальных машин в рамках этого окна.

✅ Работа инфраструктуры в Москве полностью восстановлена Мы завершили обновление программного обеспечения на всех узлах кластера хранения. Все системы работают в штатном режиме, показатели производительности и latency вернулись к целевым значениям. В данный момент мы завершаем точечные настройки сетевых сессий. У части пользователей могут наблюдаться временные затруднения с подключением по SSH. Наши специалисты уже занимаются этим вопросом, доступ будет восстановлен в ближайшее время. Чуть позже будет детальный технический разбор.