Timeweb Cloud Alerts

✅ Инцидент закрыт Тип: ❗ Major Работа сайта и панели управления восстановлена.

⚠️ Обновление по инциденту Тип: ❗ Major Предварительно проблема связана с Qrator. Инженеры проверяют причину и восстанавливают доступность сервисов. Следующий апдейт — по мере появления новой информации.

🛑 Недоступность панели управления Cloud Тип:❗️Major Наблюдаются недоступность панели управления. Инженеры занимаются восстановлением работы.

⚠️ Плановые работы в ams-1: замена чиллера Зона: ams-1 Тип: плановые работы Завтра, 17 сентября, в дата-центре Qupra пройдет второй этап работ с системой охлаждения: текущий чиллер заменят на новый. Переключение на него ожидается около 14:00 мск. Большую часть серверов ams-1 мы уже перевезли в новый дата-центр NorthC, их работы не затронут. Простоя охлаждения не планируется: текущий чиллер остается в резерве на все время монтажа нового. Чтобы минимизировать риски, мы ограничим энергопотребление оборудования — возможно временное снижение производительности размещенных в Qupra серверов.

✅ Инцидент закрыт Зоны: msk-1 Тип:❗️Major Сетевая доступность восстановлена в 12:55 мск. Оборудование работает в штатном режиме.

⚠️ Обновление по инциденту Зона: msk-1 Тип:❗️Major Восстановительные работы продолжаются. Инженеры переключают control plane после холодного рестарта. В ближайшие 15 минут может наблюдаться ухудшение ситуации с доступностью сервисов. Следующий апдейт в 13:00.

⚠️ Обновление по инциденту Зона: msk-1 Тип:❗️Major По уточнённой информации, был недоступен роутер в Москве, переключились на резерв. Может наблюдаться частичная недоступность в других зонах РФ. Инженеры продолжают диагностику оборудования. Следующий апдейт через 30 минут.

🛑 Сетевая недоступность в Москве Зона: msk-1 Тип:❗️Major Наблюдается недоступность части сервисов в Москве. Оцениваем масштаб, скоро вернёмся с апдейтом.

⚠️ Плановые работы в ams-1: замена чиллера Зоны: ams-1 Тип: плановые работы Завтра, 11 сентября, в дата-центре Qupra пройдут работы по обслуживанию чиллера. Большую часть серверов ams-1 мы уже перевезли в новый дата-центр NorthC — их работы не затронут. На время работ площадка перейдет на Free Cooling охлаждение. Чтобы минимизировать риски, мы ограничим энергопотребление оборудования, поэтому возможно временное снижение производительности размещенных в Qupra серверов.

✅ Инцидент закрыт Зоны: ams-1 Тип:❗️Major Сетевая доступность восстановлена в 16:18 мск. Оборудование работает в штатном режиме.

⚠️ Обновление по инциденту Зоны: ams-1 Тип:❗️Major Сетевое оборудование в Нидерландах перестало отвечать, отправили в принудительную перезагрузку. Ориентировочное время восстановления в течение 20 минут.

🛑 Сетевая недоступность в Нидерландах Зона: ams-1 Тип:❗️Major Наблюдаем недоступность сервисов в Нидерландах. Уточняем подробности.

В телеграм-каналах и на даундетекторах появились сообщения о сбоях у ряда крупных сервисов и о проблемах с питанием на московских узлах связи, включая ММТС-9. Из-за этого могут быть перебои у некоторых операторов, хостингов и популярных приложений. Наша сеть не затронута, все регионы и сервисы работают штатно. Если заметите проблемы с доступом к своим сервисам — скорее всего, дело в связности на стороне интернет-провайдера.

✅ Авария во Франкфурте: инцидент закрыт Зоны: de-1 Тип:❗️Major Стойки операторов связи запущены, связанность до площадки в Германии восстановлена.

⚠️ Авария во Франкфурте: дата-центр восстанавливает охлаждение и питание Зоны: de-1 Тип:❗️Major Делимся свежей информацией с площадки: • На третьем этаже ДЦ охлаждение восстановлено: запущены три чиллера, для подстраховки развёрнуты временные холодильные установки, на площадку везут дополнительные. • На первом и втором этажах работы продолжаются: бригады проверяют герметичность системы и постепенно возвращают подачу охлаждённой воды. • В стойки начали поэтапно подавать питание. • Наш опорный коммутатор уже доступен Что дальше Ждём, когда поднимутся стойки операторов связи в ДЦ. Как только оборудование будет запущено, связность до площадки с серверами de-1 восстановится. Операторы уже в процессе — например, RETN сообщает, что их инженер получил доступ в машинный зал и началось включение оборудования. Точное время назвать пока не можем — питание на стойки части операторов ещё не подано.

⚠️ Авария во Франкфурте: что известно на данный момент Зоны: de-1 Тип:❗️Major Рассказываем подробно, что происходит и почему. Что произошло Авария случилась не на нашей площадке, а на промежуточном узле — в дата-центре Equinix FR5 во Франкфурте. Это один из крупнейших телеком-хабов Европы, и через него проходят все наши каналы связи до площадки, где размещены серверы de-1. Само оборудование с вашими данными не пострадало — потеряна сетевая связность. По информации от площадки, в FR5 дала течь труба системы охлаждения машинных залов. Протечка затронула все системы охлаждения здания, температура поднялась выше 50 °C, сработала система пожаротушения, и сетевое оборудование начало массово отключаться. Дополнительно мы фиксируем множественные аварии на каналах и магистралях в регионе. Таймлайн по мск 05:33 — AWS фиксирует первые потери пакетов на линках через FR5 05:41 — в FR5 обнаружена протечка трубы системы охлаждения 06:32 — магистральный оператор Core-Backbone фиксирует рост температуры в залах 07:25 — критическая температура, массовые обрывы связи по всему ДЦ 07:26 — утечка локализована, начата заправка контура охлаждения 08:09 — значительная часть оборудования в ДЦ отключилась 09:38 — в залах работают осушители, идёт откачка воды 10:30 — на площадку прибыли инженеры вендоров чиллеров и противопожарной системы Сейчас план у Equinix такой: продуть контур охлаждения от воздуха и по одному тестово запускать чиллеры. Доступ к оборудованию в пострадавших залах пока закрыт — там вода и оборудование под напряжением. Это глобальный сбой, не только у нас FR5 — точка присутствия десятков операторов, и авария ударила по многим: • AWS официально подтверждает деградацию Direct Connect в eu-central-1 из-за «инфраструктурной проблемы на площадке Equinix FR5» и оценивает восстановление в «multiple hours»: health.aws.amazon.com/health/status • Core-Backbone потерял в FR5 четыре узла, публикует детальный отчёт: status.core-backbone.com/index.php?id=6709 • SMARTNET подтверждает недоступность ряда операторов в FR5, включая магистрального RETN: status.as203446.net/item.php?id=10 • На allestörungen.de (немецкий Downdetector) — всплеск жалоб на провайдеров по всей Германии. Когда всё заработает Точного ETR у поставщиков пока нет — он появится после того, как ДЦ восстановит охлаждение и откроет доступ к оборудованию. Наши инженеры на связи с партнёрами и готовы приступить к проверке связности сразу после восстановления узла. Будем публиковать апдейты по мере поступления информации.

⚠️ Обновление по инциденту Зоны: de-1 Тип:❗️Major По новой информации, в дата-центре произошла утечка воды. В настоящее время проводится расследование обстоятельств инцидента. Будем публиковать обновления по мере поступления дополнительной информации.

⚠️ Обновление по инциденту Зоны: de-1 Тип:❗️Major Аварийная ситуация в ДЦ Equinix FR5. Недоступен коммутатор опорной сети, через который обеспечивается подключение ДЦ NTT, где размещены серверы.

🛑 Сетевая недоступность в Германии Зоны: de-1 Тип: ❗️ Major Фиксируем сетевую недоступность в Германии. Разбираемся в причинах.

✅ Инцидент закрыт Зоны: spb-1, spb-2, spb-3, spb-4, spb-5 Тип: ❗️ Major Работа S3 восстановлена в 16:01 мск. Инженеры продолжают наблюдать за стабильностью работы сервиса.