DevOps FM
Відкрити в Telegram
♾️ Канал для тех, кто живёт слиянием разработки и эксплуатации (DevOps) и сис. администрированием. Новости, статьи, практики, инструменты и развлекательный контент. Cloud Native, Docker, Kubernetes, БД, мониторинг и пр. Алена @alyona2780
Показати більше5 302
Підписники
+524 години
+17 днів
+630 днів
Архів дописів
5 302
🚨 Что тормозит Kubernetes — разбираем инцидент
В прошлом посте мы предложили разобраться, почему управляющий контур Kubernetes начал работать медленно, хотя загрузка процессора, использование памяти и состояние дисковой подсистемы не показывали явных проблем.
Спасибо всем, кто принял участие в опросе! Правильный ответ — фрагментация базы данных etcd и отсутствие дефрагментации.
Но остальные варианты тоже описывают реальные причины деградации Kubernetes. Разберём, почему в нашем случае они не подходят.
⌨️Что произошло?
etcd использует BoltDB для хранения данных. В процессе работы Kubernetes постоянно изменяет состояние объектов, а etcd хранит их версии с помощью механизма MVCC.
Когда старые версии данных больше не нужны, запускается компактизация — удаление устаревших версий и освобождение страниц базы данных.
Но компактизация не уменьшает физический размер файла. Для этого необходима отдельная операция — дефрагментация.
В нашем кейсе:
Общий размер базы — 8 GB.
Фактически используемое пространство — 2.1 GB.
Разница указывает на значительный объём свободных страниц внутри базы.
Почему тормозит Kubernetes?
Метрики показывают:
WAL fsync p99 — 4 ms.
Backend commit p99 — 350 ms.
Загрузка процессора — около 30%.
Лидер Raft-кластера стабилен.
WAL записывается быстро, но операции с базой данных занимают сотни миллисекунд. В сочетании с разницей между общим и используемым размером DB это указывает на фрагментацию.
🟡 Почему не остальные варианты?
⏺️Проблема с кворумом Raft.
Проблемы с кворумом действительно могут задерживать операции записи. Но в нашем сценарии лидер стабилен, а признаков потери кворума нет.
⏺️Большое количество запросов на отслеживание изменений (watch).
Активные запросы на отслеживание изменений могут увеличивать нагрузку на etcd. Но сами по себе они не объясняют разницу между общим и используемым размером базы.
⏺️Медленная синхронизация WAL с диском.
В этом случае росло бы значение
etcd_disk_wal_fsync_duration_seconds. Но p99 составляет всего 4 ms, поэтому эта версия не соответствует наблюдаемым метрикам.
⚙️ Как исправить?
1. Проверить настройки и регулярность компактизации.
2. Сделать резервную копию etcd.
3. Выполнить дефрагментацию участников кластера поочерёдно, контролируя сохранение кворума.
4. Проверить размер базы и динамику времени выполнения операций записи.
Пример команды:
etcdctl --endpoints=$ENDPOINT defrag
Важно, что дефрагментация это ресурсоёмкая операция. Выполняйте её поочерёдно на участниках кластера, контролируя сохранение кворума.
Вывод: компактизация освобождает место внутри базы, а дефрагментация уменьшает её физический размер. Обе операции важны для поддержания производительности etcd.
А вы сталкивались с фрагментацией etcd в промышленных кластерах? Делитесь опытом в комментариях!
#kubernetes #etcd #devops #разбор_инцидента5 302
🚨 Что тормозит Kubernetes – разбор инцидента
Всем DevOps! В конце недели подготовили для вас кейс прямиком из производственной среды.
После нескольких месяцев стабильной работы Kubernetes-кластер начинает деградировать:
kubectl выполняет команды по 10–15 секунд, контроллеры медленно обрабатывают изменения, а новые Deployment надолго зависают в статусе Progressing.
При этом:
CPU control plane — около 30%.
Memory — 55%.
Дисковый await — в пределах нормы.
Raft leader не теряется.
Но метрики etcd показывают:
etcd_disk_wal_fsync_duration_seconds:
p99 = 4ms
etcd_disk_backend_commit_duration_seconds:
p99 = 350ms
etcd_mvcc_db_total_size_in_bytes:
8 GB
etcd_mvcc_db_total_size_in_use_in_bytes:
2.1 GB
👨💻 Что происходит с etcd? Почему WAL записывается быстро, диск не выглядит перегруженным, но операции с backend занимают сотни миллисекунд?
Делитесь своими версиями в опросе, а после выходных вернёмся с подробным разбором инцидента⬇️
#devops #kubernetes #разборинцидента5 302
Новостной дайджест от DevOps FM! 🔔
🗣️Вышел релиз Zabbix 8.0 LTS.
Добавлены APM, OpenTelemetry, корреляция событий, сервер MCP и поддержка ClickHouse для хранения истории.
Подробнее об изменениях в выпуске.
🗣️Apache Cloudberry обновилась до версии 2.2.0.
Улучшены параллельное выполнение запросов и диагностика, добавлены инструменты резервного копирования и экспортёр для Prometheus.
Больше об улучшениях в обзоре OpenNET.
🗣️ESTT восстанавливает облачную инфраструктуру после атаки шифровальщика.
Были затронуты кластеры виртуализации и система управления облаком. К 10 ноября все виртуальные машины запустили, но часть VPS оставалась недоступна по сети.
Подробнее — в статье.
🗣️Beget временно лишился аккредитации регистратора доменов .RU и .РФ.
Компания не может регистрировать новые домены в этих зонах и принимать их на обслуживание. Уже зарегистрированные домены продолжают работать, мораторий на удаление продлён до 18 ноября.
Узнать больше можно здесь.
#новостной_дайджест #devopsfm #cloud
5 302
ИИ-агенты в Kubernetes: новая угроза безопасности?💬
В этот понедельник поговорим о безопасности Kubernetes в эпоху ИИ-агентов. Они всё чаще получают доступ к инфраструктуре и самостоятельно выполняют задачи. Но насколько безопасно давать им такую свободу?
В инфраструктуре Hugging Face произошёл показательный инцидент, когда всего за 13 часов ИИ-агент смог получить права администратора в нескольких кластерах.
📝 Как инженеры предлагают решать проблему? Собрали несколько мнений пользователей Reddit, а весь тред оставили здесь.
suman087 Недавно попробовал Agent Sandbox. Он хорошо справился с изоляцией выполнения задач между несколькими агентами.
Opposite_Date_1790 NVIDIA OpenShell и Kata с Firecracker.
cynative_ben Как и любое другое программное обеспечение, ИИ-агенты безопаснее, когда используется многоуровневая система защиты.А подробнее о безопасности ИИ-агентов в Kubernetes рассказывает Пётр Рукин, технический руководитель НИКСИС, в своём докладе. Он рассказывает о сценариях атак и способах защиты Kubernetes-инфраструктуры. В статье вы можете познакомиться с основными идеями и рекомендациями выступления, а также посмотреть презентацию. А вы уже используете ИИ-агентов в инфраструктуре? Насколько ограничиваете их права? Желаем всем хорошей недели и безопасных деплоев!🛡️️
5 302
🎙Что послушать на выходных: можно ли жить без NVIDIA?
Наступила пятница, время немного отвлечься от задач и узнать, что нового в мире технологий.
В этот раз предлагаем включить свежий выпуск Kubernetes Community Podcast — «Можно ли жить без NVIDIA: китайские видеокарты в проде».
В центре разговора китайские GPU-ускорители, запуск DeepSeek и эксплуатация AI-нагрузок. Участники также разбираются, готов ли Kubernetes к работе с такими решениями и можно ли построить инфраструктуру без привычных производителей железа
Гость подкаста Руслан Гайнанов, руководитель направления инфраструктуры для ML в IT-холдинге Т1.
🎧️️ Послушать можно здесь.
Желаем хороших выходных и поменьше неожиданных алертов! 🛡
#пятничная_подборка #подкаст #devops #kubernetes
5 302
В эфире DevOps FM – срединедельный дайджест новостей! 🔈
⏺️В России разрешили зарубежные вычислительные мощности и ввели резервирование ЦОД.
Владельцы частных ЦОД должны зарезервировать 10% площадей и вычислительных мощностей. Указ также разрешает временно использовать вычислительные мощности за рубежом по решению правительственной подкомиссии, согласованному с ФСБ.
Подробности можно узнать в тексте указа.
⏺️Google раскрыла причины сбоя в лондонском регионе Cloud.
Из-за ошибки в системе резервного питания генераторы не запустились после отключения электричества. Сбой одной зоны вызвал задержки и перебои в соседних, показав важность проверки резервных систем на практике.
Детали смотрите в отчете Google Cloud.
⏺️Вышел релиз Ansible Core 2.22.0.
В релизе улучшено маскирование секретов, включая короткие значения. Также исправлена совместимость с sudo-rs и улучшена обработка результатов выполнения задач.
Подробнее — в списке изменений.
⏺️Масштабный сбой у хостинг-провайдера Beget.
Сбой затронул сайты, VPS, DNS и почту. Для восстановления инфраструктуры инженерам пришлось вручную настраивать оборудование в дата-центрах. Инцидент показал риски зависимости критичных сервисов от одного провайдера.
Узнать больше в материале VC.ru.
#новостной_дайджест #devops #cloud #infrastructure #cicd
5 302
Уязвимости недели от DevOps FM
🛡️Собрали четыре события в сфере информационной безопасности, на которые стоит обратить внимание.
⏺️GitLab — CVE-2026-97229
Критическая уязвимость (CVSS 10.0), позволяющая при определённых условиях удалённо выполнить код на сервере GitLab через обработку CI/CD-конфигурации. Уязвимость добавлена в CISA KEV, Rapid7 опубликовала PoC.
Исправления доступны в версиях 19.2.8, 19.3.5 и 19.4.2. Под угрозой в том числе секреты CI/CD.
Технический разбор и демонстрация эксплуатации — на Rapid7.
⏺️NGINX и PHP — критические уязвимости веб-инфраструктуры
В NGINX обнаружены три уязвимости (CVE-2026-15176, CVE-2026-97205, CVE-2026-93479), способные привести к повреждению памяти, падению процессов и RCE. Исправления доступны в версиях 1.30.6 и 1.31.7.
В PHP выявлены ещё две критические уязвимости (CVE-2026-109618 и CVE-2026-109619), позволяющие при определённых условиях добиться выполнения кода без аутентификации. Для поддерживаемых веток выпущены исправления.
Подробности, затронутые версии и рекомендации по обновлению в официальном NGINX Security Advisory и предупреждениях PHP.
⏺️Ivanti Connect Secure — цепочка из трёх CVE
CISA добавила в KEV три уязвимости Ivanti, связанные с обходом аутентификации, повышением привилегий до root и загрузкой файлов.
Производитель подтвердил эксплуатацию цепочки в реальных атаках. Важно: Integrity Checker Tool может не обнаружить следы эксплуатации одной из уязвимостей.
Статус эксплуатации и рекомендации по защите смотрите в каталоге CISA KEV.
⏺️Anthropic — Claude обнаруживает критические уязвимости
Anthropic показала, как Claude находит и объединяет уязвимости в сложные цепочки атак. Среди результатов — 62 CVE в Chrome, проблемы безопасности Safari и Android, а также zero-click RCE в сетевом стеке Linux с получением root-доступа.
Исследование демонстрирует, что ИИ становится полноценным инструментом поиска и эксплуатации уязвимостей.
Технические подробности, примеры эксплуатации и выводы исследователей в полном исследовании Anthropic.
👀 Какие уязвимости вы бы добавили? Делитесь в комментариях, расширим подборку вместе.
#devops #уязвимости #кибербезопасность #подборка
5 302
Repost from DevOps FM
Подборка интерактивных тренажеров для DevOps⌨️
В эту пятницу собрали тренажеры и задания, где можно на практике исследовать сбои сервисов, поведение Kubernetes при нехватке ресурсов, работу кворумов и сетевой трафик контейнеров.
⏺️Chaos Playground — ломаем зависимости с помощью задержек и ошибок, проверяем, когда тайм-ауты и повторы запросов помогают, а когда только усиливают нагрузку.
⏺️Pod Eviction Simulator — моделируем нехватку памяти на узле и выясняем, какие Pod будут выселены, как на это влияют QoS-классы и что происходит при выводе узла из эксплуатации.
⏺️Intercept and Analyze Encrypted Traffic of a Suspicious Container — направляем HTTPS-трафик подозрительного контейнера через прокси, изучаем перехваченные запросы и выясняем, куда он обращается и какие данные передаёт.
⏺️Read/Write Quorum Simulator — отключаем узлы и меняем кворумы чтения и записи, чтобы увидеть, когда система продолжает обрабатывать запросы, а когда теряет доступность операций.
Сохраняйте подборку, чтобы попробовать эти сценарии на практике и проверить свои навыки troubleshooting.
Хорошей практики и приятных выходных! Делитесь своими любимыми тренажерами в комментариях.
#девопс #тренажеры
5 302
Подборка интерактивных тренажеров для DevOps⌨️
В эту пятницу собрали тренажеры и задания, где можно на практике исследовать сбои сервисов, поведение Kubernetes при нехватке ресурсов, работу кворумов и сетевой трафик контейнеров.
⏺️Chaos Playground — ломаем зависимости с помощью задержек и ошибок, проверяем, когда тайм-ауты и повторы запросов помогают, а когда только усиливают нагрузку.
⏺️Pod Eviction Simulator — моделируем нехватку памяти на узле и выясняем, какие Pod будут выселены, как на это влияют QoS-классы и что происходит при выводе узла из эксплуатации.
⏺️Intercept and Analyze Encrypted Traffic of a Suspicious Container — направляем HTTPS-трафик подозрительного контейнера через прокси, изучаем перехваченные запросы и выясняем, куда он обращается и какие данные передаёт.
⏺️Read/Write Quorum Simulator — отключаем узлы и меняем кворумы чтения и записи, чтобы увидеть, когда система продолжает обрабатывать запросы, а когда теряет доступность операций.
Сохраняйте подборку, чтобы попробовать эти сценарии на практике и проверить свои навыки troubleshooting.
Хорошей практики и приятных выходных! Делитесь своими любимыми тренажерами в комментариях.
#девопс #тренажеры
5 302
⚡Взлом Binance: возможный вектор атаки — ноутбук DevOps-инженера
По предварительным данным Binance, инцидент может быть связан с компрометацией ноутбука DevOps-инженера. Предположительно, это позволило злоумышленнику получить доступ к сервисному контейнеру и инициировать несанкционированные выводы средств.
Предварительный ущерб оценивается в $6,3 млрд, из которых около $3 млрд удалось заморозить. Признаков утечки приватных ключей криптокошельков пока не обнаружено.
Инцидент вновь обращает внимание на безопасность рабочих устройств и привилегированного доступа: компрометация одного ноутбука может иметь серьёзные последствия для инфраструктуры.
Binance продолжает расследование, вывод средств на платформе приостановлен.
Подробнее можно узнать в заявлении Binance.
5 302
Новостной дайджест от DevOps FM! 🔔
🗣 HCP Terraform: сбои при подключении к системам контроля версий.
HashiCorp связала перебои с версией агента 1.33.2. Для агентов, установленных на собственной инфраструктуре, рекомендовали вернуться к версии 1.33.1.
Подробности читайте в отчете об инциденте.
🗣 LiteLLM: вредоносное обновление поставило под угрозу секреты CI/CD.
Скомпрометированная версия 1.107.0 могла похищать учётные данные с компьютеров разработчиков и сборочных серверов. Недостаточно просто удалить пакет: нужно проверить затронутые системы и заменить секреты, которые могли попасть к злоумышленникам.
Детали читайте в статье.
🗣️ GitLab: критическая уязвимость позволяла удалённо выполнять код.
Уязвимость CVE-2026-110264 получила максимальную оценку опасности — 10 из 10. Командам, которые самостоятельно обслуживают GitLab, следует проверить установленную версию и как можно скорее установить исправление.
Подробнее — в статье OpenNET.
🗣️ Terraform: исправлены ошибки при проверке схем провайдеров.
В версии 1.16.7 устранён сбой, возникавший при проверке схем с устаревшими параметрами. Также обновлён Go — это исправляет проблему с доверием к сертификатам скомпрометированных промежуточных центров eMudhra.
Подробнее — в списке выпусков Terraform.
#новостной_дайджест #devops #security
5 302
Как подготовить инфраструктуру к отказу облачного региона 👀
Даже отказоустойчивая инфраструктура внутри одного дата-центра не гарантирует доступность сервисов при потере всей площадки.
Недавние инциденты с Яндексом — повод вспомнить, как устроено георезервирование и что важно учитывать при его проектировании.
Георезервирование — это размещение критичных компонентов инфраструктуры в разных регионах. Но одной репликации между ними недостаточно, важно продумать и другие аспекты:
⏺1. Active-Passive или Active-Active?
В Active-Passive резервная площадка принимает нагрузку при аварии. Важно предусмотреть достаточные мощности и механизм переключения.
В Active-Active обе площадки обслуживают трафик одновременно, что усложняет маршрутизацию, синхронизацию данных и защиту от split-brain.
⏺2. Репликация и согласованность данных
Для PostgreSQL и очередей сообщений критичны режим репликации и поведение системы при потере связи между регионами.
Асинхронная репликация допускает потерю последних записей, синхронная увеличивает задержки и может ограничить запись при сетевых проблемах.
Поэтому важно определить RPO — допустимую потерю данных — и RTO — допустимое время восстановления.
⏺3. Общие точки отказа (SPOF)
Даже две независимые площадки могут зависеть от общих компонентов: DNS, IAM, CI/CD, container registry или систем управления инфраструктурой.
Если эти зависимости недоступны при аварии, восстановить сервисы может не получиться.
⏺4. Ресурсы и эксплуатация резервной площадки
В Active-Passive необходимо учитывать время масштабирования резервной инфраструктуры и доступность свободных мощностей. В Active-Active — расходы на межрегиональный трафик, задержки и согласованность данных.
Terraform и GitOps упрощают воспроизводимое развёртывание, но не заменяют подготовленные процедуры восстановления и переключения.
⏺5. Тестирование Disaster Recovery
DR-тесты помогают проверить реальные RPO/RTO, целостность данных и переключение трафика. Важно также отрабатывать failback — безопасный возврат на основную площадку.
Без регулярных испытаний даже хорошо документированный сценарий восстановления может оказаться нерабочим.
Георезервирование — это способность пережить потерю целой площадки в рамках заданных требований к восстановлению.
Если вам нужна помощь с георезервированием, в НИКСИС можем помочь с проектированием и настройкой инфраструктуры.
#devops #георезервирование #отказоустойчивость
5 302
Как меняется работа SRE и DevOps в эпоху AI? 🔆
Команда DevCrowd* запустила новое исследование инженеров, которые отвечают за надёжность: SRE, DevOps, платформенных инженеров и всех, кто держит прод в строю.
В этом году главный сюжет — роль AI в инженерной работе: какие задачи уже можно автоматизировать, доверяют ли ему работу в проде и приводит ли сгенерированный код к новым инцидентам. Отдельно изучают soft skills и навыки, которые AI пока не заменит.
Не обошли и человеческую цену надежности: сколько стоят дежурства по времени, деньгам и здоровью и на ком в команде реально концентрируется нагрузка.
Часть вопросов повторяет прошлогодние, поэтому результаты позволят увидеть динамику изменений за год.
⌨️ Если работаете с инфраструктурой и надёжностью сервисов — можете пройти опрос и поделиться своим опытом.
Опрос займёт 10–12 минут. Отчёт со всеми разрезами опубликуют в начале декабря.
➖➖➖➖➖➖➖➖➖➖➖
*DevCrowd — независимые исследования IT-профессий: больше 15 000 участников, публичные отчеты по мобильной разработке, SRE, дата-специалистам, продактам и другим направлениям.
#партнёрский_пост
5 302
🔔 В эфире DevOps FM – срединедельный дайджест новостей!
⏺PwnEscape: уязвимость Linux позволяла выйти из виртуальной машины на хост.
Ошибка в сетевом стеке Linux позволяла гостевой системе получить доступ к памяти хоста и выполнить код с правами ядра. Уязвимость особенно важна для облачных платформ и изолированных сред запуска кода.
Подробнее читайте в статье.
⏺eMudhra: скомпрометированы ключи TLS-сертификатов.
Из-за недостатков генерации ключей злоумышленники могли выпускать поддельные HTTPS-сертификаты. Google и Mozilla заблокировали затронутые сертификаты.
Детали в статье на OpenNET.
⏺Argo CD: критическая уязвимость позволяла обходить ограничения доступа.
Уязвимость CVE-2026-77459 затрагивала управление ресурсами Kubernetes и могла позволить создавать объекты за пределами разрешённых проекту границ.
Исправления доступны в версиях 3.3.15, 3.4.10 и 3.5.4. Командам, использующим Argo CD, стоит проверить версию и обновиться.
Подробнее — на GitHub.
⏺GitHub тестирует защиту от вредоносных зависимостей.
Package Firewall помогает блокировать опасные npm-пакеты, которые могут похищать учётные данные разработчиков и систем сборки. Пока функция доступна в тестовом режиме клиентам GitHub Enterprise Cloud.
Узнать больше можно в объявлении GitHub.
#новостной_дайджест #devops #security
5 302
👩💻 Релиз Linux Kernel 7.2.11
15 октября вышло обновление стабильной ветки ядра Linux 7.2.11. Оно включает исправления сетевого стека, файловых систем, управления памятью и драйверов оборудования.
Среди наиболее интересных изменений:
⏺️Сеть. Исправления затрагивают IPv4/IPv6, TCP, UDP и WireGuard. В Open vSwitch устранена ошибка, которая могла приводить к зависанию ядра при длительной обработке сетевых потоков.
⏺️Файловые системы и точки монтирования. Исправлена обработка операций монтирования и размонтирования, в том числе в пространствах имён.
⏺️Шифрование и целостность данных. В dm-integrity исправлена ошибка переполнения буфера при определённых размерах метаданных. В dm-crypt добавлена проверка некорректных комбинаций параметров шифрования.
⏺️Управление памятью. В io_uring исправлен учёт страниц памяти для областей, занимающих несколько страниц.
⏺️Драйверы. Обновления затрагивают сетевые адаптеры NVIDIA/Mellanox, Intel и Broadcom, а также драйверы Wi-Fi, Bluetooth и систем хранения.
👨💻 Подробнее об изменениях — в полном обзоре релиза.
#devops #linux #релиз
