uk
Feedback

Не попадись на ботовода! Telemetrio знаходить і позначає такі канали мітками 👉 Хочеш бачити мітку, оформляй підписку

DevOps FM

DevOps FM

Відкрити в Telegram

♾️ Канал для тех, кто живёт слиянием разработки и эксплуатации (DevOps) и сис. администрированием. Новости, статьи, практики, инструменты и развлекательный контент. Cloud Native, Docker, Kubernetes, БД, мониторинг и пр. Алена @alyona2780

Показати більше
5 302
Підписники
+524 години
+17 днів
+630 днів
Архів дописів
🚨 Что тормозит Kubernetes — разбираем инцидент В прошлом посте мы предложили разобраться, почему управляющий контур Kubernetes начал работать медленно, хотя загрузка процессора, использование памяти и состояние дисковой подсистемы не показывали явных проблем. Спасибо всем, кто принял участие в опросе! Правильный ответ — фрагментация базы данных etcd и отсутствие дефрагментации. Но остальные варианты тоже описывают реальные причины деградации Kubernetes. Разберём, почему в нашем случае они не подходят. ⌨️Что произошло? etcd использует BoltDB для хранения данных. В процессе работы Kubernetes постоянно изменяет состояние объектов, а etcd хранит их версии с помощью механизма MVCC. Когда старые версии данных больше не нужны, запускается компактизация — удаление устаревших версий и освобождение страниц базы данных. Но компактизация не уменьшает физический размер файла. Для этого необходима отдельная операция — дефрагментация. В нашем кейсе: Общий размер базы — 8 GB. Фактически используемое пространство — 2.1 GB. Разница указывает на значительный объём свободных страниц внутри базы. Почему тормозит Kubernetes? Метрики показывают: WAL fsync p99 — 4 ms. Backend commit p99 — 350 ms. Загрузка процессора — около 30%. Лидер Raft-кластера стабилен. WAL записывается быстро, но операции с базой данных занимают сотни миллисекунд. В сочетании с разницей между общим и используемым размером DB это указывает на фрагментацию. 🟡 Почему не остальные варианты? ⏺️Проблема с кворумом Raft. Проблемы с кворумом действительно могут задерживать операции записи. Но в нашем сценарии лидер стабилен, а признаков потери кворума нет. ⏺️Большое количество запросов на отслеживание изменений (watch). Активные запросы на отслеживание изменений могут увеличивать нагрузку на etcd. Но сами по себе они не объясняют разницу между общим и используемым размером базы. ⏺️Медленная синхронизация WAL с диском. В этом случае росло бы значение etcd_disk_wal_fsync_duration_seconds. Но p99 составляет всего 4 ms, поэтому эта версия не соответствует наблюдаемым метрикам. ⚙️ Как исправить? 1. Проверить настройки и регулярность компактизации. 2. Сделать резервную копию etcd. 3. Выполнить дефрагментацию участников кластера поочерёдно, контролируя сохранение кворума. 4. Проверить размер базы и динамику времени выполнения операций записи. Пример команды:
etcdctl --endpoints=$ENDPOINT defrag
Важно, что дефрагментация это ресурсоёмкая операция. Выполняйте её поочерёдно на участниках кластера, контролируя сохранение кворума. Вывод: компактизация освобождает место внутри базы, а дефрагментация уменьшает её физический размер. Обе операции важны для поддержания производительности etcd. А вы сталкивались с фрагментацией etcd в промышленных кластерах? Делитесь опытом в комментариях! #kubernetes #etcd #devops #разбор_инцидента

Что происходит?
Anonymous voting

Что происходит?
Anonymous voting

🚨 Что тормозит Kubernetes – разбор инцидента Всем DevOps! В конце недели подготовили для вас кейс прямиком из производственн
🚨 Что тормозит Kubernetes – разбор инцидента Всем DevOps! В конце недели подготовили для вас кейс прямиком из производственной среды. После нескольких месяцев стабильной работы Kubernetes-кластер начинает деградировать: kubectl выполняет команды по 10–15 секунд, контроллеры медленно обрабатывают изменения, а новые Deployment надолго зависают в статусе Progressing. При этом: CPU control plane — около 30%. Memory — 55%. Дисковый await — в пределах нормы. Raft leader не теряется. Но метрики etcd показывают:

etcd_disk_wal_fsync_duration_seconds:
  p99 = 4ms

etcd_disk_backend_commit_duration_seconds:
  p99 = 350ms

etcd_mvcc_db_total_size_in_bytes:
  8 GB

etcd_mvcc_db_total_size_in_use_in_bytes:
  2.1 GB
👨‍💻 Что происходит с etcd? Почему WAL записывается быстро, диск не выглядит перегруженным, но операции с backend занимают сотни миллисекунд? Делитесь своими версиями в опросе, а после выходных вернёмся с подробным разбором инцидента⬇️ #devops #kubernetes #разборинцидента

Новостной дайджест от DevOps FM! 🔔 🗣️Вышел релиз Zabbix 8.0 LTS. Добавлены APM, OpenTelemetry, корреляция событий, сервер M
Новостной дайджест от DevOps FM! 🔔 🗣️Вышел релиз Zabbix 8.0 LTS. Добавлены APM, OpenTelemetry, корреляция событий, сервер MCP и поддержка ClickHouse для хранения истории. Подробнее об изменениях в выпуске. 🗣️Apache Cloudberry обновилась до версии 2.2.0. Улучшены параллельное выполнение запросов и диагностика, добавлены инструменты резервного копирования и экспортёр для Prometheus. Больше об улучшениях в обзоре OpenNET. 🗣️ESTT восстанавливает облачную инфраструктуру после атаки шифровальщика. Были затронуты кластеры виртуализации и система управления облаком. К 10 ноября все виртуальные машины запустили, но часть VPS оставалась недоступна по сети. Подробнее — в статье. 🗣️Beget временно лишился аккредитации регистратора доменов .RU и .РФ. Компания не может регистрировать новые домены в этих зонах и принимать их на обслуживание. Уже зарегистрированные домены продолжают работать, мораторий на удаление продлён до 18 ноября. Узнать больше можно здесь. #новостной_дайджест #devopsfm #cloud

ИИ-агенты в Kubernetes: новая угроза безопасности?💬 В этот понедельник поговорим о безопасности Kubernetes в эпоху ИИ-агенто
ИИ-агенты в Kubernetes: новая угроза безопасности?💬 В этот понедельник поговорим о безопасности Kubernetes в эпоху ИИ-агентов. Они всё чаще получают доступ к инфраструктуре и самостоятельно выполняют задачи. Но насколько безопасно давать им такую свободу? В инфраструктуре Hugging Face произошёл показательный инцидент, когда всего за 13 часов ИИ-агент смог получить права администратора в нескольких кластерах. 📝 Как инженеры предлагают решать проблему? Собрали несколько мнений пользователей Reddit, а весь тред оставили здесь.
suman087 Недавно попробовал Agent Sandbox. Он хорошо справился с изоляцией выполнения задач между несколькими агентами.
Opposite_Date_1790 NVIDIA OpenShell и Kata с Firecracker.
cynative_ben Как и любое другое программное обеспечение, ИИ-агенты безопаснее, когда используется многоуровневая система защиты.
А подробнее о безопасности ИИ-агентов в Kubernetes рассказывает Пётр Рукин, технический руководитель НИКСИС, в своём докладе. Он рассказывает о сценариях атак и способах защиты Kubernetes-инфраструктуры. В статье вы можете познакомиться с основными идеями и рекомендациями выступления, а также посмотреть презентацию. А вы уже используете ИИ-агентов в инфраструктуре? Насколько ограничиваете их права? Желаем всем хорошей недели и безопасных деплоев!🛡️️

🎙Что послушать на выходных: можно ли жить без NVIDIA? Наступила пятница, время немного отвлечься от задач и узнать, что ново
🎙Что послушать на выходных: можно ли жить без NVIDIA? Наступила пятница, время немного отвлечься от задач и узнать, что нового в мире технологий. В этот раз предлагаем включить свежий выпуск Kubernetes Community Podcast — «Можно ли жить без NVIDIA: китайские видеокарты в проде». В центре разговора китайские GPU-ускорители, запуск DeepSeek и эксплуатация AI-нагрузок. Участники также разбираются, готов ли Kubernetes к работе с такими решениями и можно ли построить инфраструктуру без привычных производителей железа Гость подкаста Руслан Гайнанов, руководитель направления инфраструктуры для ML в IT-холдинге Т1. 🎧️️ Послушать можно здесь. Желаем хороших выходных и поменьше неожиданных алертов! 🛡 #пятничная_подборка #подкаст #devops #kubernetes

В эфире DevOps FM – срединедельный дайджест новостей! 🔈 ⏺️В России разрешили зарубежные вычислительные мощности и ввели резе
В эфире DevOps FM – срединедельный дайджест новостей! 🔈 ⏺️В России разрешили зарубежные вычислительные мощности и ввели резервирование ЦОД. Владельцы частных ЦОД должны зарезервировать 10% площадей и вычислительных мощностей. Указ также разрешает временно использовать вычислительные мощности за рубежом по решению правительственной подкомиссии, согласованному с ФСБ. Подробности можно узнать в тексте указа. ⏺️Google раскрыла причины сбоя в лондонском регионе Cloud. Из-за ошибки в системе резервного питания генераторы не запустились после отключения электричества. Сбой одной зоны вызвал задержки и перебои в соседних, показав важность проверки резервных систем на практике. Детали смотрите в отчете Google Cloud. ⏺️Вышел релиз Ansible Core 2.22.0. В релизе улучшено маскирование секретов, включая короткие значения. Также исправлена совместимость с sudo-rs и улучшена обработка результатов выполнения задач. Подробнее — в списке изменений. ⏺️Масштабный сбой у хостинг-провайдера Beget. Сбой затронул сайты, VPS, DNS и почту. Для восстановления инфраструктуры инженерам пришлось вручную настраивать оборудование в дата-центрах. Инцидент показал риски зависимости критичных сервисов от одного провайдера. Узнать больше в материале VC.ru. #новостной_дайджест #devops #cloud #infrastructure #cicd

Уязвимости недели от DevOps FM 🛡️Собрали четыре события в сфере информационной безопасности, на которые стоит обратить внима
Уязвимости недели от DevOps FM 🛡️Собрали четыре события в сфере информационной безопасности, на которые стоит обратить внимание. ⏺️GitLab — CVE-2026-97229 Критическая уязвимость (CVSS 10.0), позволяющая при определённых условиях удалённо выполнить код на сервере GitLab через обработку CI/CD-конфигурации. Уязвимость добавлена в CISA KEV, Rapid7 опубликовала PoC. Исправления доступны в версиях 19.2.8, 19.3.5 и 19.4.2. Под угрозой в том числе секреты CI/CD. Технический разбор и демонстрация эксплуатации — на Rapid7. ⏺️NGINX и PHP — критические уязвимости веб-инфраструктуры В NGINX обнаружены три уязвимости (CVE-2026-15176, CVE-2026-97205, CVE-2026-93479), способные привести к повреждению памяти, падению процессов и RCE. Исправления доступны в версиях 1.30.6 и 1.31.7. В PHP выявлены ещё две критические уязвимости (CVE-2026-109618 и CVE-2026-109619), позволяющие при определённых условиях добиться выполнения кода без аутентификации. Для поддерживаемых веток выпущены исправления. Подробности, затронутые версии и рекомендации по обновлению в официальном NGINX Security Advisory и предупреждениях PHP. ⏺️Ivanti Connect Secure — цепочка из трёх CVE CISA добавила в KEV три уязвимости Ivanti, связанные с обходом аутентификации, повышением привилегий до root и загрузкой файлов. Производитель подтвердил эксплуатацию цепочки в реальных атаках. Важно: Integrity Checker Tool может не обнаружить следы эксплуатации одной из уязвимостей. Статус эксплуатации и рекомендации по защите смотрите в каталоге CISA KEV. ⏺️Anthropic — Claude обнаруживает критические уязвимости Anthropic показала, как Claude находит и объединяет уязвимости в сложные цепочки атак. Среди результатов — 62 CVE в Chrome, проблемы безопасности Safari и Android, а также zero-click RCE в сетевом стеке Linux с получением root-доступа. Исследование демонстрирует, что ИИ становится полноценным инструментом поиска и эксплуатации уязвимостей. Технические подробности, примеры эксплуатации и выводы исследователей в полном исследовании Anthropic. 👀 Какие уязвимости вы бы добавили? Делитесь в комментариях, расширим подборку вместе. #devops #уязвимости #кибербезопасность #подборка

Repost from DevOps FM
Подборка интерактивных тренажеров для DevOps⌨️ В эту пятницу собрали тренажеры и задания, где можно на практике исследовать с
Подборка интерактивных тренажеров для DevOps⌨️ В эту пятницу собрали тренажеры и задания, где можно на практике исследовать сбои сервисов, поведение Kubernetes при нехватке ресурсов, работу кворумов и сетевой трафик контейнеров. ⏺️Chaos Playground — ломаем зависимости с помощью задержек и ошибок, проверяем, когда тайм-ауты и повторы запросов помогают, а когда только усиливают нагрузку. ⏺️Pod Eviction Simulator — моделируем нехватку памяти на узле и выясняем, какие Pod будут выселены, как на это влияют QoS-классы и что происходит при выводе узла из эксплуатации. ⏺️Intercept and Analyze Encrypted Traffic of a Suspicious Container — направляем HTTPS-трафик подозрительного контейнера через прокси, изучаем перехваченные запросы и выясняем, куда он обращается и какие данные передаёт. ⏺️Read/Write Quorum Simulator — отключаем узлы и меняем кворумы чтения и записи, чтобы увидеть, когда система продолжает обрабатывать запросы, а когда теряет доступность операций. Сохраняйте подборку, чтобы попробовать эти сценарии на практике и проверить свои навыки troubleshooting. Хорошей практики и приятных выходных! Делитесь своими любимыми тренажерами в комментариях. #девопс #тренажеры

47 пересылок

Подборка интерактивных тренажеров для DevOps⌨️ В эту пятницу собрали тренажеры и задания, где можно на практике исследовать с
Подборка интерактивных тренажеров для DevOps⌨️ В эту пятницу собрали тренажеры и задания, где можно на практике исследовать сбои сервисов, поведение Kubernetes при нехватке ресурсов, работу кворумов и сетевой трафик контейнеров. ⏺️Chaos Playground — ломаем зависимости с помощью задержек и ошибок, проверяем, когда тайм-ауты и повторы запросов помогают, а когда только усиливают нагрузку. ⏺️Pod Eviction Simulator — моделируем нехватку памяти на узле и выясняем, какие Pod будут выселены, как на это влияют QoS-классы и что происходит при выводе узла из эксплуатации. ⏺️Intercept and Analyze Encrypted Traffic of a Suspicious Container — направляем HTTPS-трафик подозрительного контейнера через прокси, изучаем перехваченные запросы и выясняем, куда он обращается и какие данные передаёт. ⏺️Read/Write Quorum Simulator — отключаем узлы и меняем кворумы чтения и записи, чтобы увидеть, когда система продолжает обрабатывать запросы, а когда теряет доступность операций. Сохраняйте подборку, чтобы попробовать эти сценарии на практике и проверить свои навыки troubleshooting. Хорошей практики и приятных выходных! Делитесь своими любимыми тренажерами в комментариях. #девопс #тренажеры

⚡Взлом Binance: возможный вектор атаки — ноутбук DevOps-инженера По предварительным данным Binance, инцидент может быть связа
⚡Взлом Binance: возможный вектор атаки — ноутбук DevOps-инженера По предварительным данным Binance, инцидент может быть связан с компрометацией ноутбука DevOps-инженера. Предположительно, это позволило злоумышленнику получить доступ к сервисному контейнеру и инициировать несанкционированные выводы средств. Предварительный ущерб оценивается в $6,3 млрд, из которых около $3 млрд удалось заморозить. Признаков утечки приватных ключей криптокошельков пока не обнаружено. Инцидент вновь обращает внимание на безопасность рабочих устройств и привилегированного доступа: компрометация одного ноутбука может иметь серьёзные последствия для инфраструктуры. Binance продолжает расследование, вывод средств на платформе приостановлен. Подробнее можно узнать в заявлении Binance.

Новостной дайджест от DevOps FM! 🔔 🗣 HCP Terraform: сбои при подключении к системам контроля версий. HashiCorp связала пере
Новостной дайджест от DevOps FM! 🔔 🗣 HCP Terraform: сбои при подключении к системам контроля версий. HashiCorp связала перебои с версией агента 1.33.2. Для агентов, установленных на собственной инфраструктуре, рекомендовали вернуться к версии 1.33.1. Подробности читайте в отчете об инциденте. 🗣 LiteLLM: вредоносное обновление поставило под угрозу секреты CI/CD. Скомпрометированная версия 1.107.0 могла похищать учётные данные с компьютеров разработчиков и сборочных серверов. Недостаточно просто удалить пакет: нужно проверить затронутые системы и заменить секреты, которые могли попасть к злоумышленникам. Детали читайте в статье. 🗣️ GitLab: критическая уязвимость позволяла удалённо выполнять код. Уязвимость CVE-2026-110264 получила максимальную оценку опасности — 10 из 10. Командам, которые самостоятельно обслуживают GitLab, следует проверить установленную версию и как можно скорее установить исправление. Подробнее — в статье OpenNET. 🗣️ Terraform: исправлены ошибки при проверке схем провайдеров. В версии 1.16.7 устранён сбой, возникавший при проверке схем с устаревшими параметрами. Также обновлён Go — это исправляет проблему с доверием к сертификатам скомпрометированных промежуточных центров eMudhra. Подробнее — в списке выпусков Terraform. #новостной_дайджест #devops #security

Как подготовить инфраструктуру к отказу облачного региона 👀 Даже отказоустойчивая инфраструктура внутри одного дата-центра н
Как подготовить инфраструктуру к отказу облачного региона 👀 Даже отказоустойчивая инфраструктура внутри одного дата-центра не гарантирует доступность сервисов при потере всей площадки. Недавние инциденты с Яндексом — повод вспомнить, как устроено георезервирование и что важно учитывать при его проектировании. Георезервирование — это размещение критичных компонентов инфраструктуры в разных регионах. Но одной репликации между ними недостаточно, важно продумать и другие аспекты: ⏺1. Active-Passive или Active-Active? В Active-Passive резервная площадка принимает нагрузку при аварии. Важно предусмотреть достаточные мощности и механизм переключения. В Active-Active обе площадки обслуживают трафик одновременно, что усложняет маршрутизацию, синхронизацию данных и защиту от split-brain. ⏺2. Репликация и согласованность данных Для PostgreSQL и очередей сообщений критичны режим репликации и поведение системы при потере связи между регионами. Асинхронная репликация допускает потерю последних записей, синхронная увеличивает задержки и может ограничить запись при сетевых проблемах. Поэтому важно определить RPO — допустимую потерю данных — и RTO — допустимое время восстановления. ⏺3. Общие точки отказа (SPOF) Даже две независимые площадки могут зависеть от общих компонентов: DNS, IAM, CI/CD, container registry или систем управления инфраструктурой. Если эти зависимости недоступны при аварии, восстановить сервисы может не получиться. ⏺4. Ресурсы и эксплуатация резервной площадки В Active-Passive необходимо учитывать время масштабирования резервной инфраструктуры и доступность свободных мощностей. В Active-Active — расходы на межрегиональный трафик, задержки и согласованность данных. Terraform и GitOps упрощают воспроизводимое развёртывание, но не заменяют подготовленные процедуры восстановления и переключения. ⏺5. Тестирование Disaster Recovery DR-тесты помогают проверить реальные RPO/RTO, целостность данных и переключение трафика. Важно также отрабатывать failback — безопасный возврат на основную площадку. Без регулярных испытаний даже хорошо документированный сценарий восстановления может оказаться нерабочим. Георезервирование — это способность пережить потерю целой площадки в рамках заданных требований к восстановлению. Если вам нужна помощь с георезервированием, в НИКСИС можем помочь с проектированием и настройкой инфраструктуры. #devops #георезервирование #отказоустойчивость

Как меняется работа SRE и DevOps в эпоху AI? 🔆 Команда DevCrowd* запустила новое исследование инженеров, которые отвечают за
Как меняется работа SRE и DevOps в эпоху AI? 🔆 Команда DevCrowd* запустила новое исследование инженеров, которые отвечают за надёжность: SRE, DevOps, платформенных инженеров и всех, кто держит прод в строю. В этом году главный сюжет — роль AI в инженерной работе: какие задачи уже можно автоматизировать, доверяют ли ему работу в проде и приводит ли сгенерированный код к новым инцидентам. Отдельно изучают soft skills и навыки, которые AI пока не заменит. Не обошли и человеческую цену надежности: сколько стоят дежурства по времени, деньгам и здоровью и на ком в команде реально концентрируется нагрузка. Часть вопросов повторяет прошлогодние, поэтому результаты позволят увидеть динамику изменений за год. ⌨️ Если работаете с инфраструктурой и надёжностью сервисов — можете пройти опрос и поделиться своим опытом. Опрос займёт 10–12 минут. Отчёт со всеми разрезами опубликуют в начале декабря. ➖➖➖➖➖➖➖➖➖➖➖ *DevCrowd — независимые исследования IT-профессий: больше 15 000 участников, публичные отчеты по мобильной разработке, SRE, дата-специалистам, продактам и другим направлениям. #партнёрский_пост

🔔 В эфире DevOps FM – срединедельный дайджест новостей! ⏺PwnEscape: уязвимость Linux позволяла выйти из виртуальной машины н
🔔 В эфире DevOps FM – срединедельный дайджест новостей! ⏺PwnEscape: уязвимость Linux позволяла выйти из виртуальной машины на хост. Ошибка в сетевом стеке Linux позволяла гостевой системе получить доступ к памяти хоста и выполнить код с правами ядра. Уязвимость особенно важна для облачных платформ и изолированных сред запуска кода. Подробнее читайте в статье. ⏺eMudhra: скомпрометированы ключи TLS-сертификатов. Из-за недостатков генерации ключей злоумышленники могли выпускать поддельные HTTPS-сертификаты. Google и Mozilla заблокировали затронутые сертификаты. Детали в статье на OpenNET. ⏺Argo CD: критическая уязвимость позволяла обходить ограничения доступа. Уязвимость CVE-2026-77459 затрагивала управление ресурсами Kubernetes и могла позволить создавать объекты за пределами разрешённых проекту границ. Исправления доступны в версиях 3.3.15, 3.4.10 и 3.5.4. Командам, использующим Argo CD, стоит проверить версию и обновиться. Подробнее — на GitHub. ⏺GitHub тестирует защиту от вредоносных зависимостей. Package Firewall помогает блокировать опасные npm-пакеты, которые могут похищать учётные данные разработчиков и систем сборки. Пока функция доступна в тестовом режиме клиентам GitHub Enterprise Cloud. Узнать больше можно в объявлении GitHub. #новостной_дайджест #devops #security

👩‍💻 Релиз Linux Kernel 7.2.11 15 октября вышло обновление стабильной ветки ядра Linux 7.2.11. Оно включает исправления сете
👩‍💻 Релиз Linux Kernel 7.2.11 15 октября вышло обновление стабильной ветки ядра Linux 7.2.11. Оно включает исправления сетевого стека, файловых систем, управления памятью и драйверов оборудования. Среди наиболее интересных изменений: ⏺️Сеть. Исправления затрагивают IPv4/IPv6, TCP, UDP и WireGuard. В Open vSwitch устранена ошибка, которая могла приводить к зависанию ядра при длительной обработке сетевых потоков. ⏺️Файловые системы и точки монтирования. Исправлена обработка операций монтирования и размонтирования, в том числе в пространствах имён. ⏺️Шифрование и целостность данных. В dm-integrity исправлена ошибка переполнения буфера при определённых размерах метаданных. В dm-crypt добавлена проверка некорректных комбинаций параметров шифрования. ⏺️Управление памятью. В io_uring исправлен учёт страниц памяти для областей, занимающих несколько страниц. ⏺️Драйверы. Обновления затрагивают сетевые адаптеры NVIDIA/Mellanox, Intel и Broadcom, а также драйверы Wi-Fi, Bluetooth и систем хранения. 👨‍💻 Подробнее об изменениях — в полном обзоре релиза. #devops #linux #релиз