Библиотека девопса | DevOps, SRE, Sysadmin

🔄 Обновление firewalld Вышел релиз firewalld версии 2.4.0 — динамически управляемого межсетевого экрана для Linux. Основные новшества: • Добавлен набор правил gateway, обеспечивающий функциональность типового домашнего маршрутизатора: NAT, обработка conntrack и перенаправление трафика между зонами. • Введён флаг disable, который можно применять в XML-конфигурациях, через командную строку и D-Bus для отключения отдельных правил и наборов правил. • Максимальная длина имён правил увеличена с 17 до 128 символов. ➡️ Release notes 🐸 Библиотека devops'a #пульс_индустрии

👨‍💻 Как добить поды, если они зависли Вы удалили ReplicationController с дюжиной подов. Большинство исчезли. Но несколько упрямцев остались висеть в состоянии Terminating, игнорируя ваши попытки удаления. Когда Kubernetes удаляет под, kubelet выполняет аккуратное завершение: отправляет SIGTERM, ждёт до истечения terminationGracePeriodSeconds, останавливает контейнеры, размонтирует тома и сетевые пространства имён. Финальный шаг — удаление пода с ноды и из API. Но если размонтирование не удаётся из-за ошибки "device or resource busy", процесс завершения зависает. API-объект остаётся в лимбо состояния Terminating навсегда. Корень проблемы обычно один: рантайм контейнера оставил утечку — смонтированный том или процесс, который по-прежнему держит файловые дескрипторы. Быстрая диагностика Посмотреть есть ли на поде финализаторы:

kubectl get pod <POD> -o jsonpath='{.metadata.finalizers}'

Если они есть — не рубите их сплеча. Это обычно finalizer-ы хранилища (PVC, CSI), которые блокируют удаление до завершения очистки. Нет финализаторов? Тогда ищем утечку монтирования на уровне хоста. Подключитесь к ноде, где запускался под:

POD=pod-186o2
NS=default
UID=$(kubectl get pod $POD -n $NS -o jsonpath='{.metadata.uid}')

# На ноде смотрим, что смонтировано
grep -F "$UID" /proc/mounts || true
findmnt | grep "$UID" || true

Если видите записи типа /var/lib/kubelet/pods/<UID>/volumes/... — это ваш виновник. Теперь узнаем, кто держит монтирование:

lsof +D /var/lib/kubelet/pods/$UID 2>/dev/null | head

Чистим руками Для Docker:

docker ps --no-trunc | grep $POD
docker stop <containerID>
# Если совсем ничего не помогает (лаха!):
systemctl restart docker

Для containerd:

crictl ps | grep $POD
crictl stopp <containerID>
crictl rmp <containerID>
# Последняя линия защиты:
systemctl restart containerd

Если контейнер мёртв, но монтирование остаётся:

umount -l /var/lib/kubelet/pods/$UID/volumes/<driver>/<vol> || true

Теперь, когда освободили держание:

kubectl delete pod $POD -n $NS

Если всё ещё не уходит:

kubectl delete pod $POD -n $NS --grace-period=0 --force

Это API-уровневый молот. Безопасен для очистки зависшей записи, но используйте только после того, как разобрались с утечками на ноде. С особой осторожностью для StatefulSet. Видите Terminating, который не уходит? Не спешите с --force. В девяти случаях из десяти kubelet вам что-то говорит: что-то остаётся смонтированным или используется. 🐸 Библиотека devops'a #арсенал_инженера

💻 ВАЖНО: макбук ещё не забрали! Proglib.academy продолжает розыгрыш MacBook Pro 14» (M3 Pro, 36 Гб, 1 Тб SSD). Что нужно для участия? — Берёшь любой курс Академии до 15 ноября. — Проходишь хотя бы 2 недели обучения (можно за два дня). — Пишешь куратору #розыгрыш. Всё — ты в игре! Что за курсы? ▫️Алгоритмы и структуры данных — если хочешь готовиться к собесам в Яндекс, FAANG и не сидеть на джуне вечно. ▫️Архитектуры и шаблоны проектирования — учат думать как senior, а не просто писать код. ▫️ Python, математика для DS, основы IT и другие темы — можно стартовать с нуля или усилить то, что уже знаешь. 👉 Влетай, не думай!

🔄 Обновления недели Неделя была богата на релизы, вспомним её богатства: — Consul 1.22 — Wine 10.18 — Grafana Mimir 3.0 — Devuan 6 Excalibur — LXQt 2.3.0 🐸 Библиотека devops'a #дайджест_недели

🧑‍💻 Ошибка неуязвимого Kubernetes по умолчанию не строгий. Можно запустить контейнер от root, использовать image:latest, дать всем cluster-admin. Кластер работает — зачем что-то менять? Что происходит Контейнер от root может сбежать на ноду через уязвимость. Тег :latest означает, что в prod может задеплоиться любая версия — вчера работало, сегодня нет. Роль cluster-admin даёт права удалить весь кластер. Как исправить Настройте RBAC. Создайте роли с минимальными правами:

apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
  name: pod-reader
rules:
- apiGroups: [""]
  resources: ["pods"]
  verbs: ["get", "list"]

Добавьте Pod Security Standards:

apiVersion: v1
kind: Namespace
metadata:
  name: production
  labels:
    pod-security.kubernetes.io/enforce: restricted

Теперь в namespace нельзя запустить контейнер от root, с privileged, без securityContext. Если нужна более гибкая политика — Kyverno или OPA Gatekeeper. Напишете правило один раз — оно будет работать для всех подов. 🐸 Библиотека devops'a #арсенал_инженера

🛠 Состав systemd systemd — это современная система инициализации и управления службами в Linux, которая значительно упрощает и ускоряет запуск и управление системой. Сделали инфографику с составом systemd. В следующих постах разберём кто за что отвечает. 🐸 Библиотека devops'a #архитектура_на_салфетке

🛠 Состав systemd systemd — это современная система инициализации и управления службами в Linux, которая значительно упрощает и ускоряет запуск и управление системой. Сделали инфографику с составом systemd. В следующих постах разберём кто за что отвечает. 🐸 Библиотека devops'a #архитектура_на_салфетке

🤨 Service mesh в проекте на трёх подах — это перебор Команды сразу ставят Istio, Cilium, кастомные CNI. Хотят mTLS, продвинутый роутинг, observability из коробки. Но не понимают, как работает базовая сетка Kubernetes. Что происходит Под не может достучаться до другого пода. Вы не знаете, это проблема в CNI, в service mesh, в DNS, или в самом Kubernetes. Дебажите три дня, гуглите ошибки Istio. Потом удаляете Istio — всё работает. Service mesh добавляет sidecar в каждый под, свой control plane, свои CRD. Каждый слой — новая точка отказа. Как исправить Начните с простого:

apiVersion: v1
kind: Service
metadata:
  name: backend
spec:
  selector:
    app: backend
  ports:
  - port: 80
    targetPort: 8080

Разберитесь, как поды находят друг друга через DNS. Как ClusterIP балансирует запросы. Как работает Ingress. Когда поймёте базу, добавьте Ingress-NGINX для внешнего трафика. 🐸 Библиотека devops'a #арсенал_инженера

🎁 И мозг прокачать, и макбук утащить! Proglib.academy разыгрывает MacBook Pro 14 (M3 Pro, 36 GB, 1 TB SSD) 💻 Условия: 1️⃣ Покупаешь любой курс Proglib до 15 ноября. 2️⃣ Проходишь минимум 2 учебные недели (можно осилить за два вечера). 3️⃣ Пишешь куратору в чат своего курса: #розыгрыш. Что за курсы? — Математика для Data Science (6 месяцев боли и просветления). — Основы Python, ML, алгоритмы, AI-агенты и даже курс для тех, кто в IT, но не кодит. 👉 Участвовать в розыгрыше

🔄 LXQt 2.3.0: больше поддержки Wayland и удобства в работе с файлами Вышла новая версия LXQt — лёгкого десктопного окружения на основе Qt. Основной фокус релиза на улучшение работы с Wayland, протоколом, который постепенно заменяет X11. В файловом менеджере PCManFM-Qt появилась функция Safely Remove для безопасного извлечения съёмных носителей, и теперь можно отключить подсказки при наведении на файлы на рабочем столе. В целом это релиз для тех, кто работает на Wayland или просто хочет больше удобства в повседневной работе с ОС. ➡️ Release notes 🐸 Библиотека devops'a #пульс_индустрии

🍭 Топ-вакансий для девопсов за неделю SRE/DevOPS инженер до 500 000 ₽ Senior DevOps-инженер от 4700 до 5700 $ DevOps-инженер до 400 000 ₽ AppSec инженер на удалёнку Бустер — Офис у вас дома. ➡️ Еще больше топовых вакансий — в нашем канале Devops Jobs

🕷 Забытые ресурсы едят деньги и место Kubernetes не удаляет ресурсы автоматически. Создали тестовый Deployment, Service, LoadBalancer — забыли удалить. Через месяц в кластере 50 неиспользуемых объектов. Что происходит Service с типом LoadBalancer создаёт внешний балансировщик в облаке. Вы платите за него каждый день. PersistentVolumeClaim держит диск, даже если под давно удалён. ConfigMap и Secret захламляют namespace. Как исправить Добавьте лейблы всем ресурсам:

metadata:
  labels:
    owner: team-backend
    purpose: experiment
    expires: 2025-11-15

Теперь можно найти всё, что создала команда: kubectl get all -l owner=team-backend. Или всё, что просрочено. Настройте сборку мусора. Kubernetes удалит зависимые объекты, если удалить владельца. Используйте Kyverno для автоматического удаления ресурсов. Делайте аудит раз в неделю: kubectl get all --all-namespaces. Ищите незнакомые имена, странные namespace. Удаляйте то, что не нужно. 🐸 Библиотека devops'a #арсенал_инженера

Open Source в действии: Runtime Radar — первый в России инструмент для защиты контейнерных сред на базе eBPF и Tetragon. 📆 11 ноября, 14:00 (МСК), онлайн, бесплатно Контейнеры ускорили DevOps, но открыли новые векторы атак. Узнай, как Runtime Radar помогает выявлять угрозы в реальном времени, расследовать инциденты и защищать Kubernetes без сложной настройки. Что вас ждёт: ✅ демонстрация Runtime Radar в действии; ✅ интеграция в SOC и мониторинг кластеров; ✅ инсайды от команды PT о развитии проекта. Open Source — код и документация доступны на GitHub. Присоединяйтесь и сделайте свою контейнерную инфраструктуру прозрачной и защищенной. 👉🏻 Регистрация на вебинар

⚙️ Окружение работает локально, но падает в CI Знакомая ситуация: код запускается на ноутбуке, а в CI он сразу же ломается. Причина почти всегда в окружении — где-то не хватает переменной, токен истёк, или указан неправильный регион. Перед тем как запустить джоб, убедитесь, что все критичные переменные на месте и имеют смысл:

# Проверяем, что все нужные переменные заданы
required=(DB_URL OAUTH_CLIENT_ID OAUTH_SECRET REGION)
for v in "${required[@]}"; do
  [ -n "${!v}" ] || { echo "::error::$v missing"; exit 78; }
done

Добавьте это в начало вашего скрипта CI. Код проходит по списку переменных и падает, если какая-то не установлена. 🐸 Библиотека devops'a #арсенал_инженера

⚡️ Devuan 6 Excalibur Devuan выпустил шестую версию своего дистрибутива. Это операционная система для тех, кто предпочитает OpenRC или runit вместо systemd. Новая версия основана на Debian 13 Trixie и получит поддержку до конца жизненного цикла Debian — в течение нескольких лет. Главное изменение — теперь обязателен merged-/usr, то есть директория /usr сливается с корневой директорией. Если обновляетесь со старых версий, нужно сначала установить пакет usrmerge в Daedalus, а потом уже переходить на Excalibur. ➡️ Анонс обновления 🐸 Библиотека devops'a #пульс_индустрии

😊 Dev и prod — разные миры, но у вас одинаковые манифесты Команды копируют манифесты из dev в prod, чтобы было проще. Но в деве 2 реплики и 128Mi памяти хватает. В продц нужно 20 реплик и 2Gi памяти. Что происходит В dev запустили 10 реплик для теста — кластер упал. В prod оставили 2 реплики — сервис не держит нагрузку. Или забыли поменять ConfigMap с URL базы — prod подключился к dev-базе. Как исправить Используйте kustomize. Создайте base с общими настройками, а окружения описывайте в overlays:

base/
  deployment.yaml
  service.yaml
overlays/
  dev/
    kustomization.yaml
  prod/
    kustomization.yaml

В overlay переопределяете replicas, resources, ConfigMap, Secrets. В dev можете вообще не использовать Secrets — подойдёт mock-конфиг. В prod — настоящий Secret из Sealed Secrets или внешнего Vault. 🐸 Библиотека devops'a #арсенал_инженера

🔭 Долгоживущие флаги Разработчик создаёт флаг для плавного выката новой фичи. Две недели максимум — думает он. Три месяца спустя флаг всё ещё живёт в кодовой базе. Теперь там две логики работы: старая и новая. Если что-то сломается, непонятно, что именно. Никто не удаляет флаг, потому что вдруг кто-то им пользуется. Как это решить Добавляем в каждый флаг срок жизни — дату, после которой он должен исчезнуть. Не данные флага, а сам код его обработки. И конвейер CI останавливает сборку, если срок прошёл.

new_feature_flag:
  owner: web-platform
  created: 2025-09-08
  expires: 2025-11-01

После даты expires случается одно из двух: • CI выдаёт предупреждение на третий день просрочки • CI ломает сборку, если просрочка больше недели Разработчик не может игнорировать проблему, потому что его коммиты просто не пройдут. Проводите flag burn-down — 15-минутный митинг, где смотрите, какие флаги уже 100% включены в прод. 🐸 Библиотека devops'a #арсенал_инженера

Вышла версия Grafana Mimir 3.0 — база данных временных рядов для метрик. Главное изменение — разделение путей чтения и записи. Раньше один компонент отвечал за обе операции, поэтому тяжёлые запросы замедляли поступление новых данных. Теперь между ними встал Kafka как буфер, и каждый путь масштабируется независимо. Вторая важная фишка — новый Query Engine для Mimir. Вместо загрузки всех данных в память, он обрабатывает выборку потоком и берёт только необходимые точки на каждом шаге. ➡️ Блог разработчиков 🐸 Библиотека devops'a #пульс_индустрии

👨‍💻 kubectl logs — это не логирование kubectl logs показывает логи только из работающих или недавно упавших контейнеров. Логи лежат на диске ноды. Контейнер удалился, нода перезагрузилась, логи ротировались — всё пропало. Что происходит Под упал ночью. Утром вы приходите разбираться — логов нет. Или под был в namespace с агрессивной политикой очистки. Или кто-то удалил Deployment. В production это значит, что вы не узнаете, почему сервис лёг в 3 часа ночи. Как исправить Поднимите централизованное логирование. Fluentd или Fluent Bit собирают логи со всех подов и отправляют в хранилище — Elasticsearch, Loki, S3. Пример sidecar с Fluent Bit:

containers:
- name: app
  image: your-app:1.0
- name: fluent-bit
  image: fluent/fluent-bit:latest
  volumeMounts:
  - name: varlog
    mountPath: /var/log

Если нужна корреляция логов с метриками — добавьте OpenTelemetry. Если нужны трейсы — Jaeger. Но начните с простого: соберите логи в одном месте. 🐸 Библиотека devops'a #арсенал_инженера