DevOps

💡 Как DevOps'у не утонуть в логах Когда в продакшене случается затык, первое, что мы делаем — лезем в логи. Но с микросервисами, десятками подов и различными компонентами инфраструктуры, логов становится столько, что можно утонуть. Вот несколько проверенных приёмов, которые реально спасают время: 🔹 Стандартизируй формат логов. JSON — твой друг. Структурированные логи можно парсить, фильтровать и индексировать. 🔹 Сразу думай про central logging. Loki + Grafana, Elasticsearch + Kibana или даже простой Fluent Bit + S3. Главное — не SSH на 20 серверов. 🔹 Добавляй trace_id во все логи. Это твой маяк в море. Особенно полезно, когда надо отслеживать один запрос через всю систему. 🔹 Фильтры, фильтры, фильтры. Хорошие правила фильтрации в Grafana или Kibana — это как хороший кофе с утра. Делают день лучше. 🔹 Логи — это не помойка. Не пиши туда print("Hello from service X"). Пиши полезное: ошибки, статусы, идентификаторы. И напоследок: не забывай про ротацию и retention. Логи не должны жить вечно, особенно если ты не хочешь платить лишнее за storage. #devops #девопс Подпишись 👉@i_DevOps

📢 JSON — это удобно. До тех пор, пока всё не ломается. Гибкий формат без схем кажется спасением, но на масштабе превращается в источник ошибок, конфликтов и головной боли. 🔍 Schema Registry — это способ вернуть контроль. На открытом уроке 19 мая в 19:00 МСК разберём: — В чём слабые места JSON без схем; — Как Schema Registry помогает валидации и версионированию; — Когда всё-таки можно обойтись без схем; — Какие инструменты реально работают (Avro, Protobuf, JSON Schema). 📊 Урок будет полезен разработчикам, дата-инженерам, архитекторам и PM, которые сталкиваются с интеграциями и масштабируемыми системами. 👉 Регистрируйтесь и получите скидку на программу обучения «Apache Kafka»: https://vk.cc/cLVDDQ Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

Распределённый инференс и шардирование LLM. Часть 1: настройка GPU, проброс в Proxmox и настройка Kubernetes Когда модель DeepSeek R1 стала широко обсуждаться в сообществе, я заинтересовался, можно ли эффективно использовать её и другие крупные модели в домашних условиях, не прибегая к дорогостоящим облачным сервисам. Поскольку DevOps и инфраструктурой я увлекаюсь уже несколько лет, у меня постепенно сформировалась домашняя лаборатория, на которой я и решил проверить эту идею. Эта статья в трёх частях — результат моего опыта в решении этой задачи. Внутри вас ждёт пошаговое руководство по реализации бюджетного распределённого инференса с использованием Ray Serve, vLLM, Kubernetes, Proxmox и других технологий. В первой части мы разберём настройку GPU и его проброс в Proxmox, развернём Kubernetes-кластер, установим GPU Operator и KubeRay Operator. https://habr.com/ru/companies/flant/articles/906700/ #devops #девопс Подпишись 👉@i_DevOps

Почему Fedora CoreOS — это container optimized дистрибутив Fedora CoreOS на официальном сайте представлена как container optimized, container-focused, container based и так далее OS. Но что это вообще значит? Там предустановлен какой-то container runtime? А еще что? В этой статье попытаемся разобраться. → Что такое optimized → Иммутабельная система и транзакционные обновления → Автоматические background-обновления → Запуск системы на основе контейнер-образа → Безопасность → Предустановленные инструменты для контейнеров → Гибкий деплой → Заключение https://habr.com/ru/companies/selectel/articles/817299/ #devops #девопс Подпишись 👉@i_DevOps

Crd-to-sample-yaml or cty ( city ) Утилита для генерации манифестов YAML из CRD. Это простая утилита, написанная на Go, которая читает CRD-файлы и создает из них YAML-образцы. Она использует controller-tools/pkg/crd/schema и controller-tools/pkg/crd/markers для интерпретации и разбора схемы. Установка:

go install github.com/Skarlso/crd-to-sample-yaml@latest

Использование:

crd-to-sample-yaml -path ./path/to/crds > output.yaml

https://github.com/Skarlso/crd-to-sample-yaml #devops #девопс Подпишись 👉@i_DevOps

Три оттенка Kubernetes Operator, или чем слушает Prometheus Вашему вниманию предлагается вольное описание работы некоторых компонентов Кубернетес Операторов, с которыми приходится иметь дело как в эксплуатации уже написанных кем-то, так и при разработке собственного Оператора. Чтобы лучше разобраться, как реализован функционал этих компонентов, для наглядности, позволю себе рассмотреть Golang сорс-код Prometheus Оператора для мониторинга и Оператора Hashicorp Vault для управления секретами в Кубернетес, архитектура которых разработана с применением лучших практик использования Kubernetes API и продолжает стабильно обновляться сообществом. https://habr.com/ru/articles/817091/ #devops #девопс Подпишись 👉@i_DevOps

🚀 Подборка Telegram каналов для программистов Системное администрирование, DevOps 📌 https://t.me/bash_srv Bash Советы https://t.me/win_sysadmin Системный Администратор Windows https://t.me/sysadmin_girl Девочка Сисадмин https://t.me/srv_admin_linux Админские угодья https://t.me/linux_srv Типичный Сисадмин https://t.me/devopslib Библиотека девопса | DevOps, SRE, Sysadmin https://t.me/linux_odmin Linux: Системный администратор https://t.me/devops_star DevOps Star (Звезда Девопса) https://t.me/i_linux Системный администратор https://t.me/linuxchmod Linux https://t.me/sys_adminos Системный Администратор https://t.me/tipsysdmin Типичный Сисадмин (фото железа, было/стало) https://t.me/sysadminof Книги для админов, полезные материалы https://t.me/i_odmin Все для системного администратора https://t.me/i_odmin_book Библиотека Системного Администратора https://t.me/i_odmin_chat Чат системных администраторов https://t.me/i_DevOps DevOps: Пишем о Docker, Kubernetes и др. https://t.me/sysadminoff Новости Линукс Linux 1C разработка 📌 https://t.me/odin1C_rus Cтатьи, курсы, советы, шаблоны кода 1С https://t.me/DevLab1C 1С:Предприятие 8 https://t.me/razrab_1C 1C Разработчик https://t.me/buh1C_prog 1C Программист | Бухгалтерия и Учёт https://t.me/rabota1C_rus Вакансии для программистов 1С Программирование C++📌 https://t.me/cpp_lib Библиотека C/C++ разработчика https://t.me/cpp_knigi Книги для программистов C/C++ https://t.me/cpp_geek Учим C/C++ на примерах Программирование Python 📌 https://t.me/pythonofff Python академия. https://t.me/BookPython Библиотека Python разработчика https://t.me/python_real Python подборки на русском и английском https://t.me/python_360 Книги по Python Java разработка 📌 https://t.me/BookJava Библиотека Java разработчика https://t.me/java_360 Книги по Java Rus https://t.me/java_geek Учим Java на примерах GitHub Сообщество 📌 https://t.me/Githublib Интересное из GitHub Базы данных (Data Base) 📌 https://t.me/database_info Все про базы данных Мобильная разработка: iOS, Android 📌 https://t.me/developer_mobila Мобильная разработка https://t.me/kotlin_lib Подборки полезного материала по Kotlin Фронтенд разработка 📌 https://t.me/frontend_1 Подборки для frontend разработчиков https://t.me/frontend_sovet Frontend советы, примеры и практика! https://t.me/React_lib Подборки по React js и все что с ним связано Разработка игр 📌 https://t.me/game_devv Все о разработке игр Библиотеки 📌 https://t.me/book_for_dev Книги для программистов Rus https://t.me/programmist_of Книги по программированию https://t.me/proglb Библиотека программиста https://t.me/bfbook Книги для программистов БигДата, машинное обучение 📌 https://t.me/bigdata_1 Big Data, Machine Learning Программирование 📌 https://t.me/bookflow Лекции, видеоуроки, доклады с IT конференций https://t.me/rust_lib Полезный контент по программированию на Rust https://t.me/golang_lib Библиотека Go (Golang) разработчика https://t.me/itmozg Программисты, дизайнеры, новости из мира IT https://t.me/php_lib Библиотека PHP программиста 👨🏼‍💻👩‍💻 https://t.me/nodejs_lib Подборки по Node js и все что с ним связано https://t.me/ruby_lib Библиотека Ruby программиста https://t.me/lifeproger Жизнь программиста. Авторский канал. QA, тестирование 📌 https://t.me/testlab_qa Библиотека тестировщика Шутки программистов 📌 https://t.me/itumor Шутки программистов Защита, взлом, безопасность 📌 https://t.me/thehaking Канал о кибербезопасности https://t.me/xakep_2 Хакер Free Книги, статьи для дизайнеров 📌 https://t.me/ux_web Статьи, книги для дизайнеров Математика 📌 https://t.me/Pomatematike Канал по математике https://t.me/phis_mat Обучающие видео, книги по Физике и Математике https://t.me/matgeoru Математика | Геометрия | Логика Excel лайфхак📌 https://t.me/Excel_lifehack https://t.me/mir_teh Мир технологий (Technology World) Вакансии 📌 https://t.me/sysadmin_rabota Системный Администратор https://t.me/progjob Вакансии в IT

Kubernetes без интернета: как мы устанавливаем Deckhouse в закрытом контуре (обзор и видео доклада) Всем привет! На связи Максим Набоких, архитектор и технический руководитель Deckhouse Kubernetes Platform. Deckhouse работает в компаниях из разных отраслей: нефтегазовые предприятия, финтех, государственные организации, банки, облачные провайдеры и так далее. И больше чем в половине этих организаций во внутренней инфраструктуре нет интернета — он просто запрещён. Поэтому нам надо было придумать процесс установки своей платформы в закрытый контур. О том, как устанавливать Kubernetes (Deckhouse использует ванильный K8s), где «не ступал» ни один пакет из публичной сети, я рассказал на HighLoad++ 2023. Эта статья — текстовая версия моего доклада. Мы разберём целевую схему закрытого контура, нюансы работы инструментов для создания безопасной среды, посмотрим, как готовить дистрибутив Kubernetes-платформы к установке и осуществлять доставку приложений в закрытых окружениях. https://habr.com/ru/companies/oleg-bunin/articles/798317/ #devops #девопс Подпишись 👉@i_DevOps

🧑🏻‍💻Хотите глубже понять Python и научиться использовать абстрактные классы и протоколы для создания более гибких и поддерживаемых приложений? Присоединяйтесь к открытому вебинару 13 мая в 20:00 МСК, где мы разберём абстрактные классы и протоколы в Python. Вы научитесь создавать и применять их с помощью модуля abc, улучшая архитектуру ваших проектов. Углубление знаний в ООП поможет вам писать более структурированный и расширяемый код, который станет основой для успешных проектов. Понимание абстракции — ключ к более высокому уровню разработки. 👉Регистрируйтесь и получите скидку на большую программу обучения "Python Developer. Basic": https://vk.cc/cLGZRc Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

Kubernetes как PaaS: максимум возможностей без разработки. Часть 2 Это вторая часть серии статей, где мы шаг за шагом строим PaaS на базе Kubernetes без написания кода. Напомню, для чего мы это делаем: наша цель — выжать максимум из современных технологий и экосистемы Kubernetes, чтобы создать PaaS-решение, которое упростит жизнь разработчикам. Мы хотим, чтобы приложения и сервисы разворачивались быстро, удобно и без глубокого погружения в инфраструктуру. https://habr.com/ru/companies/vktech/articles/890386/ #devops #девопс Подпишись 👉@i_DevOps

Kubernetes как PaaS: максимум возможностей без разработки. Часть 1 Kubernetes — это не просто оркестратор контейнеров, а целая экосистема инструментов, которые позволяют построить PaaS без написания кода. Helm, ArgoCD, Crossplane, Knative и другие решения делают управление приложениями и инфраструктурой настолько простым, что разработка собственной платформы превращается в задачу конфигурации, а не программирования. Меня зовут Сергей Емельянов, я техлид команды в VK Tech, которая занимается созданием PaaS-платформы на базе Kubernetes для упрощения работы с данными. В серии статей разберем, как создать PaaS, используя мощь Kubernetes и его экосистему. https://habr.com/ru/companies/vktech/articles/895954/ #devops #девопс Подпишись 👉@i_DevOps

✔️ Не можете выбрать между DWH, Data Lake и Data Lakehouse? Запутались в понятиях и хотите разобраться, какой подход лучше для вас? ⏺ На открытом вебинаре 12 мая в 20:00 МСК мы простым и понятным языком разберём эти три важнейшие архитектуры данных: от проверенных временем DWH до гибких Data Lake и современных Data Lakehouse. Узнаем преимущества, ограничения и подходящие сценарии использования каждого подхода. После вебинара вы поймёте, как выбрать правильную архитектуру под задачи вашей компании, сэкономите время и ресурсы на внедрение, а также избежите типичных ошибок. ➡️ Регистрируйтесь на вебинар и получите скидку на программу обучения «Data Engineer»: https://vk.cc/cLFqf9 Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

Netshoot — набор инструментов для устранения сетевых проблем с Docker и Kubernetes. Отладка сетей Docker и Kubernetes может быть сложной. Однако при правильном понимании принципов работы сетей Docker и Kubernetes, а также наличии подходящих инструментов, вы сможете эффективно выявлять и устранять сетевые проблемы. Контейнер netshoot включает в себя мощный набор инструментов для диагностики сетевых проблем в Docker. Вместе с этими инструментами идут практические примеры, демонстрирующие, как netshoot можно использовать в реальных сценариях. https://github.com/nicolaka/netshoot #devops #девопс Подпишись 👉@i_DevOps

🚨 Helm: как не сломать прод — 5 ошибок, которые делают все Helm — must-have инструмент для деплоя в Kubernetes. Но даже опытные инженеры наступают на одни и те же грабли, особенно в проде. Разберём, какие ошибки чаще всего приводят к падениям и багам. 🔸 1. helm upgrade без флага --atomic Без --atomic Helm не откатывает релиз при ошибке — в кластере остаётся полусломанное состояние. Решение: всегда используйте --atomic на проде:

helm upgrade my-app ./chart --atomic --install

🔸 2. Забытый values.yaml с тестовыми значениями Нередко инженеры коммитят values.yaml с включёнными debug-логами, выключенным HPA и отключённым SSL. Решение: * Разделяй values по окружениям (values-prod.yaml, values-staging.yaml) * Используй .gitignore для временных файлов * Применяй валидацию с helm-schema-gen 🔸 3. Не pinned зависимости в Chart.yaml Если чарты-зависимости подтягиваются без фиксации версий (version: ^1.2.3), то обновления могут неожиданно всё сломать. Решение: Фиксируй зависимости чётко: version: 1.2.3 и контролируй обновления вручную. 🔸 4. Отсутствие pre-upgrade и post-upgrade хуков Если приложение требует миграций БД или прогрева кэша, а хуки не заданы — велика вероятность получить нерабочий релиз. Решение: Определи хуки в templates/hooks.yaml:

apiVersion: batch/v1
kind: Job
metadata:
  annotations:
    "helm.sh/hook": pre-upgrade

🔸 5. Helm secrets хранятся в чистом виде в Git Распакованный secrets.yaml в Git — это инцидент. Решение: * Используй helm-secrets с sops * Шифруй secrets.yaml и расшифровывай только при деплое:

helm secrets upgrade my-app -f secrets.enc.yaml

✅ Вывод: Helm — мощный, но не прощающий ошибок инструмент. Настрой atomic деплой, следи за values и зависимостями, автоматизируй pre/post-хуки и защищай секреты. Это минимальный чеклист для прод-готовности. #devops #девопс Подпишись 👉@i_DevOps

🚀 Опубликована программа конференции «БеКон 2025». Глубина погружения в тему безопасности контейнеров в этом году продолжает держать планку прошлых «БеКонов».  Ключевые доклады:   ☁️ Как безопасно организовать аутентификацию в облаке 🐳 Kubernetes: неочевидные подводные камни для экспертов   🌐 Cilium: расширение сетевых политик — зачем и как?   📦 Безопасная сборка образов контейнеров: инструменты и лучшие практики   🛡️ Kyverno — тонкости настройки   🖥️OS Talos: эффективная эксплуатация без головной боли   📝 Требования ФСТЭК для контейнеров и кластеров  🚫 Control Plane Kubernetes: как ограничить доступ пользователям   🐧 Настройки Linux, опасные для контейнеров   🤖 ML-кластеры: обеспечение безопасности   ⚠️ Важно: Билеты подорожают после майских праздников. Бронируйте места сейчас, пока действует текущий тариф.   👉 Также будет полезно подписаться на канал конференции @bekon_conf, чтобы быть в курсе всех деталей и не пропустить розыгрыши призов. 

Как определить, какая версия Docker установлена: Docker Desktop или Docker Engine Docker стал лидером в предоставлении решений для разработки программного обеспечения, предлагая инструменты, которые упрощают процесс разработки, тестирования, развертывания и запуска приложений с использованием контейнеров. Поэтому понимание различных продуктов Docker, таких как Docker Desktop, и компонентов, таких как Docker Engine, а также того, как они взаимодействуют, крайне важно для разработчиков, стремящихся к максимальной продуктивности и соблюдению условий лицензирования Docker. В этой статье будут разъяснены различия и сходства между Docker Desktop и Docker Engine, а также приведены рекомендации по определению, какой из них используется в данный момент, чтобы вы могли максимально эффективно использовать возможности Docker. https://www.docker.com/blog/how-to-check-docker-version/ #devops #девопс Подпишись 👉@i_DevOps

Освоение журналов аудита Kubernetes Kubernetes предоставляет мощный инструмент, позволяющий создавать журналы аудита для каждого действия, запрашиваемого и выполняемого через API Kubernetes. Понимание того, как настраивать, управлять и интерпретировать эти журналы, критически важно для поддержания безопасности и соответствия требованиям в средах Kubernetes. Конкретно эта статья посвящена исследованию безопасности Kubernetes. https://habr.com/ru/articles/815119/ #devops #девопс Подпишись 👉@i_DevOps

📕MySQL для администраторов, разработчиков, архитекторов и специалистов баз данных Как грамотно оптимизировать производительность в MySQL и решить возникающие проблемы. 📗 На вебинаре 6 мая в 19:00 разберём: 1. Практические методы оптимизации производительности, диагностику нагрузки и анализ "узких мест" MySQL; 2. Оптимизацию запросов: от простых до сложных. 📘 В результате будете знать всё о настройке ключевых параметров конфигурации, уметь самостоятельно диагностировать и решать проблемы производительности MySQL. 👉 Регистрация и подробности о курсе Базы данных: https://vk.cc/cLzNes Все участники открытого урока получат скидку на курс Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

Docker 01- Основы. Принцип работы. Почему docker. Сравнение с виртульной машиной. Применение. 02- Установка Docker в Linux и Windows. 03- Основные команды. Управление портами. Port Mapping. 04- Переменные. Environment Variables. 05- Volumes. Постоянные данные. Persisting Data. 06- Сети в докер. Network: bridge, host, none, macvlan, ipvlan 07- Dockerfile. Создаем СВОИ контейнеры. 08- Docker-COMPOSE. Простой запуск контейнеров. 09- Portainer. Управлять Docker ПРОСТО. Обзор, установка, настройка. 10- Watchtower. Автоматизация: обновление Docker контейнеров. источник #devops #девопс Подпишись 👉@i_DevOps

CI/CD без боли: оптимизация пайплайнов на GitHub Actions 🚀 GitHub Actions — мощный инструмент, но без оптимизации ваш пайплайн легко превратится в тормозную мясорубку. Разбираемся, как выжать максимум из CI/CD на GitHub. Почему это важно: Быстрые и надёжные пайплайны — ключ к высокой скорости доставки. Медленные сборки = потеря времени, нервов и денег. 1. Кэшируй разумно Используй actions/cache для ускорения зависимостей, но не кэшируй всё подряд. Пример для Node.js:

- uses: actions/cache@v4
  with:
    path: ~/.npm
    key: ${{ runner.os }}-node-${{ hashFiles('**/package-lock.json') }}
    restore-keys: |
      ${{ runner.os }}-node-

⚠️ Ключ должен быть завязан на lock-файлы, иначе можно словить конфликты версий. 2. Делай job-ы параллельными Разделяй пайплайн на независимые шаги — unit-тесты, линтеры, сборка. Добавляй needs: там, где реально нужно, а не везде. 3. Matrix strategy — must-have Хочешь тестировать на разных версиях языка/ОС? Используй matrix:

strategy:
  matrix:
    node-version: [16, 18, 20]

Это масштабирует проверку без дублирования кода. 4. Отключи ненужные события Не запускай воркфлоу на каждом чихе. Используй on: грамотно:

on:
  push:
    branches:
      - main
  pull_request:
    paths:
      - 'src/**'

Это поможет не перегружать runners. 5. Используй workflow_dispatch для ручных запусков Иногда надо протестить пайплайн руками — не бойся добавить ручной триггер:

on:
  workflow_dispatch:

6. Логи и таймауты — твои друзья Добавляй timeout-minutes к job-ам и выводи ключевые логи через ::group:: и ::endgroup::, чтобы не утонуть в консоли. Вывод: Грамотно настроенный GitHub Actions экономит время и снижает головную боль. Избегай монолитных пайплайнов, кэшируй умно и тестируй только то, что нужно. Автоматизация — это про контроль, а не хаос. #devops #девопс Подпишись 👉@i_DevOps