DevOps

Когда Kubernetes и Go не очень хорошо работают вместе Go не знает об ограничениях, установленных для его контейнера, что приводит к некоторым проблемам, которые нелегко отследить. Это история о том, как я наткнулся на одну из них. https://lalatron.hashnode.dev/when-kubernetes-and-go-dont-work-well-together #devops #девопс Подпишись 👉@i_DevOps

🔧 Про grep, который умеет больше, чем ты думаешь Все знают grep как утилиту “найди мне это слово в этих логах”. Но давай копнём глубже — вот тебе пара трюков, которые удивят даже видавшего виды девопса: 📍 Ищем с контекстом Хочешь не просто строку, а и то, что рядом?

grep -C 3 "ошибка" /var/log/syslog

Покажет 3 строки до и после найденной. 📍 Ищем по слову, а не по вхождению Не хочешь ловить ошибка, если в логе есть предошибкака?

grep -w "ошибка" файл.log

Совпадение только по целому слову. 📍 Списки IP-шников? Без проблем. Вытаскиваем IPv4 из текста:

grep -Eo '([0-9]{1,3}\.){3}[0-9]{1,3}' лог.txt

📍 Ищем рекурсивно, но только в файлах Искать по директории, пропуская бинарники и показывая имя файла:

grep -rIn --exclude-dir={.git,node_modules} "TODO" .

📍 Цвет для глаз Визуально быстрее цепляться за результат:

grep --color=auto "fail" журнал.log

Если ты думаешь, что grep — это просто "найди слово", то, возможно, ты не используешь весь его потенциал. А зря 😉 #devops #девопс Подпишись 👉@i_DevOps

🏎💨Не позволяйте вашим приложениям терять скорость! Обрабатывайте задачи эффективно с FastAPI. Узнайте, как фоновые задачи могут повысить отзывчивость вашего приложения. Освойте FastAPI и научитесь улучшать производительность приложений. Повышение скорости ответа и снижение нагрузки — это реально. ⚡️Присоединяйтесь к открытому вебинару 20 мая в 20:00 мск и получите скидку на большое обучение «Python Developer. Basic»: https://vk.cc/cLX2tL Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

Radius — это платформенный уровень с открытым исходным кодом, предназначенный для облачных приложений. Он помогает разработчикам и операционным командам сосредоточиться на разработке и сопровождении приложений, а не на управлении инфраструктурой. Radius предоставляет: * Единый опыт разработки для приложений, развертываемых в разных облаках и средах. * Поддержку нескольких облаков и Kubernetes. * Интеграции с популярными инструментами, такими как Terraform, Bicep, Helm и другие. * Ресурсы приложений и вычислений, включая службы, базы данных, кэш, очереди и т. д. * Безопасность и сетевые политики, управляемые централизованно. https://github.com/radius-project/radius #devops #девопс Подпишись 👉@i_DevOps

⏳ Хотите перестать тратить часы на рутинные задачи сборки релизов 1С и автоматизировать весь процесс одним нажатием? ⏺На открытом вебинаре 21 мая в 20:00 МСК вы узнаете, как использовать Docker, Jenkins и OneScript для автоматизации сборки релизов 1С. Разберёмся с настройкой окружения контейнера и запуском конфигурации напрямую из репозитория. После урока вы сократите время на сборку и получите навыки для профессионального роста как DevOps-инженер 1С. 🚀 Присоединяйтесь к открытому вебинару и получите специальную скидку на курс «DevOps 1С»: https://vk.cc/cLX1pz Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

Централизованный vs Децентрализованный ArgoCD Разворачивая в Kuberentes ArgoCD есть 2 подхода, которые можно использовать, если у вас в контуре несколько кластеров Kubernetes, развертывания в которых неободимо с помощью ArgoCD: Централизированный. Когда в одном Kubernetes разворачивается один ArgoCD и к нему подключаются все доступные кластера Kuberentes. Децентрализованный. Когда в каждом Kuberentes’e разворачивается свой персональный ArgoCD, который занимается деплоем в этот Kuberentes. Разберём плюсы и минусы каждого подхода. Централизированный ArgoCD Плюсы: 1️⃣ Единый интерфейс. Можно быстро отсортировать проблемные компоненты и понять причину ошибки. 2️⃣ Мощные CRD ApplicationSets (документация). Позволяют описать один компонент и разом раскатить его на все подключённые кластеры. 3️⃣ Удобное обновление ArgoCD. Достаточно обновить в одном месте, и оно сразу применяется ко всем кластерам. Минусы: 1️⃣ Сетевые сложности. ArgoCD должен иметь доступ к kube-apiserver всех кластеров. Соответственно нужно продумать маршруты до этих API и защитить их. 2️⃣ Единая точка отказа и уязвимость. Если ArgoCD падает, управление всеми кластерами временно недоступно. Слабое место с точки зрения безопасности. Особенно опасно, если подключать кластеры с Cluster-Admin правами (что все и делают). Децентрализированный ArgoCD Плюсы: 1️⃣ Полная автономность кластеров. Каждый кластер полностью управляется своим ArgoCD. Если один ArgoCD сломается, это не повлияет на другие кластеры. 2️⃣ Упрощённая безопасность. Нет необходимости прокидывать сетевые доступы к kube-apiserver из централизованного ArgoCD. 3️⃣ Гибкость в настройке. Можно кастомизировать ArgoCD под конкретный кластер. Удобно для multi-tenant окружений, где каждый проект или команда живут в отдельный Kuberentes кластерах и управляет своим ArgoCD. Минусы: 1️⃣ Больше инфраструктуры и поддержки. Нужно поддерживать N независимых ArgoCD-инсталляций. Дополнительная нагрузка на команду DevOps. 2️⃣ Отсутствие единого интерфейса. Придётся заходить в каждый ArgoCD по отдельности, чтобы мониторить состояние. (Решается мониторингом). Если нужно что-то обновить во всех кластерах, придётся делать это вручную или автоматизировать через внешние инструменты (еще один ArgoCD?). 3️⃣ Сложность в управлении глобальными компонентами. Например, если нужно одновременно обновить общий Helm-чарт во всех кластерах, придётся либо использовать внешние механизмы (типа CI/CD), либо делать это вручную. 🎯 Какой вариант выбрать? ✔ Много кластеров (10+) → Централизованный ArgoCD, но с HA и жёсткими мерами безопасности. ✔ Изолированные кластеры (air-gapped, private) → Локальный ArgoCD в каждом кластере. ✔ Нужна гибкость в управлении → Децентрализованный вариант. ✔ Важно минимизировать затраты на инфраструктуру → Централизованный ArgoCD. #devops #девопс Подпишись 👉@i_DevOps

Распределённый инференс и шардирование LLM. Часть 2: скрипт vLLM, Ray Serve для вывода API и настройка KubeRay Cluster Часть 1 Продолжаем пошагово разбираться с ответом на вопрос о том, как эффективно работать с передовыми LLM, используя доступное оборудование и распределённые вычисления. В первой части статьи мы подготовили всё необходимое для развёртывания распределённого инференса с Ray Serve и vLLM. Сегодня этим и займёмся. Мы напишем скрипт vLLM, используем Ray Serve, чтобы предоставить внешний HTTP API, а также настроим KubeRay Cluster и развернём в нём Gemma 3. https://habr.com/ru/companies/flant/articles/906702/ #devops #девопс Подпишись 👉@i_DevOps

🚀 Открой для себя идеальный путь к лидерству с карьерным тестом от ОЭЗ «Алабуга»! 🌟 Мечтаете о карьере в крупной компании, где ваш потенциал раскроется на полную? Наш тест поможет вам определить вашу уникальную лидерскую роль. Может быть, именно вы станете тем лидером, который выведет команду на новый уровень? После прохождения теста вы можете заполнить заявку и получить приглашение на эксклюзивную лидерскую программу. Участие в программе открывает реальные перспективы трудоустройства в ОЭЗ «Алабуга», предоставляя шанс начать путь к профессиональному признанию. Сделайте первый шаг к своему будущему сегодня! Пройдите тест, подайте заявку и начните строить свою карьеру вместе с нами. 🎯

💡 Как DevOps'у не утонуть в логах Когда в продакшене случается затык, первое, что мы делаем — лезем в логи. Но с микросервисами, десятками подов и различными компонентами инфраструктуры, логов становится столько, что можно утонуть. Вот несколько проверенных приёмов, которые реально спасают время: 🔹 Стандартизируй формат логов. JSON — твой друг. Структурированные логи можно парсить, фильтровать и индексировать. 🔹 Сразу думай про central logging. Loki + Grafana, Elasticsearch + Kibana или даже простой Fluent Bit + S3. Главное — не SSH на 20 серверов. 🔹 Добавляй trace_id во все логи. Это твой маяк в море. Особенно полезно, когда надо отслеживать один запрос через всю систему. 🔹 Фильтры, фильтры, фильтры. Хорошие правила фильтрации в Grafana или Kibana — это как хороший кофе с утра. Делают день лучше. 🔹 Логи — это не помойка. Не пиши туда print("Hello from service X"). Пиши полезное: ошибки, статусы, идентификаторы. И напоследок: не забывай про ротацию и retention. Логи не должны жить вечно, особенно если ты не хочешь платить лишнее за storage. #devops #девопс Подпишись 👉@i_DevOps

📢 JSON — это удобно. До тех пор, пока всё не ломается. Гибкий формат без схем кажется спасением, но на масштабе превращается в источник ошибок, конфликтов и головной боли. 🔍 Schema Registry — это способ вернуть контроль. На открытом уроке 19 мая в 19:00 МСК разберём: — В чём слабые места JSON без схем; — Как Schema Registry помогает валидации и версионированию; — Когда всё-таки можно обойтись без схем; — Какие инструменты реально работают (Avro, Protobuf, JSON Schema). 📊 Урок будет полезен разработчикам, дата-инженерам, архитекторам и PM, которые сталкиваются с интеграциями и масштабируемыми системами. 👉 Регистрируйтесь и получите скидку на программу обучения «Apache Kafka»: https://vk.cc/cLVDDQ Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

Распределённый инференс и шардирование LLM. Часть 1: настройка GPU, проброс в Proxmox и настройка Kubernetes Когда модель DeepSeek R1 стала широко обсуждаться в сообществе, я заинтересовался, можно ли эффективно использовать её и другие крупные модели в домашних условиях, не прибегая к дорогостоящим облачным сервисам. Поскольку DevOps и инфраструктурой я увлекаюсь уже несколько лет, у меня постепенно сформировалась домашняя лаборатория, на которой я и решил проверить эту идею. Эта статья в трёх частях — результат моего опыта в решении этой задачи. Внутри вас ждёт пошаговое руководство по реализации бюджетного распределённого инференса с использованием Ray Serve, vLLM, Kubernetes, Proxmox и других технологий. В первой части мы разберём настройку GPU и его проброс в Proxmox, развернём Kubernetes-кластер, установим GPU Operator и KubeRay Operator. https://habr.com/ru/companies/flant/articles/906700/ #devops #девопс Подпишись 👉@i_DevOps

Почему Fedora CoreOS — это container optimized дистрибутив Fedora CoreOS на официальном сайте представлена как container optimized, container-focused, container based и так далее OS. Но что это вообще значит? Там предустановлен какой-то container runtime? А еще что? В этой статье попытаемся разобраться. → Что такое optimized → Иммутабельная система и транзакционные обновления → Автоматические background-обновления → Запуск системы на основе контейнер-образа → Безопасность → Предустановленные инструменты для контейнеров → Гибкий деплой → Заключение https://habr.com/ru/companies/selectel/articles/817299/ #devops #девопс Подпишись 👉@i_DevOps

Crd-to-sample-yaml or cty ( city ) Утилита для генерации манифестов YAML из CRD. Это простая утилита, написанная на Go, которая читает CRD-файлы и создает из них YAML-образцы. Она использует controller-tools/pkg/crd/schema и controller-tools/pkg/crd/markers для интерпретации и разбора схемы. Установка:

go install github.com/Skarlso/crd-to-sample-yaml@latest

Использование:

crd-to-sample-yaml -path ./path/to/crds > output.yaml

https://github.com/Skarlso/crd-to-sample-yaml #devops #девопс Подпишись 👉@i_DevOps

Три оттенка Kubernetes Operator, или чем слушает Prometheus Вашему вниманию предлагается вольное описание работы некоторых компонентов Кубернетес Операторов, с которыми приходится иметь дело как в эксплуатации уже написанных кем-то, так и при разработке собственного Оператора. Чтобы лучше разобраться, как реализован функционал этих компонентов, для наглядности, позволю себе рассмотреть Golang сорс-код Prometheus Оператора для мониторинга и Оператора Hashicorp Vault для управления секретами в Кубернетес, архитектура которых разработана с применением лучших практик использования Kubernetes API и продолжает стабильно обновляться сообществом. https://habr.com/ru/articles/817091/ #devops #девопс Подпишись 👉@i_DevOps

🚀 Подборка Telegram каналов для программистов Системное администрирование, DevOps 📌 https://t.me/bash_srv Bash Советы https://t.me/win_sysadmin Системный Администратор Windows https://t.me/sysadmin_girl Девочка Сисадмин https://t.me/srv_admin_linux Админские угодья https://t.me/linux_srv Типичный Сисадмин https://t.me/devopslib Библиотека девопса | DevOps, SRE, Sysadmin https://t.me/linux_odmin Linux: Системный администратор https://t.me/devops_star DevOps Star (Звезда Девопса) https://t.me/i_linux Системный администратор https://t.me/linuxchmod Linux https://t.me/sys_adminos Системный Администратор https://t.me/tipsysdmin Типичный Сисадмин (фото железа, было/стало) https://t.me/sysadminof Книги для админов, полезные материалы https://t.me/i_odmin Все для системного администратора https://t.me/i_odmin_book Библиотека Системного Администратора https://t.me/i_odmin_chat Чат системных администраторов https://t.me/i_DevOps DevOps: Пишем о Docker, Kubernetes и др. https://t.me/sysadminoff Новости Линукс Linux 1C разработка 📌 https://t.me/odin1C_rus Cтатьи, курсы, советы, шаблоны кода 1С https://t.me/DevLab1C 1С:Предприятие 8 https://t.me/razrab_1C 1C Разработчик https://t.me/buh1C_prog 1C Программист | Бухгалтерия и Учёт https://t.me/rabota1C_rus Вакансии для программистов 1С Программирование C++📌 https://t.me/cpp_lib Библиотека C/C++ разработчика https://t.me/cpp_knigi Книги для программистов C/C++ https://t.me/cpp_geek Учим C/C++ на примерах Программирование Python 📌 https://t.me/pythonofff Python академия. https://t.me/BookPython Библиотека Python разработчика https://t.me/python_real Python подборки на русском и английском https://t.me/python_360 Книги по Python Java разработка 📌 https://t.me/BookJava Библиотека Java разработчика https://t.me/java_360 Книги по Java Rus https://t.me/java_geek Учим Java на примерах GitHub Сообщество 📌 https://t.me/Githublib Интересное из GitHub Базы данных (Data Base) 📌 https://t.me/database_info Все про базы данных Мобильная разработка: iOS, Android 📌 https://t.me/developer_mobila Мобильная разработка https://t.me/kotlin_lib Подборки полезного материала по Kotlin Фронтенд разработка 📌 https://t.me/frontend_1 Подборки для frontend разработчиков https://t.me/frontend_sovet Frontend советы, примеры и практика! https://t.me/React_lib Подборки по React js и все что с ним связано Разработка игр 📌 https://t.me/game_devv Все о разработке игр Библиотеки 📌 https://t.me/book_for_dev Книги для программистов Rus https://t.me/programmist_of Книги по программированию https://t.me/proglb Библиотека программиста https://t.me/bfbook Книги для программистов БигДата, машинное обучение 📌 https://t.me/bigdata_1 Big Data, Machine Learning Программирование 📌 https://t.me/bookflow Лекции, видеоуроки, доклады с IT конференций https://t.me/rust_lib Полезный контент по программированию на Rust https://t.me/golang_lib Библиотека Go (Golang) разработчика https://t.me/itmozg Программисты, дизайнеры, новости из мира IT https://t.me/php_lib Библиотека PHP программиста 👨🏼‍💻👩‍💻 https://t.me/nodejs_lib Подборки по Node js и все что с ним связано https://t.me/ruby_lib Библиотека Ruby программиста https://t.me/lifeproger Жизнь программиста. Авторский канал. QA, тестирование 📌 https://t.me/testlab_qa Библиотека тестировщика Шутки программистов 📌 https://t.me/itumor Шутки программистов Защита, взлом, безопасность 📌 https://t.me/thehaking Канал о кибербезопасности https://t.me/xakep_2 Хакер Free Книги, статьи для дизайнеров 📌 https://t.me/ux_web Статьи, книги для дизайнеров Математика 📌 https://t.me/Pomatematike Канал по математике https://t.me/phis_mat Обучающие видео, книги по Физике и Математике https://t.me/matgeoru Математика | Геометрия | Логика Excel лайфхак📌 https://t.me/Excel_lifehack https://t.me/mir_teh Мир технологий (Technology World) Вакансии 📌 https://t.me/sysadmin_rabota Системный Администратор https://t.me/progjob Вакансии в IT

Kubernetes без интернета: как мы устанавливаем Deckhouse в закрытом контуре (обзор и видео доклада) Всем привет! На связи Максим Набоких, архитектор и технический руководитель Deckhouse Kubernetes Platform. Deckhouse работает в компаниях из разных отраслей: нефтегазовые предприятия, финтех, государственные организации, банки, облачные провайдеры и так далее. И больше чем в половине этих организаций во внутренней инфраструктуре нет интернета — он просто запрещён. Поэтому нам надо было придумать процесс установки своей платформы в закрытый контур. О том, как устанавливать Kubernetes (Deckhouse использует ванильный K8s), где «не ступал» ни один пакет из публичной сети, я рассказал на HighLoad++ 2023. Эта статья — текстовая версия моего доклада. Мы разберём целевую схему закрытого контура, нюансы работы инструментов для создания безопасной среды, посмотрим, как готовить дистрибутив Kubernetes-платформы к установке и осуществлять доставку приложений в закрытых окружениях. https://habr.com/ru/companies/oleg-bunin/articles/798317/ #devops #девопс Подпишись 👉@i_DevOps

🧑🏻‍💻Хотите глубже понять Python и научиться использовать абстрактные классы и протоколы для создания более гибких и поддерживаемых приложений? Присоединяйтесь к открытому вебинару 13 мая в 20:00 МСК, где мы разберём абстрактные классы и протоколы в Python. Вы научитесь создавать и применять их с помощью модуля abc, улучшая архитектуру ваших проектов. Углубление знаний в ООП поможет вам писать более структурированный и расширяемый код, который станет основой для успешных проектов. Понимание абстракции — ключ к более высокому уровню разработки. 👉Регистрируйтесь и получите скидку на большую программу обучения "Python Developer. Basic": https://vk.cc/cLGZRc Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

Kubernetes как PaaS: максимум возможностей без разработки. Часть 2 Это вторая часть серии статей, где мы шаг за шагом строим PaaS на базе Kubernetes без написания кода. Напомню, для чего мы это делаем: наша цель — выжать максимум из современных технологий и экосистемы Kubernetes, чтобы создать PaaS-решение, которое упростит жизнь разработчикам. Мы хотим, чтобы приложения и сервисы разворачивались быстро, удобно и без глубокого погружения в инфраструктуру. https://habr.com/ru/companies/vktech/articles/890386/ #devops #девопс Подпишись 👉@i_DevOps

Kubernetes как PaaS: максимум возможностей без разработки. Часть 1 Kubernetes — это не просто оркестратор контейнеров, а целая экосистема инструментов, которые позволяют построить PaaS без написания кода. Helm, ArgoCD, Crossplane, Knative и другие решения делают управление приложениями и инфраструктурой настолько простым, что разработка собственной платформы превращается в задачу конфигурации, а не программирования. Меня зовут Сергей Емельянов, я техлид команды в VK Tech, которая занимается созданием PaaS-платформы на базе Kubernetes для упрощения работы с данными. В серии статей разберем, как создать PaaS, используя мощь Kubernetes и его экосистему. https://habr.com/ru/companies/vktech/articles/895954/ #devops #девопс Подпишись 👉@i_DevOps

✔️ Не можете выбрать между DWH, Data Lake и Data Lakehouse? Запутались в понятиях и хотите разобраться, какой подход лучше для вас? ⏺ На открытом вебинаре 12 мая в 20:00 МСК мы простым и понятным языком разберём эти три важнейшие архитектуры данных: от проверенных временем DWH до гибких Data Lake и современных Data Lakehouse. Узнаем преимущества, ограничения и подходящие сценарии использования каждого подхода. После вебинара вы поймёте, как выбрать правильную архитектуру под задачи вашей компании, сэкономите время и ресурсы на внедрение, а также избежите типичных ошибок. ➡️ Регистрируйтесь на вебинар и получите скидку на программу обучения «Data Engineer»: https://vk.cc/cLFqf9 Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576