DevOps Deflope News

Чтобы каждая реплика LLM приходила за миллисекунды и не разоряла бюджет на GPU, инфраструктура должна быть столь же умной, как сама модель. Сегодня для этого есть два зрелых Open Source-движка — vLLM и SGLang. Оба уже служат базой для корпоративных продуктов Red Hat и LMSYS, поэтому технологический риск минимален. Ниже — как каждый из них помогает бизнесу экономить и в каких сценариях их применять. Почему это важно прямо сейчас? Стоимость GPU-минут растёт, а объём запросов к моделям увеличивается экспоненциально, что напрямую бьёт по TCO AI-инициатив. vLLM — максимум пропускной способности

• PagedAttention устраняет 60-80% фрагментации памяти через блочные таблицы (как виртуальная память в ОС), давая до ×24 больше throughput, чем Hugging Face Transformers. • Continuous Batching обрабатывает запросы по шагам генерации. Таким образом быстрые не ждут медленных, снижается latency и пропадает простой GPU (〜x23 прирост пропускной способности). • Совместимость с OpenAI API позволяет мигрировать SaaS-сервисы без переписывания клиентского кода. Именно vLLM лежит в основе Red Hat AI Inference Server для OpenShift, так что решение готово к production-кластерам. А ещё LMSYS сократил парк GPU на 50 %, одновременно увеличив число обслуживаемых запросов в 2–3 раза после миграции на vLLM.

SGLang — это экономия на связанных запросах

• RadixAttention строит древовидную структуру для переиспользования KV-кеша между запросами с общими префиксами. Если пользователь ведёт диалог, SGLang автоматически переиспользует уже вычисленные части контекста, ускоряя цепочки вызовов до ×5 и снижая вычислительные затраты. • Строго заданный вывод: можно жёстко задать JSON-схему или грамматику, избегая дорогой поствалидации. • Оптимальный выбор для диалоговых агентов, RAG-конвейеров и других сценариев, где соседние запросы делят контекст и важна точная структура ответа.

Как выбрать Если ваша нагрузка — множество независимых коротких запросов и вы заменяете коммерческий API, ставьте vLLM: он максимально нагружает GPU и обеспечивает низкую задержку. Когда же важны длинные диалоги, строгий формат ответа или повторное использование контекста, применяйте SGLang, который экономит вычисления там, где другие их дублируют. Итого Разверните оба движка в одной инфраструктуре: vLLM — на «горячем» пути API для массовых запросов, SGLang — в сервисах с многошаговыми генерациями. Так вы получите быстрые ответы при минимальной стоимости GPU; именно то, что нужно бизнесу здесь и сейчас.

Пока все увлечённо обсуждают очередные обновления от OpenAI и Anthropic, GitLab неделю назад запустил в публичную бету свою платформу AI-агентов. Вместо очередного чат-бота GitLab создаёт платформу GitLab Duo, где AI-агенты работают как полноценные члены команды. По сути, AI-агент выступает как младший разработчик, который требует проверки от сеньора. Благодаря тому, что GitLab объединяет задачи, код и CI/CD в одной системе, его агенты работают с полным контекстом проекта. Так агенты получают преимущество перед внешними AI-инструментами с их ограниченным контекстом. А ещё можно создавать и подключать собственных агентов под свои задачи и автоматизировать цепочки действий через Flows (например, анализ инцидентов или миграции пайплайнов) Правда, Gitlab Duo Agent Platform доступна только в бете для Premium/Ultimate клиентов gitlab.com и self-managed инсталляций, но документация, API и SDK уже есть в открытом доступе. Направление логично — превратить GitLab из платформы для DevOps в DevOps-платформу с искусственным интеллектом. Какие задачи вы уже делегировали AI-агентам?)

В свежем выпуске подкаста «DevOps Дефлопе» болтаем про пет-проекты: - Любовь Павла к сбору информации и парсинг Steam, а также его бот для конференций. - Зачем Сергей написал приложение под Android и как запускал Quake III на тормозном рабочем компе. - Как Виталий получил опыт деплоя лямбда-функций через Terraform и сделал себе погодную станцию. А ещё вспоминаем рождение NGINX и рассуждаем, зачем вообще нужна работа, за которую не платят. Слушать: на удобной площадке на YouTube

Вышел первый серьёзный отчёт State of GitOps 2025 — исследование 660 команд о том, как GitOps работает в реальности. Главное открытие неутешительное. Большинство команд думают, что делают GitOps, но на самом деле, кажется, просто коммитят скрипты в Git. 60% до сих пор используют императивную конфигурацию вместо декларативной. Отчёт показывает чёткую связь: чем больше практик GitOps внедрила команда, тем выше безопасность, стабильнее конфигурации и проще аудит. Команды, которые используют все шесть практик, показывают лучшие результаты по метрикам DORA. Они чаще деплоят, быстрее доставляют изменения и реже сталкиваются с инцидентами в проде. Интересный момент про медленный code review. Он указан как одна из основных причин, почему команды откатываются к ручным изменениям через kubectl. Ну а это подрывает принципы GitOps, потому что Git перестает быть единственным источником истины. А вы с какими проблемами при использовании GitOps сталкиваетесь?

Как вы уже заметили, мы стали чуть активнее и возродили подкаст. На всякий случай, для тех, кто только к нам присоединился, в паре слов расскажем о том, что происходит в этом канале. Каждый день в мире DevOps появляются тонны новостей, релизов и «революционных» инструментов. При этом, конечно же, в большинстве случаев это информационный шум. Но если мы видим в этом потоке что-то, что с нашей точки зрения, действительно заслуживает внимания, мы приносим это сюда для друзей и коллег. Мы — это инженеры Фланта и Экспресс42, компаний, которые стояли у истоков DevOps в России. Надеемся, что Девопс Дефлопе станет самым полезным девопс-каналом в вашей ленте!

Новый выпуск DevOps Дефлопе — про платформы на Kubernetes Готовые решения экономят время, но ограничивают. Самописные — дают свободу, но требуют ресурсов. Разбираем: - Как не ошибиться с выбором - Как выбрать платформу с минимальными рисками в будущем - Когда пора пересматривать архитектуру Также ведущие делятся реальными кейсами и обсуждают подводные камни. Слушать: на удобной площадке на YouTube

Нашли интересный проект — BLAFS — инструмент для «обезжиривания» Docker-контейнеров, который может сократить их размер на 65-95%. Основная идея простая. Большинство контейнеров содержат кучу файлов, которые никогда не используются. BLAFS отслеживает, какие файлы реально нужны приложению во время работы, и удаляет всё остальное. Процесс из трёх этапов: конвертация файловой системы в формат BLAFS, профилирование с реальными нагрузками и финальное удаление неиспользуемых файлов. Интересно, что подход работает на уровне файловой системы и сохраняет слоистую структуру Docker-образов. Это отличается от других решений вроде SlimToolkit. Пробовали ли вы инструменты для оптимизации размера контейнеров? Какие результаты получали?

«С вами подкаст DevOps Дефлопе» После перерыва разогреваемся на теме AI. В эфире — Никита Борзых и Виталий Хабаров, да не одни, а с новыми ведущими. Ребята расскажут, как ИИ помогает искать ошибки в конфигах и YAML’ах, разбираться с нагрузкой на API-сервер Kubernetes и чинить кластер OpenStack. А ещё порассуждают, какие задачи компании смогут отдать машинам и на какие ИИ-инструменты стоит посмотреть DevOps-инженерам. Слушайте на удобной площадке или на нашем YouTube

Новое исследование Google: 65 % времени разработчиков тратится впустую без платформенного подхода Google и ESG опросили 500 ИТ-специалистов. Коротко о главном в исследовании состояния платформенной инженерии: • 65 % времени разработчиков уходит на задачи, которые может решать внутренняя платформа • 55 % компаний уже поддерживают внедрение platform engineering • Только 27 % полноценно интегрировали платформенный подход во все команды • 84 % компаний признают, что внутренней экспертизы не хватает для эффективного развития платформ Разработчики продолжают тратить бо́льшую часть времени не на продукт, а на инфраструктуру. Platform engineering — ответ на эту историю. Именно здесь DevOps-команды играют ключевую роль, превращают разрозненные процессы в работающую платформу и интегрируют её в максимальное количество команд.

Подборка, в которой мы хотим поделиться новыми тулами из мира Kubernetes. Тут Portainer запустила дистрибутив для 200 МБ RAM, k0s попал в CNCF Sandbox, а новые инструменты упрощают управление мультикластерными средами. Смотрите сами. Портативный Kubernetes для минимальных ресурсов Portainer представила KubeSolo — ультралегковесный дистрибутив Kubernetes, который работает всего с 200 МБ RAM. Без кластеризации и etcd, идеально подходит для ограниченных сред. Мультикластерное управление kubectl-foreach позволяет выполнять kubectl-команды параллельно в нескольких кластерах одновременно. k0s присоединился к CNCF Sandbox Легковесный дистрибутив Kubernetes от Mirantis получил официальное признание в CNCF. k0s выделяется единым бинарным файлом со всеми компонентами Kubernetes, а ещё он подходит для edge-вычислений и ресурсоограниченных сред. Редакция ждёт появления Kubernetes в чайниках и стиральных машинах, уж слишком много портативных куберов появилось. Ну а если серьёзно, то уже очевидно, что стандарт поставки в Kubernetes уже совсем стандарт, а станут ли его использовать в портативных устройствах — узнаем в течение нескольких лет.

Недавно прошли новости о том, что Databricks покупает Neon — стартап, создающий Open Source-альтернативу AWS Aurora Postgres. Neon основан в 2021 году Никитой Шамгуновым. Платформа разделяет хранение и вычисления в Postgres, что позволяет масштабироваться, клонировать базы, тестировать изменения без риска и платить по факту использования. По данным Databricks, 80% баз на Neon инициализируются AI-агентами, без участия человека. Интересен тренд на то, что хранилища становятся всё более микросервисными, и отдельно радует, что в эту историю начали двигаться PostgreSQL. Фишка подхода — PostgreSQL запускается в Кубере распределённо! Слышали о Neоn? А может быть, даже тестировали? Делитесь впечатлениями.

Небольшой веб-ресурс для загрузки WebGL-игр подвергся DoS-атаке. Хакер нашёл незакэшированный объект и сделал к нему более 100 миллионов запросов за 24 часа. Результат: за сутки — счёт на $97 000 за обращения к Firebase в GCP. Алёрты на превышение лимитов сработали слишком поздно. Бизнес, который развивался 7 лет и собрал 140 тысяч пользователей, уничтожен. Владелец проекта запустил инициативу Stop Uncapped Cloud Billing и призывает облачных провайдеров ввести реальные лимиты для малого бизнеса, чтобы подобные истории больше не повторялись. Подробности и поддержка — на stopuncappedbilling.com.

Подробный разбор всех фичей Kubernetes 1.33 Сегодня ночью вышла новая версия Kubernetes — 1.33. Релиз собрал в себе 64 изменения.

Среди главных — упорядоченное удаление ресурсов в пространстве имен на основе логических зависимостей и соображений безопасности, декларативная валидация для нативных API-типов, расширение механизма CredentialProvider, доступ подов к информации о топологии кластера, изменение алгоритма выдержки CrashLoopBackoff, обязательная аутентификация при извлечении private-образов из репозиториев и многое другое.

«Экспресс 42» совместно с партнёрами запустили ежегодное исследование состояния DevOps в России 2025. Ключевая тема этого года — Developer Experience (DX). Особенно интересно, что помогает достигать высокого уровня DX и как на него влияют Internal Developer Platform, ML/AI-инструменты, облачные технологии и практики ИБ. Планируется опросить более 4000 представителей индустрии. Пройдите опрос и вы. Let's go. In and out. Приключение на 20 минут.

Вышла новая версия Apache Kafka — 4.0, в которой проект полностью отказался от использования ZooKeeper в пользу KRaft-протокола. Также предоставлен ранний доступ к очередям в Kafka (KIP-932) и полная поддержка KIP-848 с новым протоколом для групп потребителей. Подробнее о релизе — в блоге.

Иногда подумаешь, куда ж ещё больше расти Linux Foundation, а потом видишь новость, что она забирает под свою опеку и OpenStack. P.S. Для понимания масштабов OpenInfra

Stacker — инструмент для сборки контейнерных образов, который недавно стал проектом CNCF. Обещают: — Повторяемость. Stacker использует LXC-контейнеры для обеспечения изолированной среды сборки, чтобы результаты были повторяемыми без побочных эффектов. — Инкрементальность. Создание только необходимых образов и их перестроение только в случае изменения входных данных. Если у вас есть личный опыт использования Stacker, поделитесь в комментариях — ваше мнение может быть полезно сообществу.

Mozilla вводит новые Terms of Use для Firefox. Браузер всегда был той самой альтернативой, которая гарантировала конфиденциальность. Теперь этот статус под вопросом — новые правила содержат слишком много размытых формулировок про сбор и передачу данных. Пока непонятно, к чему это приведёт, но прецедент настораживает. Firefox больше не тот?