Yandex for Backend

🎙 Как ускорить работу LLM — в подкасте «От инженера слышу» Почему мощная видеокарта не гарантирует быстрый ответ нейросети? И как обслуживать больше запросов на том же железе, не заставляя пользователей ждать? В первом выпуске разбираемся, что происходит между отправкой запроса и появлением ответа. А также объясняем, как устроен инференс больших языковых моделей и что помогает сделать его быстрее и дешевле. 💬 Что ещё обсуждаем: 🟢 Чем обработка контекста отличается от генерации токенов 🟢 Как KV-кеш, квантование и спекулятивное декодирование помогают выжать больше из GPU 🟢 Как обрабатывать большой запрос одного пользователя, не тормозя остальных 🟢 Почему удачная оптимизация может оказаться бесполезной для конкретной нагрузки 🟢 Когда стоит разрабатывать свою библиотеку инференса и какую часть работы уже можно доверить AI-агентам 🔊 Слушайте выпуск на ютубе и в VK Видео А больше о работе с LLM и других инженерных задачах бэкенда — на конференции «Я про бэкенд» 🈁 Регистрируйтесь и приходите за подробностями и опытом коллег Подписывайтесь: 💬 @Yandex4Backend 📹 @YandexforBackend

💹 Делимся записями с deep tech night  5 сентября прошла масштабная конференция Яндекса о технологических вызовах, с которыми сталкиваются разработчики и инженеры в эпоху AI. Здесь эксперты мирового уровня рассказали о нетривиальных задачах в работе: от Physical AI до продуктовой агентской разработки. 📺 Записи докладов экспертов уже доступны на лендинге конференции. А вот некоторые из выступлений, которые мы особенно рекомендуем посмотреть: 🟢 Василий Ершов, руководитель AI Studio Tech в Yandex Cloud: «Облако в эпоху AI: архитектура платформы для гибридных агентов»  🟢 Егор Филимонов, лидер команды по ускорению инференса на NPU в SGLang: «Влияние трендов развития нейросетей на архитектуру NPU и инференс-фреймворки»  🟢 Иван Сапожков, руководитель группы базовой ML-инфраструктуры в Яндексе: «Инфраструктура RL-обучения»  🟢 Павел Капля, руководитель продуктовой разработки Алисы в Яндексе: «От поиска к агентам: путь Алисы»  🟢 Сергей Мельник, руководитель сервиса Автономного транспорта и роботов в Яндексе: «Physical AI: от симуляции к реальным дорогам» Ещё доклады можно посмотреть на ютубе: ❇️ Hard ❇️ Experiment 🈯️ Спасибо, что были с нами!  Подписывайтесь: 💬 @Yandex4Backend 📹 @YandexforBackend

🔠 Приглашаем в Архитектурный клуб Яндекс 360 Это открытое сообщество для архитекторов и инженеров. В этот раз мы разберём, как устроен AI-агент, который работает с корпоративными данными и остаётся управляемым. Даниил Смирнов, руководитель службы бэкенд-разработки антиспама в Яндекс 360, расскажет: 🟢 Что учитывать при поиске по корпоративным данным: как сочетать полнотекстовый и векторный поиск с учётом метаданных, фильтров и устройства источников 🟢 Как наследовать права доступа исходных систем и изолировать данные пользователей и организаций 🟢 Как ограничивать автономность агента и оценивать качество поиска, выбора инструментов и итогового ответа В финале мы спроецируем решения на референсную архитектуру с использованием опенсорсных технологий и библиотек. Когда и где: 📆 6 октября, 17:00 мск 💻 Онлайн 🔶 Зарегистрироваться на встречу Подписывайтесь: 💬 @Yandex4Backend 📹 @YandexforBackend

🏆 Международное соревнование для разработчиков Young&&Yandex открывает регистрацию на Yandex Cup 2026 — международный чемпионат Яндекса по программированию с призовым фондом 9 млн рублей. Принять участие смогут разработчики любого уровня, от юниоров до опытных специалистов. Выбирайте одно из трёх направлений: 🟢 Машинное обучение 🟢 Алгоритм 🟢 Аналитика Что вас ждёт: 🟢 Призовой фонд 9 млн рублей и денежные призы в каждом направлении 🟢 Офлайн-финал в Москве для 120 лучших участников и 36 призовых мест В прошлом году соревнование собрало свыше 21 тысячи заявок от разработчиков из 60 стран. В 2026-м можно вновь проверить свои силы, познакомиться с сильными разработчиками из разных городов и побороться за призовой фонд. 🔶 Успейте зарегистрироваться до 1 ноября Подписывайтесь: 💬 @Yandex4Backend 📹 @YandexforBackend

🐾 Яндексоиды рассказывают про свои пет-проекты: ktoml и diktat Продолжаем показывать видео про пет-проекты и сегодня обсудим разработки из экосистемы языка Kotlin. 👨‍💻 Андрей Кулешов, руководитель разработки SourceCraft Security, рассказал в нашем новом видео о своих двух петах: 1️⃣ Ktoml — нативная и мультиплатформенная библиотека для сериализации и десериализации формата TOML на основе kotlinx.serialization 🟢 SourceCraft 🟢 Гитхаб 2️⃣ Diktat — легковесный статический анализатор (линтер), а также набор стилистических правил для написания кода на Kotlin 🟢 SourceCraft 🟢 Гитхаб 🔶 Смотрите все подробности на ютубе, а всю серию видео про пет-проекты яндексоидов можно найти в плейлистах на ютубе и в VK Видео. Подписывайтесь: 💬 @Yandex4Backend 📹 @YandexforBackend

📎 Как сэкономить 1000+ ядер на ровном месте На связи Миша Иглицкий, бэкенд-разработчик в платформе Яндекс Еды. У нас есть PHP-монолит, в который пишут мало нового кода, поэтому он спокойно работает и не привлекает к себе лишнего внимания. Так оно бы и продолжалось, если бы не случился период повышенной нагрузки и понадобилось зарезервировать побольше мощностей для беспроблемной обработки подобного спроса. Монолит отлично справился. Но после этой ситуации я случайно обратил внимание, что RPS в пиковые вечерние часы подозрительно совпадает с количеством ядер CPU, выделенных на весь монолит. Нехитрая арифметика показала: 100% загрузки одного ядра приходятся на 2,5 RPS. Я решил разобраться, что к чему. Спойлер: дело оказалось не только в PHP. ❇️ Perforator vs PHP-монолит У нас есть Perforator, который установлен почти на все хост-машины в дата-центрах, и с его помощью можно посмотреть, на что уходит процессорное время на подах. Проблема в том, что он видит почти всю работу PHP как вызов zend_execute_ex. Хорошая новость: коллеги как раз допиливали поддержку PHP в Perforator, но пока не вмержили её в основную ветку. Однако нам залили на одну из хост-машин, где крутился инстанс PHP-монолита, специально собранную версию с поддержкой PHP. И я сразу же увидел пожирателя CPU. Им оказалась функция getRoutePattern для атрибута http.route. Изначально никто не заметил, что getRouteCollection не возвращает готовый закешированный список роутов, а каждый раз собирает его заново: проходит по всем YAML-файлам и читает аннотации в PHP-файлах. 🦾 Исправление оказалось элементарным: теперь роуты читаются и сохраняются один раз на этапе сборки контейнера, а в рантайме берутся из кеша. ➖ Результат: потребление CPU в 99-м процентиле снизилось почти на 30%. ❇️ Инфраструктурные полтергейсты На стороне PHP очевидных тормозов больше не было. Но я обратил внимание, что теперь топ потребления CPU выглядит так: 🟢 PHP: 20% 🟢 HAProxy: 19% 🟢 psql: 17% 🔍 Внутри psql мы увидели странный call stack. Оказалось, что в Debian psql по историческим причинам запускается через Perl-обёртку. Она выбирает нужную версию клиента, потому что в системе может быть установлено сразу несколько версий PostgreSQL (этой возможности уже больше 20 лет). Также монолит на PHP не использует postgres-специфичные connection string, чтобы подключаться к primary-ноде БД — это решение вынесено на уровень HAProxy. А он не умеет делать это нативно, только проверять tcp connectivity. Так что для проверки были написаны специальные скрипты, которые и вызывали psql. В итоге один только запуск Perl-обёртки начал заметно потреблять ресурсы. 🦾 Проблему решили довольно просто: добавили agent-check в HAProxy. Передаём проверку состояния бэкенда отдельному агенту, который может делать то, чего HAProxy не умеет. ➖ Результат: строки с описанием бэкенда теперь длиннее, но зато работа стала быстрее и стабильнее. И после выкатки этого изменения на тестинге Perl пропал в профилях. 🔶 Читайте больше подробностей в статье на Хабре. Там я рассказал, почему HAProxy продолжал расходовать много CPU даже после наших изменений. А ещё поделился, как мы увеличили выделенную под APCu память и реализовали динамическую балансировку. Подписывайтесь: 💬 @Yandex4Backend 📹 @YandexforBackend

📺 «Нерешённые задачи» — премьера к празднику Сегодня, 13 сентября, мы отмечаем День программиста, а ещё этот праздник совпадает с днём рождения Ильи Сегаловича, сооснователя Яндекса. Так что это идеальный день для премьеры нашего документального фильма «Нерешённые задачи» на Кинопоиске. 🟢 О чём картина Это 30-минутная история о разработчиках Яндекса, которые каждый день берутся за задачи без готовых решений. Герои из команд Автономного транспорта, Алисы, Yandex Infrastructure и Yandex Cloud расскажут об экспериментах, ошибках и моментах, когда неудача становилась шагом к большому открытию. Обсудим, почему некоторых пассажиров автономного транспорта укачивает, как подготовить инфраструктуру к трафику, который каждый год растёт вдвое, и что делать программисту, если модели уже пишут код быстрее него. Готовых инструкций нет. Есть гипотезы, эксперименты, ошибки и новые попытки разобраться. Поэтому если вы не знаете, что делать, — это нормально. Вы просто оказались перед настоящей задачей. 🍿 Смотрим фильм на Кинопоиске или на YouTube 🈯️ Приятного просмотра и с Днём программиста! Подписывайтесь: 💬 @Yandex4Backend 📹 @YandexforBackend

🐾 Яндексоиды рассказывают про свои пет-проекты: робот-художник Хотим познакомить вас с разработкой на стыке программирования и искусства — об этом наше новое видео. 🈁 Мы уже рассказывали о проекте в нашем канале, а теперь представим героя поближе! Автор пета — Антон Чистяков, ведущий менеджер продукта «Яндекс Магистрали». Он навайбкодил программное обеспечение на Python, которое превращает коллаборативного робота-манипулятора (uFactory Lite 6) в настоящего художника. 📺 В ролике Антон рассказывает: 🟢 Как робот самостоятельно рисует на холсте акварелью и выполняет сложные действия — от набора краски и промывки кисти до нанесения мазков с правильной ориентацией 🟢 Из каких частей состоит проект 🔶 Смотрите все подробности на ютубе, а всю серию видео про пет-проекты яндексоидов можно найти в плейлистах на ютубе и в VK Видео. Подписывайтесь: 💬 @Yandex4Backend 📹 @YandexforBackend

🛎 «Я про бэкенд» × «2718»: ищем сложные задачи для инженеров Яндекса В карточках знакомим вас с первыми спикерами «Я про бэкенд», а в посте рассказываем про «2718». В прошлом году на конференции инженер Яндекса в прямом эфире разбирал сложную архитектурную задачу. Все участники предлагали свои решения и спорили о деталях, поэтому мы решили повторить формат. И здесь нам нужна ваша помощь. Присылайте нетривиальные задачи на проектирование бэкенда сервиса в области информационного поиска. Мы выберем самую интересную и подходящую для публичного разбора, а инженеры Яндекса будут решать её в прямом эфире на «Я про бэкенд». ❇️ Примеры тем для задач: • Сбор данных: обход, обработка, хранение. • Индексация: построение индексов, хранение, запросы к индексам. • Кандидатогенерация: отбор первичного множества документов, фильтрация. • Свежесть данных: добавление новых документов/данных, удаление неактуальных документов/данных. • Шардирование: деление данных на подмножества. ❇️ Ваша задача должна быть: • Связана с областью информационного поиска, посвящена одной или нескольким смежным темам. • Решаема (примерно за час). • Приближена к реальному миру. 📆 Принимаем задачи до 11 сентября, форма участия и подробные условия «2718» — по ссылке. 🔶 Регистрируйтесь на конференцию «Я про бэкенд». С задачей или без неё — будем рады встретиться на серверной стороне AI-технологий. Подписывайтесь: 💬 @Yandex4Backend 📹 @YandexforBackend

🚀 Погружаемся в технологии на deep tech night Уже 5 сентября пройдёт deep tech night — масштабная онлайн-конференция Яндекса о технологических вызовах, с которыми IT-индустрия сталкивается в эпоху AI: от изменений в разработке до новых требований к архитектуре и инфраструктуре. Это событие для ML-разработчиков, бэкендеров, фронтендеров, тимлидов, аналитиков, продактов и всех, кто работает в IT-индустрии, внедряет AI в процессы, проектирует сложные системы и ищет новые решения. 🔥 Вас ждут темы от инфраструктуры и железа для нейросетей до AI-агентов и внедрения AI в разработку и два формата: 🟢 Hard — доклады о сложных и масштабных задачах для тех, кто хочет вдумчиво разобраться в технической стороне сферы. 🟢 Experiment — лайтнинги и интерактивные кейсы об экспериментах с AI-агентами, новых подходах и продуктовых находках. Для всех, кому интересно пробовать новое и следить за трендами. Среди спикеров — Мо Гавдат, десять лет руководивший бизнес-развитием в Google X, Алексей Гусаков, CTO Поисковых сервисов и ИИ, Сергей Мельник, руководитель сервиса Автономного транспорта и роботов, и другие эксперты из Яндекса и других IT-компаний. 🧬 Чтобы подключиться к онлайн-трансляции, нужна предварительная регистрация. Она также даст возможность задать вопросы экспертам в прямом эфире и первыми посмотреть запись после события. 🔶 Смотрите полную программу и регистрируйтесь на deep tech night. До встречи! Подписывайтесь: 💬 @Yandex4Backend 📹 @YandexforBackend

🔍 Как построить здоровый мониторинг Нам нужны метрики и оперативное подсвечивание инцидентов, чтобы понимать, хорошо ли всё работает, и вовремя узнавать, если что-то идёт не так. Но чем больше новых измерений мы добавляем, тем больше появляется информационного шума. Меня зовут Настя Кузнецова, я бэкенд-разработчик в Яндекс 360 и отвечаю за надёжность Календаря. Хочу рассказать, как мы приводим в порядок мониторинг, какие метрики стоит взять за основу и в чём суть нашего правила 80/20. ❇️ Два главных принципа здорового мониторинга 1️⃣ Помните, что метрики — это маяки, а не микроскопы. Они сигнализируют о наличии проблемы, но не рассказывают детально, какая из шестерёнок огромного механизма барахлит. С алертами та же история: они просто показывают, есть проблема или нет, без указания на конкретную строку в коде 2️⃣ Стремитесь к балансу. Конечно, хочется замониторить все сервисы так, чтобы нигде и никогда не пропустить ни одну проблему. Однако нельзя полагать, что дашборд на 1000+ метрик будет кому-то полезен, ведь в этом случае никто не знает наверняка, на какой именно график надо смотреть, чтобы найти нужную информацию ❇️ Подход 80/20 Хороший мониторинг помогает быстро понять, что происходит с приложением и куда смотреть в первую очередь. Для этого не нужно пытаться измерить всё: базовый набор технических метрик покрывает большинство типовых проблем (80%). А бизнес-метрики, SLO и анализ аномалий помогают заранее замечать нетипичные отклонения (20%). 🧬 Базовый набор для типичного бэкенда: RED-метрики для HTTP/gRPC, клиентов, очередей и баз данных. ❇️ В HTTP/gRPC-сервере замеряем три вещи: 🟢 Количество запросов. Тут мы можем увидеть, если кто-то решил спустить на нас DDoS или, наоборот, перестал это делать, а также если у нас куда-то утекает трафик 🟢 Ошибки, которые наш сервер отдаёт клиенту. В случае HTTP — это 4xx и 5xx, в случае gRPC — unavailable и прочее 🟢 Длительность запросов. Это помогает узнать, что сервер где-то начал подтормаживать или очень быстро отдавать что-то странное Всё это даёт возможность понять практически любую проблему на стороне сервера. ❇️ В очереди смотрим на лаги: Например, мы внесли в неё ряд данных, из-за этого там скопились сообщения, но по какой-то причине их не читают. Поэтому нам и нужны лаги — записанные сообщения минус прочитанные. Эта метрика позволяет получить разницу позиций в очереди. ❇️ В БД следим за connection pool: На стороне приложения есть клиентский пул, а между приложением и базой данных — отдельный серверный. Если наблюдать только за одним из них, отклонение на другом уровне останется незаметным, поэтому оба пула нужно включать в общий контур мониторинга. Метрики клиентского пула обычно можно подключить через Spring Boot и Micrometer. Если в архитектуре есть отдельный серверный пул, его нужно мониторить на стороне компонента, который им управляет. Такой контур помогает заметить риск заранее — до того, как он повлияет на запросы. 🔶 Читайте больше подробностей на Хабре. Там я поделилась золотыми метриками конкретно для Java-приложений и объяснила, как поймать 20% бизнес-специфичных. А также рассказала, как выбирать полезные алерты. Подписывайтесь: 💬 @Yandex4Backend 📹 @YandexforBackend

💹 Из лидов в разработчики и обратно Меня зовут Игорь Хураськин, я руководитель группы ML-инференса в Автономном транспорте. У меня за плечами больше десяти лет работы в Яндексе. За это время я успел поработать над поиском картинок, стать руководителем бэкенда в сервисе «Коллекции», перейти в Рекламу, а потом уйти в стартап по созданию 3D-кино. И сейчас я снова руководитель, но уже в беспилотных технологиях 🤯 Хочу объяснить, зачем несколько раз ротировался в разные сервисы, как одни технологии помогают развивать другие и почему я не боюсь перемен и не скучаю в рамках одной компании столько лет. 👩‍⚕️ Читайте все подробности в карточках выше! 🔶 А в статье на Хабре можно подробнее почитать про технологию для создания фотореалистичных 3D-копий сцен из объёмных частиц (сплатов), а не полигонов. И про YaGS Plugin — опенсорс-решение для работы с 3DGS внутри Unreal Engine. Подписывайтесь: 💬 @Yandex4Backend 📹 @YandexforBackend

🔥 Новости программы deep tech night На конференции deep tech night вас ждут два формата: • Hard — технические доклады о сложных и масштабных задачах. Формат подойдёт тем, кто хочет вдумчиво разобраться в технической стороне темы. • Experiment — лайтнинги и интерактивные кейсы об экспериментах с AI-агентами, новых подходах и продуктовых находках. Этот формат для всех, кому интересно пробовать новое и следить за трендами. 👩‍⚕️ В карточках рассказываем о новых спикерах и их темах. Смотрите полную программу и регистрируйтесь на deep tech night, которая пройдёт 5 сентября. Присоединиться к конференции онлайн можно по предварительной регистрации. 🔶 Зарегистрироваться Подписывайтесь: 💬 @Yandex4Backend 📹 @YandexforBackend

📺 Новая порция докладов с infra.conf’26 Мы продолжаем рассказывать про выступления с нашей инфраструктурной конференции. В этот раз посоветуем бэкендерам сразу три доклада — и напишем, какой кому особенно зайдёт. 🟢 Егор Митрофанов, руководитель команды инфраструктуры бэкенда в Яндекс Банке. Рассказал, как в Финтехе пришли от ручного управления секретами в Vault к единому декларативному контракту сервиса. Его понимают все подсистемы сразу: Terraform, Vault, Kubernetes и Helm, CI-пайплайн, Grafana, Kotlin-компилятор и регуляторика ЦБ. ➖ Посмотреть можно тут 💡 Кому зайдёт: бэкендерам и платформенным командам, которые тонут в рассинхроне между инфра-конфигами, секретами, CI и кодом. 🟢 Николай Соколов, руководитель службы разработки IDM в Yandex Infrastructure. Объяснил устройство нашего IDM и принципы работы Yandex Infrastructure по управлению доступами к 1500 системам, благодаря которым не нарушается стабильность процессов. ➖ Посмотреть можно тут 💡 Кому зайдёт: бэкендерам, которые проектируют или пересобирают собственный IDM или систему управления доступами. 🟢 Андрей Мичурин, руководитель разработки систем деплоя в Yandex Infrastructure. Показал, как инженеры выкатывали сервисы раньше, как делают это сейчас и где мы все свернули не туда. Андрей также поделился, как устроена платформа деплоя в Яндексе и почему ряд проверенных решений из прошлого снова стали актуальны. ➖ Посмотреть можно тут 💡 Кому зайдёт: всем, кто катит сервисы и при этом хочет понять логику эволюции деплой-систем, а не просто «как нажать кнопку». Подписывайтесь: 💬 @Yandex4Backend 📹 @YandexforBackend

🧬 «Главное — начать, а дальше разберёмся»: как расти в условиях неопределённости 👨‍💻 Привет! Меня зовут Женя Ширанков, я руковожу бэкендом продуктов Яндекс 360 — нашими платформенными сервисами. Мы отвечаем за технологии, инструменты и бизнес-логику, которые объединяют отдельные продукты в виртуальный офис.

Если у вас много команд, неизбежно возникнет ситуация, что разные люди будут параллельно работать над одними и теми же проблемами. И у нас так было: каждая команда выбирала свой стек инструментов и самостоятельно его поддерживала. А если взять общие технологии под контроль и развивать их централизованно, то продукты смогут сосредоточиться на продуктовых задачах.

Я считаю, что расти можно даже в условиях неопределённости. Во многом благодаря этому у нас появился техрадар — инструмент для мониторинга и управления технологиями. Мы считаем его показателем здоровья продуктов. Он помогает понять, где появляются проблемы, что устаревает и нужно ли обратить внимание на безопасность и подумать о переменах. 👩‍⚕️ В карточках делюсь, как сложился мой карьерный путь и почему рост до руководителя просто один из способов делать больше интересного. 🔶 Подробнее читайте в блоге о работе в Яндексе. А познакомиться с нашим техрадаром поближе можно в демоверсии для внешних пользователей. Подписывайтесь: 💬 @Yandex4Backend 📹 @YandexforBackend

🔥 Делимся первыми спикерами на deep tech night В карточках рассказываем, кто и на какие темы будет выступать на конференции 5 сентября. А чтобы получить доступ к эфиру, задать вопросы экспертам в прямом эфире и первыми посмотреть запись после события, зарегистрируйтесь на сайте. 🔶 Подробности о докладах и форма регистрации Подписывайтесь: 💬 @Yandex4Backend 📹 @YandexforBackend

🛎 Открыли регистрацию на «Я про бэкенд» 3 октября в Москве и онлайн будем обсуждать хард-корный бэкенд и масштабные челленджи на серверной стороне AI. На реальных кейсах разберём новые нетривиальные вызовы и как с ними справляться, понетворкаем и вообще классно проведём время. Приготовили доклады в шести направлениях: 🟢 Архитектура систем с AI/ML 🟢 Хранение и стриминг данных 🟢 Работа на стыке бэкенда с железом 🟢 Алгоритмы и подходы к решению практических задач 🟢 MLOps: деплой, эксплуатация, наблюдаемость и так далее 🟢 Другие интересные челленджи на бэкенде А ещё, как и в прошлом году, инженер Яндекса онлайн попробует решить задачу, которую вы предложите. Об этом расскажем чуть позже. 🔶 Регистрируйтесь по ссылке, чтобы ничего не пропустить в меняющемся бэкенде. Подписывайтесь: 💬 @Yandex4Backend 📹 @YandexforBackend