Yandex for ML

🔗 Многорукий бандит vs локальный оптимум Всем привет, меня зовут Рамиль Боярченков, я ML-разработчик в команде Яндекс Лавки. Чтобы выводить в каталог наиболее релевантные товары, рекомендательные системы обучаются на исторических данных. Они смотрят на то, какие продукты пользователь покупал в прошлом, чтобы предсказать, что он положит в корзину в будущем. Такая схема кажется оптимальной, но это ловушка. Её опасность кроется в цикле обратной связи: система формирует данные, на которых потом обучается следующая версия модели. Получается такой вот уроборос:

Модель → Выдача → Взаимодействие → Лог → Переобучение → Модель

В итоге каждая следующая версия ещё сильнее закрепляет старые паттерны, замыкается в себе и проседает по метрике discovery — способности системы выводить пользователя за пределы известного. Это проблема, ведь со временем его потребности меняются. В какой-то момент пользователю может понадобиться нечто принципиально новое — например, незнакомый бренд или категория товаров. Но как поднять discovery так, чтобы сохранить баланс между релевантным и новым? 🅿️ На помощь пришёл многорукий бандит Multi-Armed Bandits — это алгоритмы онлайн-обучения, которые решают эту дилемму в условиях неопределённости. Система выбирает одно из нескольких действий («рук») и максимизирует суммарную награду. При этом вероятность успеха заранее неизвестна и оценивается по мере накопления данных. В нашем случае «рукой» стал набор холодных айтемов — новых товаров без накопленного сигнала. «Бандит» с некоторой индивидуально рассчитанной вероятностью подмешивает в персональную выдачу пользователя что-нибудь новенькое. При этом он берёт в расчёт историю удачных взаимодействий с незнакомыми объектами. Таким образом, пользователи, которые чаще заказывают новые для себя товары, получают более высокую вероятность получить холодные айтемы в выдаче. Финальный А/B-тест показал значимый прирост метрик по сравнению со старой baseline-моделью: discovery вырос на 0,65%, а GMV (суммарный оборот) — на 0,6%. К тому же выросло разнообразие рекомендаций. 🔳 В полной статье на Хабре я рассказываю: ⚪️ Как мы проводили эксперименты и внедряли бандита в обучение ⚪️ Какие вообще существуют методы discovery ⚪️ Как повторить наш опыт Подписывайтесь: 💬 @Yandex4ML 📹 @YandexML

🐁 Компьютерное зрение против рутины: ускоряем анализ поведения лабораторных мышей ДНК мыши и человека совпадают на 97,5% — у нас около 30 000 общих генов. По этой причине большая часть биомедицинских исследований в мире проводится на лабораторных грызунах. Мыши помогают находить лекарства от рака, исследовать болезнь Альцгеймера и проводить самые разные эксперименты. 🦠 Одно из таких исследований сейчас ведут учёные Института цитологии и генетики СО РАН в новосибирском Академгородке. Их цель — понять связь между хроническим стрессом, иммунитетом и патологической агрессией путём наблюдения за мышами. Но есть проблема: чтобы оценить результаты экспериментов, нужно отсмотреть сотни часов видеозаписей поведения животных. Ручная обработка таких данных — долгий и кропотливый труд. На разметку 10 минут видео у научного сотрудника уходит около часа напряжённой работы: нужно сидеть с секундомером, ставить видео на паузу и фиксировать каждое действие мыши в таблицу. 🔛 Команды Центра технологий для общества Yandex Cloud и Yandex Crowd Solutions решили помочь исследователям с автоматизацией этого процесса. Для этого подключили ML и компьютерное зрение: создали эталонный датасет видеозаписей с мышами, использовали DeepLabCut, чтобы распознавать их части тела, классифицировали поведение с помощью XGBoost и оптимизировали пайплайн. В результате удалось сэкономить учёным более 500 часов рутинной работы и освободить это время для настоящей науки. 👷 Читайте в карточках, как ребята справились с этой задачей 🔳 А больше технических подробностей об экспериментах учёных и обучении нашей модели рассказали на Хабре. Подписывайтесь: 💬 @Yandex4ML 📹 @YandexML

🧿 Инженеры и исследователи Яндекса на ICML 2026 в Сеуле С 6 по 11 июля в Южной Корее проходит International Conference on Machine Learning — одна из главных международных конференций, посвящённых новым исследованиям в индустрии ML, AI и Data Science. А вот какие статьи в этом году исследователи и инженеры Яндекса везут на основной трек ICML 2026: ⚪️ On Efficient Scaling of GNNs via IO-Aware Layers Implementations Авторы исследовали, как ускорить обучение и инференс Graph Neural Networks на GPU. Несмотря на популярность таких моделей, их производительность часто ограничивается не вычислениями, а неэффективной работой с памятью на GPU и большим объёмом передачи данных. Исследователи разработали набор GPU-ядер для наиболее популярных семейств графовых нейросетей — от графовых свёрток и агрегирующих операторов до современных архитектур, таких как Graph Transformers и GATv2. ⚪️ GraphPFN: A Prior-Data Fitted Graph Foundation Model Исследователи создали графовую foundation model, которая развивает подход Prior-Data Fitted Networks. Она предварительно обучается на миллионах специально сгенерированных синтетических графов, а затем может эффективно решать задачи на реальных данных как в режиме in-context learning, так и после дообучения. На широком наборе реальных графовых датасетов GraphPFN обходит все остальные протестированные модели. ⚪️ Unveiling the Role of Data Uncertainty in Tabular Deep Learning Авторы исследуют, почему современные методы глубокого обучения показывают высокое качество в задачах на табличных данных. Оказывается, что многие успешные идеи последних лет — эмбеддинги числовых признаков, retrieval-augmented-архитектуры и продвинутое ансамблирование — неявно повышают способность моделей работать с высокой неопределённостью. Статья предлагает новый взгляд на недавний прогресс в DL на табличных данных, помогает понять, какие механизмы могут стоять за успехами современных табличных моделей, и задаёт направление для разработки новых методов. ⚪️ Relevance-Based Embeddings: Lightweight Candidate Retrieval via Heavy-Ranker Calls Авторы предлагают способ строить эмбеддинги запросов и объектов с использованием информации от самой модели ранжирования. Подход учитывает релевантность запроса набору опорных объектов. Это позволяет получать более информативные представления и эффективнее находить кандидатов для дальнейшего ранжирования. ⚪️ One-Step Gradient Delay Is Not a Barrier for Large-Scale Asynchronous Pipeline Parallel LLM Pretraining В статье исследуется асинхронный pipeline parallelism для обучения больших языковых моделей. Такой подход позволяет повысить загрузку GPU, избавясь от простоев видеокарт в пайплайне. Долгое время считалось, что задержка градиентов ухудшает качество обучения. Авторы показывают, что проблема зависит не столько от факта самой задержки, сколько от типа используемого параллелизма, а также оптимизатора. В частности, Muon сохраняет значительную устойчивость в асинхронном режиме, а предложенная техника, основанная на Error-Feedback, дополнительно сокращает разрыв между синхронным и асинхронным обучением, позволяя обучать модели на масштабе 10B MoE без потери качества. ⚪️ Softsign: Smooth Sign in Your Optimizer for Better Parameter Heterogeneity Handling Авторы предлагают новый подход к оптимизации нейронных сетей, основанный на сглаженной версии sign-обновлений. Он позволяет учитывать различия в поведении отдельных параметров модели и адаптировать величину обновлений во время обучения под них. На основе этой идеи разработали оптимизаторы SoftSignum и SoftMuon. Они стабильно превосходят классические sign-based-методы и AdamW на широком наборе задач. 🔳 А больше про статьи, доклады и конференцию читайте в канале ML Underhood. Подписывайтесь: 💬 @Yandex4ML 📹 @YandexML

🔗 Как мы вместе со студентами ШАДа написали статью, которая стала Spotlight на ICML Привет! Меня зовут Дарья Фомина, я разработчик из команды ML-инфраструктуры Яндекса и студент ВШЭ. Сегодня расскажу, как мы вместе со студентами ШАДа написали статью, которая получила статус Spotlight на ICML 2026 — одной из главных мировых конференций по машинному обучению. В этом году Spotlight получили лишь 2,2% всех поданных работ, и наша статья оказалась среди них. 🅿️ Что исследовали В нашей работе мы разбирались, почему графовые нейросети (Graph Neural Networks) часто работают на GPU медленнее, чем могли бы. Проблема в том, что для таких моделей узким местом нередко становятся не сами вычисления, а работа с памятью: данные в графах расположены неравномерно, поэтому видеокарта тратит много времени на их загрузку и перемещение вместо выполнения операций. Мы решили посмотреть, можно ли устранить это ограничение на уровне GPU-ядер. Для этого мы разработали собственные реализации основных операций, которые используются в популярных графовых нейросетях. 🅿️ Что получили В результате нам удалось создать набор GPU-ядер для широкого класса графовых моделей — от классических графовых свёрток до более современных архитектур, таких как Graph Transformers и GATv2. На крупных графах наши реализации показали заметное ускорение обучения и инференса, а также более эффективное использование памяти по сравнению с существующими решениями. Отдельно мы исследовали влияние порядка хранения вершин графа в памяти GPU. Оказалось, что переупорядочивание действительно может давать дополнительный выигрыш в производительности, но его эффективность сильно зависит от структуры конкретного графа и характера доступа к данным. 🔳 Статья уже выложена на Arxiv, а код — на GitHub. А полный материал читайте в статье на Хабр. Подписывайтесь: 💬 @Yandex4ML 📹 @YandexML

🍫 «Стартрек», сгоревшая плата и кола без сахара На этот раз в рубрике «Обучено Яндекс Лавкой» команда ML-разработчиков делится своими любимыми запусками. В карточках ребята рассказали, какие проекты греют им душу, несмотря на все грабли и сложности. 🔽 А какие запуски в вашей карьере больше всего запомнились вам? Пишите в комментариях! Подписывайтесь: 💬 @Yandex4ML 📹 @YandexML

🚙 Оценил, предсказал, перестроился: как мы учим трансформеров водить в городе Привет! На связи Максим Спорышев, в Автономном транспорте я отвечаю за Motion Planning — часть системы, которая решает, как будет двигаться автономный автомобиль в следующие секунды. По сути, это мозг, который воспринимает разные сигналы извне и превращает их в действия. 👷 В карточках выше я рассказал, какие сигналы Motion Planner принимает на вход, как их интерпретирует и как учится вести себя на дороге. ↔️ В прошлом году я выступил с докладом на эту тему на Practical ML Conf — смотрите выступление на ютубе и в VK Видео. А в статье на Хабре читайте, как мы планируем движение автономного транспорта, чем наша работа отличается от привычных задач генеративных моделей, а чем похожа на стандартные текстовые модели. 🔳 Practical ML Conf 2026 всё ближе — пора регистрироваться. Встретимся лично на конференции, чтобы обсудить всё самое важное в машинном обучении. Подписывайтесь: 💬 @Yandex4ML 📹 @YandexML

🧿 Тратим меньше токенов: MCP vs CLI + Skill Привет! Меня зовут Даниил Михайлов, я из команды разработки партнёрских продуктов Городских сервисов Яндекса. При работе с AI-агентом важно не только правильно ставить задачу, но и эффективно расходовать ресурсы. Контекстное окно не резиновое, а токены зачастую тратятся на служебные данные: описания инструментов, параметры вызовов и промежуточные результаты. Чем выше эти накладные расходы, тем меньше ресурса остаётся на полезную работу. Мы решили разобраться, как делать больше, а расходовать меньше Для этого мы сравнили два способа, как подключить AI-агента к внутренним API: ⚪️ MCP (Model Context Protocol) — открытый стандарт: внешние сервисы описывают свои возможности через JSON Schema, а языковая модель или агент могут вызывать любой из этих инструментов по имени. Всё подключается легко и просто, но есть большой минус: размер описаний тулов и формат вывода контролируется сервером ⚪️ CLI + Skill — доступ к внутренним API происходит через набор CLI-команд или shell-обёрток. Их описание хранится в SKILL.md — отдельном markdown-файле со справкой для агента. Такой подход применим в агентных средах, где модели разрешён запуск команд в shell 🅿️ Как мы проводили замеры Для эксперимента мы взяли 14 сценариев — от простого запроса статуса пул-реквеста до сложного планирования реализации фичи по задаче. При этом использовали две модели одного семейства (старшую и младшую) с контекстным окном 200 тысяч токенов. Тестировали пять режимов: три варианта документации CLI + Skill (original, medium, optimized) и два варианта MCP (lazy loading и eager loading). Для каждого случая мы строго разделяли доступные инструменты, чтобы в CLI-сценариях агент не видел MCP-инструменты. Всего выполнили более 400 прогонов: не меньше трёх на каждую комбинацию «сценарий × режим × модель», а результаты усредняли по warm-прогонам, когда часть контекста уже лежит в кеше. 🅿️ Итоги: когда что использовать ⚪️ На простых задачах (статус PR, код-ревью, обработка ошибок) лучше всего показал себя MCP lazy loading. Здесь достаточно одного вызова, схема подгружается один раз, overhead минимальный ⚪️ На типовых рабочих сценариях (поиск по документации, суммаризация Вики и так далее) выигрывает CLI + Skill с medium-документацией. Её компактность и контроль вывода экономят 30–52% ресурсов по сравнению с MCP lazy ⚪️ На сложных многошаговых сценариях (планирование фичи по тикету) CLI + Skill с original-документацией экономит turns на поиск тулов трёх MCP-серверов, и CLI оказывается экономичнее в 5,5 раза. Младшая модель здесь тоже чаще выигрывает с original-версией — подробная документация компенсирует её меньшие возможности ⚪️ На сценариях с тяжёлыми данными (diff большого PR, поиск багов и документации) выгоднее MCP eager loading. Все схемы уже в контексте, агенту не нужно тратить дополнительные шаги на их подгрузку Таким образом, однозначного победителя нет — выбор зависит от типа задачи. Если нужно сэкономить место в контекстном окне, можно использовать CLI + Skill optimized — самую компактную загрузку. Но в части сценариев агенту не хватает информации для выбора правильной команды. Без оптимизации документации CLI + Skill проигрывает MCP: исходная версия SKILL.md была слишком подробной. Когда мы сократили её на 78%, режим стал лучшим в 7 из 14 сценариев на старшей модели. 🔳 А подробности читайте на Хабре: в статье показываем примеры замеров и рассказываем, почему мы начали с CLI и какие подводные камни бенчмарков мы обнаружили. Подписывайтесь: 💬 @Yandex4ML 📹 @YandexML

✨ Поможем подготовиться к собесу и прокачать резюме Мы перезапускаем наш MVP-проект с бесплатными карьерными консультациями для разработчиков от опытных рекрутеров Яндекса. Приходите к нам, а мы поможем с резюме или профилем LinkedIn, расскажем о наших карьерных треках и ответим на все интересующие вопросы о наймовых процессах в IT. Кого зовём: ML-специалистов уровня мидл+. Как всё устроено: ⚪️ Отправляете заявку ⚪️ Выбираете удобную дату и время ⚪️ Узнаёте всё, что хотели, на 45-минутном созвоне 🔳 Узнать подробности и отправить заявку Подписывайтесь: 💬 @Yandex4ML 📹 @YandexML

🔗 Автономный грузовик приехал из Москвы в Петербург без вмешательства человека, беспроводные наушники откликаются на «Алиса», а подход из шахмат помогает проводить разметку фото. Об этом и не только — в новом ML-дайджесте 🚕 Куда сходить ⚪️ Открыли регистрацию на Practical ML Conf 2026 в Москве и онлайн. Вас ждут доклады независимых экспертов о машинном обучении в реальных продуктах, дискуссии о будущем индустрии, мастер-классы инженеров и знакомство с ML-решениями в сервисах Яндекса 🌎 Что случилось ⚪️ Запустили Vibecraft — платформу для генерации сайтов по текстовому описанию. Во время закрытого тестирования пользователи создавали прикладные сервисы, мини-игры, интернет-магазины, инструменты аналитики, CRM-системы и многое другое. А сейчас попробовать платформу может любой желающий — присоединяйтесь! ⚪️ Автономный грузовик проехал 700 километров без вмешательства человека. Поездка прошла полностью в автономном режиме под управлением системы на базе AI: нейросеть анализировала скорость, траекторию и поведение машин 📖 Что почитать ⚪️ Как ML решает, кому давать фору в рекламном аукционе Лавки. Модель в реальном времени оценивает вероятность покупки для каждой пары «пользователь — товар». А также учитывает контекст: поисковый запрос, историю покупок и время суток ⚪️ Главные тренды ICLR 2026 в Рио-де-Жанейро. Агентная память эволюционирует, динамические платформы идут на смену жёстким тестам, Diffusion LLM выходит в прод, а экономить — всё ещё круто ⚪️ «Не расти не получится»: интервью с Петей Ермаковым, ML Brand Director в Яндексе. Почему каждое решение должно быть осознанным, на сколько процентов изучен Яндекс и какое ключевое качество ML-инженера ⚪️ Беспроводные наушники, которые откликаются на «Алиса». Рассказываем, как мы адаптировали споттер под железо Яндекс Дропс, оптимизировали энергопотребление, выбирали чип и оценивали качество модели ⚪️ Что общего у шахмат и Яндекс Диска? Объясняем, как мы разработали разметку фотографий в Диске для ленты хайлайтов и создали рейтинг эстетики. Всё это — на основе подхода из мира шахмат 📺 Что посмотреть ⚪️ Выступления спикеров с Я.Железо. Как мы научили грузовик держаться траектории, что лежит под капотом роботов-доставщиков и какие практики можно использовать, чтобы оптимизировать работу нейросетей. Смотрите на ютубе или в VK Видео ⚪️ Записи докладов с infra.conf'26. Программу разделили на три трека — ML, Platform и Infra. В докладах спикеры рассказали, как хранить данные, разрабатывать платформы, строить observability у агентов и многое другое Подписывайтесь: 💬 @Yandex4ML 📹 @YandexML

🔗 Dev Cluster — инструмент для шеринга GPU между ML-инженерами Яндекса За последние 10 лет в мире случился взрывной рост в сфере машинного обучения. Если в 2012 году для обучения мощной модели требовалось несколько GPU, то сейчас нужны тысячи. Чтобы эффективно распределять GPU для нужд команд разработки, мы должны управлять огромным слоем софта. Ведь просто раздавать вычислительные ресурсы всем желающим — нерационально. 👷 Меня зовут Аркадий Альшан, я руководитель команды инфраструктуры обучения Alice AI. В карточках я рассказал, как появился инструмент Dev Cluster и как он помогает быстро обучать модели. С его помощью мы решаем проблемы, которые я описал выше. Это решение создала команда ML Platform из Yandex Infrastructure, в которой я раньше работал. 🔳 В полной статье я рассказал, как инструмент устроен под капотом, как с помощью Dev Cluster мы запускаем эксперименты на CPU и GPU и как выглядит пошаговый план работы с точки зрения ML-инженера. Подписывайтесь: 💬 @Yandex4ML 📹 @YandexML

🧑‍🏫 «Не расти не получится» Что отличает инженерную культуру Яндекса? Почему каждое решение должно быть осознанным? 👷 Обо всём этом рассказывает Пётр Ермаков, ML Brand Director в Яндексе. В карточках собрали его мысли про индустрию, хобби и работу Подписывайтесь: 💬 @Yandex4ML 📹 @YandexML

♟️ Что общего у шахмат и Яндекс Диска Когда вы загружаете фотографии на Яндекс Диск, ML-модели анализируют снимки, группируют их в альбомы и выбирают самые красивые изображения для фотоленты. Но по каким принципам они это делают? Эстетика — вещь всё-таки субъективная. Всем привет, я Всеволод Мещеряков из службы разметки Yandex Crowd Solutions. Наша команда готовит данные для обучения моделей: собирает и размечает фото, видео, тексты. Сегодня я расскажу, как мы создавали разметку фотографий в Диске и как в этом нам помог подход из мира шахмат. 👷 Читайте в карточках 🔳 А в статье на Хабре я делюсь подробностями и рассказываю, как сотрудники Яндекса помогли нам собрать обучающий датасет и как мы получили эмбеддинги из фото. Подписывайтесь: 💬 @Yandex4ML 📹 @YandexML

🔗 ML, математика и инсайты: главные тренды ICLR 2026 в Рио-де-Жанейро В конце апреля в Рио-де-Жанейро прошла одна из главных конференций по искусственному интеллекту и машинному обучению — International Conference on Learning Representation. Отбор был очень жёстким: из более чем 19 тысяч заявок приняли только 5 тысяч. Команда Яндекса представила на конференции свои результаты. Среди них — шесть статей в основной программе: ⚪️ Bridging the Gap Between Promise and Performance for Microscaling FP4 Quantization ⚪️ Scale-wise Distillation of Diffusion Models ⚪️ Rethinking Global Text Conditioning in Diffusion Transformers ⚪️ Nesterov Finds GRAAL: Optimal and Adaptive Gradient Method for Convex Optimization ⚪️ SGD with Adaptive Preconditioning: Unified Analysis and Momentum Acceleration ⚪️ Sign-SGD is the Golden Gate between Multi-Node to Single-Node Learning: Significant Boost via Parameter-Free Optimization Кроме того, была презентована одна работа на воркшопе ICBINB (I Can’t Believe It’s Not Better) — известной площадке для разбора подходов, которые по всем законам логики должны были «взлететь», но столкнулись с неочевидными фундаментальными ограничениями. 👷 TL;DR собрали в карточках, а полный разбор читайте на Хабре. Следующая крупная международная конференция по машинному обучению, ICML 2026, пройдёт в Корее. Если хотите первыми узнавать новости конференции, следить за интересными докладами и главными анонсами, подписывайтесь на канал наших коллег ML Underhood. Подписывайтесь: 💬 @Yandex4ML 📹 @YandexML

🧠 Как в Спамообороне Яндекс Почты обучали детектор логотипов На связи Никита Подледнев, ML-инженер в Спамообороне Яндекс Почты. Однажды мы столкнулись с проблемой картиночного спама: в нём рекламировались назойливые онлайн-казино и использовались логотипы известных брендов, чтобы вводить пользователей в заблуждение. ↔️ Существующие методы не всегда справлялись с такими атаками, поэтому мы решили разработать новый подход. Сегодня я расскажу, как мы научились бороться с картиночным спамом с помощью детектора логотипов. 👷 Читайте в карточках Подписывайтесь: 💬 @Yandex4ML 📹 @YandexML

↔️ Как ML решает, кому давать фору в рекламном аукционе Лавки Привет, меня зовут Евгений Комаров, я руковожу ML-командой рекламы в Яндекс Лавке. Сегодня я расскажу об одной нетривиальной задаче, которая на первый взгляд выглядит просто, и поделюсь тем, как мы решили её с помощью ML. 🅿️ Рекламный аукцион — это не просто ставка Когда вы ищете что-то в Лавке, в результатах могут быть рекламные позиции. Заказчик платит за то, чтобы его товар оказался выше в выдаче. Но в современных аукционах побеждает не тот, кто заплатил больше всех, а тот, у кого больше итоговый скор: комбинация ставки и релевантности. И это выгодно всем: пользователь видит подходящие товары, а не просто те, за которые заплатил рекламодатель. 🅿️ Автостратегия «максимум продаж» Раньше у рекламодателей в Лавке была одна стратегия — «Максимум показов». Но на самом деле продажи важнее простого присутствия в выдаче. Мы хотели дать рекламодателям инструмент, который оптимизирует именно покупки их товара и при этом снизит долю рекламных расходов от выручки (ДРР). 🅿️ Идея: bid corrector Для этого мы обучили модель, которая в реальном времени оценивает вероятность покупки для каждой пары «пользователь — товар». Она учитывает контекст: поисковый запрос, историю покупок и просмотров и время суток. Модель выдаёт коэффициент k_bidcorr: ⚪️ k_bidcorr > 1 — это буст, модель уверена в покупке. Товар получает прибавку к аукционной ставке и поднимается выше ⚪️ k_bidcorr < 1 — дискриминация, вероятность покупки низкая. Здесь ставка уменьшается. Товар не вырвется выше своей органической позиции, а рекламодатель не потратит деньги впустую 🅿️ Почему это сложно Задача выглядит как простая бинарная классификация, но в ней много нюансов. Данные приходят с нескольких поверхностей: поиск, каталог, лента, — и у каждой своя статистика показов, кликов и покупок. Нужно обучать одну модель, которая работает везде, и при этом не переобучиться на шумную рекламную выборку. Ещё интереснее с нормировкой: нам важно, чтобы k_bidcorr в среднем по аукциону оставался около 1, иначе мы просто поднимаем все ставки разом, что не несёт смысла. Это требует нетривиальной обработки на этапе обучения. Наконец, любая ошибка модели мгновенно монетизируется. Неправильно выданный буст — это деньги рекламодателя, которые он потратит, но не получит результата. Поэтому точность здесь важнее, чем в обычном ранжировании. 🅿️ Результаты Эксперимент показал, что новая автостратегия «Максимум продаж» снизила ДРР примерно на 25% и подняла атрибуцированные рекламой продажи примерно на 10% при том же рекламном бюджете. Рекламодатель платит меньше за каждый рубль выручки, а покупатель видит более релевантную рекламу. Мы продолжаем работать в этой сфере и дальше: улучшаем качество модели, добавляем новые фичи и расширяем покрытие поверхностей. Подписывайтесь: 💬 @Yandex4ML 📹 @YandexML

🔎 Как уместить Алису в наушнике Привет, это Григорий Афанасенко из команды голосовых технологий. Ниже я расскажу про новый гаджет Яндекс Дропс — первое носимое AI-устройство с Алисой. Сегодня сконцентрируемся на одной из задач, которые возникли у нас в работе, — споттере. Это система голосовой активации. Когда вы обращаетесь к устройству, оно должно распознать вас среди окружающего шума и сразу быть готовым выполнять указания. На колонке это легко: несколько микрофонов, стабильное питание от розетки, хороший процессор. В наушниках всё не так, ведь железо слабое, как и аккумулятор. ⚪️ Мы сделали самое простое. Сначала разделили пайплайн на два этапа: Voice Activity Detector (лёгкая модель) отделяет голос от фонового шума, а споттер включается, только когда VAD услышал голос. К тому же голосовой активацией единовременно занимается только один наушник, второй в это время уходит в режим пониженного энергопотребления. ⚪️ Дальше пошли ML-задачи. Модели из пайплайна умных колонок точные, но тяжёлые — порядка 1,7 Мб. В наушники они в исходном виде никак не влезут. Мы использовали depthwise separable convolution и квантование в 8 бит. К тому же взяли большую модель-учителя из пайплайна колонок и обучили лёгкую версию на её предсказаниях. В итоге модель уместилась примерно в 200 Кб. 🔳 Читайте статью на Хабре, в которой я подробнее раскрыл эти и другие этапы работы. Например, как мы преодолевали особенности SDK, собирали данные для обучения и измеряли качество модели в результате. Подписывайтесь: 💬 @Yandex4ML 📹 @YandexML

🛎 Открыли регистрацию на Practical ML Conf 2026 Вы ждали и мы сделали — пора регистрироваться на главную конференцию по ML. На Practical ML Conf 2026 традиционно будем говорить о том, как машинное обучение влияет на бизнес и продукт и как разные практики можно применить в своей работе. 📆Встретимся 19 сентября в Москве и онлайн. Что в программе: ⚪️ Доклады независимых экспертов и разработчиков разных компаний ⚪️ Keynotes, о которых расскажем позже ⚪️ Мастер-классы крутых инженеров ⚪️ Знакомство с сервисами Яндекса, активности и подарки от них ⚪️ Дискуссии о трендах и будущем ML В этом году у нас случился абсолютный рекорд по количеству заявок от докладчиков, и прямо сейчас среди них мы выбираем лучшие. Точно можем сказать, что программа будет очень сильной! 🔳 Регистрируйтесь по ссылке — количество офлайн-мест ограничено, так что не откладывайте с этим. 🔗 Следите за новостями Practical ML Conf в канале конференции. Подписывайтесь: 💬 @Yandex4ML 📹 @YandexML

🔗 Мы съездили на ICLR 2026, перепридумали споттер для Яндекс Дропс, написали софт для шеринга GPU и научили модели понимать, кто кому брат и сват. Всё это и многое другое — в новом ML-дайджесте 🚙 Куда сходить ⚪️ 23 июня — вебинар о том, как построить память и поиск AI-агента с помощью одной СУБД с бесплатным тарифом. Инженеры Яндекса покажут, как пользоваться Serverless YDB. На рабочем примере разберут, где в агенте живёт долговременная память, как устроен поиск по смыслу и RAG и почему при этом используется одна база вместо набора отдельных сервисов 🌎 Что случилось ⚪️ Отчёт «АI-технологии в кибербезопасности Яндекса». Рассказали о новинках, которые внедрили в 2025 году. Внутри читателей ждёт несколько разделов: защита инфраструктуры, наших нейросетей, пользователей и бизнеса. ⚪️ Как поговорить с экспертами из Городских сервисов Яндекса? Для этого мы сделали бота «Сеньёрный разговор». Он помогает организовать встречу 1:1, чтобы познакомиться, обменяться опытом и обсудить рабочие кейсы ⚪️ Яндекс на ICLR 2026 в Рио-де-Жанейро. Наши коллеги представили шесть статей в Main Track и одну работу на воркшоп I Can’t Believe It’s Not Better. Переходите по ссылке, чтобы прочитать отчёт об ML-трендах, инсайтах и других впечатлениях 📖 Что почитать ⚪️ Мы перепридумали споттер для Яндекс Дропс. Голосовая активация Алисы без проблем работает на мощном железе, подключённом к сети. Но чтобы научить этому наушники, пришлось пойти на ряд уловок. Рассказали о них в статье ⚪️ Шерим GPU между специалистами с помощью Dev Cluster. Чем больше развивается ML, тем дефицитнее становятся мощности железа. Но чтобы делиться CPU и GPU, нужно написать сложный софт. Покажем, как мы это сделали ⚪️ Как машинное обучение сделало Поиск по архивам лучше. Это сервис, в котором вы можете найти информацию о своих предках. Рассказываем, как модели научились читать сложные почерки, понимать связи между людьми и облегчили поиск для пользователей ⚪️ Что общего между пакетом молока, айфоном, дрелью и лабубу. Рассказали разработчики из Лавки, когда объясняли, как LLM Cache помогает подружить BERT и DSSM 📺 Что посмотреть ⚪️ Записи с конференции Data Fest. Мы пригласили гостей в свои офисы и собрали все выступления на наших площадках в удобные плейлисты: трек Practical ML, сборный трек от сообщества ODS в Москве и сборный трек от сообщества ODS в Сербии ⚪️ Онлайн-экскурсия по нашему инженерному центру и производству. Именно здесь мы создавали электросёдла, симовозы, зарядные шкафы и гиперкубы. А в процессе расскажем, чем занимается и как появилось RnD-направление в Яндексе. Смотрите на ютубе или в VK Видео Подписывайтесь: 💬 @Yandex4ML 📹 @YandexML

❣️ Data Fest в гостях у Яндекса: как это было Больше 10 лет мы дружим с сообществом Open Data Science и каждый год открываем двери наших офисов для вас на конференции Data Fest. В этом году мы успели послушать доклады, поиграть в игры, пообщаться и понетворкать. Как всё прошло: ⚪️ Более 500 человек пришли к нам в гости в Москве и Белграде ⚪️ 24 доклада представили спикеры в секциях Practical ML, LLM, CV, Analytical DS, ML & Education ⚪️ Мы расширили географию гостей и спикеров: в этот раз послушать доклады приезжали инженеры из Черногории, Великобритании, Испании, Германии, а спикеры прилетели даже из Австрии и Грузии ⚪️ Более 70 человек сыграли в Bingo на Data-завтраке ⚪️ Более 120 человек поучаствовали в игре «Слабое звено: ML Edition» 📸 Ищите себя и друзей на фото. 📺 Мы собрали все доклады в трёх плейлистах: • Трек Practical ML в «Экстрополисе». • Сборный трек от сообщества ODS в «Мулен Руж». • Сборный трек от сообщества ODS в зале Serbia. Подписывайтесь: 💬 @Yandex4ML 📹 @YandexML

🧑‍🏫 Что общего между пакетом молока, айфоном, дрелью и лабубу Меня зовут Алексей Щекалёв, я ML-разработчик. Сегодня в рубрике «Обучено Яндекс Лавкой» поговорим про LLM Cache в нашем поиске: как подход помог нам справиться с новой моделью продаж и выбраться из ловушки «качество vs скорость». За несколько лет поисковый алгоритм в Лавке прошёл путь от BM25 и Ахо — Корасик до семантического поиска и трёхстадийного персонального ранжирования. Система работала без перебоев, но в 2025 году произошли изменения. Ассортимент расширился: в нём появились чайники, айфоны, лабубу и прочие несъедобные приколы. Ещё появилась возможность заказать что-то с маршрута курьера: по дороге он может зайти в аптеку, цветочный или зоомагазин. Каталог вырос на десятки тысяч позиций, и поисковый движок начал путаться. 🅿️ Нужно, чтобы алгоритм понимал любой текст без переобучения Чтобы определить релевантность товаров, мы составили инструкцию с критериями и отправили задачу в Яндекс Задания. Пользователи разметили несколько сотен тысяч пар «запрос — товар» на четыре класса: от РЕЛ+ (полное попадание) до НЕРЕЛ (абсолютный промах). На размеченном датасете мы обучили BERT-модель. На вход она получает единую последовательность «поисковый запрос + описание товара», а на выходе выдаёт векторный эмбеддинг текста. Поверх него стоит полносвязная нейросеть, которая превращает его в скаляр от 0 до 1. Модель точная, хорошо справляется с обобщением, но неприменима для генерации кандидатов в рантайме: для конкретного запроса ей нужно отсканировать каждый товар. А это занимает время. Провели дистилляцию знаний: передали знания BERT-модели в двухбашенную DSSM. Одна «башня» обрабатывает текст запроса и сжимает его в эмбеддинг, вторая — проводит это с описанием товара. Релевантность определяется через скалярное произведение двух получившихся векторов. Проблема с рантаймом решена — эмбеддинги товаров можно посчитать в офлайне. Но не тут-то было. DSSM тяжело обобщает за пределами обучающей выборки, требует постоянного дообучения и плохо работает на новом ассортименте. 🅿️ Тогда мы посмотрели на сухую статистику И увидели концентрацию спроса: 200 запросов генерируют 50% всех добавлений в корзину. Половина ценности поиска — «молоко», «хлеб», «яйца», «сыр», «вода» и ещё пара сотен подобных слов. 2000 запросов покрывают уже 80%. ≈10⁵ — 97%. Оставшиеся 3% — это уникальные и редкие запросы. Выходит, универсальный поиск не нужен. Можно заранее прогнать BERT по основным запросам в офлайне и сохранить результаты. А для редких случаев остаётся фолбэк на существующий рантайм-пайплайн на DSSM. 🅿️ Так родился LLM Cache Мы взяли исторические логи за последний год и выделили топ запросов, которые кумулятивно дают 98% добавлений в корзину. Пересчёт запускается ежедневно — свежие запросы и новые товары быстро попадают в кеш. В топе запросов мы строим пары с каждым товаром из ассортимента: Pairs = Queries_top × Items_all. При 10⁵ запросов и 10⁵ товаров получается 10¹⁰ пар, образуются миллиарды комбинаций. LLM выдаёт для каждой скор релевантности — число от 0 до 1 на основе нашей разметки. Всё неактуальное мы отбрасываем: берём скор, соответствующий классу «РЕЛ», и немного опускаем его вниз, чтобы компенсировать разброс модели. В итоге в кеш попадают все пары со скором выше этого порога. Рантайм работает по простой схеме: если запрос попал в кеш, остаётся только персонализировать выдачу. Список товаров со скорами попадает в персональное ранжирование и сортируется с учётом конкретного пользователя. Если в кеше ничего не нашлось, включается фолбэк: классический трёхэтапный рантайм-пайплайн DSSM и BM25 с генерацией кандидатов, фильтрацией и ранжированием. 🔳 А продолжение читайте на Хабре: в статье я делюсь техническими подробностями и рассказываю, какие результаты на практике принесло решение и при каких условиях подход LLM Cache можно переиспользовать в своём сервисе. Подписывайтесь: 💬 @Yandex4ML 📹 @YandexML