DeepSchool

Многошаговый поиск в RAG: как устроен агент-ретривер Классический RAG рассчитан на то, что ответ можно найти, правильно сформулировав один или несколько запросов к базе знаний за раз и получив нужные данные. Но есть целый ряд вопросов, при попытке ответить на которые LLM понимает, что ей действительно нужно для ответа только после просмотра базы знаний. Для поиска ответов здесь применяют многошаговый поиск. Самая распространённая реализация — ReAct-цикл, где модель сама выбирает действия, а инструментом выступает поиск. Есть и другие варианты: жёсткие схемы с проверками в Self-RAG, CRAG и Adaptive-RAG, явная декомпозиция вопроса в IRCoT, обход графа знаний в Think-on-Graph. Это скорее фиксированные потоки с точками выбора, чем агенты. Разберём агентный вариант на примере открытого агента-ретривера T-Search. Он использует следующий набор инструментов: поиск, сохранение во внешнюю память и формирование итоговой выдачи из памяти (финализация). Ограничения на них задаёт харнесс — код вокруг LLM. ⚫️Шаг 1. Модель получает вопрос пользователя. Она рассуждает, чего не хватает для ответа, и вызывает поиск. Результаты сохраняются в контексте LLM, модель читает их и вызывает поиск снова с уточнённым запросом. Так повторяется несколько раз. ⚫️Шаг 2. Харнесс контролирует поиск. Запрос, повторяющий предыдущий, отклоняется — модель получает ошибку и вынуждена переформулировать. Чанки, уже показанные в текущем раунде, из выдачи вырезаются; несохранённые чанки из прошлых раундов могут прийти снова — возможно, модель отбросила их зря. Когда контекст заполнен на 75%, поиск блокируется, для LLM остаются доступными только сохранение и финализация. ⚫️Шаг 3. Если данных для ответа недостаточно, модель вызывает сохранение. Она сама решает, какие из найденных чанков нужны и почему, на какие части вопроса они уже отвечают, а какие остаются открытыми, и что стоит делать дальше. Харнесс при этом проверяет, что раунд был содержательным: выполнено минимум пять запросов, и хотя бы один чанк выбран для сохранения, иначе вызов отклоняется. ⚫️Шаг 4. Харнесс начинает новый раунд с чистым окном. В него попадают вопрос, сохранённые чанки с пояснениями и заметки модели о закрытых и открытых частях. Модель возвращается на шаг 1, но уже знает, что найдено и чего не хватает. Таких раундов ей разрешено сделать не больше пяти, после этого идёт принудительная финализация. ⚫️Шаг 5. Когда модель считает задачу решённой, она вызывает финализацию с ранжированным списком чанков и тем же отчётом о закрытых и открытых частях. Харнесс не читает чанки и не оценивает ответ, он смотрит только на пропорцию: если открытых частей половина или больше и раунд не последний, финализация отклоняется, модель ищет дальше. В результате работы агента получаем ранжированный набор чанков. Генерация ответа по нему — отдельный шаг, устроенный так же, как и в обычном RAG-пайплайне. 💡Такой харнесс заработает и вокруг обычной tool-calling модели, но T-Search обучали под эту среду на синтетических задачах через SFT и RL, и без дообучения модель, скорее всего, будет справляться хуже. Автор: Александр Абугалиев

Присоединяйтесь к курсу LLM System Design, который стартует уже 30 сентября! Изучайте программу и записывайтесь на новый поток на сайте. До 20 сентября действует скидка 20%.

Научитесь строить LLM-системы 30 сентября стартует новый поток LLM System Design! На курсе вы разберёте 4 востребованные задачи от их постановки до настройки мониторинга: • чат-бот c RAG по базе знаний компании • клиентский саппорт: «классический» и мультиагентный • локальный сервис речевой аналитики • мультиагентный ИИ-разработчик Программа состоит из 11 онлайн-лекций и семинаров, а спикеры — опытные senior-инженеры, тех- и тимлиды сильных продуктовых команд. Они проверят ваши домашние задания и дадут развёрнутый фидбек! 🔔 До 20 сентября действует скидка 20%. Изучайте программу и записывайтесь на новый поток на сайте.

Flow Matching: обучение и дистилляция Flow Matching — один из главных подходов генерации изображений сегодня. Его используют такие семейства, как Stable Diffusion 3.5 и FLUX.2. Но у такой генерации есть и проблема: чтобы получить одну картинку, модель нужно запустить десятки или сотни раз! Сегодня разбираем внутрянку метода и быстрый способ дистиллировать модель в одношаговый генератор 🏎 В новой статье рассказываем: - что такое Flow Matching и при чём тут поля 🌾 - почему генерация требует большого числа шагов и почему это проблема - как дистиллировать уже обученную модель в одношаговый генератор и как с этим связаны игры 🎲 P.S. Много интуиции, математики и практических деталей обучения 🧠 Читайте статью по ссылке! 👈🏼

⚫️Как выжать максимум из модели детекции на видео: 7 идей, которые вы еще не пробовали. Взять датасет побольше и дообучить модель? Да, но в этой статье расскажем об альтернативных вариантах улучшения модели. Трекинг объектов — это набор алгоритмов, которые связывают одни и те же объекты на соседних кадрах видео. Трекинг работает в тесной связке с детектором, поэтому качество первого напрямую зависит от точности второго. Ошибки детектора усложняют работу трекинга, но хороший трекер может справиться даже с неидеальными детекциями. Шаг 0. Анализ ошибок модели детекции. Между кадрами моргает детектор? Много кратковременных ложных предсказаний? Вам однозначно нужен алгоритм фильтрации, каким может выступить трекинг. Для быстрого старта подойдет библиотека BoxMOT. В ней реализованы алгоритмы, помогающие стабилизировать слабые детекции. Итак, связали детектор и трекер. Но все равно не работает. Шаг 1. Локализация проблемных мест. Отрисуйте предсказания. Объекта нет среди детекций → проблема, скорее всего, в детекторе. Детекция есть, но трек обрывается → смотрим, как трекер работает со временной потерей объекта. Объект остаётся в кадре, но получает другой ID → проблема в ассоциации. Ошибки появляются при окклюзии → проверяем, насколько хорошо трекер использует информацию о движении и внешнем виде объекта. Этот шаг помогает понять, что именно следует исправить в общем пайплайне. Шаг 2. Проверка confidence детектора. При окклюзии уверенность детектора может упасть, например, с 0.9 до 0.3. Если использовать порог уверенности детекции 0.5, такая детекция исчезнет ещё до трекера. Объект пропадёт, вместе с ним может оборваться и трек. ВoostTrack предлагает простой приём: сначала сопоставлять уверенные детекции, затем использовать менее уверенные боксы для восстановления существующих треков. Поэтому при частых пропусках объектов нужно проверить, что происходит с детекциями с низким confidence, и настроить порог. При низком пороге могут появиться «ложняки». Да, но они кратковременные. Шаг 3. Настройка инициализации треков. Можно отрисовывать трек не сразу, а при нескольких подряд идущих детекциях. Этот параметр обычно называется min_hits, измеряется в кадрах. Обычно 3 кадров в видео 30 FPS хватает. Но учитывайте скорость объектов, вращение камеры, FPS видео для своей задачи. Также подредактируйте код, чтобы не отрисовывать те треки, которые пока не прошли эту проверку. Шаг 4. Борьба с окклюзией. Объект может исчезнуть на несколько кадров из-за окклюзии, а потом снова появиться. Если за это время трекер уже удалил старый трек, старый объект получит новый ID. Здесь помогает настройка track_buffer: некоторое время трекер продолжает хранить информацию о потерянном объекте и пытается связать его с новой детекцией. Если окклюзии в видео длинные, этот параметр стоит проверить в первую очередь. Но увеличивать его бесконечно нельзя: слишком большой буфер повышает риск вернуть старый ID новому объекту. Шаг 5. Компенсация движения камеры Если камера поворачивается или перемещается, координаты всех объектов меняются одновременно при условии, что нет дисторсии. Для трекера это может выглядеть как движение самих объектов. Компенсация движения камеры (Camera Motion Compensation) позволяет оценить, как сдвинулось изображение целиком, и учитывать это при трекинге объектов. Особенно полезно для спортивных трансляций, PTZ-камер и видео с дронов. Из готовых решений можно взять идею из BoT-SORT: компенсировать движение камеры перед ассоциацией, а затем использовать модель движения и ReID. Шаг 6. Выбор алгоритма трекинга. Алгоритмы отличаются друг от друга применимостью к конкретной задаче. ByteTrack — базовый вариант, особенно если проблема связана с потерей слабых детекций. BoT-SORT можно попробовать при движении камеры и частых пересечениях объектов. OC-SORT полезен для сцен с резкими изменениями направления движения. Поэтому здесь нужен эксперимент — прогнать один и тот же детектор через несколько трекеров и сравнить не только общий score, но и конкретные ошибки (fragmentation и ID switch). Не бойтесь экспериментировать и сочетать сильные стороны каждого алгоритма в своём пайплайне 💪🏻 Шаг 7. Что такое уверенность детектора? Представим bbox с confidence 0.3. Сам по себе это слабый сигнал. Но если детекция появилась именно там, где мы ожидаем увидеть существующий трек, и совпадает с ним по положению, размеру и движению, её уже будет нелогично выбрасывать. В BoostTrack используется похожая идея: оценка детекции корректируется с учётом её соответствия существующему треку. То есть к вопросу: «Насколько уверен детектор?» добавляем: «Насколько эта детекция соответствует тому, что мы ожидаем увидеть?» Итого: без дообучения модели пофиксили FP и стабилизировали детекции.

На курсе CV Rocket также разберем, как увеличить TP с помощью трекера и другие адаптации под ваши задачи. Присоединяйтесь до 15 сентября со скидкой 20%!

Авторы: Башаров Илья, Холодов Семен (НКБТех)

Как собирать NLP-системы, которые работают под нагрузкой Обучить модель, построить эмбеддер или воспользоваться API — не значит запустить рабочую систему. RAG галлюцинирует, агент ломается на реальных сценариях, эмбеддинги не работают на специфичном домене. С этими и другими проблемами мы разберёмся на курсе LLM Pro, который стартует 18 августа! На курсе вы научитесь: • проектировать и запускать NLP-системы под реальные продуктовые задачи • адаптировать LLM и эмбеддинги под специфичный домен и «живые» данные • собирать и размечать датасеты — даже если данных изначально почти нет • решать задачи классификации, поиска, кластеризации и NER — с ограничениями продакшн-среды • собирать свою RAG-систему: от ретривера и реранкера до генератора и оценки качества • строить AI-агентов с нуля — на основе сценариев, функций и взаимодействия с внешней средой Приходите, чтобы узнать про best practices от опытных инженеров из продуктовых команд и применять похожие подходы в своих проектах 🤖 До 17 августа вы можете присоединиться к обучению со скидкой 5%! Изучайте программу и отзывы на сайте и записывайтесь на ближайший поток 🎓

Ванильный RAG не работает. Как исправить? RAG — один из самых популярных сценариев для интеграции LLM в продукты. При этом большинство RAG-систем в реальных условиях ломаются уже на старте: галлюцинации, нерелевантные ответы, потерянный контекст. Проблема не в идее, а в деталях. Ванильная схема «ретривер + генератор» — это только скелет. Без правильно настроенного эмбеддера, качественных данных, реранкера и дообученного генератора она не работает. А когда что-то идёт не так, то непонятно, за что взяться. В эту среду Дмитрий Калашников, NLP team lead в Яндексе, проведёт открытую лекцию и разложит систему по частям: где обычно ломается, как диагностировать проблему и что конкретно делать на каждом уровне пайплайна. Мы разберём: • типичные точки отказа: эмбеддер, поиск, реранкер, генератор, данные • как локализовать проблему, прежде чем что-то чинить • какие техники реально улучшают качество на каждом этапе • как собрать из компонентов систему, которая держит нагрузку На лекции также расскажем про курс LLM Pro — для тех, кто хочет научиться строить полноценные NLP-системы с учётом требований к качеству и нагрузке. Участникам лекции подарим скидку в 15% на обучение! 🎁 📅 Лекция пройдёт 12 августа в 19:00 МСК Регистрируйтесь по ссылке и до встречи в среду!

Как сегодня обучают AI-агентов? 🤖 LLM уже умеют писать код, пользоваться браузером и самостоятельно выполнять сложные задачи. Но как их этому обучают? В новой статье разбираем, почему классического RLHF оказалось недостаточно, что такое Agent Reinforcement Learning, зачем нужны Verifiable Rewards и Credit Assignment, и как современные методы позволяют агентам находить эффективные стратегии самостоятельно. Читайте разбор по ссылке! 👈🏼

Соберите полноценные LLM-системы с учётом требований к качеству и нагрузке, разберите сложные кейсы и дизайны NLP-решений у нас на курсе. Новый поток стартует 18 августа, а до 9 августа вы можете присоединиться со скидкой 20%!

🪔 DeepSchool

2 недели до старта LLM Pro Если вы работаете в NLP и хотите научиться решать сложные задачи, то приходите на ближайший поток LLM Pro, который стартует 18 августа! Это продвинутая программа, на которой мы показываем, как собирать полноценные NLP-системы с учётом требований к качеству и нагрузке. Вы разберёте реальные кейсы и научитесь применять похожие подходы в своих проектах. До 9 августа действует скидка 20% ⚡ Изучайте подробности на сайте и оставляйте заявку на этот поток! Если у вас остались вопросы, то пишите в нашу поддержку @deepschool_support

Хорошие практики LLM-as-a-judge LLM-судьи позволяют быстро оценивать тысячи ответов, но один промпт и аккуратный выход в формате JSON ещё не гарантируют надёжную оценку. Судья может пропускать ошибки, менять вердикты из-за формулировки промпта или уверенно оценивать ответ, когда ему не хватает данных. В новой статье разобрали шесть практик, которые помогают сделать LLM-оценку надёжнее: от формулировки критериев и проверки на человеческой разметке до анализа ошибок, смещений и расхождений между судьями. Всё — на реальном кейсе shopping-ассистента. Читайте новую статью по ссылке!

Соберите полноценные LLM-системы с учётом требований к качеству и нагрузке, разберите сложные кейсы и дизайны NLP-решений у нас на курсе. Новый поток стартует 18 августа, а до 9 августа вы можете присоединиться со скидкой 20%!

Автор: Алексей Яндутов

DeepSchool Digest⚡ Собрали для вас материалы за июнь и июль в одном посте ☀️ Как собрать хорошие траектории для обучения LLM-агента — LLM-агенту недостаточно просто отвечать текстом: важно научить его выбирать действия и работать с инструментами. Разобрали, какие данные здесь нужны, и почему одного SFT обычно мало. Late chunking — рассказали, как улучшить векторный поиск в RAG без сложной нарезки чанков. Reinforcement Learning — подготовили пошаговый план изучения и полезные ресурсы. Genie family — подготовили серию постов о современных world-моделях и 3D-генерациях мира. И начали с семейства Genie от Deepmind. FlashAttention-3 и FlashAttention-4 — разобрали, почему FlashAttention-2 отлично работал на Amper'е, но уже не раскрывал потенциал архитектур Hopper и Blackwell, и какие архитектурные изменения вновь ускорили attention. Как свёрточные сети меняли компьютерное зрение — разобрали эволюцию CNN как последовательность инженерных ответов на ограничения предыдущих поколений моделей.

Как свёрточные сети меняли компьютерное зрение Почему AlexNet стала переломным моментом, чем VGG упростила архитектурный дизайн, как ResNet решила проблему глубины и зачем MobileNet, EfficientNet и ConvNeXt по-разному оптимизировали точность, скорость и масштабирование? ✅ В новом видео разбираем эволюцию CNN как последовательность инженерных ответов на ограничения предыдущих поколений моделей. Смотрите видео по ссылке: https://youtu.be/l5kAIVbFQJ4?si=mdJlnY20mageDq36 🪔 DeepSchool

Последние места на LLM System Design 15 июля стартует курс «LLM System Design», и осталось 4 места со скидкой 9%⚡️ В течение обучения вы решите топ-4 задачи на рынке 2026: • чат-бот c RAG по базе знаний компании • клиентский саппорт: «классический» и мультиагентный • локальный сервис речевой аналитики • мультиагентный ИИ-разработчик В программе: — 8 лекций от senior-инженеров, тех- и тимлидов продуктовых команд — 3 семинара с разбором систем — 2 QA-сессии где можно задать любые вопросы спикерам — чат со спикерами на протяжении всего обучения Изучайте подробности о курсе на сайте и записывайтесь! Если ещё остались вопросы, то пишите нам в Поддержку @deepschool_support

FlashAttention-3 и FlashAttention-4 — пример того, как алгоритмы нужно заново адаптировать под каждое поколение GPU 🚀 В новой статье разбираем, почему FlashAttention-2 отлично работал на Amper'е, но уже не раскрывал потенциал архитектур Hopper и Blackwell и какие архитектурные изменения вновь ускорили attention. Вы узнаете: • почему на H100 FA-2 просел по утилизации GPU • как Tensor Memory Accelerator и асинхронные Tensor Cores ускорили FA-3 • зачем нужна warp-специализация • как matmul и softmax удалось выполнять параллельно • что даёт FP8 с контролем ошибок • и почему для Blackwell снова понадобилась перестройка во FlashAttention-4 Читайте разбор по ссылке! 👈🏼

Genie family Сегодня всё больше внимания уделяется «world-моделям». Они способны не только генерировать красивые кадры, но и контролировать физичность, геометрию, создавать интерактивную среду и реальные симуляции. ✅ Мы подготовили серию постов о современных world-моделях и 3D-генерациях мира. И начнём с семейста Genie от Deepmind. Посмотрим, с чего всё начиналось и как за пару лет с простой симуляции в маленьком разрешении 2D-структур эти модели превратились в высококачественные генераторы симуляционных сред. Читайте статью по ссылке! 👈🏼

Разберитесь, как устроены LLM и как с ними работать Как устроены современные LLM, как они обучаются, как с ними работать, как избежать типичных проблем при решении реальных задач — об этом и не только на нашем курсе по большим языковым моделям. Вы разберётесь в теории, научитесь дообучению, элайменту, построению RAG, агентских систем и инференсу LLM. Приходите, чтобы научиться использовать LLM правильно! Обучение ведут опытные инженеры из разных доменов, компаний и стран, которые создавали нагруженные сервисы и популярные библиотеки. Вы будете встречаться раз в неделю на онлайн-лекциях, где сможете сразу задавать вопросы. Плюс QA-сессии, поддержка в чате и проверка домашних заданий с развёрнутым фидбеком. 📅 Начало — 30 июня, продолжительность — 4 месяца. 🔥 А до 29 июня вы можете присоединиться со скидкой 5% Изучайте подробности о программе и спикерах и записывайтесь на новый поток на сайте!

Карта LLM: как выбирать модели, проверять качество и улучшать результаты В этот четверг, 25 июня, мы проведём открытую лекцию, на которой ответим на популярные вопросы по LLM. Чем отличаются модели? Надо ли доучивать модель? Хостить или ходить по API? На что можно рассчитывать при построении агента или RAG-системы? Почему у кого-то работают RAG и агенты, а кто-то в них разочаровался? За полтора часа дадим актуальный срез индустрии вокруг LLM: — актуальные модели и их свойства — бенчмарки — self-host VS API — типы задач — главные «болячки» ванильных решений — и актуальные советы по их лечению В конце расскажем про курс «LLM», где объясняем теорию LLM, учим дообучению, элайменту, построению RAG, агентских-систем и деплою — всё под кураторством опытных инженеров. Всем участникам лекции мы подарим скидки на обучение 🎁 📅 Встречаемся в четверг, 25 июня в 19:00 МСК! Регистрируйтесь по ссылке и приходите на лекцию!

3 тренда на рынке ИТ, которые нельзя игнорировать: 1. Использовать кодинг-агентов для разработки 2. Каждый должен разбираться в дизайне систем (т.к. код во многом на себя берут агенты) 3. Умение создавать агентские системы и поиск (в т.ч. RAG), которые работают в крупных коммерческих проектах Мы совместили эти пункты в новой программе «Дизайн LLM-систем», где вы научитесь решать 4 востребованные задачи от их постановки до настройки мониторинга: • чат-бот c RAG по базе знаний компании • клиентский саппорт: «классический» и мультиагентный • локальный сервис речевой аналитики • мультиагентный ИИ-разработчик Первая лекция — «Кодинг-агенты». На ней вы настроите окружение в Codex или Claude Code, чтобы на протяжении всего курса вести работу в них. Спикеры — опытные senior-инженеры, а также тех- и тимлиды сильных продуктовых команд. ⚡️ Осталось 9 из 10 мест со скидкой 16% по условиям раннего бронирования! Забронировать скидку можно предоплатой на сайте. Предоплату можно вернуть полностью в любой момент. Переходите на сайт программы и бронируйте место со скидкой!

Reinforcement Learning: пошаговый план изучения Reinforcement Learning (RL) лежит в основе многих ключевых достижений современного ИИ: обучение роботов локомоции и манипуляции, пост-обучение языковых моделей (RLHF, GRPO). Сегодня понимание RL — нужный навык для широкого круга ML-инженеров. Чтобы помочь прокачаться в этой области, мы подготовили пошаговый план изучения и полезные ресурсы. Welcome 🙂 ⚫️План изучения 1. Основы теории вероятностей RL опирается на аппарат теории вероятностей и стохастических процессов. Фундамент для понимания: условные вероятности, математическое ожидание и его свойства, основы стохастических процессов. Изучать эти темы лучше по мере необходимости: столкнулись с importance sampling — сразу разбираемся с этой концепцией. Ресурсы: MML (главы по вероятностям и статистике); любой базовый курс теории вероятностей. 2. Классический RL Можно начать с формализма марковских процессов принятия решений (MDP): состояния, действия, функция перехода и вознаграждения, дисконтирование. И затем перейти к табличным методам: dynamic programming, Monte Carlo, temporal-difference learning, Q-learning, SARSA. Рекомендуем решать задачи из книги или курса — это критически важно для понимания. Ресурсы: S&B (Part I) — фундаментальный учебник по RL; Stanford CS234 — академический курс с задачами. 3. Deep Reinforcement Learning Когда пространство состояний становится слишком большим для табличных методов, применяется аппроксимация функций с помощью нейронных сетей. Ключевые темы: Deep Q-Network (DQN), policy gradient методы, actor-critic архитектуры, методы на основе модели (model-based RL). Если нужно подтянуть основы Deep Learning, рекомендуем открытую книгу Understanding Deep Learning. Ресурсы: Deep RL (CMU) — курс от Katerina Fragkiadaki с современными методами deep RL; Deep RL (UC Berkeley) — курс от Sergey Levine с открытыми домашними заданиями. Рекомендуем выполнить все практические задания. 4. Policy Gradient и современные алгоритмы Для практического применения RL необходимо глубокое понимание policy gradient методов. Ключевые алгоритмы: REINFORCE, TRPO, PPO — стандарт в робототехнике и RLHF; GRPO — активно применяется в пост-тренировке LLM. Важно не только знать алгоритмы, но и понимать, почему они работают: какие допущения лежат в их основе и какие практические трюки обеспечивают устойчивое обучение. Ресурсы: S&B (Part II); лекции из курсов CMU и UC Berkeley по policy gradient. 5. Современный RL и применения После основ — обзор современных направлений: RLHF для языковых моделей, применение в робототехнике, мультиагентный RL, offline RL, model-based RL. Ценным будет понимание практических «трюков», которые стоят за успешными алгоритмами. Ресурсы: PML:AT (Kevin P. Murphy) — современные работы в RL и практика к языковым моделям; Substack Cameron Wolf — разборы алгоритмов и их применение к LLM доступным языком. 6. Практика Мы верим, что действительно глубокое понимание невозможно без практического опыта. Рекомендуем два направления в зависимости от области интересов: робототехника: курс LeRobot (Hugging Face) с фокусом на RL-часть; самостоятельное обучение реального или симулированного манипулятора; языковые модели: самостоятельная реализация RLHF (CS336). ✅Полезные ресурсы Reinforcement Learning: An Introduction (S&B) — Sutton & Barto Stanford CS234: Reinforcement Learning Deep RL (CMU) — Katerina Fragkiadaki Deep RL (UC Berkeley) — Sergey Levine Probabilistic Machine Learning: Advanced Topics (PML:AT) — Kevin P. Murphy LeRobot курс (Hugging Face) Stanford CS336: Language Modeling from Scratch, assignment 5 Substack Cameron Wolf Автор: Шамиль Мамедов

Помимо робототехники и LLM, RL используется ещё и для обучения LLM-агентов. Об этом глубже рассказываем на нашем курсе по LLM для ML/DL-инженеров. Также там разбираем fine-tuning, alignment, ускорение и деплой LLM. Новый поток стартует 30 июня, а до 21 июня вы можете присоединиться со скидкой 20%!