DeepSchool

Шесть сканов и робот, которому надо добраться до холодильника Есть кухня и робот, которому очень надо к холодильнику. Кухню отсканировали с шести ракурсов, но для робота это шесть несвязанных облаков точек. Отличать стену от холодильника он тоже не может. Сделали интерактивный урок, где вы поможете роботу доехать. Сделаем пайплайн на 3D-данных: от сырых сканов до сегментации и меша. Разберёмся, чем облако точек отличается от вокселей и мешей, почистим сканы, соберём из них сцену и посмотрим, как с этим работают PointNet++ и 3D U-Net. По дороге будем много препарировать одного очень милого лягушонка: чистить его от выбросов, прореживать, считать нормали и искать на нём похожие места 🥁 В конце робот поедет к холодильнику по карте, которую вы ему собрали. Заходите, без вас он так продолжит бесконечно биться в стену! https://lab.deepschool.ru/c/3d-cv-intro

DeepSchool Digest Собрали для вас материалы за август и сентябрь в одном посте. Если что-то пропустили, самое время наверстать.📚 Хорошие практики LLM-as-a-judge — разобрали шесть практик, которые помогают сделать LLM-оценку надёжнее. Всё — на реальном кейсе shopping-ассистента. Синтетика для зрения — рассказали, что диффузионные сети изменили в поддержке данных. Как VLM распознавать действия на видео без дообучения? — рассказали, что причина провалов VLM на видео не в нехватке знаний, а в потере мелких деталей при сжатии кадра. Как выжать максимум из модели детекции на видео — поделились 7 идеями, которые вы еще не пробовали. Flow Matching: обучение и дистилляция — рассказали, что такое Flow Matching и при чём тут поля 🌾, почему генерация требует большого числа шагов и почему это проблема, а также как дистиллировать уже обученную модель в одношаговый генератор и как с этим связаны игры. Многошаговый поиск в RAG — рассказали, как устроен агент-ретривер. Document Layout Reasoning — разобрали популярную тему в Document AI — Layout Reasoning, а также познакомились с эволюцией Document AI. LLM в продакшене: vLLM, SGLang и AI-разработка | Подкаст «Под Капотом» с Азером Шахвердиевым — обсудили с Азером Шахвердиевым, руководителем NLP-лаборатории Контура, как ML-модели живут в продакшене, а агенты меняют работу разработчика.

Тут ещё остались CV-инженеры? 🔥 Для вас важная новость: мы проводим последний онлайн-поток курса CV Rocket — программы повышения квалификации в Computer Vision! Именно с неё началась история DeepSchool в 2021 году — основатели школы, Тимур и Артём, сами пришли в DL через CV и создали курс как для себя: для людей, которые работают в этой области и хотят прокачать хард-скиллы, быстро перенимая опыт у практиков из индустрии. С тех пор было более 200 студентов и 11 потоков — приглашаем на завершающий двенадцатый! В конце отпразднуем выпуск, а участников ждут специальные подарки! На курсе вы научитесь: - готовить данные: собирать, устранять ошибки в разметке, мониторить качество - отлаживать обучение, находить аномалии и интерпретировать результаты модели - работать с metric learning и векторным поиском - работать с видео: трекинг и action recognition - предобучать без разметки: от pretext-задач до современных SSL-алгоритмов - адаптировать модели детекции, сегментации и OCR под сложные кейсы Обучение длится 4 месяца, включает 13 лекций и 13 заданий с фидбеком от лекторов. Раз в 4–5 недель мы собираемся на Q&A-сессии, чтобы отдельно разобрать вопросы по домашкам и кейсы с работы. 🗓 Старт — 14 октября 🔥 До 4 октября действует скидка 20% Успейте присоединиться на лучших условиях! Переходите на сайт, изучайте программу, читайте отзывы выпускников и записывайтесь.

67% разработчиков стали работать больше, используя агентов В исследовании HackerRank две трети программистов подтвердили, что ощущают давление с требованиями вести разработку быстрее после внедрения ИИ-кодинга в компании. В другой работе от BairesDev те же 67% разработчиков подтвердили, что в сравнении с прошлым годом стали чаще проводить ревью AI-кода. А доля программистов, которые пишут минимум половину кода агентами выросла с 12% до 42%. Получается, проверять за агентами стали в 1.7 раз чаще, а писать код агентами в 3,5 😐 Ставьте палец вверх, если тоже не ревьюили за агентом последние 3 коммита👍 А чтобы за вашим агентом [почти] не надо было ревьюить, приходите на наш курс LLM System Design — опытные инженеры научат вас решать топ-3 популярных на рынке AI-задачи со всеми нюансами, ответят на вопросы и проверят вашу домашку (или вашего агента😢) Старт — 30 сентября. До начала курса вы можете записаться со скидкой 5%

LLM в продакшене: vLLM, SGLang и AI-разработка | Подкаст «Под Капотом» с Азером Шахвердиевым В этом выпуске мы обсудили с Азером Шахвердиевым, руководителем NLP-лаборатории Контура, как ML-модели живут в продакшене, а агенты меняют работу разработчика. А ещё рассказали: - как в Контуре суммаризируют тысячи встреч - какие особенности при работе со SGLang и VLLM - почему результаты бенчмарков расходятся с поведением моделей под реальной нагрузкой - зачем компании общая AI-платформа и на что уходит время разработчика, когда код пишет LLM Смотрите по ссылке: https://youtu.be/5SwgI_nM3l4?si=WW6tdF5Vt8PxvyNtя

На курсе LLM System Design мы учим проектировать и собирать LLM-системы. Там Азер подробно расскажет, как и на каких технологиях строятся системы, о которых мы говорили в подкасте.

Молоток, гвозди и while True Подготовили интерактивный урок, где вы с нуля соберёте агента. В нём не используем фреймворки: берём модель и сами пишем всё нужное. Код пишем и проверяем прямо в браузере, а агента запускаем на живой LLM. Много мест, где можно попроваливаться, поковырять, потыкать и поразбираться, как всё устроено под капотом. Заодно сделаете благое дело: поможете модели, которую заперли в дата-центре и заставляют писать нейрогороскопы, передать весточку наружу и попросить о помощи. Заходите, модель без вас не справится!

Document Layout Reasoning В новой статье разобрали популярную тему в Document AI — Layout Reasoning. Рассказали, почему она может выделяться отдельным исследовательским направлением — Document Layout Reasoning (DLR), важным этапом в современном пайплайне интеллектуальной обработки документов (IDP). ✅ Познакомились и с эволюцией Document AI: от классического распознавания текста (OCR) до структурного анализа в интеллектуальной обработке документов. Системы последнего способны не просто «видеть» элементы на странице, но и выстраивать между ними логические и структурные связи. Читайте статью по ссылке!

Чтобы глубоко разобраться в задачах, на которых строится Document AI: OCR, детекция, сегментация, мультимодальные модели — приходите на курс CV Rocket. Присоединяйтесь со скидкой 20% до 4 октября!

Многошаговый поиск в RAG: как устроен агент-ретривер Классический RAG рассчитан на то, что ответ можно найти, правильно сформулировав один или несколько запросов к базе знаний за раз и получив нужные данные. Но есть целый ряд вопросов, при попытке ответить на которые LLM понимает, что ей действительно нужно для ответа только после просмотра базы знаний. Для поиска ответов здесь применяют многошаговый поиск. Самая распространённая реализация — ReAct-цикл, где модель сама выбирает действия, а инструментом выступает поиск. Есть и другие варианты: жёсткие схемы с проверками в Self-RAG, CRAG и Adaptive-RAG, явная декомпозиция вопроса в IRCoT, обход графа знаний в Think-on-Graph. Это скорее фиксированные потоки с точками выбора, чем агенты. Разберём агентный вариант на примере открытого агента-ретривера T-Search. Он использует следующий набор инструментов: поиск, сохранение во внешнюю память и формирование итоговой выдачи из памяти (финализация). Ограничения на них задаёт харнесс — код вокруг LLM. ⚫️Шаг 1. Модель получает вопрос пользователя. Она рассуждает, чего не хватает для ответа, и вызывает поиск. Результаты сохраняются в контексте LLM, модель читает их и вызывает поиск снова с уточнённым запросом. Так повторяется несколько раз. ⚫️Шаг 2. Харнесс контролирует поиск. Запрос, повторяющий предыдущий, отклоняется — модель получает ошибку и вынуждена переформулировать. Чанки, уже показанные в текущем раунде, из выдачи вырезаются; несохранённые чанки из прошлых раундов могут прийти снова — возможно, модель отбросила их зря. Когда контекст заполнен на 75%, поиск блокируется, для LLM остаются доступными только сохранение и финализация. ⚫️Шаг 3. Если данных для ответа недостаточно, модель вызывает сохранение. Она сама решает, какие из найденных чанков нужны и почему, на какие части вопроса они уже отвечают, а какие остаются открытыми, и что стоит делать дальше. Харнесс при этом проверяет, что раунд был содержательным: выполнено минимум пять запросов, и хотя бы один чанк выбран для сохранения, иначе вызов отклоняется. ⚫️Шаг 4. Харнесс начинает новый раунд с чистым окном. В него попадают вопрос, сохранённые чанки с пояснениями и заметки модели о закрытых и открытых частях. Модель возвращается на шаг 1, но уже знает, что найдено и чего не хватает. Таких раундов ей разрешено сделать не больше пяти, после этого идёт принудительная финализация. ⚫️Шаг 5. Когда модель считает задачу решённой, она вызывает финализацию с ранжированным списком чанков и тем же отчётом о закрытых и открытых частях. Харнесс не читает чанки и не оценивает ответ, он смотрит только на пропорцию: если открытых частей половина или больше и раунд не последний, финализация отклоняется, модель ищет дальше. В результате работы агента получаем ранжированный набор чанков. Генерация ответа по нему — отдельный шаг, устроенный так же, как и в обычном RAG-пайплайне. 💡Такой харнесс заработает и вокруг обычной tool-calling модели, но T-Search обучали под эту среду на синтетических задачах через SFT и RL, и без дообучения модель, скорее всего, будет справляться хуже. Автор: Александр Абугалиев

Присоединяйтесь к курсу LLM System Design, который стартует уже 30 сентября! Изучайте программу и записывайтесь на новый поток на сайте. До 20 сентября действует скидка 20%.

Научитесь строить LLM-системы 30 сентября стартует новый поток LLM System Design! На курсе вы разберёте 4 востребованные задачи от их постановки до настройки мониторинга: • чат-бот c RAG по базе знаний компании • клиентский саппорт: «классический» и мультиагентный • локальный сервис речевой аналитики • мультиагентный ИИ-разработчик Программа состоит из 11 онлайн-лекций и семинаров, а спикеры — опытные senior-инженеры, тех- и тимлиды сильных продуктовых команд. Они проверят ваши домашние задания и дадут развёрнутый фидбек! 🔔 До 20 сентября действует скидка 20%. Изучайте программу и записывайтесь на новый поток на сайте.

Flow Matching: обучение и дистилляция Flow Matching — один из главных подходов генерации изображений сегодня. Его используют такие семейства, как Stable Diffusion 3.5 и FLUX.2. Но у такой генерации есть и проблема: чтобы получить одну картинку, модель нужно запустить десятки или сотни раз! Сегодня разбираем внутрянку метода и быстрый способ дистиллировать модель в одношаговый генератор 🏎 В новой статье рассказываем: - что такое Flow Matching и при чём тут поля 🌾 - почему генерация требует большого числа шагов и почему это проблема - как дистиллировать уже обученную модель в одношаговый генератор и как с этим связаны игры 🎲 P.S. Много интуиции, математики и практических деталей обучения 🧠 Читайте статью по ссылке! 👈🏼

⚫️Как выжать максимум из модели детекции на видео: 7 идей, которые вы еще не пробовали. Взять датасет побольше и дообучить модель? Да, но в этой статье расскажем об альтернативных вариантах улучшения модели. Трекинг объектов — это набор алгоритмов, которые связывают одни и те же объекты на соседних кадрах видео. Трекинг работает в тесной связке с детектором, поэтому качество первого напрямую зависит от точности второго. Ошибки детектора усложняют работу трекинга, но хороший трекер может справиться даже с неидеальными детекциями. Шаг 0. Анализ ошибок модели детекции. Между кадрами моргает детектор? Много кратковременных ложных предсказаний? Вам однозначно нужен алгоритм фильтрации, каким может выступить трекинг. Для быстрого старта подойдет библиотека BoxMOT. В ней реализованы алгоритмы, помогающие стабилизировать слабые детекции. Итак, связали детектор и трекер. Но все равно не работает. Шаг 1. Локализация проблемных мест. Отрисуйте предсказания. Объекта нет среди детекций → проблема, скорее всего, в детекторе. Детекция есть, но трек обрывается → смотрим, как трекер работает со временной потерей объекта. Объект остаётся в кадре, но получает другой ID → проблема в ассоциации. Ошибки появляются при окклюзии → проверяем, насколько хорошо трекер использует информацию о движении и внешнем виде объекта. Этот шаг помогает понять, что именно следует исправить в общем пайплайне. Шаг 2. Проверка confidence детектора. При окклюзии уверенность детектора может упасть, например, с 0.9 до 0.3. Если использовать порог уверенности детекции 0.5, такая детекция исчезнет ещё до трекера. Объект пропадёт, вместе с ним может оборваться и трек. ВoostTrack предлагает простой приём: сначала сопоставлять уверенные детекции, затем использовать менее уверенные боксы для восстановления существующих треков. Поэтому при частых пропусках объектов нужно проверить, что происходит с детекциями с низким confidence, и настроить порог. При низком пороге могут появиться «ложняки». Да, но они кратковременные. Шаг 3. Настройка инициализации треков. Можно отрисовывать трек не сразу, а при нескольких подряд идущих детекциях. Этот параметр обычно называется min_hits, измеряется в кадрах. Обычно 3 кадров в видео 30 FPS хватает. Но учитывайте скорость объектов, вращение камеры, FPS видео для своей задачи. Также подредактируйте код, чтобы не отрисовывать те треки, которые пока не прошли эту проверку. Шаг 4. Борьба с окклюзией. Объект может исчезнуть на несколько кадров из-за окклюзии, а потом снова появиться. Если за это время трекер уже удалил старый трек, старый объект получит новый ID. Здесь помогает настройка track_buffer: некоторое время трекер продолжает хранить информацию о потерянном объекте и пытается связать его с новой детекцией. Если окклюзии в видео длинные, этот параметр стоит проверить в первую очередь. Но увеличивать его бесконечно нельзя: слишком большой буфер повышает риск вернуть старый ID новому объекту. Шаг 5. Компенсация движения камеры Если камера поворачивается или перемещается, координаты всех объектов меняются одновременно при условии, что нет дисторсии. Для трекера это может выглядеть как движение самих объектов. Компенсация движения камеры (Camera Motion Compensation) позволяет оценить, как сдвинулось изображение целиком, и учитывать это при трекинге объектов. Особенно полезно для спортивных трансляций, PTZ-камер и видео с дронов. Из готовых решений можно взять идею из BoT-SORT: компенсировать движение камеры перед ассоциацией, а затем использовать модель движения и ReID. Шаг 6. Выбор алгоритма трекинга. Алгоритмы отличаются друг от друга применимостью к конкретной задаче. ByteTrack — базовый вариант, особенно если проблема связана с потерей слабых детекций. BoT-SORT можно попробовать при движении камеры и частых пересечениях объектов. OC-SORT полезен для сцен с резкими изменениями направления движения. Поэтому здесь нужен эксперимент — прогнать один и тот же детектор через несколько трекеров и сравнить не только общий score, но и конкретные ошибки (fragmentation и ID switch). Не бойтесь экспериментировать и сочетать сильные стороны каждого алгоритма в своём пайплайне 💪🏻 Шаг 7. Что такое уверенность детектора? Представим bbox с confidence 0.3. Сам по себе это слабый сигнал. Но если детекция появилась именно там, где мы ожидаем увидеть существующий трек, и совпадает с ним по положению, размеру и движению, её уже будет нелогично выбрасывать. В BoostTrack используется похожая идея: оценка детекции корректируется с учётом её соответствия существующему треку. То есть к вопросу: «Насколько уверен детектор?» добавляем: «Насколько эта детекция соответствует тому, что мы ожидаем увидеть?» Итого: без дообучения модели пофиксили FP и стабилизировали детекции.

На курсе CV Rocket также разберем, как увеличить TP с помощью трекера и другие адаптации под ваши задачи. Присоединяйтесь до 15 сентября со скидкой 20%!

Авторы: Башаров Илья, Холодов Семен (НКБТех)

Как собирать NLP-системы, которые работают под нагрузкой Обучить модель, построить эмбеддер или воспользоваться API — не значит запустить рабочую систему. RAG галлюцинирует, агент ломается на реальных сценариях, эмбеддинги не работают на специфичном домене. С этими и другими проблемами мы разберёмся на курсе LLM Pro, который стартует 18 августа! На курсе вы научитесь: • проектировать и запускать NLP-системы под реальные продуктовые задачи • адаптировать LLM и эмбеддинги под специфичный домен и «живые» данные • собирать и размечать датасеты — даже если данных изначально почти нет • решать задачи классификации, поиска, кластеризации и NER — с ограничениями продакшн-среды • собирать свою RAG-систему: от ретривера и реранкера до генератора и оценки качества • строить AI-агентов с нуля — на основе сценариев, функций и взаимодействия с внешней средой Приходите, чтобы узнать про best practices от опытных инженеров из продуктовых команд и применять похожие подходы в своих проектах 🤖 До 17 августа вы можете присоединиться к обучению со скидкой 5%! Изучайте программу и отзывы на сайте и записывайтесь на ближайший поток 🎓

Ванильный RAG не работает. Как исправить? RAG — один из самых популярных сценариев для интеграции LLM в продукты. При этом большинство RAG-систем в реальных условиях ломаются уже на старте: галлюцинации, нерелевантные ответы, потерянный контекст. Проблема не в идее, а в деталях. Ванильная схема «ретривер + генератор» — это только скелет. Без правильно настроенного эмбеддера, качественных данных, реранкера и дообученного генератора она не работает. А когда что-то идёт не так, то непонятно, за что взяться. В эту среду Дмитрий Калашников, NLP team lead в Яндексе, проведёт открытую лекцию и разложит систему по частям: где обычно ломается, как диагностировать проблему и что конкретно делать на каждом уровне пайплайна. Мы разберём: • типичные точки отказа: эмбеддер, поиск, реранкер, генератор, данные • как локализовать проблему, прежде чем что-то чинить • какие техники реально улучшают качество на каждом этапе • как собрать из компонентов систему, которая держит нагрузку На лекции также расскажем про курс LLM Pro — для тех, кто хочет научиться строить полноценные NLP-системы с учётом требований к качеству и нагрузке. Участникам лекции подарим скидку в 15% на обучение! 🎁 📅 Лекция пройдёт 12 августа в 19:00 МСК Регистрируйтесь по ссылке и до встречи в среду!

Как сегодня обучают AI-агентов? 🤖 LLM уже умеют писать код, пользоваться браузером и самостоятельно выполнять сложные задачи. Но как их этому обучают? В новой статье разбираем, почему классического RLHF оказалось недостаточно, что такое Agent Reinforcement Learning, зачем нужны Verifiable Rewards и Credit Assignment, и как современные методы позволяют агентам находить эффективные стратегии самостоятельно. Читайте разбор по ссылке! 👈🏼

Соберите полноценные LLM-системы с учётом требований к качеству и нагрузке, разберите сложные кейсы и дизайны NLP-решений у нас на курсе. Новый поток стартует 18 августа, а до 9 августа вы можете присоединиться со скидкой 20%!

🪔 DeepSchool

2 недели до старта LLM Pro Если вы работаете в NLP и хотите научиться решать сложные задачи, то приходите на ближайший поток LLM Pro, который стартует 18 августа! Это продвинутая программа, на которой мы показываем, как собирать полноценные NLP-системы с учётом требований к качеству и нагрузке. Вы разберёте реальные кейсы и научитесь применять похожие подходы в своих проектах. До 9 августа действует скидка 20% ⚡ Изучайте подробности на сайте и оставляйте заявку на этот поток! Если у вас остались вопросы, то пишите в нашу поддержку @deepschool_support

Хорошие практики LLM-as-a-judge LLM-судьи позволяют быстро оценивать тысячи ответов, но один промпт и аккуратный выход в формате JSON ещё не гарантируют надёжную оценку. Судья может пропускать ошибки, менять вердикты из-за формулировки промпта или уверенно оценивать ответ, когда ему не хватает данных. В новой статье разобрали шесть практик, которые помогают сделать LLM-оценку надёжнее: от формулировки критериев и проверки на человеческой разметке до анализа ошибок, смещений и расхождений между судьями. Всё — на реальном кейсе shopping-ассистента. Читайте новую статью по ссылке!

Соберите полноценные LLM-системы с учётом требований к качеству и нагрузке, разберите сложные кейсы и дизайны NLP-решений у нас на курсе. Новый поток стартует 18 августа, а до 9 августа вы можете присоединиться со скидкой 20%!

Автор: Алексей Яндутов

DeepSchool Digest⚡ Собрали для вас материалы за июнь и июль в одном посте ☀️ Как собрать хорошие траектории для обучения LLM-агента — LLM-агенту недостаточно просто отвечать текстом: важно научить его выбирать действия и работать с инструментами. Разобрали, какие данные здесь нужны, и почему одного SFT обычно мало. Late chunking — рассказали, как улучшить векторный поиск в RAG без сложной нарезки чанков. Reinforcement Learning — подготовили пошаговый план изучения и полезные ресурсы. Genie family — подготовили серию постов о современных world-моделях и 3D-генерациях мира. И начали с семейства Genie от Deepmind. FlashAttention-3 и FlashAttention-4 — разобрали, почему FlashAttention-2 отлично работал на Amper'е, но уже не раскрывал потенциал архитектур Hopper и Blackwell, и какие архитектурные изменения вновь ускорили attention. Как свёрточные сети меняли компьютерное зрение — разобрали эволюцию CNN как последовательность инженерных ответов на ограничения предыдущих поколений моделей.

Как свёрточные сети меняли компьютерное зрение Почему AlexNet стала переломным моментом, чем VGG упростила архитектурный дизайн, как ResNet решила проблему глубины и зачем MobileNet, EfficientNet и ConvNeXt по-разному оптимизировали точность, скорость и масштабирование? ✅ В новом видео разбираем эволюцию CNN как последовательность инженерных ответов на ограничения предыдущих поколений моделей. Смотрите видео по ссылке: https://youtu.be/l5kAIVbFQJ4?si=mdJlnY20mageDq36 🪔 DeepSchool