uz
Feedback

Firibgarlarga uchmang! Telemetrio bunday kanallarni topadi va belgilaydi 👉 Belgini ko‘rmoqchi bo‘lsangiz, obuna bo‘ling

CV Time

CV Time

Kanalga Telegram’da o‘tish

Канал о компьютерном зрении от ml-специалистов Яндекса: разбор актуальных статей, горячие обсуждения и личный опыт из первых рук. Присоединяйтесь! Вопросы и предложения > @yandex_ml_brand

Ko'proq ko'rsatish
3 481
Obunachilar
+424 soatlar
+67 kun
+530 kun
Postlar arxiv
CV Time
3 481
Correction Training for Diffusion Models Сегодня разбираем статью, которая собрала немало хайпа. Авторы предлагают перенести
Correction Training for Diffusion Models Сегодня разбираем статью, которая собрала немало хайпа. Авторы предлагают перенести идею self-correction из диффузионных языковых моделей в генерацию изображений. Идея простая, но результаты впечатляют. К тому же в работе много интересных абляций. Основная мотивация — уменьшить exposure bias. Во время обучения денойзер работает с реальными изображениями, к которым добавили шум, а на инференсе — уже с собственными предсказаниями. Из-за этого ошибки могут накапливаться от шага к шагу, что хорошо видно на картинке выше (бейзлайн). Чтобы решить эту проблему, авторы предлагают добавить к основному денойзеру отдельную модель-корректор: L_corr = Eₓ,ε,t[||C_φ(sg(x̂⁽⁰⁾), t) − x||₂²] Денойзер предсказывает x₀ на шаге t, после чего корректор пытается приблизить это предсказание к исходному изображению. При этом корректор учитывает timestep, но дополнительный шум не добавляется. В итоге получаем два лосса: для денойзера и корректора. Интересно, что при обучении корректор можно применять всего единожды, а на инференсе — несколько раз подряд, последовательно уточняя одно и то же предсказание x₀. Посмотрим на некоторые абляции. Начнём с того, что немного смущает. Основные эксперименты проводятся с файнтюнингом предобученных DiT, SiT и JiT. Денойзер и корректор инициализируют весами исходной модели, после чего дообучают. Эксперимент с обучением с нуля тоже есть, но хотелось бы увидеть его в большем масштабе. При этом результаты действительно впечатляют. После 4 млн итераций обучения дальнейший файнтюнинг обычного денойзера почти ничего не меняет, а добавление корректора даёт заметный прирост качества. На картинках видно, что общая композиция часто сохраняется, а детали и структура объектов улучшаются. Особенно заметен прирост в unconditional-генерации. В text-to-image метод тоже работает, причём как с CFG, так и без него. Авторы также проверяют коррекцию с общими весами денойзера и корректора, чтобы показать, что улучшения связаны именно с процедурой, а не просто с увеличением числа параметров. Ещё одна интересная абляция — количество коррекций на трейне и инференсе. При одном шаге на обучении оптимально около трёх шагов коррекции на инференсе, после чего качество начинает ухудшаться. Если обучать с двумя, тремя или четырьмя шагами, оптимум смещается примерно к четырём, шести и восьми соответственно. Также авторы смотрят, на каких этапах генерации лучше применять коррекцию. Для JiT наибольший эффект дают ранние шаги, когда шума ещё много. Возможно, дело в том, что исправление ранних предсказаний x₀ помогает избежать накопления ошибок на последующих шагах. Пожалуй, самое интересное в этой работе — не столько возможность исправлять предсказания денойзера, а то, что одну и ту же процедуру можно применять многократно, даже если модель обучалась на меньшем числе коррекций. По сути, авторы показывают ещё один способ использовать дополнительные вычисления на инференсе: не делать больше шагов денойзинга, а несколько раз уточнять уже полученное предсказание. При этом остаются вопросы, почему такая итеративная коррекция работает настолько хорошо и эффективен ли метод при обучении с нуля. Но сама идея выглядит перспективно. Возможно, для улучшения диффузионных моделей не всегда нужно усложнять денойзер — иногда достаточно научить его исправлять собственные ошибки. Разбор подготовил ❣ Никита Стародубцев CV Time
18 Noy, 03:48

CV Time
3 481
Unified Text-Image Generation with Weakness-Targeted Post-Training Сегодня разбираем статью, в которой нет большого нового ме
Unified Text-Image Generation with Weakness-Targeted Post-Training Сегодня разбираем статью, в которой нет большого нового метода и используется несколько устаревшая модель, но зато есть практичная идея для посттрейна генеративных моделей. Авторы предлагают вместо дообучения на большом датасете найти конкретные срезы, где модель работает плохо, нагенерить на них синтетики и доучиться именно на ней. Работают здесь с BAGEL — unified-моделью, которая умеет генерировать текст и картинки. Причём статья посвящена только text-to-image (T2I), эдитинга здесь вообще нет. Суть методики можно описать следующей схемой: 1) находим слабые срезы; 2) генерируем на них много картинок самим BAGEL; 3) оцениваем генерации; 4) дообучаем BAGEL на своей же синтетике, при этом перевзвешиваем семплы по качеству. Дальше чуть подробнее об этих шагах. Сначала авторы определяют, какие срезы самые сложные для BAGEL. Ими оказываются relative positions, ориентация, генерация текста, количество объектов и другие характеристики. Исходят из логики, что на простом промпте BAGEL будет стабильно генерировать хорошие картинки, а на сложном качество начнёт сильно «гулять». Поэтому для промптов из сложных срезов генерируют много семплов, оценивают их внешней reward-моделью и получают как хорошие, так и плохие генерации. Дальше можно было бы просто отфильтровать плохие картинки и сделать обычный SFT на хороших. Но авторы делают немного иначе. Онлайн-RL для BAGEL слишком затратный (из-за дорогого инференса), поэтому вместо него используют Reward-Weighted Regression (RWR). По сути, это SFT, где на лосс навешивается вес в зависимости от реворда конкретной генерации: хорошие семплы получают больший вес, плохие — меньший. Также авторы пробовали применить rejection sampling, то есть просто отбирать хорошие генерации, но RWR сработал лучше. Саму процедуру при этом проводят всего один раз. Интересный момент связан с тем, что BAGEL генерирует сначала ризонинг, а затем картинку. Поэтому авторы пробуют применять reward-weighting только к текстовому лоссу, только к картиночному и сразу к обоим. Лучше всего работает последний вариант — Multimodal RWR. Есть ещё одно изменение относительно обычного BAGEL. Там после окончания ризонинга токен начала картинки добавляется «руками», после чего начинается генерация изображения. Здесь же модель учат саму генерировать специальный токен <|vision_start|> и так переключаться с ризонинга на картинку. Звучит как шаг в сторону мультимодальной цепочки рассуждения text → image → text → image, но до неё авторы не доходят. После ризонинга и одной картинки обратно к тексту модель не возвращается. В результатах показали улучшения на четырёх T2I-бенчмарках и отдельно сравнивали разные стратегии сбора данных. Основной вывод в том, что датасет, специально собранный под слабые места BAGEL, работает лучше, чем широкий image-caption-корпус или данные, подобранные под бенчмарки. Надо иметь в виду, что работа довольно BAGEL-специфичная. Кое-где авторы делают слишком общие выводы о unified-моделях, но все основные эксперименты проведены на BAGEL, поэтому насколько хорошо эта история переносится на другие модели, из работы судить сложно. Разбор подготовила ❣ Лидия Троешестова CV Time
12 Noy, 05:03

CV Time
3 481
Qwen-Image-2.1: Compact, Efficient, and Unified Image Creation Сегодня разбираем блогпост Qwen об их свежей модели. Главное а
Qwen-Image-2.1: Compact, Efficient, and Unified Image Creation Сегодня разбираем блогпост Qwen об их свежей модели. Главное архитектурное изменение — сокращение числа параметров генератора с 20B до 7B (модель стала ощутимо компактнее) и переход на single-stream DiT (в прошлой версии использовали MMDiT). Судя по опубликованным в посте картинкам, модель хороша в работе с реалистичными деталями и лицами, а по впечатлениям инженеров из команды YandexART, стиль местами напоминает GPT. Модель уже успели протестировать внутри — и получили неоднородные результаты по разным задачам, например, эдитинг выглядит действительно хорошо, а text-to-image пока проседает. У модели появились интересные новые возможности. Например, она научилась работать с несколькими изображениями (авторы заявляют до десяти референсов за раз!) — и при этом поддерживать их редактирование. На выходе она предсказывает не только RGB, но и альфа-канал, благодаря чему можно получать изображения с прозрачным фоном и накладывать объекты слоями, как в фотошопе. Ещё модель понимает визуальные указания: нужную область можно обвести или закрасить прямо на исходной картинке, а в промпте описать правку. Авторы также показывают последовательное редактирование с сохранением остальных элементов сцены. Самое интересное — маска аттеншна. Текстовые токены используют causal attention, при котором токен видит только себя и предыдущие. Внутри каждого изображения используется full attention, а токены этого изображения видят все предыдущие, но не последующие. Поэтому таргет видит весь кондишен, а кондишен не зависит от таргета. Такая схема важна для KV-кэша. Эта архитектура позволяет один раз посчитать ключи и значения (KV) для неизменной части входа, сохранить их, а на следующих шагах диффузии переиспользовать, а не считать каждый раз заново. Для этого мало одной маски, так как промежуточные представления кондишена должны оставаться одинаковыми от шага к шагу. Поэтому здесь прибегли к разделению модуляции: • для кондишена модель использует эмбеддинг нулевого шага, • для таргета использует эмбеддинг текущего шага диффузии. На первом проходе можно посчитать KV для префикса и наполнить кэш, а дальше брать их из памяти. Таргет при этом пересчитывается на каждом шаге. Результаты Отдельно удалось поэкспериментировать с влиянием кэша на скорость. В проведённых внутри Яндекса замерах на коротком кондишене full attention оказался быстрее block-causal-варианта и варианта с KV-кэшем. Скорее всего, так происходит из-за дополнительных расходов на kernel-вызовы. Но с ростом длины кондишена выигрыш от кэша увеличивается. В отдельном end-to-end-замере на Qwen полная генерация заняла 6 секунд без кэша и 3 секунды с ним. Картинки при этом получились одинаковыми. Можно сделать вывод, что KV-кэш однозначно полезен при длинном кондишене, но сам по себе ускорение не гарантирует, так как нужно учитывать дополнительные расходы и память. Есть соображение, что KV-кэш ускоряет не только генерацию в проде — он может пригодиться и там, где много раз запускается модель-учитель, например, при дистилляции и RL. Авторы также выложили веса Qwen-Image-2.1. Разбор подготовил ❣ Лавр Плисковский CV Time
06 Noy, 02:33

CV Time
3 481
Perception or Reasoning? Diagnosing and Tackling Reinforcement Learning Bottlenecks in VLMs Разбираем статью, в которой автор
Perception or Reasoning? Diagnosing and Tackling Reinforcement Learning Bottlenecks in VLMs Разбираем статью, в которой авторы исследуют, почему RL хорошо улучшает ризонинг мультимодальных моделей, но гораздо хуже справляется с визуальным восприятием. Исправить это предлагают через дистилляцию аттеншна. Первая интересная идея — ошибки на визуальных бенчмарках не обязательно связаны со способностями, которые они проверяют. Например, модель может ошибаться не из-за плохого ризонинга, а потому, что неправильно считывает информацию с изображения. Чтобы разделить эти случаи, предлагают PARA — метод оценки perception и reasoning headroom, то есть доли ошибок, которые можно исправить улучшением соответствующей способности. Для этого используют две сильные референсные модели — Claude Opus 4.8 и GPT-5.6-Luna — и проводят два эксперимента: • Perception Intervention. Сильная модель подробно описывает изображение, а исходная VLM повторно решает задачу с этим описанием (отдельно или вместе с оригинальной картинкой). • Reasoning Intervention. Исходная VLM описывает изображение, а сильная модель решает задачу только по описанию. Дополнительно проверяют, что референсная модель сама способна решить задачу по оригинальному изображению. Важный момент — PARA оценивают всего на 200 примерах каждого бенчмарка из-за вычислительных ограничений. Как конкретно отбирали эти примеры, описано в статье. При этом набор бенчмарков интересный: BLINK, PerceptionBench, VisNumBench, HallusionBench, LogicVista, MathVista, MathVerse и другие — всего 17. Оказывается, боттлнек зависит от конкретной модели: так, на MME у Qwen преобладает reasoning headroom, а у Gemma — perception. Дальше авторы показывают, что обычный RL лучше использует reasoning headroom. Прирост от RL снижается, когда больше ошибок исправимо улучшением perception, и растёт, когда преобладают боттелнеки в ризонинге. Авторы связывают это с тем, что награда за итоговый результат не различает ошибки восприятия и рассуждения. А методы вроде Vision-SR1 и VPPO влияют на визуальное внимание лишь косвенно, через изменение advantage и градиентов по логитам выходных токенов. Чинить это предлагают с помощью GRAD — Group-Relative Attention Distillation. В OPAD неуспешный роллаут отталкивается от своего предыдущего аттеншна. Но ведь модель могла правильно посмотреть на изображение и ошибиться уже в ризонинге! GRAD вместо этого заставляет роллауты с отрицательным advantage перенимать визуальный аттеншн лучшего роллаута из той же группы. Чем хуже роллаут, тем сильнее дистилляция. Внешний учитель и дополнительные аннотации не нужны. В результате GRAD улучшает средний score относительно GRPO на +2,9/2,5 пункта усреднённой метрики для Qwen3-VL-2B/4B и превосходит Vision-SR1, VPPO и OPAD по среднему результату. Perception headroom снижается на пять из семи бенчмарков против двух у GRPO. Если выбирать случайный роллаут вместо лучшего, Avg. падает с 49,4 до 45,5 — даже ниже GRPO. Лучше всего работает supervision только последнего слоя декодера с λ = 1. Что вызывает вопросы Лучший по реворду роллаут необязательно обладает лучшим визуальным аттеншном — правильный ответ может получиться благодаря ризонингу или случайной догадке. Кроме того, снижение PH после обучения может объясняться изменением состава оставшихся ошибок, а не только улучшением perception. Самое интересное в работе — использование собственных успешных роллаутов модели как источника supervision для визуального восприятия. Более общий вывод: научить VLM правильно отвечать и научить её действительно лучше воспринимать изображения — не одно и то же. Хочется отметить качество экспериментальной части: авторы провели подробные аблейшны, привели гиперпараметры и настройки обучения. А в приложении оставили достаточно деталей, чтобы разобраться в реализации метода и попробовать воспроизвести результаты. Разбор подготовила ❣ Арина Гертель CV Time
30 Okt, 04:35

CV Time
3 481
AgentSynth: Scalable Task Generation for Generalist Computer-Use Agents Сегодня разбираем статью о генерации данных для compu
+2
AgentSynth: Scalable Task Generation for Generalist Computer-Use Agents Сегодня разбираем статью о генерации данных для computer-use-агентов, которые умеют «тыкать кнопки» в графическом интерфейсе. Чтобы обучать такие модели, как на стадии cold star, так и на стадии RLVR, нужен датасет исходных задач, по которым будут генерироваться траектории для cold start и роллауты для RLVR. Соответственно, встаёт задача генерации задач. Статья предлагает одно из возможных решений. Авторы начинают с обзора разных способов генерации данных. Отдельно останавливаются на средах, таких как WebArena, OSWorld, WindowsArena и других. В работе концентрируются на OSWorld, так как она предназначена для десктопа, имеет браузер, то есть может работать в вебе. Что заявляют в основных результатах: • Сделали пайплайн генерации исходных задач для OSWorld — причём достаточно сложных и разнообразных. • За счёт пошаговой генерации могут добиться большей сложности задач, чем при генерации задачи за один шаг. • На основе сгенерированных данных построили бенчмарк. Пайплайн генерации состоит из нескольких агентов, которые реализованы одной и той же LLM (брали GPT-4.1), но с разным системным промптом (см. скриншот 1). 1. Чтобы получить более разнообразные задачи, используют датасет PersonaHub, где описаны разные люди, их социальное положение и другая информация. Task-proposal получает эту информацию вместе с промптом и генерирует исходную задачу. 2. Задача отправляется в task-executor, который по шагам выполняет её. Агент видит задачу и предыдущее действие, и на основе этого генерирует следующее. Таким образом создаётся траектория. 3. Task-verifier смотрит, выполнил ли task-executor задачу полностью. Если выполнил — переходим к дальнейшим шагам. Если нет, task-verifier оценивает, до какого шага она выполнена, и передает эту информацию дальше. 4. Задача может быть либо невыполнимой в принципе, либо слишком сложной для агента. Task-reviser переформулирует её так, чтобы она стала выполнимой. То есть фактически подстраивает под уже сгенерированную траекторию. 5. Сделанная валидной задача или изначально валидно сгенерированная отправляется в follow-up task proposal, который её усложняет. 6. Task-summarizer переформулирует последовательность всё более усложняющихся задач от самой простой до текущей в единую задачу. В работе делали шесть тёрнов усложнения, соответственно, в датасете получаются задачи шести уровней сложности. Авторы приводят анализ получившегося датасета. Берут 100 задач, примерно по 16 на каждый уровень сложности, и оценивают по четырём критериям: 1) разрешимость и реалистичность — можно ли решить эту задачу стандартными тулами; 2) когерентность — каждая последующая подзадача логически следует из предыдущей; 3) релевантность персоне; 4) точность верификатора — насколько правильно он определяет, решена ли задача. Отдельно авторы рассматривают калибровку верификатора. Приходят к выводу, что он сохраняет точность для разных уровней сложности (см. скриншот 2). В одном из экспериментов пытались «сломать» верификатор. Для этого брали проверенные траектории и делали два типа изменений: 1) немного и незаметно меняли цель в задаче таким образом, чтобы траектория переставала решать эту задачу; 2) меняли UI, но так чтобы вердикт оставался прежним. В первом случае, где все задачи должны были детектиться как fail, 12% определялись как success — не так уж мало, но в целом приемлемо. Во втором случае 94% случаев верно расценивались как успех. Сделали оценку на моделях GPT-4o-mini и Gemini и Claude Sonnet. Брали по 50 задач каждого уровня сложности и сравнивали с человеческой разметкой. Лучшие результаты получили у Claude Sonnet и GPT-4o-mini. Также проанализировали частые ошибки. В их числе неточный клик мышки, клик в другой элемент, а также “lack of recovery from error” — когда после мисклика модель зацикливается. Разбор подготовил ❣ Александр Шишеня CV Time
28 Okt, 05:07

CV Time
3 481
Denoising, Fast and Slow: Difficulty-Aware Adaptive Sampling for Image Generation При работе диффузионных моделей все участки
Denoising, Fast and Slow: Difficulty-Aware Adaptive Sampling for Image Generation При работе диффузионных моделей все участки изображения расшумляются одинаково, то есть на каждом шаге они находятся на одном таймстепе и получают одинаковое количество вычислений. При этом сложность у разных частей картинки сильно отличается. Так, небо или однородный фон генерируются легко, а текст, мелкие детали и границы между объектами — сложнее. Сегодня разбираем статью, в которой пробуют решить эту проблему. Авторы предлагают отказаться от общего таймстепа для всей картинки и расшумлять разные её части с разной скоростью. Изображение разбивают на патчи, у каждого из которых может быть свой уровень шума. Простые участки можно быстрее продвинуть вперёд, чтобы они раньше стали более чистыми и через аттеншн помогали расшумлять сложные. Но тут появляется следующая проблема. Просто независимо семплировать таймстеп для каждого патча на обучении не выходит. Почти в каждом примере появляются сильно расшумленные патчи, на которые модель может опираться при восстановлении остальных. На инференсе, который начинается с чистого шума, такого контекста нет. Чтобы уменьшить этот эффект, авторы предлагают LTG timestep sampler. Вместо независимого семплирования сначала выбирается максимальный таймстеп для всего изображения, а уже относительно него — таймстеп отдельных патчей. В статье t = 0 соответствует чистому шуму, а t = 1 — данным, поэтому больший таймстеп означает более чистый патч. Таким образом ограничивают количество чистой информации, которую модель видит на конкретном обучающем примере. Причём уже сам переход от одного таймстепа на изображение к patch-level-таймстепам с таким семплированием улучшает генерацию. Дальше надо понять, какие патчи можно расшумлять быстрее. Для этого к модели добавляют лёгкую голову, которая для каждого патча оценивает неопределённость предсказания. Если модель уверена в простом патче, его можно сильнее продвинуть вперёд. Сложные участки, где неопределённость выше, получают больше уточнений. Вместе с основной моделью голову обучают оценивать, насколько трудно восстановить каждый патч. Авторы показывают, что патчи с более высокой предсказанной неопределённостью в среднем действительно расшумляются с большей ошибкой. Вместе обучение с patch-level-таймстепами и оценка сложности образуют Patch Forcing. Для его применения модель нужно обучить или дообучить с поддержкой разных таймстепов у патчей и головой сложности. Для такой модели авторы предлагают два адаптивных семплера. • В dual-loop есть внешний цикл, где уверенные патчи сначала продвигают большим шагом, и внутренний, где сложные патчи догоняют их несколькими маленькими шагами, используя уже обновлённые уверенные патчи как контекст. Когда таймстепы снова совпадают, модель заново оценивает сложность патчей и повторяет цикл. • В look-ahead уверенные патчи продвигают вперёд, чтобы получить более чистый контекст для сложных. Величина этого опережения зависит от текущего таймстепа: чем дальше продвинулась генерация, тем дальше можно заглянуть вперёд, вплоть до чистого состояния. Судя по результатам, сам по себе Patch Forcing хоть и не даёт огромный буст, зато хорошо комбинируется с другими методами и показывает, что идея patch-level-расписания расшумления в целом полезное направление для генеративных моделей. Разбор подготовил ❣ Максим Банцевич CV Time
07 Okt, 05:14

CV Time
3 481
Четыре способа испортить предсказание диффузионной модели Сегодня делимся обзором четырёх работ, в которых генерацию улучшают
Четыре способа испортить предсказание диффузионной модели Сегодня делимся обзором четырёх работ, в которых генерацию улучшают, отталкиваясь от специально испорченного предсказания. Посмотрим на разные методы такой «порчи» и полученные результаты. Guiding a Diffusion Model with a Bad Version of Itself Для начала вспомним CFG (Classifier-free guidance). При обучении модели в части случаев (скажем, 10%) подаётся пустой кондишн. При сэмплировании получают conditional- и unconditional-предсказания и экстраполируют от второго в сторону первого. CFG улучшает качество и соответствие условию, но при этом снижает разнообразие генераций. Авторы предлагают метод Autoguidance — вместо unconditional-предсказания берут предсказание ухудшенной версии той же conditional-модели, например, недообученной или уменьшенной. И тут надо понять, как именно должна быть ухудшена вторая модель. В аблейшнах авторы сравнивают разные варианты. • Если обе ветки ухудшены одним способом, но с разной силой, экстраполяция может компенсировать ухудшение (например, для моделей с постфактум добавленным дропаутом разной силы FID удалось снизить с 5 до 2,55 — практически до уровня исходной модели с FID 2,56). • Если же характер ошибок различается — например, одна ветка испорчена дропаутом, а другая шумом — guidance не помогает, лучший FID получается при scale = 1, то есть без экстраполяции. Основная идея Autoguidance в том, что плохая модель должна делать ошибки того же характера, что и хорошая, только сильнее. Self-Rectifying Diffusion Sampling with Perturbed-Attention Guidance Авторы заходят с чуть другой стороны и предлагают метод PAG (Perturbed-Attention Guidance). В одном или нескольких аттеншн-блоках строят ухудшенное предсказание, заменяя attention map на единичную матрицу. Получается, что каждый токен смотрит только на себя — и пространственное взаимодействие между токенами в этом блоке пропадает. При генерации отталкиваются от этого ухудшенного предсказания. В эксперименте на Stable Diffusion 1.5 PAG дал более низкий FID, чем CFG. При этом методы можно сочетать, и вместе они показывают ещё более высокое качество. Stochastic Self-Guidance for Training-Free Enhancement of Diffusion Models Здесь плохое предсказание получают за счёт того, что на каждом шаге диффузии случайно выбирают 10% трансформер-блоков и пропускают их. При попытке реализовать этот метод мы столкнулись с тем при дропе трансформер-блоков на изображениях действительно появлялось больше деталей. Но одновременно картинки становились заметно более тусклыми, хотя авторы такого эффекта не упоминают. Код они пообещали выложить, но пока его нет. Хотелось бы посмотреть на реализацию авторов. Guiding a Diffusion Model by Swapping Its Tokens Получают плохое предсказание с помощью перестановки самых непохожих токенов в отдельных блоках модели. Авторы предлагают два варианта: перемешивать сами токены или их каналы. Первый не дал заметного прироста, а с увеличением скейла качество генераций ухудшалось. Перемешивание каналов оказалось ещё нестабильнее, и даже при небольшом скейле изображения разваливались. Во всех этих методах критичным оказывается выбор способа построения ухудшенного предсказания. Само по себе более сильное искажение не делает guidance эффективнее: если оно слишком сильно меняет структуру предсказания или вносит ошибки не в тех местах, где ошибается основная модель, качество генерации быстро падает. Разбор подготовил ❣ Лавр Плисковский CV Time
29 Sen, 05:39

CV Time
3 481
Foveated Diffusion: Efficient Spatially Adaptive Image and Video Generation Разбираем статью, в которой попробовали использов
Foveated Diffusion: Efficient Spatially Adaptive Image and Video Generation Разбираем статью, в которой попробовали использовать идею, отчасти навеянную анатомией человеческого глаза. Наш глаз в отличие от камеры не воспринимает всю картинку в одинаково высоком разрешении. На сетчатке есть небольшой участок — фовеа, где клетки расположены с очень большой плотностью. Именно этой частью глаза мы различаем мелкие детали, а по краям информация гораздо менее подробная. В голове всё это собирается в полноценное изображение. Плюс такого устройства в том, что мы можем обращать внимание на супермелкие детали и при этом иметь широкий угол обзора. То есть одновременно обрабатывать сигнал в высоком и низком разрешении и не тратить ресурсы на обработку всего мира в супервысоком разрешении. В технике эта идея уже применяется в foveated-рендеринге. Например, в VR область, куда смотрит пользователь, рисуют в более высоком разрешении, а остальную — в более низком. Авторы переносят эту идею на генерацию. Они позиционируют свою работу как способ дешёвого ускорения генеративной модели (для картинок в 1,5–2 раза, для видео — в 3,5, потому что пространственно-временное внимание дороже) без особых потерь качества. Метод рассчитан на сценарии, где известно, куда смотрит пользователь: айтрекинг в VR, стриминговая генерация, симуляторы. Маска приходит извне, а не выводится из картинки. При генерации, кроме промта, есть condition — foveation mask, который говорит, где нужно нарисовать в высоком разрешении. Модель генерирует сигнал в двух разрешениях: кусочек в high res и остальную часть в low res. Получается полноценный латент, который переорганизуется на грид. High-res-кусочек декодируется отдельно, а вся остальная картинка собирается на грид более низкого разрешения и тоже декодируется. После этого две компоненты просто складываются с весами маски и получается комбинированное изображение. Декодер берут готовый, он ничего не знает об этих манипуляциях, поэтому на границе могут появляться артефакты. Авторы выносят цветовые артефакты на границе в ограничения и предлагают переделать VAE под декодирование смешанного разрешения. Нетривиальный кусочек работы посвящён кодированию позиций токенов с учётом информации, что где-то у нас высокое разрешение, а где-то низкое. Мы привыкли, что сигнал — это равномерная решётка, но позиционные эмбеддинги позволяют ставить внутрь позиции не только равномерных, но и нужных нам узлов. В high-res-части позиции кодируются как обычно, а в low-res-кусочках делаются пропуски. В итоге информация о том, как конкретный токен соотносится с картинкой, сводится к позиционному кодированию. Просто запустить предобученную модель на такой неоднородной сетке не выходит, так как масштабы и структура в двух зонах расходятся, объекты дублируются. Поэтому авторы дообучают модель через LoRA на мишени, консистентной по построению: картинку и её уменьшенную копию кодируют VAE независимо, а потом сливают токены по маске, так обе части заведомо описывают один и тот же контент. Большую часть экспериментов делают со случайными масками: так модель учится работать с произвольной маской при генерации (замеры производят на фиксированной центральной). Но если для обучения брать маски из модели, которая оценивает, куда посмотрит человек, выходит неожиданный эффект: модель начинает сама размещать значимые объекты внутри фовеа. Фактически бесплатный грубый контроль композиции, в том числе многообъектный, если маска состоит из нескольких несвязных кусков. В результатах авторы показывают, что просадки по качеству особо нет, а выигрыш по скорости есть. Дальше уже интересно, можно ли сделать так, чтобы модель сама без подсказок по мере генерации понимала, где ей нужно больше токенов, а где меньше. На первых шагах диффузии мы ничего не знаем о картинке, но потом постепенно появляется какая-то грубая компоновка: становится понятно, что здесь будет трава, здесь небо, здесь какой-то объект. По нему уже видно, где нужны детали, а где можно сэкономить. Разбор подготовил ❣ Кирилл Струминский CV Time
25 Sen, 04:01

CV Time
3 481
When Rubrics Fail: Error Enumeration as Reward in Reference-Free RL Post-Training for Virtual Try-On Разбираем статью, в кото
When Rubrics Fail: Error Enumeration as Reward in Reference-Free RL Post-Training for Virtual Try-On Разбираем статью, в которой исследователи из Amazon, University of Washington и Allen Institute for AI предложили ещё один способ строить награду для задач без единственного правильного ответа. Обычно рубричная награда работает так: для конкретного запроса генерируется набор критериев хорошего результата, каждому назначается вес, а итоговая оценка зависит от выполненных пунктов. Такой подход позволяет адаптировать оценивание под задачу и обычно информативнее единого скора качества. Проблема возникает в открытых генеративных задачах. Хороших ответов может быть много, и в них не обязательно присутствуют одинаковые признаки. Поэтому критерии, построенные по одному эталону, могут штрафовать другие корректные варианты. Авторы предлагают перевернуть оценивание: описывать не идеальный ответ, а универсальный для задачи набор критических ошибок. В качестве примера такой задачи авторы берут виртуальную примерку одежды, где типичные ошибки — это неправильный перенос одежды, искажение цвета и текстуры, артефакты, некорректное освещение или изменение исходного человека. Модель-судья проверяет результат по каждой категории и возвращает оценки от 0 до 1: чем больше и серьёзнее ошибки, тем ниже оценка. Метод называется Implicit Error Counting. Полный список дефектов не используется напрямую, поскольку его явная генерация оказалась слишком нестабильной. Итоговая награда считается как среднее оценок по категориям, затем калибруется относительно других генераций для того же входа и используется для обучения с GRPO. (Понятно, что с тем, как именно агрегировать скоры в единый сигнал, можно экспериментировать). На MDressBench метод превзошёл прямую и рубричную оценку по всем восьми метрикам. На VITON-HD и DressCode он оказался не хуже или даже лучше шести базовых методов по 6 из 8 метрик. Предложенная авторами метрика также совпадала с человеческим выбором в 60% случаев против 30% у прямого и рубричного оценивания. Основная идея: если множество хороших ответов описать трудно, но множество типичных ошибок ограничено, награду можно строить через отсутствие этих ошибок. #YaECCV2026 Разбор подготовила ❣ Ангелина Гнедина CV Time
16 Sen, 05:25

CV Time
3 481
Trustworthy Image Authentication using Forensic Knowledge Graphs На ECCV 2026 прослеживались два основных направления по дете
+2
Trustworthy Image Authentication using Forensic Knowledge Graphs На ECCV 2026 прослеживались два основных направления по детекции AIGI (AI-generated images): • обобщающие подходы, которые пытаются строить решения независимо от конкретных генераторов, чтобы не переучиваться под новые; • объясняемые подходы на базе VLM, где модель отвечает, почему изображение поддельное. Разбираемая статья интересна тем, что фокусируется сразу на обоих эти обоих направлениях. Авторы обучают self-supervised-эмбеддер на неразмеченных фотографиях. Получают fingerprint изображения, который отражает не семантику или содержание, а низкоуровневые особенности, связанные с тем, как изображение было сформировано. Для этого эмбеддинги патчей одной фотографии сближают, а разных фотографий — отдаляют. Дальше картинка режется на патчи, для каждого считается такой отпечаток, и патчи с похожими отпечатками склеиваются в области. Потом эмбеддинги патчей области усредняются, и отдельные модели-эксперты (MLP) предсказывают источник (камера или генератор), постобработку и сжатие (JPEG-параметры), а трансформер-ризонер сверху увязывает эти предсказания между собой. Всё собирается в граф: изображение → области → источник, постобработка, сжатие. В самом конце подключается VLM, которая переводит граф в текстовое описание с проверкой, что каждое утверждение опирается на факты из графа. Такой подход позволяет единой системой находить и обосновывать разные манипуляции: сплайсинг (вставка одного изображения в другое), классическую локальную обработку (блюр), локальное AI-редактирование и полностью сгенерированные изображения. Например, разные источники у областей выдают сплайсинг, смесь камерных и синтетических отпечатков — AI-редактирование, а отсутствие камерных отпечатков вовсе — полную генерацию. #YaECCV2026 Разбор подготовил ❣ Евгений Кузнецов CV Time
14 Sen, 08:33

CV Time
3 481
Мы всё ещё на ECCV: репортаж с воркшопа о квантовых вычислениях в компьютерном зрении Наш коллега Александр Шишеня посетил во
+3
Мы всё ещё на ECCV: репортаж с воркшопа о квантовых вычислениях в компьютерном зрении Наш коллега Александр Шишеня посетил воркшоп 3rd Workshop on Quantum Computer Vision and Machine Learning (QCVML) и рассказал, что там было интересного. Начали с хорошего введения в квантовые вычисления от исследователя в Университете Зигена Natacha Kuete Meli. Впоследствии удалось пообщаться с ней лично, и она подтвердила описанные здесь выводы. Вкратце идея в том, чтобы создать квантовую систему, состояние которой — решение целевой задачи. Сама система описывается уравнением Шредингера, соответственно и круг решаемых задач ограничен теми, которые вписываются в эту модель. А вписывается в неё, например, дискретная (бинарная) квадратичная оптимизация или задача о назначениях — о ней в основном и рассказывали. Всё это относится к адиабатическим квантовым вычислениям. В качестве ячеек памяти у нас кубиты (например, спин иона). Они вообще находятся в суперпозиции состояний, но при замере схлопываются в 0 или 1 — отсюда и бинарная оптимизация. К компьютерному зрению такой подход напрямую отношения не имеет. Но есть ещё gate quantum computing. Здесь состояние кубита описывается амплитудами вероятности, что потенциально позволяет кодировать гораздо больше информации и решать в том числе задачи компьютерного зрения. Правда, чтобы получить информацию о состоянии, квантовую схему приходится запускать и измерять много раз: чем больше, тем точнее оценка. Пока практического применения в CV у этого подхода нет, но Natacha уверена, что в будущем квантовые вычисления найдут там своё место. Затем выступали ребята из eleQtron — они выпускают квантовый компьютер на <=60 кубит. В качестве кубитов используют ионы иридия, удерживаемые магнитным полем, состоянием управляют с помощью микроволнового излучения и лазера. Дальше ребята сравнивали квантовые компьютеры с классическими по принципу: «у нашего слона хобот длиннее, чем у вашего тигра». Также рассказали о решении задачи трекинга объектов на видео на 60-кубитном (!) компьютере. Вы спросите: как на 60 кубитов поместить хотя бы один кадр, не то что нейронку, обрабатывающую видео? А никак. Вся детекция делается классически, у нас есть готовые баундингбоксы, а также матрица их схожести между кадрами. На квантовом компьютере решается только задача матчинга баундинбоксов между кадрами. Как раз та самая задача дискретного квадратичного программирования. Причём задачу эту приходится решать отжигом, то есть делается серия из запусков квантового компьютера и выход в итоге сходится к точному решению. #YaECCV2026 CV Time
11 Sen, 11:03

CV Time
3 481
Больше CV на ECCV! Наши инженеры поделились ещё двумя интересными работами на тему компьютерного зрения. В первой стремятся с
+4
Больше CV на ECCV! Наши инженеры поделились ещё двумя интересными работами на тему компьютерного зрения. В первой стремятся сделать рассуждения мультимодальных моделей надёжнее, во второй — работают над улучшением распознавания незнакомых данных. SophiaVL-R1: Reinforcing MLLMs Reasoning with Thinking Reward Статья была представлена на ICLR 2026. При обучении reasoning-моделей награда обычно зависит только от финального ответа. Но верный ответ ещё не гарантирует правильное рассуждение, ведь модель может прийти к нему случайно, через логические ошибки или противоречивую цепочку. Outcome reward этого не замечает. Авторы добавляют Thinking Reward Model, которая оценивает рассуждение целиком: его логичность, корректность, согласованность и отсутствие лишних повторений. Итоговая награда в Trust-GRPO: Reward = Outcome reward + Trust × Base weight × Time decay × Thinking reward Где: • Outcome reward — правильность финального ответа; • Thinking reward — качество рассуждения; • Base weight — заданный вес thinking reward; • Trust — динамическая оценка доверия к Thinking Reward Model. Для каждого вопроса генерируют группу ответов и сравнивают средний thinking reward правильных и неправильных решений. Если правильные решения оценены выше, Trust = 1. Если judge в среднем ставит неправильным решениям более высокие оценки, Trust экспоненциально уменьшается пропорционально разнице между этими средними. Так ненадёжный сигнал слабее влияет на обучение. Time decay постепенно снижает вес thinking reward. Сначала он помогает модели сформировать хорошие стратегии рассуждения, а позднее обучение сильнее опирается на более надёжный и формально проверяемый outcome reward. Balanced Hyperbolic Embeddings Are Natural Out-of-Distribution Detectors Авторы этой статьи ставят задачу определить, какие изображения — Out-of-Distribution (OOD). Проблема следующая. Если классификатору показать «белку», которой в обучении не было, он может уверенно предсказать «кошку», потому что не понимает, что такое «объект OOD». В работе предлагают устроить пространство признаков так, чтобы сама геометрия помогала модели понять, насколько объект ей знаком. Для этого используют гиперболическое пространство признаков. Конкретнее: возьмем WordNet или VerbNet, который построит иерархию классов из обучающего датасета (граф). Шаг 1: берём полученный граф и учим эмбеддинги каждого класса в гиперболическом пространство так, чтобы расстояния в нём соответствовали расстояниям в графе. Шаг 2: берём датасет картинок и сближаем в гиперболическом пространстве эмбеддинги картинки и соответствующего класса. В результате эмбмеддинги OOD-картинок оказываются ближе к «центру» гиперболического пространства (к корневому классу, а-ля world), а эмбеддинги обычных картинок — ближе к краям, то есть к эмбеддингам соответствующих классов. #YaECCV2026 Интересное увидели ❣ Ангелина Гнедина и Полина Комиссарова CV Time
10 Sen, 03:51

CV Time
3 481
Интересные доклады с ECCV 2026 С 8 сентября в шведском Мальмё проходит ECCV — Европейская конференция по компьютерному зрению
+7
Интересные доклады с ECCV 2026 С 8 сентября в шведском Мальмё проходит ECCV — Европейская конференция по компьютерному зрению. Ведущий разработчик подгруппы Agentic Vision и VLM Reasoning в Яндексе Александр Шишеня рассказал о нескольких докладах, которые удалось посетить. Слово Александру.
Enterprise Agents: Capable or Compromised? Вначале спикер прорекламировал BrowserGym, среду для web-агентов, а также WebArena-Pro — усложнённую версию WebArena с более трудными и multi-app-задачами. Сам доклад состоял из двух частей. Первая озаглавлена Privacy-Aware Deep Research. Если агент работает с чувствительными данными, часто по всей совокупности тул-коллов можно восстановить приватную информацию, даже если в каждом отдельном тул-колле информация была обфусцирована. Авторы предлагают стратегию борьбы с этим поведением, добавляя на стадии RLVR специальный реворд. Подход действительно работает, утечки во многом устраняются, а качество на целевых задачах растёт. При этом бэйзлайновый подход — добавление промпта — тоже решает задачу приватности, но роняет качество. Вторая часть — Malice in Agentland. В обучающие данные можно подложить небольшое количество вредоносных данных. Благодаря этому обученная модель будет способна на вредоносное поведение, которое вызывается специальной заранее определённой комбинацией токенов. Например, модель может начать слать на заранее заданный сервер файлы с локального компьютера. Авторы показали, что достаточно всего 1% таких данных в обучающем датасете, чтобы вредоносное поведение триггерилось с вероятностью 99%. Утверждается, что такие вредоносные семплы достаточно трудно задетектить в датасете, к тому же обучение на таком наборе поднимает целевое качество. По тому же принципу может быть заражена среда, где собираются данные. При этом в маленькие модели сложнее заложить такое вредоносное поведение. Learning When to Search, What to Search and What to Trust: Reinforcement Learning for Multimodal Reasoning Agents Ключевые идеи такие. Модель сама по себе не имеет представления, что она знает хорошо, а что не знает. Чтобы выяснить, на каких семплах вызывать тулы, а на каких не обязательно — нужно прогонать модель с тул-коллами и без. Если на семпле просадка качества при вызове без тул-колла — required_tool=True и затем штрафуем, если на RLVR модель вызывает тул на таких семплах. Далее давайте генерировать сразу несколько различных тул-коллов, которые стремятся решить одну задачу, чтобы генерировать несколько кандидатов. Потом ответы этих тул-коллов фильтруем отдельной моделью на полезность и таким образом пруним траектории. Также предлагают модификацию GRPO — Dr. GRPO (done right). Manipulation in GUI Agents В этой работе делают VLA для computer_use. При этом движение мышки генерируют как криволинейную траекторию с помощью flow matching отдельной лёгкой головой по эмбеддингам из VLA. В перерыве удалось пообщаться с автором, поспорили, вместе подумали над идеями.
#YaECCV2026 CV Time
09 Sen, 11:27

CV Time
3 481
Representation Alignment for Just Image Transformers is not Easier than You Think REPA хорошо зарекомендовала себя для латент
Representation Alignment for Just Image Transformers is not Easier than You Think REPA хорошо зарекомендовала себя для латентных диффузионных моделей. Берутся промежуточные фичи генеративной модели и обучаются быть похожими на фичи предобученного энкодера вроде DINO. Кажется логичным просто перенести тот же подход на pixel-space-модели. Но с JiT это привычного буста не даёт, а при долгом обучении может сделать даже хуже. Авторы статьи PixelREPA, которую мы разбираем сегодня, связывают проблему с несовпадением пространств представлений. DINO становится bottleneck`ом, его фичи сжимают информацию об изображении и отбрасывают часть мелких и высокочастотных деталей. В латентном пространстве тоже уже произошло информационное сжатие, поэтому алайнмент между DINO и латентными диффузионными моделями имеет смысл. А JiT работает напрямую с пикселями и может сохранять гораздо более детальную информацию. Когда высокоразмерные фичи JiT напрямую выравнивают с более компактными DINO-фичами, происходит representation collapse, то есть разные с точки зрения JiT изображения становятся неразличимыми после алайнмента. Особенно хорошо это видно на парах изображений, которые DINO считает очень похожими. Там REPA сильнее всего ухудшает результат. И чем размерность pixel space выше, тем заметнее проблема. Как чинят? Авторы предложили не матчить JiT и DINO напрямую, а сначала научиться выжимать из «богатых» JiT-фичей более компактное представление. Для этого: 🔴заменяют простой MLP-проектор на два JiT-блока с аттеншном; 🔴маскируют часть токенов перед алайнментом, заставляя проектор выделять основную информацию из неполного представления. Именно маскирование оказывается важной частью фикса. JiT с обычной REPA работает хуже исходной модели. Если заменить простой проектор между фичами JiT и DINO на более мощный, результат станет получше, но он всё ещё не будет дотягивать до исходного JiT. И только когда к новому проектору добавляют маскирование части токенов, удаётся превзойти базовую модель. Интереснее всего в работе не конкретный рецепт, а вывод: эффективность representation alignment`а зависит от пространства, в котором живёт генеративная модель. Отсюда возникает гипотеза о том, что, возможно, обычную REPA в pixel space стоит не только модифицировать, но и просто вовремя выключать. В начале она помогает сформировать семантику, а позже начинает мешать модели учить более fine-grained-признаки. И это подтверждается нашими внутренними экспериментами. Разбор подготовил ❣ Никита Стародубцев CV Time
01 Sen, 07:45

CV Time
3 481
PixelDiT: Pixel Diffusion Transformers for Image Generation Сегодня разбираем статью, в которой предложили ещё один способ за
PixelDiT: Pixel Diffusion Transformers for Image Generation Сегодня разбираем статью, в которой предложили ещё один способ заставить диффузионный трансформер работать напрямую с пикселями. Самое интересное в работе — описанная авторами архитектура. Главное нововведение подхода в том, что модель обрабатывает изображение на двух уровнях: отдельно семантику, отдельно пиксельные детали. Сначала картинку бьют на крупные патчи 16х16 и прогоняют через обычные DiT-блоки. На выходе получаются семантические токены, которые компактно передают глобальное содержание картинки. После этого модель снова берёт исходное изображение, но уже с размером патча 1х1. Каждый пиксель становится отдельным токеном с эмбеддингом маленькой размерности. Семантические токены из первой части используют для обусловливания pixel-блоков через pixel-wise AdaLN. То есть первая часть модели отвечает за семантику изображения, а вторая восстанавливает его буквально по отдельным пикселям. Но селф-аттеншн по всем пикселям стоил бы безумно дорого. Поэтому перед аттеншном PixelDiT временно группирует соседние пиксельные токены: длина последовательности уменьшается, размерность представления растет, аттеншн считается уже в сжатом пространстве, а затем токены разворачиваются обратно. Авторы делают акцент на том, что это именно оптимизация вычислений, при этом fine-grained-информация продолжает идти через pixel-level-представление. Без такого сжатия модель просто упирается в OOM. В методе JiT для перевода эмбеддингов обратно в изображение используется один линейный слой. Если выход высокоразмерный (пересказываем шум или velocity), то такое работать не будет. Именно поэтому в JiT модель предсказывает чистое изображение (чистый патч) — чистое изображение лежит в низкоразмерном пространстве. В это же время PixelDiT каждый пиксель обрабатывает отдельно, поэтому модель предсказывает высокоразмерную velocity. И ещё прикольно выглядит использование AdaLN. Здесь conditioning — не один глобально спуленный вектор. Семантические представления используют, чтобы отдельно обогащать информацией pixel-level-представления. По аблейшену, pixel-wise AdaLN делает хороший вклад в результат. Разбор подготовил ❣ Илья Дробышевский CV Time
26 Avg, 04:47

CV Time
3 481
Sparse Forcing: Native Trainable Sparse Attention for Real-time Autoregressive Diffusion Video Generation Сегодня разбираем р
Sparse Forcing: Native Trainable Sparse Attention for Real-time Autoregressive Diffusion Video Generation  Сегодня разбираем работу, в которой предложили sparse attention для авторегрессионной генерации видео. В целом идея sparse attention в видео не новая. В предыдущих работах, таких как  Sparse VideoGen и Sparse VideoGen2, разреженный паттерн задавали заранее или подбирали динамически, но в основном уже на инференсе. Из-за этого возникал мисматч — обучалась модель с обычным аттеншном, а при генерации получала другую схему доступа к контексту. В Sparse Forcing предлагается end-to-end-подход, в котором sparse attention становится частью обучения. Кроме того, генерация видео происходит именно авторегрессионно, а не bidirectional, как было в прошлых статьях. Подход опирается на наблюдение о том, что аттеншн в видео обычно собирается в блоки, и модель смотрит не на всю историю равномерно, а на несколько участков прошлого контекста и окно вокруг текущей позиции. Тензор видеолатентов разбивают на небольшие пространственно-временные блоки. Дальше для каждого query-блока динамически выбирают фиксированное число блоков, на которые ему полезнее всего смотреть. Память при этом делится на две части: 🔴persistent memory хранит не всю историю, а ограниченный набор блоков (sink-блоки + динамически отобранное подмножество, Top-C), доступна всем query и аттендится каждым из них. Именно за счёт того, что история не хранится целиком, достигается снижение пикового KV-кэша; 🔴local memory работает как sliding window и может отличаться для разных query. Чтобы не считать полный аттеншн только ради выбора нужных блоков, каждый блок сначала сжимают в один вектор простым усреднением его токенов. По этим представлениям считают грубый attention score. Его используют двумя способами: 1) внутри локального окна для каждого query-блока выбирают top-k релевантных блоков и точный аттеншн считают только по ним; 2) агрегированный score по истории решает, какие блоки удержать в persistent memory (Top-C) при вытеснении из локального окна. При этом сами persistent-блоки не фильтруются через top-k — их плотно аттендят все query. То есть сначала делают дешёвый поблочный скоринг, а потом считают точный аттеншн по выбранному подмножеству. Сам sparse-паттерн меняется динамически и отдельно для каждого query, но число выбранных блоков остаётся фиксированным. Похоже sparse attention устроен в DeepSeek, где тоже есть отдельный скоринг на более компактных представлениях, который определяет, к каким блокам обращаться. Для такого подхода нужны специальные кернелы. Авторы заявляют ускорение относительно FlashAttention-2 и показывают, что оно зависит от размера локального окна и отношения выбранных блоков к общему контексту, доли persistent-памяти (N_P/N_L) и длины блока. Динамический отбор блоков должен быть особенно полезен для длинной авторегрессионной генерации, где история и KV-кэш постоянно растут. Но здесь возникает главный вопрос к работе. Кернелы не опубликованы, кода на момент написания поста тоже нет. В экспериментах sparse attention сравнивают в основном с FlashAttention-2, хотя всё запускали на H100 и могли бы проверить FlashAttention-3. Поэтому оценить реальный спидап сложно. С видеомоделями ситуация похожая. Авторы сравниваются с CausVid, Self Forcing, SkyReels-V2 и MAGI-1 и говорят о сниженной  задержке и меньшем количестве артефактов. Но самых близких sparse-бейзлайнов в сравнении нет — от них авторы открещиваются говоря, что паттерн одновременно обучаемый, динамический и авторегрессионный. В итоге модель сама учится работать с ограниченным набором блоков, поэтому качество должно проседать меньше. Динамический выбор контекста тоже кажется полезнее фиксированной маски. Но насколько большой практический выигрыш даёт именно этот метод, по приведённым экспериментам понять трудно — из-за слабых бейзлайнов и отсутствия кода. Разбор подготовил ❣ Федор Великонивцев CV Time
18 Avg, 05:31

CV Time
3 481
DiffusionNFT: Online Diffusion Reinforcement with Forward Process [2/2] Завершаем разбор статьи об RL для диффузионок от NVIDIA. В первой части рассказали, что предложили авторы. Переходим к самому интересному — результатам. Что крутого в решении: 🔴Независимость от солвера — тренировка полностью отделена от семплирования: можно использовать любой black-box-солвер, не нужно хранить траектории. 🔴Неявное «впекание» CFG — направление ∆ (по сути CFG-подобный гайденс) встраивается прямо в модель через репараметризацию, без отдельной гайденс-модели и guided-семплирования. 🔴Likelihood-free — метод не использует приближение правдоподобия (в отличие от DPO-style-методов с ELBO и неравенством Йенсена, или дискретизации обратного процесса), а значит не вносит систематическое смещение в оценку. Если упростить до алгоритма обучения: 1) Семплируем роллауты без CFG — прогоняем текущую v_old по промптам, группами (group rollouts, как в GRPO). 2) Для каждого члена группы считаем reward и нормализуем его внутри группы — получаем аналог advantage. 3) Из набранных групп формируется пул данных, по которому оптимизируется введённый выше objective мини-батчами — обновляется только v_θ. 4) После прохода по всему набору групп делается EMA-like апдейт v_old ← v_θ .
Отдельно замечу: в самой статье об этом ни слова, но в опубликованном коде NFT дополнительно используется KL-регуляризация к исходной модели — то есть на практике это не просто голый flow matching objective на implicit positive/negative policy, а ещё с якорем на исходные веса.
На SD3.5-Medium предложенный метод сходится заметно быстрее, чем Flow-GRPO — в head-to-head-сравнениях авторы заявляют до 25× по эффективности. Например, на GenEval DiffusionNFT доходит с 0,24 до 0,98 всего за 1 тысячу шагов, тогда как Flow-GRPO выходит лишь на 0,95 за 5k+ шагов и дополнительно требует CFG на инференсе. При этом сама тренировка у DiffusionNFT полностью CFG-free, а значит легче: не нужно гонять условную и безусловную ветку, не нужно хранить полные траектории семплирования. Подводя итог, метод действительно впечатляет. Относительно Flow-GRPO он буквально не имеет недостатков, при этом помимо RL мы попутно получаем и «впекание» гайденса, а значит, на последующей стадии общей дистилляции на одну головную боль становится меньше. Кажется, что в будущем такой подход к RL диффузионных моделей может стать новой общепринятой практикой. Уже сейчас ссылки на DiffusionNFT можно найти в MeanFlow NFT от Tencent, где NFT успешно распространяют на MeanFlow-формулировку, а также в Mage-Flow — новой диффузионной генеративке Microsoft, где метод применили на стадии пост-трейнинга вместо GRPO. Разбор подготовил ❣ Валерий Старцев CV Time
11 Avg, 05:07

CV Time
3 481
DiffusionNFT: Online Diffusion Reinforcement with Forward Process [1/2] Сегодня разберём свежую статью из мира RL для диффузионок — Diffusion NFT от NVIDIA, представленную на ICLR 2026. В сообществе доминируют два подхода к RL-дообучению диффузионных моделей: офлайн-обучение на предпочтениях (DPO-style) и онлайн-GRPO — де-факто стандарт в text-to-image-моделях продакшен-уровня. У обоих есть проблемы. У DPO — неустойчивый objective, офлайновость и необходимость собирать большие датасеты с человеческой разметкой. У GRPO — неудобность: нужно хранить траектории всех генераций в группе и жёстко привязываться к определённому виду семплера. Авторы из NVIDIA предложили метод, который решает проблемы GRPO, при этом сходится быстрее и позволяет «вшить» CFG прямо в результирующую модель. Идея — делать RL не на обратном процессе (как в GRPO), а на прямом. Так родился DiffusionNFT (Diffusion Negative-aware FineTuning). Вместо policy gradient метод напрямую оптимизирует форвард-процесс через flow matching objective. Смысл в том, чтобы задать контрастное «направление улучшения» между двумя неявными политиками, обученными на позитивных и негативных семплах (по реворду), и двигаться в сторону позитивной политики, не трогая сам процесс семплирования. Плюсы такой формулировки: 🔴работает с любыми солверами, а не только с SDE первого порядка; 🔴не нужно хранить целые траектории семплирования — только чистые картинки; 🔴минимальные изменения в существующем коде обучения. Технически это устроено так: есть претрейн policy π_old и датасет промптов. На каждой итерации семплим K картинок по промпту и оцениваем каждую скалярным reward r ∈ [0,1] — это «вероятность оптимальности» картинки. Каждая картинка с вероятностью r попадает в «позитивный» датасет D+, иначе — в «негативный» D−. При бесконечном числе семплов D+ соответствует implicit policy π+ (условная на успех), D− — implicit policy π− (условная на неуспех). Авторы показывают, что всегда верно π+ ≻ π_old ≻ π−. Наивный вариант — Rejection FineTuning (RFT): тренировать модель только на D+. Работает, но не использует негативные данные, и чистое обучение на позитивах приводит к коллапсу. Ключевая идея — ввести «направление улучшения» ∆ между π_old и целевой policy, по аналогии с гайденсом (как в CFG): v* = v_old + (1/β)·∆ где, β — сила гайденса. Теорема авторов показывает, что ∆ можно эквивалентно выразить через любую пару {v_old, v+, v−}: ∆ = (1−α)·(v_old − v−) = α·(v+ − v_old) где α ∈ [0,1] — скаляр, зависящий от реворд-статистики. То есть направление к «хорошей» политике можно получить и через контраст с «плохой» политикой — они пропорциональны друг другу. Главный трюк. Вместо обучения двух отдельных моделей v+_θ и v−_θ, авторы параметризуют их через одну и ту же сеть vθ: v+_θ = (1−β)·v_old + β·vθ — implicit positive policy v−_θ = (1+β)·v_old − β·vθ — implicit negative policy И обучают на единый лосс: L(θ) = E[ r·‖v+_θ(x_t,c,t) − v‖² + (1−r)·‖v−_θ(x_t,c,t) − v‖² ] На позитивных семплах (вес r) модель обучается через ветку implicit positive policy; на негативных (вес 1−r) — через implicit negative policy, но обе ветки завязаны на одну и ту же сеть vθ. При достаточном количестве данных и капасити оптимум этого лосса даёт нужное направление улучшения: vθ* = v_old + (2/β)·∆ По сути это обычный supervised диффузионный лосс с двумя ветками для позитивных и негативных примеров — но при этом даёт полноценный RL-эффект. Во второй части разберём, почему это круто и какие результаты получились. Разбор подготовил ❣ Валерий Старцев CV Time
11 Avg, 05:06

CV Time
3 481
Курс по Visual GenAI от Yandex Research и ШАД Авторы CV Time не только пишут обзоры статей о компьютерном зрении, но и создаю
Курс по Visual GenAI от Yandex Research и ШАД Авторы CV Time не только пишут обзоры статей о компьютерном зрении, но и создают обучающие курсы. Сегодня делимся курсом ШАДа «Генеративные модели в компьютерном зрении», который ведёт Дмитрий Баранчук, руководитель группы GenAI в Yandex Research, вместе с праймовой командой исследователей в этой области. Будет полезно тем, у кого есть базовые знания по генеративкам и желание разобраться глубже: • в теории диффузионных моделей, эффективных методах их обучения и семплирования; • в новых гибридных моделях на основе диффузии для генерации изображений, видео и 3D. У курса есть открытый GitHub-репозиторий, где можно найти слайды, записи лекций и семинаров, а также домашние задания. CV Time
04 Avg, 05:01

CV Time
3 481
Qwen-Image-Agent: Bridging the Context Gap in Real-World Image Generation Сегодня разбираем статью о Qwen-Image-Agent — не ст
Qwen-Image-Agent: Bridging the Context Gap in Real-World Image Generation Сегодня разбираем статью о Qwen-Image-Agent — не столько техническую, сколько идеологическую. Авторы предлагают добавить перед генеративной моделью агентский пайплайн, который собирает недостающий контекст. Главной проблемой называют Context Gap — разрыв между тем, что пользователь написал, и тем, что модели нужно для качественной генерации. Дело в том, что промпт юзера может быть неполным: не хватает деталей, референсов или контекста предыдущего диалога. Кроме того, он обычно не попадает в распределение, на котором училась модель. Например, пользователь просит нарисовать скорборд финала NBA 2026 с логотипами команд и итоговым счётом. Но генеративная модель может не знать, кто играл, какой был счёт и как выглядят логотипы. Если отправить запрос напрямую, она, скорее всего, что-нибудь нагаллюцинирует. Qwen-Image-Agent сначала определяет, какой информации не хватает, и формулирует вопросы. Затем они направляются в нужный механизм: 🔴Reasoning — логика, здравый смысл и визуальный ризонинг; 🔴Search — веб-поиск и поиск изображений; 🔴Memory — история диалога и прошлые генерации; 🔴Feedback — проверка результата через VLM-as-a-Judge. Когда нужная информация собрана, система переписывает промпт через обычную репромптиловку, но с контекстом из внешних источников. Дальше генерируется изображение, а VLM-as-a-Judge проверяет его по чек-листу. Если всё выполнено, картинка возвращается пользователю. Если нет, система смотрит оставшийся Context Gap, уточняет промпт и запускает новую итерацию. В пайплайне задействованы две модели. Мультимодальная — отвечает за планирование, ризонинг, поиск и оценку результата, а генеративная — за синтез изображения. Дополнительного обучения нет, вся система работает zero-shot на системных промптах. Именно в системном промпте задаются правила, когда использовать Reasoning, а когда Search. Есть момент, что граница между Reasoning и Search довольно размыта. Общие и стабильные знания можно брать из весов модели, а точные, визуальные или динамические данные лучше искать. (Например, модель может примерно знать логотип команды, но для точного воспроизведения надёжнее найти референс.) Отдельный уровень планирования нужен для multi-image- и multi-turn-генерации. Например, при создании презентации несколько слайдов должны сохранять единый стиль. В одном из примеров система сначала генерирует титульный слайд, а затем использует его как стилевой референс для остальных. При этом из памяти извлекается только релевантный контекст, иначе он быстро раздуется. Важная часть статьи — Image Agent Bench, бенчмарк для end-to-end-оценки агентских систем генерации. Проверяет четыре способности: Planning, Reasoning, Search и Memory. Для каждого кейса есть свой чек-лист, всего в них около 1800 пунктов. Для оценки используют Pass Rate, Checklist Accuracy и интегральный Image Agent Score. Срезы взвешиваются как 0,3 / 0,3 / 0,3 / 0,1 — памяти дают меньший вес, потому что она используется только в multi-turn-задачах. В работе привели абляцию, по которой агентский пайплайн получает около 45 баллов против 17 у базовой Qwen-Image без агента. Замена как генеративной, так и ризонящей модели на более слабую результат снизила, но агентские версии всё равно остаются лучше прямой генерации. Отключение Feedback Loop приводит к самому маленькому падению качества. Фидбек при этом очень дорогой, так как нужен дополнительный вызов VLM-джаджа, а при ошибке требуется повторная генерация. Возможно, планирование, поиск и ризонинг уже закрывают большую часть Context Gap, поэтому дополнительный выигрыш от фидбека невелик. Можно сделать вывод, что авторы не предлагают принципиально новых компонентов, но зато удобно собирают поиск, ризонинг, память, репромптинг и оценку в единый фреймворк. Качество растёт, но вместе с ним растут вычисления, контекст и сложность пайплайна. Разбор подготовил ❣ Василий Прядченко CV Time
30 Iyul, 04:33