gonzo-обзоры ML статей

Хардкор про сэмплирование в диффузионках. Вторая работа с ICML 2026 Outstanding Paper Award. High-Accuracy Sampling for Diffusion Models and Log-Concave Distributions Fan Chen, Sinho Chewi, Constantinos Daskalakis, Alexander Rakhlin Paper: https://arxiv.org/abs/2602.01338 ICML Submission: https://openreview.net/forum?id=GW3umRqsZZ Review: https://arxiviq.substack.com/p/icml-2026-high-accuracy-sampling Code: N/A Model: N/A ICML 2026 Outstanding Paper Award. # TL;DR ЧТО сделали: Авторы разработали First-Order Rejection Sampling (FORS) — метод высокоточного семплирования без дополнительного обучения (training-free). Он позволяет получать выборки с гарантированной точностью (ошибка δ за polylog(1/δ) шагов) для генеративных диффузионных моделей и логарифмически вогнутых (log-concave) распределений, используя только оценки градиента первого порядка (скор-функцию). ПОЧЕМУ это важно: Традиционные дискретные SDE-семплеры ограничены полиномиальной погрешностью дискретизации, масштабирующейся как poly(1/δ). Сформулировав задачу принятия-отклонения (accept-reject) как задачу «бернуллиевской фабрики» (Bernoulli factory) и решив её через криволинейные интегралы, авторы создали первый высокоточный скор-ориентированный метод семплирования, который полностью избегает вычислительно тяжёлых и зачастую невычислимых оценок плотности. Это доказывает, что высокоточное семплирование реализуемо при стандартных L_2-оценках скор-функции. Для практиков: С теоретической точки зрения эта работа — важнейшая веха, заслужившая награду Outstanding Paper Award на конференции ICML. Исследователи доказали, что можно обойти барьер дискретизации SDE и генерировать высокоточные выборки экспоненциально быстрее, чем считалось ранее, при этом вообще не меняя архитектуру сети и не обращаясь к плотностям распределения. Сэмплировать тут: https://t.me/gonzo_ML_podcasts/4366

Пошли статьи с ICML 2026. Интересное про языковые диффузионки. Если в обучении их ограничить последовательной генерацией, то итоговый результат лучше, чем если бы у них была полная свобода генерить токены в любом порядке (как собственно и ожидается от диффузионки). The Flexibility Trap: Rethinking the Value of Arbitrary Order in Diffusion Language Models Zanlin Ni, Shenzhi Wang, Yang Yue, Tianyu Yu, Weilin Zhao, Yeguo Hua, Tianyi Chen, Jun Song, Cheng Yu, Bo Zheng, Gao Huang Paper: https://arxiv.org/abs/2601.15165 ICML Submission: https://openreview.net/forum?id=kpgURPRMGf Review: https://arxiviq.substack.com/p/icml-2026-the-flexibility-trap-rethinking Code: https://github.com/LeapLabTHU/JustGRPO Project page: https://nzl-thu.github.io/the-flexibility-trap Model: N/A ICML 2026 Outstanding Paper Award. # TL;DR ЧТО сделали: Авторы обнаружили критическую проблему в диффузионных LLM (dLLM), которую назвали «ловушкой гибкости» (the flexibility trap). Оказалось, что способность генерировать токены в произвольном, нелинейном порядке на самом деле снижает качество рассуждений моделей при обучении с подкреплением (RL). Чтобы решить эту проблему, исследователи представили JustGRPO — минималистичный фреймворк обучения. Он жёстко ограничивает dLLM стандартной последовательной генерацией (слева направо) исключительно на этапе исследования (exploration) в RL. Это служит структурированным каркасом при обучении, полностью сохраняя при этом двунаправленное внимание и высокую скорость параллельного декодирования на этапе инференса. ПОЧЕМУ это важно: Работа ставит под сомнение устоявшееся мнение о том, что структурная гибкость всегда полезна для качества генерации. Авторы описывают феномен «деградации энтропии»: когда у модели есть свобода выбора порядка генерации, она обходит сложные логические связки с высокой неопределённостью. JustGRPO позволяет dLLM достигать высоких результатов в математике и программировании (например, 89.1% на GSM8K и 45.1% на MATH-500). При этом метод полностью исключает сложные математические аппроксимации и нестабильные формулировки RL, которые ранее использовались для сохранения произвольного порядка токенов. Для практиков: Для технических лидеров и ИИ-разработчиков это исследование раскрывает контринтуитивный принцип: предоставление генеративным моделям свободы писать в любом порядке заставляет их избегать трудных логических решений во время обучения, что в итоге убивает глубину рассуждений. Навязывая строгое последовательное ограничение во время RL-тренировки, мы заставляем модель сталкиваться с логическими развилками лицом к лицу, кардинально прокачивая её математические навыки и способность писать код. Что критически важно, это ограничение никак не влияет на деплой: готовую модель всё ещё можно запускать с быстрыми параллельными алгоритмами декодирования, получая лучшее из обоих миров — глубокие рассуждения и быстрый инференс. Обучать последовательно здесь: https://t.me/gonzo_ML_podcasts/4348

Перед тем, как постить призёров ICML 2026, новая адаптивная джепа! AdaJEPA: An Adaptive Latent World Model Ying Wang, Oumayma Bounou, Yann LeCun, Mengye Ren Paper: https://arxiv.org/abs/2606.32026 Review: https://arxiviq.substack.com/p/adajepa-an-adaptive-latent-world Code: https://github.com/agentic-learning-ai-lab/adajepa Site: https://agenticlearning.ai/adajepa/ Model: N/A # TL;DR ЧТО сделали: Авторы представляют AdaJEPA — фреймворк адаптивной латентной модели мира, который выполняет онлайн-адаптацию во время инференса (test-time adaptation, TTA) в замкнутом цикле управления с прогнозированием (Model Predictive Control, MPC). Используя выполненные действия в качестве self-supervised сигнала, AdaJEPA обновляет выбранное подмножество параметров визуального энкодера и предиктора динамики всего за один градиентный шаг на каждый цикл управления, на лету калибруя модель под новые условия среды. ПОЧЕМУ это важно: Традиционные латентные модели мира остаются замороженными во время деплоя, из-за чего они пасуют перед сдвигами распределения на инференсе (например, при изменении физики, геометрии окружения или визуальном шуме). AdaJEPA ломает эту статичную парадигму. Она предлагает легковесную и очень эффективную по выборке непрерывную адаптацию без необходимости в разметке ревордов, демонстрациях экспертов или дорогостоящем офлайн-переобучении. Это открывает реальный путь к запуску устойчивых автономных агентов в постоянно меняющихся физических средах. Для практиков: Метод позволяет адаптировать предобученные JEPAs к измененным условиям среды (новому трению, освещению или шуму) прямо во время инференса. Для этого требуется обновить лишь малую часть параметров (например, последний блок трансформера и проекционный слой энкодера) с помощью крошечного буфера на 5 переходов, что добавляет всего 10–30 мс задержки на шаг планирования на одном GPU. Адаптироваться тут: https://t.me/gonzo_ML_podcasts/4333

Анонсированы ICML 2026 Awards https://blog.icml.cc/2026/07/05/announcing-the-icml-2026-awards/ На этой неделе пройдусь по ним авторазборами. ICML 2026 Outstanding Paper Award   The Flexibility Trap: Rethinking the Value of Arbitrary Order in Diffusion Language Models Zanlin Ni, Shenzhi Wang, Yang Yue, Tianyu Yu, Weilin Zhao, Yeguo Hua, Tianyi Chen, Jun Song, Cheng Yu, Bo Zheng, Gao Huang High-Accuracy Sampling for Diffusion Models and Log-Concave Distributions Fan Chen, Sinho Chewi, Constantinos Daskalakis, Alexander Rakhlin ICML 2026 Outstanding Position Paper Award   Position: The Alignment Community is Unintentionally Building a Censor’s Toolkit Sarah Ball, Phil Hackemann ICML 2026 Outstanding Paper Honorable Mention   The Obfuscation Atlas: Mapping Where Honesty Emerges in RLVR with Deception Probes Mohammad Taufeeque, Stefan Heimersheim, Adam Gleave, Chris Cundy Motion Attribution for Video Generation Xindi Wu, Despoina Paschalidou, Jun Gao, Antonio Torralba, Laura Leal-Taixé, Olga Russakovsky, Sanja Fidler, Jonathan Lorraine How much can language models memorize? John Xavier Morris, Chawin Sitawarin, Narine Kokhlikyan, Chuan Guo, G. Edward Suh, Alexander M Rush, Kamalika Chaudhuri, Saeed Mahloujifar A Random Matrix Perspective on the Consistency of Diffusion Models Binxu Wang, Jacob A Zavatone-Veth, Cengiz Pehlevan To Grok Grokking: Provable Grokking in Ridge Regression Mingyue Xu, Gal Vardi, Itay Safran ICML 2026 Outstanding Position Paper Honorable Mention   Position: AI/ML Deepfake Research is Misaligned with AI Generated Non-Consensual Intimate Imagery (AIG-NCII) Li Qiwei, Wells Lucas Santo, Sarita Schoenebeck, Eric Gilbert ICML 2026 Test of Time Award   Asynchronous Methods for Deep Reinforcement Learning Volodymyr Mnih, Adrià Puigdomènech Badia, Mehdi Mirza, Alex Graves, Timothy P. Lillicrap, Tim Harley, David Silver, Koray Kavukcuoglu