gonzo-обзоры ML статей

Прунинг через функциональный анализ. Выглядит красиво. Hilbert Operator for Progressive Encoding (HOPE): A Mathematical Framework for Deconstructing Learned Representations in Deep Networks Hossein Mobahi, Peter L. Bartlett Статья: https://arxiv.org/abs/2607.21366 Ревью: https://arxiviq.substack.com/p/hilbert-operator-for-progressive Код: N/A Модель: N/A # TL;DR Что сделали: Авторы предложили HOPE — математический подход, который позволяет анализировать и сжимать нейросети, переводя их из дискретных списков чисел (весов) в непрерывные математические функции. Объединив этот взгляд со статистикой самой модели, алгоритм научился прореживать, объединять и удалять целые слои без единого разрыва прогона реальных данных. Почему это важно: Обычно модели сжимают или изучают, опираясь либо на величину параметров (что бывает математически обманчиво), либо на прогоны реальных данных (что дорого и не всегда безопасно для приватности). Переход строго в «пространство функций» даёт чёткий, автоматизированный способ уменьшать модели и защищать их базовые знания при обучении новым задачам. Функционально прунить тут:https://t.me/gonzo_ML_podcasts/4606

Ну и чего-нибудь более классического для тех, кому про жызнь менее интересно. Новости зацикленных трансформеров, модель примерно продакшн уровня. The Compute-Matched Paradigm: Rethinking Recurrent Depth with the Loopie Series Zitian Gao, Yilong Chen, Yihao Xiao, Xinyu Yang, Ran Tao, Joey Zhou, Bryan Dai Paper: https://arxiv.org/abs/2607.16051 Review: https://arxiviq.substack.com/p/loop-the-loopies Code: https://github.com/IQuestLab/loopie/megatron, https://github.com/IQuestLab/loopie/vllm (404 for now) Model: https://huggingface.co/IQuestLab/Loopie-20B-A2B-preview, https://huggingface.co/IQuestLab/Loopie-6B-A0.6B-preview (404 for now) # TL;DR ЧТО сделали: Авторы из IQuest Research представили семейство Loopie — новый класс рекуррентных языковых моделей (LLM) с архитектурой Mixture-of-Experts (MoE), где используется механизм "layer-loop" (зацикливание отдельных слоёв). Разработав подход к масштабированию с учётом железа, исследователи сбалансировали физическую глубину, ширину и рекуррентную глубину сети так, чтобы уместиться в вычислительный бюджет на предобучение, аналогичный нерекуррентным бейзлайнам. После предобучения модели дообучались с помощью масштабного пайплайна Supervised Pre-Training (SPT) и обучения с подкреплением (RL) на уровне последовательностей для развития продвинутых способностей к рассуждению. ПОЧЕМУ это важно: Исследования рекуррентных архитектур исторически страдали от проблемы некорректного учёта вычислений: зацикленные модели часто заявляли о своём превосходстве, сравнивая лишь количество параметров, но при этом неявно умножая реальные затраты FLOPs на обучение. Эта работа устраняет данный боттлнек. Доказав, что грамотно настроенная рекуррентная глубина превосходит традиционное масштабирование слоёв при строго фиксированном вычислительном бюджете, авторы легитимизируют рекуррентность как полноценный и высокоэффективный вектор масштабирования для foundation-моделей на триллионы параметров. Для практиков: Если вы упираетесь в ограничения памяти по активациям, локальное зацикливание слоёв позволяет значительно увеличить размер микробатча. Это повышает утилизацию GPU без роста общего физического времени обучения, позволяя направить сэкономленные ресурсы на расширение скрытой размерности модели. Зацикливать трансформеры тут: https://t.me/gonzo_ML_podcasts/4595

Субботнее про жызнь. Мы тут в чате недавно касались определения жизни, да и вообще эти темы часто всплывают (1, 2, 3, 4, 5, 6, 7), если смотреть чуть дальше классического мл-я. На прошлой Superintelligence Conference тоже в эту сторону обсуждение уходило. Вот вышла любопытная статья-дискуссия со 100500 определениями жизни от разных профильных людей. Интересны даже не определения как таковые, а подход с определением морфопространства. Хорошее чтиво на выходные. Параллельно продолжаю экспериментировать с комиксами, перехожу на более продвинутый метод, который надеюсь устранит регулярно мелькавшие косяки. Посмотрим. Defining Life: A Conversation _Karina Kofman, Christoph Adami, František Baluška, Joshua Bongard, Douglas Brash, Paco Calvo, Gordana Dodig-Crnkovic, Pranab Das, Chris Fields, Tom Froese, Pier Luigi Gentili, Georgi Yordanov Georgiev, Scott F. Gilbert, Timothy N. W. Jackson, Stuart Kauffman, Nick Lane, Perry Marshall, Dan McShea, William Miller, Stuart Newman, Alistair Nunn, Theodore P. Pavlic, Martin Picard, William Ratcliff, Arthur Reber, James Shapiro, Aaron Sloman, Ricard Solé, Carlos Sonnenschein, Susan Stepney, Richard Watson, Olaf Witkowski, and Michael Levin_ Paper: https://doi.org/10.13133/2532-5876/19492 Data: https://cogaffarchive.org/misc/whatlife.html Review: https://biorxiviq.substack.com/p/defining-life-a-conversation # TL;DR ЧТО сделали: Собрали и структурировали масштабную многопоточную дискуссию по электронной почте между более чем 60 ведущими учёными и философами. В ней подробно обсуждаются фундаментальные, термодинамические, когнитивные и эволюционные границы живого, а также приводится каталог персональных определений жизни от 44 авторов. ПОЧЕМУ это важно: Вместо того чтобы навязывать жёсткое, бинарное или исключительно генетическое определение жизни, авторы предлагают перейти к плюралистической концепции многомерного морфопространства. Это даёт теоретической биологии, астробиологии и синтетической инженерии удобные инструменты для оценки нетрадиционных живых систем — таких как синтетические ксеноботы, органоиды и искусственная жизнь. Для практиков: Текст обязателен к прочтению астробиологам, синтетическим биологам и специалистам по теоретической вычислительной биологии, интересующимся границами агентности и самоорганизации. Для исследователей, сфокусированных исключительно на клинических исследованиях или традиционных геномных пайплайнах, материал факультативен. Разбираться с жизнью тут: https://t.me/gonzo_ML_podcasts/4588