gonzo-обзоры ML статей

В стане концептуальных моделей (самая известная, наверное, была LCM) пополнения, скейлим модели и делаем их более end-to-end. Хороший результат, практически вдвое более быстрое обучение по сравнению с LLM бейзлайном (OLMo). NCP-ArchPreview Technical Report: Moving towards Latent Space Language Models through Next Concept Prediction Jiaqi Cao, Chiyu Chen, Shuang Cheng, Xu Cheng, Beiya Dai, Yufan Feng, Kewen Ge, Ruijun Ge, Jiayi Huang, Yang Jiao, Dahua Lin, Zhouhan Lin, Yifan Liu, Yuliang Liu, Biqing Qi, Mowen Ruan, Junzhe Shen, Yunchong Song, Hao Sun, Zhongbo Tian, Yixuan Wang, Rubin Wei, Jiaxin Xiong, Kangyu Yang, Qian Yao, Qi Zhang, Bowen Zhou (The Intern-NCP Team) Paper: https://arxiv.org/abs/2609.10715 Review: https://arxiviq.substack.com/p/ncp-archpreview-technical-report Code: https://github.com/InternLM/lmdeploy, https://github.com/LUMIA-Group/ncp_olmo_eval Model: https://huggingface.co/collections/ArchSpace-Collection/ncp-archpreview ЧТО сделали: Авторы представили NCP-ArchPreview — модель с латентным пространством на 8.94B параметров, предобученную на 5.73T токенов датасета Dolma-3. Архитектура модифицирует стандартный авторегрессионный процесс: между 16-слойным энкодером токенов и 16-слойным декодером токенов внедрён промежуточный 8-слойный модуль концептов (Concept Module). Вместо оптимизации исключительно под предсказание следующего токена, система объединяет скрытые состояния токенов в спаны, квантует их в дискретный кодбук с помощью Product Quantization и обучает модель end-to-end параллельно предсказывать будущие концепты и генерировать токены, связывая уровни динамическими иерархическими residual connections. ПОЧЕМУ это важно: Классические авторегрессионные языковые модели страдают от «близорукости» локальной оптимизации: семантическое планирование на уровне фраз возникает лишь как побочный эффект минимизации пословной кросс-энтропии. Превращая дискретные латентные репрезентации в полноценные таргеты обучения, NCP-ArchPreview достигает финального лосса бейзлайна OLMo-3-7B, расходуя лишь 51.3% вычислительных ресурсов (ускорение сходимости в 1.95× и выигрыш по Парето-эффективности вычислений в 1.74×). Кроме того, дискретное пространство концептов открывает возможность эффективного файнтюнинга через интерфейс кодбука размером всего 17M параметров и повышает долю принятых токенов в speculative decoding за счёт явной контекстной траектории. Для практиков: Современные LLM генерируют текст слово за словом — примерно как человек, который начинает говорить, совершенно не продумав фразу заранее. Такой прямолинейный подход требует триллионов токенов, чтобы сеть выучила абстрактные идеи и логические структуры. В этой работе модель учат параллельно планировать высокоуровневые концепты на несколько слов вперёд и выводить токены последовательно. В результате сеть обучается почти в два раза быстрее, увереннее справляется с математикой и задачами на рассуждение, а также получает модульный словарь идей, который можно адаптировать под специализированные домены без риска забывания базовых знаний или использовать для ускорения генерации практически без оверхеда по памяти. Обучать концепты тут: https://t.me/gonzo_ML_podcasts/4802

Прикольный заход на оптимизацию KV-кешей, когда модель сама может подсветить, куда собирается смотреть, пометить это тегами, а на инференсе vLLM быстро подстроится и не будет грузить лишнего. Language Models Can Control Their Own Attention Namgyu Ho, Huzama Ahmad, Woosung Koh, Se-Young Yun, Tal Schuster, Cicero Nogueira dos Santos Paper: https://arxiv.org/abs/2609.02737v1 Review: https://arxiviq.substack.com/p/language-models-can-control-their Code: N/A Model: N/A ЧТО сделали: Авторы представили Declarative Attention (DA) — универсальный zero-shot протокол для инференса, в котором стандартный авторегрессионный трансформер самостоятельно управляет доступом к собственному KV-кэшу. Генерируя структурированные текстовые теги прямо в процессе цепочки рассуждений (CoT), модель динамически переключается между тремя режимами: глобальным обзором всего контекста, точечной фокусировкой на конкретных смысловых фрагментах и локальным синтезом, изолированным в рамках недавних сгенерированных токенов. Конечный автомат рантайма перехватывает эти теги в момент генерации токенов и напрямую обновляет таблицу блоков в vLLM. Это позволяет отсекать неиспользуемые блоки памяти в FlashAttention без файнтюнинга модели, вспомогательных сетей маршрутизации или деструктивного удаления токенов. ПОЧЕМУ это важно: При генерации на сверхдлинных контекстах пропускная способность памяти, необходимая для постоянного вычитывания многогигабайтных KV-кэшей из HBM, начинает полностью доминировать над задержкой декодинга и операционными расходами. Существующие методы разреженного внимания пытаются бороться с этим через эвристический прунинг или легковесные обучаемые роутеры, однако на каждом шаге генерации они по-прежнему требуют прохода сложности O(N) по латентным состояниям или суррогатным проекциям. Declarative Attention доказывает, что современные фронтирные модели уже обладают метакогнитивной способностью предсказывать и формулировать свои информационные потребности на естественном языке. Это меняет подход: вместо неявного поиска сложности O(N) на каждом шаге мы получаем семантический протокол управления со сложностью O(1). Подход сокращает вычислительные затраты на внимание при декодинге на 31.1–52.0% практически без просадки в точности, открывая путь к прозрачному многоуровневому хранению и недеструктивному офлоадингу контекста. Для практиков: Когда языковая модель обрабатывает документы на сотни тысяч слов, вычислительное бутылочное горлышко смещается от мощности матричных процессоров к пропускной способности памяти: модель тратит львиную долю времени на повторное чтение огромного кэша предыдущего текста только ради того, чтобы найти пару релевантных фактов для очередного сгенерированного слова. Раньше для ускорения либо безвозвратно удаляли токены (что часто ломало сложные рассуждения), либо на каждом шаге сканировали сжатое представление всего документа, что остаётся накладным. В этой статье предлагают изящную альтернативу: научить модель прямо говорить, куда именно она хочет посмотреть. Модель сама объявляет, нужно ли ей просканировать весь документ, сфокусироваться на конкретной главе или просто поразмышлять во внутреннем черновике, а инфраструктура инференса на лету отключает доступ к ненужным блокам текста. На 15 бенчмарках длинного контекста без какого-либо дообучения метод сократил обращения к памяти до 52% при сохранении базовой точности, причём эффект только усиливается по мере роста размера и возможностей моделей. Контролировать внимание тут: https://t.me/gonzo_ML_podcasts/4801

Передавая когнитивные функции ллмкам, полезно представлять, как вы их заберёте обратно, если понадобится. Путь в обратную сторону может быть сильно дольше и сложнее, чем путь туда. С другой стороны, пару десятков тысяч лет назад размер мозга человека начал уменьшаться -- процентов на 10, кажется, с тех пор уменьшился. С ллм можем экспоненциально ускориться! Large-Language Models as a Cognitive Virus Ricard Solé, Giulio Ruffini, Francesca Castaldo, Marco Tuccio, Luis F. Seoane, Manlio de Domenico, Santiago F. Elena, David C. Krakauer, and Michael Levin Paper: https://arxiv.org/abs/2609.03344v1 Review: https://arxiviq.substack.com/p/large-language-models-as-a-cognitive ЧТО сделали: Авторы построили математическую популяционную компартментную модель (в духе классической эпидемиологии), которая рассматривает распространение больших языковых моделей (LLM) как процесс культурного и когнитивного заражения. Формализовав переходы между автономными людьми, умеренными пользователями и зависимыми агентами в условиях нелинейного социального подкрепления, исследователи показали возникновение седло-узловых и транскритических бифуркаций, бистабильности и гистерезиса когнитивных способностей. ПОЧЕМУ это важно: Работа подводит строгий фундамент нелинейной динамики под анализ когнитивной разгрузки (cognitive offloading) и технологического лок-ина (lock-in). Математически доказано, что плавный линейный рост популярности LLM способен приводить к катастрофическому скачкообразному сдвигу в сторону глубокой зависимости, а для возврата к автономному мышлению требуется несоизмеримо более сильное сокращение использования моделей, чем для предотвращения зависимости на раннем этапе. Для практиков: Для тимлидов, преподавателей и архитекторов корпоративного ИИ генеративные модели — это не просто инструмент ускорения работы, а инвазивная информационная среда, способная необратимо разрушить навыки решения задач. При бесконтрольном внедрении сотрудники и студенты быстро делегируют моделям базовые функции: письмо, аналитику и верификацию фактов. Поскольку культура независимого мышления держится на институциональных нормах, вымывание автономных специалистов ослабляет коллективный иммунитет к деградации. Перейдя критический порог, компания рискует намертво застрять в технологической зависимости. Решение состоит не в запретах, а во внедрении «когнитивной иммунизации»: искусственном добавлении барьеров верификации, регулярной автономной работе без ИИ и проверке базовых профессиональных навыков сотрудников. Интеллектуально деградировать тут: https://t.me/gonzo_ML_podcasts/4800

В твиттере новая мания - нейросети по схеме мозга настоящей мухи. За последние несколько дней я видел десяток демо, где мозг настоящей мухи заставляют играть в DOOM и сочинять музыку. В основе - коннектом MaleCNS - карта связей между более чем 166 тысячами нейронов мозга и нервной цепочки дрозофилы, примерно 125 миллионов синапсов, которую восстановили по снимкам электронного микроскопа. Разработчики копируют всю карту или отдельный фрагмент в программу, добавляют упрощённые правила работы нейронов. Картинку, звук или события игры превращают во входные сигналы, а активность сети - в команды персонажу или результат распознавания. Например: - Minecraft - сеть подключили к виртуальной мухе: она реагирует на еду, свет и игрока через запрограммированные движения. - Doom - кадры игры поступают в модель, активность нейронов управляет движением и стрельбой. Обучение играть пока не доказано. - Super Mario 64 - нейросеть управляет Марио. Может прыгать и упираться в стену, но проходить уровни её не научили. - Эмоции - на фрагменте из 499 нейронов сделали распознавание эмоциональной окраски голоса. Не добавили мухе чувства, а обучили выходной слой читать ответы сети. Beat Saber - показали муху со световыми мечами. Пока это воспроизведение выученной последовательности движений, не самостоятельная игра. В общем аплоад сознания в симуляцию начался. Но с мух.

А вот и продолжение темы про мух )

Привет вам от Тани и от Шмидхубера