gonzo-обзоры ML статей
Авторы: Гриша Сапунов, ранее руководитель разработки Яндекс-Новостей, ныне CTO Intento. Области интересов: AI/ML/DL, биоинформатика. Лёша Тихонов, ранее аналитик в Яндексе, автор Автопоэта, Нейронной Обороны... Области интересов: discrete domain, NLP, RL.
Mostrar más📈 Análisis del canal de Telegram gonzo-обзоры ML статей
El canal gonzo-обзоры ML статей (@gonzo_ml) en el segmento lingüístico de Ruso es un actor destacado. Actualmente la comunidad reúne a 24 317 suscriptores, ocupando la posición 5 323 en la categoría Tecnologías y Aplicaciones y el puesto 26 798 en la región Rusia.
📊 Métricas de audiencia y dinámica
Desde su creación el невідомо, el proyecto ha mostrado un crecimiento acelerado, reuniendo a 24 317 suscriptores.
Según los últimos datos del 15 septiembre, 2026, el canal mantiene una actividad estable. En los últimos 30 días la variación de miembros fue de 0, y en las últimas 24 horas de -3, conservando un alto alcance.
- Estado de verificación: No verificado
- Tasa de interacción (ER): El promedio de interacción de la audiencia es 11.08%. Durante las primeras 24 horas tras publicar, el contenido suele obtener 7.65% de reacciones respecto al total de suscriptores.
- Alcance de las publicaciones: Cada publicación recibe en promedio 2 694 visualizaciones. En el primer día suele acumular 1 859 visualizaciones.
- Reacciones e interacción: La audiencia responde de forma activa: el promedio de reacciones por publicación es 13.
- Intereses temáticos: El contenido se centra en temas clave como learning, tl;dr, токенов, архитектура, контекст.
📝 Descripción y política de contenido
El autor describe el recurso como un espacio para expresar opiniones subjetivas:
“Авторы:
Гриша Сапунов, ранее руководитель разработки Яндекс-Новостей, ныне CTO Intento. Области интересов: AI/ML/DL, биоинформатика.
Лёша Тихонов, ранее аналитик в Яндексе, автор Автопоэта, Нейронной Обороны... Области интересов: discrete domain, NLP...”
Gracias a la alta frecuencia de actualizaciones (últimos datos recibidos el 16 septiembre, 2026), el canal mantiene la vigencia y un amplio alcance. La analítica demuestra que la audiencia interactúa activamente con el contenido, lo que lo convierte en un punto de referencia dentro de la categoría Tecnologías y Aplicaciones.
Carga de datos en curso...
| Fecha | Crecimiento de Suscriptores | Menciones | Canales | |
| 16 septiembre | +3 | |||
| 15 septiembre | +5 | |||
| 14 septiembre | +5 | |||
| 13 septiembre | +3 | |||
| 12 septiembre | +6 | |||
| 11 septiembre | +5 | |||
| 10 septiembre | +14 | |||
| 09 septiembre | +6 | |||
| 08 septiembre | +6 | |||
| 07 septiembre | +4 | |||
| 06 septiembre | +3 | |||
| 05 septiembre | +1 | |||
| 04 septiembre | +8 | |||
| 03 septiembre | +5 | |||
| 02 septiembre | +5 | |||
| 01 septiembre | +7 |
| 2 | Sin texto... | 1 324 |
| 3 | Sin texto... | 1 286 |
| 4 | Sin texto... | 1 151 |
| 5 | Sin texto... | 1 040 |
| 6 | В стане концептуальных моделей (самая известная, наверное, была LCM) пополнения, скейлим модели и делаем их более end-to-end. Хороший результат, практически вдвое более быстрое обучение по сравнению с LLM бейзлайном (OLMo).
NCP-ArchPreview Technical Report: Moving towards Latent Space Language Models through Next Concept Prediction
Jiaqi Cao, Chiyu Chen, Shuang Cheng, Xu Cheng, Beiya Dai, Yufan Feng, Kewen Ge, Ruijun Ge, Jiayi Huang, Yang Jiao, Dahua Lin, Zhouhan Lin, Yifan Liu, Yuliang Liu, Biqing Qi, Mowen Ruan, Junzhe Shen, Yunchong Song, Hao Sun, Zhongbo Tian, Yixuan Wang, Rubin Wei, Jiaxin Xiong, Kangyu Yang, Qian Yao, Qi Zhang, Bowen Zhou (The Intern-NCP Team)
Paper: https://arxiv.org/abs/2609.10715
Review: https://arxiviq.substack.com/p/ncp-archpreview-technical-report
Code: https://github.com/InternLM/lmdeploy, https://github.com/LUMIA-Group/ncp_olmo_eval
Model: https://huggingface.co/collections/ArchSpace-Collection/ncp-archpreview
ЧТО сделали: Авторы представили NCP-ArchPreview — модель с латентным пространством на 8.94B параметров, предобученную на 5.73T токенов датасета Dolma-3. Архитектура модифицирует стандартный авторегрессионный процесс: между 16-слойным энкодером токенов и 16-слойным декодером токенов внедрён промежуточный 8-слойный модуль концептов (Concept Module). Вместо оптимизации исключительно под предсказание следующего токена, система объединяет скрытые состояния токенов в спаны, квантует их в дискретный кодбук с помощью Product Quantization и обучает модель end-to-end параллельно предсказывать будущие концепты и генерировать токены, связывая уровни динамическими иерархическими residual connections.
ПОЧЕМУ это важно: Классические авторегрессионные языковые модели страдают от «близорукости» локальной оптимизации: семантическое планирование на уровне фраз возникает лишь как побочный эффект минимизации пословной кросс-энтропии. Превращая дискретные латентные репрезентации в полноценные таргеты обучения, NCP-ArchPreview достигает финального лосса бейзлайна OLMo-3-7B, расходуя лишь 51.3% вычислительных ресурсов (ускорение сходимости в 1.95× и выигрыш по Парето-эффективности вычислений в 1.74×). Кроме того, дискретное пространство концептов открывает возможность эффективного файнтюнинга через интерфейс кодбука размером всего 17M параметров и повышает долю принятых токенов в speculative decoding за счёт явной контекстной траектории.
Для практиков: Современные LLM генерируют текст слово за словом — примерно как человек, который начинает говорить, совершенно не продумав фразу заранее. Такой прямолинейный подход требует триллионов токенов, чтобы сеть выучила абстрактные идеи и логические структуры. В этой работе модель учат параллельно планировать высокоуровневые концепты на несколько слов вперёд и выводить токены последовательно. В результате сеть обучается почти в два раза быстрее, увереннее справляется с математикой и задачами на рассуждение, а также получает модульный словарь идей, который можно адаптировать под специализированные домены без риска забывания базовых знаний или использовать для ускорения генерации практически без оверхеда по памяти.
Обучать концепты тут: https://t.me/gonzo_ML_podcasts/4802 | 1 153 |
| 7 | Sin texto... | 1 983 |
| 8 | Sin texto... | 1 965 |
| 9 | Sin texto... | 1 830 |
| 10 | Sin texto... | 1 750 |
| 11 | Прикольный заход на оптимизацию KV-кешей, когда модель сама может подсветить, куда собирается смотреть, пометить это тегами, а на инференсе vLLM быстро подстроится и не будет грузить лишнего.
Language Models Can Control Their Own Attention
Namgyu Ho, Huzama Ahmad, Woosung Koh, Se-Young Yun, Tal Schuster, Cicero Nogueira dos Santos
Paper: https://arxiv.org/abs/2609.02737v1
Review: https://arxiviq.substack.com/p/language-models-can-control-their
Code: N/A
Model: N/A
ЧТО сделали: Авторы представили Declarative Attention (DA) — универсальный zero-shot протокол для инференса, в котором стандартный авторегрессионный трансформер самостоятельно управляет доступом к собственному KV-кэшу. Генерируя структурированные текстовые теги прямо в процессе цепочки рассуждений (CoT), модель динамически переключается между тремя режимами: глобальным обзором всего контекста, точечной фокусировкой на конкретных смысловых фрагментах и локальным синтезом, изолированным в рамках недавних сгенерированных токенов. Конечный автомат рантайма перехватывает эти теги в момент генерации токенов и напрямую обновляет таблицу блоков в vLLM. Это позволяет отсекать неиспользуемые блоки памяти в FlashAttention без файнтюнинга модели, вспомогательных сетей маршрутизации или деструктивного удаления токенов.
ПОЧЕМУ это важно: При генерации на сверхдлинных контекстах пропускная способность памяти, необходимая для постоянного вычитывания многогигабайтных KV-кэшей из HBM, начинает полностью доминировать над задержкой декодинга и операционными расходами. Существующие методы разреженного внимания пытаются бороться с этим через эвристический прунинг или легковесные обучаемые роутеры, однако на каждом шаге генерации они по-прежнему требуют прохода сложности O(N) по латентным состояниям или суррогатным проекциям. Declarative Attention доказывает, что современные фронтирные модели уже обладают метакогнитивной способностью предсказывать и формулировать свои информационные потребности на естественном языке. Это меняет подход: вместо неявного поиска сложности O(N) на каждом шаге мы получаем семантический протокол управления со сложностью O(1). Подход сокращает вычислительные затраты на внимание при декодинге на 31.1–52.0% практически без просадки в точности, открывая путь к прозрачному многоуровневому хранению и недеструктивному офлоадингу контекста.
Для практиков: Когда языковая модель обрабатывает документы на сотни тысяч слов, вычислительное бутылочное горлышко смещается от мощности матричных процессоров к пропускной способности памяти: модель тратит львиную долю времени на повторное чтение огромного кэша предыдущего текста только ради того, чтобы найти пару релевантных фактов для очередного сгенерированного слова.
Раньше для ускорения либо безвозвратно удаляли токены (что часто ломало сложные рассуждения), либо на каждом шаге сканировали сжатое представление всего документа, что остаётся накладным. В этой статье предлагают изящную альтернативу: научить модель прямо говорить, куда именно она хочет посмотреть. Модель сама объявляет, нужно ли ей просканировать весь документ, сфокусироваться на конкретной главе или просто поразмышлять во внутреннем черновике, а инфраструктура инференса на лету отключает доступ к ненужным блокам текста. На 15 бенчмарках длинного контекста без какого-либо дообучения метод сократил обращения к памяти до 52% при сохранении базовой точности, причём эффект только усиливается по мере роста размера и возможностей моделей.
Контролировать внимание тут: https://t.me/gonzo_ML_podcasts/4801 | 1 718 |
| 12 | Sin texto... | 2 352 |
| 13 | Sin texto... | 2 303 |
| 14 | Передавая когнитивные функции ллмкам, полезно представлять, как вы их заберёте обратно, если понадобится. Путь в обратную сторону может быть сильно дольше и сложнее, чем путь туда. С другой стороны, пару десятков тысяч лет назад размер мозга человека начал уменьшаться -- процентов на 10, кажется, с тех пор уменьшился. С ллм можем экспоненциально ускориться!
Large-Language Models as a Cognitive Virus
Ricard Solé, Giulio Ruffini, Francesca Castaldo, Marco Tuccio, Luis F. Seoane, Manlio de Domenico, Santiago F. Elena, David C. Krakauer, and Michael Levin
Paper: https://arxiv.org/abs/2609.03344v1
Review: https://arxiviq.substack.com/p/large-language-models-as-a-cognitive
ЧТО сделали: Авторы построили математическую популяционную компартментную модель (в духе классической эпидемиологии), которая рассматривает распространение больших языковых моделей (LLM) как процесс культурного и когнитивного заражения. Формализовав переходы между автономными людьми, умеренными пользователями и зависимыми агентами в условиях нелинейного социального подкрепления, исследователи показали возникновение седло-узловых и транскритических бифуркаций, бистабильности и гистерезиса когнитивных способностей.
ПОЧЕМУ это важно: Работа подводит строгий фундамент нелинейной динамики под анализ когнитивной разгрузки (cognitive offloading) и технологического лок-ина (lock-in). Математически доказано, что плавный линейный рост популярности LLM способен приводить к катастрофическому скачкообразному сдвигу в сторону глубокой зависимости, а для возврата к автономному мышлению требуется несоизмеримо более сильное сокращение использования моделей, чем для предотвращения зависимости на раннем этапе.
Для практиков: Для тимлидов, преподавателей и архитекторов корпоративного ИИ генеративные модели — это не просто инструмент ускорения работы, а инвазивная информационная среда, способная необратимо разрушить навыки решения задач. При бесконтрольном внедрении сотрудники и студенты быстро делегируют моделям базовые функции: письмо, аналитику и верификацию фактов. Поскольку культура независимого мышления держится на институциональных нормах, вымывание автономных специалистов ослабляет коллективный иммунитет к деградации. Перейдя критический порог, компания рискует намертво застрять в технологической зависимости. Решение состоит не в запретах, а во внедрении «когнитивной иммунизации»: искусственном добавлении барьеров верификации, регулярной автономной работе без ИИ и проверке базовых профессиональных навыков сотрудников.
Интеллектуально деградировать тут: https://t.me/gonzo_ML_podcasts/4800 | 2 736 |
| 15 | В твиттере новая мания - нейросети по схеме мозга настоящей мухи. За последние несколько дней я видел десяток демо, где мозг настоящей мухи заставляют играть в DOOM и сочинять музыку. В основе - коннектом MaleCNS - карта связей между более чем 166 тысячами нейронов мозга и нервной цепочки дрозофилы, примерно 125 миллионов синапсов, которую восстановили по снимкам электронного микроскопа.
Разработчики копируют всю карту или отдельный фрагмент в программу, добавляют упрощённые правила работы нейронов. Картинку, звук или события игры превращают во входные сигналы, а активность сети - в команды персонажу или результат распознавания.
Например:
- Minecraft - сеть подключили к виртуальной мухе: она реагирует на еду, свет и игрока через запрограммированные движения.
- Doom - кадры игры поступают в модель, активность нейронов управляет движением и стрельбой. Обучение играть пока не доказано.
- Super Mario 64 - нейросеть управляет Марио. Может прыгать и упираться в стену, но проходить уровни её не научили.
- Эмоции - на фрагменте из 499 нейронов сделали распознавание эмоциональной окраски голоса. Не добавили мухе чувства, а обучили выходной слой читать ответы сети.
Beat Saber - показали муху со световыми мечами. Пока это воспроизведение выученной последовательности движений, не самостоятельная игра.
В общем аплоад сознания в симуляцию начался. Но с мух. | 3 761 |
| 16 | А вот и продолжение темы про мух ) | 3 389 |
| 17 | Привет вам от Тани и от Шмидхубера | 3 657 |
| 18 | Sin texto... | 3 530 |
| 19 | Sin texto... | 3 312 |
| 20 | Sin texto... | 3 325 |
