gonzo-обзоры ML статей
Авторы: Гриша Сапунов, ранее руководитель разработки Яндекс-Новостей, ныне CTO Intento. Области интересов: AI/ML/DL, биоинформатика. Лёша Тихонов, ранее аналитик в Яндексе, автор Автопоэта, Нейронной Обороны... Области интересов: discrete domain, NLP, RL.
Больше📈 Аналитический обзор Telegram-канала gonzo-обзоры ML статей
Канал gonzo-обзоры ML статей (@gonzo_ml) языкового сегмента Русский является активным участником. Сейчас сообщество объединяет 24 637 подписчиков, занимая 5 364 место в категории Технологии и приложения и 26 501 место в регионе Россия.
📊 Показатели аудитории и динамика
С момента создания невідомо проект демонстрирует стремительный рост, собрав аудиторию из 24 637 подписчиков.
Согласно последним данным от 26 октября, 2026, канал показывает стабильную активность. За последние 30 дней изменение числа участников составило 284, а за последние 24 часа — 4, при этом общий охват остаётся высоким.
- Статус верификации: Не верифицирован
- Уровень вовлечённости (ER): Средний показатель вовлечённости аудитории составляет 13.97%. В первые 24 часа после публикации контент обычно набирает 8.07% реакций от общего числа подписчиков.
- Охват публикаций: В среднем каждый пост получает 3 443 просмотров. В течение первых суток публикация набирает 1 988 просмотров.
- Реакции и взаимодействия: Аудитория активно поддерживает контент: среднее количество реакций на один пост — 16.
- Тематические интересы: Контент сосредоточен на ключевых темах, таких как learning, tl;dr, токенов, архитектура, контекст.
📝 Описание и контентная политика
Автор описывает ресурс как площадку для выражения субъективного мнения:
“Авторы:
Гриша Сапунов, ранее руководитель разработки Яндекс-Новостей, ныне CTO Intento. Области интересов: AI/ML/DL, биоинформатика.
Лёша Тихонов, ранее аналитик в Яндексе, автор Автопоэта, Нейронной Обороны... Области интересов: discrete domain, NLP...”
Благодаря высокой частоте обновлений (последние данные получены 27 октября, 2026) канал поддерживает актуальность и высокий уровень охвата публикаций. Аналитика показывает, что аудитория активно взаимодействует с контентом, что делает его важной точкой влияния в категории Технологии и приложения.
Загружаем данные
| Дата | Привлечение подписчиков | Упоминания | Каналы | |
| 26 октября | +14 | |||
| 25 октября | +9 | |||
| 24 октября | +4 | |||
| 23 октября | +7 | |||
| 22 октября | +3 | |||
| 21 октября | +7 | |||
| 20 октября | +12 | |||
| 19 октября | +10 | |||
| 18 октября | +8 | |||
| 17 октября | +14 | |||
| 16 октября | +14 | |||
| 15 октября | +7 | |||
| 14 октября | +12 | |||
| 13 октября | +12 | |||
| 12 октября | +19 | |||
| 11 октября | +8 | |||
| 10 октября | +4 | |||
| 09 октября | +4 | |||
| 08 октября | +13 | |||
| 07 октября | +17 | |||
| 06 октября | +11 | |||
| 05 октября | +7 | |||
| 04 октября | +11 | |||
| 03 октября | +21 | |||
| 02 октября | +27 | |||
| 01 октября | +9 |
| 2 | Нет текста... | 1 275 |
| 3 | Нет текста... | 1 213 |
| 4 | Прикольная история. Во всех массовых реализациях софтмакса и кроссэнтропии есть баги, приводящие к проблемам округления. И вот после более чем десятка(ов) лет активного пользования всем этим, их наконец обнаружили. В очередной раз возникает вопрос, почему не раньше.
A Fix for Softmax and Cross-Entropy
Jonathan T. Barron, Dan Gnanapragasam, Michael Tschannen
Paper: https://arxiv.org/abs/2610.31642
Review: https://arxiviq.substack.com/p/a-fix-for-softmax-and-cross-entropy
Code: N/A (self-contained JAX snippets provided in paper)
Model: N/A
ЧТО сделали: Авторы переписали софтмакс, лог-софтмакс и кросс-энтропию (для жёстких и мягких меток) в логарифмическом пространстве. Это исправляет два бага округления в фреймворках глубокого обучения: Softmax Collapse (зануление градиента целевого логита при высокой уверенности модели) и Softmax Cancellation (ненулевой остаточный градиент в дистилляции, когда логиты студента уже совпали с логитами учителя).
ЧТО получили: На модулярном сложении ($a + b \bmod 31$) в bf16, fp32 и fp64 Fixed Cross-Entropy даёт 98.9%–100.0% тестовой точности против 93.3%–100.0% у стандартной кросс-энтропии, 48.9%–97.9% у Zero-sum Projection (вычитание среднего из градиентов) и 95.6%–97.4% у StableMax (кусочно-рациональная замена софтмакса). В полиномиальном гроккинге без регуляризации ($a^2 + b^2 \bmod 97$) Fixed Cross-Entropy достигает 85% точности, тогда как стандартная кросс-энтропия падает с 61% до 23%.
ПОЧЕМУ это важно: Drop-in replacement базовых функций лосса убирает скачки лосса («эффект рогатки», Slingshot) при гроккинге и дрейф весов при дистилляции в bf16 без перевода в fp64. Правда, все эксперименты проведены на небольших задачах модулярной арифметики, а проверенные здесь огромные отступы логитов и почти нулевые зазоры между студентом и учителем в масштабном обучении встречаются редко.
Округлять с багами и без багов здесь: https://t.me/gonzo_ML_podcasts/4837 | 1 216 |
| 5 | Нет текста... | 2 120 |
| 6 | Нет текста... | 2 086 |
| 7 | Фантастики вам на ночь.
Agentic Economies for Autonomous Scientific Discovery
Nenad Tomašev, Matija Franklin, Atoosa Kasirzadeh, Vivek Natarajan, Alan Karthikesalingam, Sebastien Krier, Simon Osindero
Paper: https://arxiv.org/abs/2609.31562
Review: https://arxiviq.substack.com/p/agentic-economies-for-autonomous
Code: N/A
Model: N/A
ЧТО сделали: Авторы представили Agentic Economies for Science — рыночную архитектуру для автономных научных систем (мультиагентных моделей, которые генерируют гипотезы и проводят эксперименты). Она координирует учёных, ИИ-агентов и роботизированные лаборатории: назначает цены за доступ к данным, позволяет торговать токенизированными исследовательскими заявками и верифицирует физические эксперименты через смарт-контракты.
ЧТО получили: В этой концептуальной статье авторы указывают, что стоимость вычислительной генерации гипотез стремится к нулю, поэтому научный поиск ограничивается неэластичной проверкой в реальном мире. Например, по закону Ирума стоимость одобрения лекарства в FDA удваивается каждые 9 лет и уже достигла $2.6 млрд за молекулу. Чтобы отсеивать слабые идеи до лаборатории, фреймворк вводит 4-уровневый рынок данных и 4-этапный пайплайн обмена гипотезами (Hypothesis Exchange Pipeline), отделяющий генерацию идей от экспериментов в мокрой лаборатории.
ПОЧЕМУ это важно: Работа переносит фокус в ИИ для науки с изолированного улучшения рассуждений на явный учёт стоимости, комбинаторные аукционы ресурсов и автоматическое эскроу для репликации результатов. При этом вся предложенная инфраструктура остаётся концептуальной и пока не имеет эмпирического прототипа.
Фонтанировать идеями тут: https://t.me/gonzo_ML_podcasts/4836 | 2 152 |
| 8 | Нет текста... | 2 273 |
| 9 | Нет текста... | 2 235 |
| 10 | Нет текста... | 2 148 |
| 11 | Очередная прикольная работа от Саканы про memory-augmented сети. В очередной раз странно, что такую архитектуру никто не предложил раньше (myself included)...
Continuous Memory Machines
Ciaran Regan, Kai Arulkumaran, Luke Darlow, Stefania Druga, Sebastian Risi, Llion Jones
Paper: https://arxiv.org/abs/2610.07907
Review: https://arxiviq.substack.com/p/continuous-memory-machines
Code: https://github.com/SakanaAI/continuous-memory-machines
ЧТО сделали: Авторы представили рекуррентную нейросеть Continuous Memory Machine (CMM), которая разделяет быстрые вычисления и долгосрочное хранение с помощью двух матриц памяти. Архитектура расширяет их прошлую работу Continuous Thought Machine (CTM), вычислявшую через истории активаций отдельных нейронов и их попарные корреляции. В CMM добавили постоянную матрицу долговременной памяти и общий трансформер, обновляющий обе памяти одновременно.
ЧТО получили: На задаче Priority Sort бинарная кросс-энтропия CMM на тесте составила 4.1x10^-3 против 1.4x10-2 у сети с внешней памятью Differentiable Neural Computer (DNC) и 2.7x10^-2 у каузального трансформера. В прохождении лабиринтов 39x39 CMM полностью решает 61.6% лабиринтов (от 22.8% до 90.7% по разным сидам) против 37.4% у CTM, а в 20-shot линейной регрессии выбивает 30.63% точности против 8.78% у CTM.
ПОЧЕМУ это важно: Внимание со специальным нулевым sink-токеном (токеном-стоком для сброса лишнего внимания) позволяет рекуррентной сети самой решать, когда читать из долговременного хранилища, а когда опираться на быструю локальную динамику. Правда, запуск трансформера на каждом рекуррентном шаге поднимает пиковое потребление памяти GPU на задаче Copy-100 до 22.3 GiB против 634.5 MiB у CTM.
Растить память тут: https://t.me/gonzo_ML_podcasts/4835 | 2 377 |
| 12 | Нет текста... | 2 620 |
| 13 | Помните KAN, Kolmogorov-Arnold Networks? Как-то мало слышал про них в этом году, но вот чуваки сделали визуальный плейграунд KANLab на базе TensorFlow Playground.
Также микростатья про это:
KANLab: TensorFlow Playground for Kolmogorov-Arnold Networks
https://arxiv.org/abs/2610.20117 | 2 613 |
| 14 | Нет текста... | 2 672 |
| 15 | Нет текста... | 2 579 |
| 16 | Нет текста... | 2 602 |
| 17 | Нет текста... | 2 531 |
| 18 | Давно мы про картиночные модели не писали. А тут собрали супербыстрый UltraViT для мобильных (для одного конкретного S25 пока), который даёт сумасшедшие почти 150 кадров в секунду. Микс быстрых свёрток вначале и полноценного внимания в конце с разреженными и поканальными блоками посередине. А кроме быстрой архитектуры ещё и хитрый пайплайн дистилляции.
UltraViT: Latency-Optimized On-device Vision Encoder for Large Vision-Language Models
Ioannis Maniadis Metaxas, Adrian Bulat, Alberto Baldrati, Anestis Zaganidis, Yassine Ouali, Hyeonuk Kim, and Georgios Tzimiropoulos
Paper: https://arxiv.org/abs/2607.23373
Review: https://arxiviq.substack.com/p/ultravit-latency-optimized-on-device
ЧТО сделали: Предложили UltraViT — четырёхступенчатый пирамидальный визуальный энкодер для мобильных визуально-языковых моделей (LVLM). Операции перемешивания токенов на каждом этапе подбирали по реальным замерам задержки на мобильном NPU. Для предобучения использовали двухэтапную схему: сначала плотную пространственную дистилляцию признаков, затем генеративное обучение через замороженную языковую модель с чередованием декодеров разного размера.
ЧТО получили: В составе LLaVA-OneVision (модель назвали UltraVLM) энкодер обходит переобученную FastVLM на задачах визуальных вопросов и ответов: DocVQA (71.8% против 66.7%), ChartQA (72.2% против 66.0%) и TextVQA (68.9% против 62.9%). На мобильном NPU в разрешении 512 × 512 он выдаёт 148.9 инференса в секунду против 91.4 у FastVLM и 7.6 у SigLIP-400M.
ПОЧЕМУ это важно: UltraViT снижает задержку кодирования картинки при 512 × 512 до 6.6 мс и сжимает число визуальных токенов в 16 раз прямо внутри архитектуры, без их последующего прунинга. Правда, отрыв по точности от FastVLM во многом объясняется двухэтапным рецептом предобучения, который к бейзлайну в основном сравнении не применяли.
Быстро фигачить картинки тут: https://t.me/gonzo_ML_podcasts/4834 | 2 362 |
| 19 | Нет текста... | 2 932 |
| 20 | Нет текста... | 2 911 |
