gonzo-обзоры ML статей
Авторы: Гриша Сапунов, ранее руководитель разработки Яндекс-Новостей, ныне CTO Intento. Области интересов: AI/ML/DL, биоинформатика. Лёша Тихонов, ранее аналитик в Яндексе, автор Автопоэта, Нейронной Обороны... Области интересов: discrete domain, NLP, RL.
Show more📈 Analytical overview of Telegram channel gonzo-обзоры ML статей
Channel gonzo-обзоры ML статей (@gonzo_ml) in the Russian language segment is an active participant. Currently, the community unites 24 661 subscribers, ranking 5 365 in the Technologies & Applications category and 26 408 in the Russia region.
📊 Audience metrics and dynamics
Since its creation on невідомо, the project has demonstrated rapid growth, gathering an audience of 24 661 subscribers.
According to the latest data from 02 November, 2026, the channel demonstrates stable activity. Although there has been a change in the number of participants by 118 over the last 30 days and by 5 over the last 24 hours, overall reach remains high.
- Verification status: Not verified
- Engagement rate (ER): The average audience engagement rate is 13.65%. Within the first 24 hours after publication, content typically collects 7.75% reactions from the total number of subscribers.
- Post reach: On average, each post receives 3 366 views. Within the first day, a publication typically gains 1 911 views.
- Reactions and interaction: The audience actively supports content: the average number of reactions per post is 15.
- Thematic interests: Content is focused on key topics such as learning, tl;dr, токенов, архитектура, контекст.
📝 Description and content policy
The author describes the resource as a platform for expressing subjective opinions:
“Авторы:
Гриша Сапунов, ранее руководитель разработки Яндекс-Новостей, ныне CTO Intento. Области интересов: AI/ML/DL, биоинформатика.
Лёша Тихонов, ранее аналитик в Яндексе, автор Автопоэта, Нейронной Обороны... Области интересов: discrete domain, NLP...”
Thanks to the high frequency of updates (latest data received on 03 November, 2026), the channel maintains relevance and a high level of publication reach. Analytics show that the audience actively interacts with content, making it an important point of influence in the Technologies & Applications category.
Loading data
| Date | Subscriber Growth | Mentions | Channels | |
| 03 November | +3 | |||
| 02 November | +10 | |||
| 01 November | +5 |
| 2 | No text... | 1 910 |
| 3 | No text... | 1 860 |
| 4 | Говорят, может и не нужна куча отдельных этапов в обучении (pretrain, midtrain, SFT, RL) и предлагают унифицированное обучение.
Training Foundation Models with a Single Algorithm
Yuda Song, Alvin Zhang, Fahim Tajwar, Daman Arora, Jeff Schneider, Daniel Khashabi, Ruslan Salakhutdinov, J. Andrew Bagnell, Aarti Singh, Andrea Zanette
Paper: https://arxiv.org/abs/2610.40564
Code: https://github.com/yudasong/unified-training
Model: https://huggingface.co/sfanm/unified-training
Review: https://arxiviq.substack.com/p/training-foundation-models-with-a
ЧТО сделали: Авторы предложили единое обучение — фреймворк и асинхронную систему, которые объединяют предобучение, мидтрейнинг, SFT и RL в один взвешенный по токенам лосс максимального правдоподобия. Градиенты политики при этом выражаются через подгонку правдоподобия под целевые распределения, зависящие от награды.
ЧТО получили: На логических головоломках при разных пропорциях смешивания данных pass@1 составляет примерно 4–39% на размерах задач из обучающего распределения (против 12.24–24.54% у поэтапных бейзлайнов) и примерно 1–13% на новых задачах с 12 персонажами (против 5.58% у выбранного поэтапного бейзлайна). До старта RL подмешивание данных мидтрейнинга в предобучение удерживает точность на общих бенчмарках на уровне 41.85–42.42% (против 42.37% у чистого предобучения и 35.00–38.49% у отдельного мидтрейнинга). В математическом RL для модели на 0.76B параметров последующий RL на коде даёт 23.67–24.96% pass@1 на HumanEval+ при доле подмешивания 0.5–5% (против 22.94% при поэтапном обучении).
ПОЧЕМУ это важно: Отдельные пайплайны для предобучения, SFT и RL можно заменить одним непрерывным потоком данных и взвешенной кросс-энтропией. Это улучшает последующую адаптацию и предотвращает забывание. Однако все эксперименты проведены на моделях меньше 1B параметров, для модели на 0.76B объединение применялось только в финальном RL, и ни одно расписание смешивания не оказалось лучшим сразу по всем метрикам.
Обучать здесь: https://t.me/gonzo_ML_podcasts/4843 | 1 857 |
| 5 | No text... | 2 139 |
| 6 | No text... | 2 108 |
| 7 | Возможен ли чисто программный взрыв или невозможен, вот в чём вопрос.
What if automating AI R&D triggers an intelligence explosion?
Alan Chan, Christoph Winter, Andrew Barto, Jakub Pachocki, Geoffrey Hinton, Eric Horvitz, Yoshua Bengio, Dawn Song, Jack Clark, Hilary Greaves, Anton Korinek, Samuel Hammond, Thore Graepel, Ben Bariach, Philip H. S. Torr, Sheila A. McIlraith, Jeff Clune, Sam Manning, Girish Sastry, Tom Davidson, Daniel Eth, Sören Mindermann
Paper: https://arxiv.org/abs/2609.36054 + https://casp.ac/reports/intelligence-explosion (Cambridge Programme on AI Science & Policy, Frontier AI Working Paper Series No. 2/2026)
Review: https://arxiviq.substack.com/p/what-if-automating-ai-r-and-d-triggers
Code: N/A
Model: N/A
ЧТО сделали: Авторы предложили аналитический и регуляторный подход к программному взрыву интеллекта — резкому ускорению развития ИИ за счёт автоматизации исследований и разработки (R&D) без ожидания нового железа. Внутренние метрики передовых лабораторий объединили с макроэкономическими моделями роста, чтобы оценить, преодолеет ли автоматизированный R&D убывающую отдачу и физические ограничения.
ЧТО получили: В Anthropic доля одобренного кода, написанного ИИ, выросла с единиц процентов в январе 2025 года до более чем 80% к маю 2026 года, а доля автономных R&D-задач под высокоуровневым присмотром человека — с 1% до 26% с марта по август 2026 года. При полной автоматизации, если отдача от исследовательских усилий r совпадёт с центральными оценками от 1.2 до 1.9 по подобластям ИИ (против бейзлайна постоянной скорости r = 1), прогресс ИИ ускорится в 10 раз примерно за 17 месяцев, сжимая год развития в 5 недель.
ПОЧЕМУ это важно: Взрыв интеллекта опередит законотворчество, поэтому государствам нужно заранее ввести обязательную отчётность по R&D, механизмы приостановки вычислений и протоколы изоляции. Впрочем, 90%-ные доверительные интервалы оценок роста опускаются ниже r = 1, а сами расчёты опираются на упрощённые модели, где прогресс софта смешан с ростом вычислений.
Разбираться тут: https://t.me/gonzo_ML_podcasts/4842 | 2 139 |
| 8 | No text... | 2 098 |
| 9 | No text... | 2 089 |
| 10 | No text... | 1 965 |
| 11 | No text... | 1 880 |
| 12 | Интересный результат. Зацикленные модели и модели с постепенным наращиванием через копирование слоёв во время обучения бьют dense модели в неожиданном месте — они лучше выучивают in-context learning.
How Depth Growth and Looping Shape In-Context Learning in Language Models
Ferdinand Kapl, Kaitlin Maile, Stefan Bauer, Johannes von Oswald
Paper: https://arxiv.org/abs/2610.31421
Review: https://arxiviq.substack.com/p/how-depth-growth-and-looping-shape
Code: N/A (built on https://github.com/huggingface/nanotron)
Model: N/A
ЧТО сделали: Исследователи изучили, как повторное использование вычислений по глубине сети влияет на обучение в контексте (ICL) в моделях до 3B параметров. Сравнивали постепенное дублирование средних слоёв во время обучения (оператор LIDAS) и зацикливание (многократный прогон общих слоёв за один прямой проход).
ЧТО получили: Модели с наращиванием и зацикливанием сильнее опираются на контекст, чем плотные бейзлайны. На масштабе 3B метод LIDAS обходит плотную модель на 8-shot GSM8K (~19% против 12% точного совпадения) и тратит на 26% меньше FLOPs в обучении. На новых формальных языках из RegBench наращивание и зацикливание снижают тестовое расстояние полной вариации до ~0.119 и ~0.125 против ~0.137. В 3B LIDAS 10 из 12 сильнейших индукционных голов происходят от двух предков из ранней 4-слойной сети. Отключение топ-20% таких голов роняет few-shot F1 на 19 задачах примерно на 0.18 (LIDAS) и 0.28 (Loop) против 0.08 у бейзлайна.
ПОЧЕМУ это важно: Наращивание глубины экономит вычисления при предобучении и клонирует ранние индукционные схемы по всей сети, защищая ICL от вытеснения запоминанием в весах. При этом зацикливание сокращает число уникальных параметров и ухудшает извлечение знаний из весов, а все прогоны от 360M до 3B провели только с одним сидом предобучения.
Выучивать ICL здесь: https://t.me/gonzo_ML_podcasts/4841 | 2 000 |
| 13 | No text... | 2 298 |
| 14 | No text... | 2 282 |
| 15 | No text... | 2 169 |
| 16 | No text... | 2 118 |
| 17 | No text... | 2 046 |
| 18 | DeepSeek нынче — один из светочей открытого инжиниринга. Прогресс в эффективности использования KV-кешей от версии к версии сумасшедший. А ещё свежий DeepSeek крайне интересен тем, что это, кажется, единственная из топовых больших открытых моделей, отошедших от повсеместного decoder-only (да, была ещё encoder-decoder T5Gemma; поправьте, если я кого важного забыл). Здесь это вариация decoder-decoder (помните YOCO?). Короче, это всё очень прикольно!
DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression
~500 authors
Paper: https://arxiv.org/abs/2609.19969
Review: https://arxiviq.substack.com/p/deepseek-v41-flash-pushing-the-limits
Code: N/A
Model: https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash
ЧТО сделали: Представили DeepSeek-V4.1-Flash — мультимодальную MoE-модель на 552B параметров в основном стволе (плюс 196B в таблицах памяти Engram) для контекста в 1M токенов. Инференс удешевили тремя способами: каузальная схема энкодер-декодер (CED) активирует 8B параметров на префилле и 16B при декодировании, механизм внимания CSA2 переиспользует FP4-кэш между слоями, а ограниченный пересчёт скользящего окна (SWA Bounded Replay) избавляет от записи локального кэша на диск.
ЧТО получили: Глобальный KV-кэш в HBM ужали до 890 байт на токен (против 3,514 байт у DeepSeek-V4-Flash), а долговременный кэш на SSD сократили примерно до 1/8 от объёма DeepSeek-V4-Flash. На DeepSWE v1.1 модель решает 74.2% задач (против 54.4% у DeepSeek-V4-Flash и 74.0% у Opus-5), а на Terminal-Bench 2.1 набирает 90.6% Pass@1 (против 82.7% у DeepSeek-V4-Flash и 89.1% у Opus-5).
ПОЧЕМУ это важно: Обслуживание агентских сессий в миллион токенов теперь ограничивается вычислениями, а не объёмом HBM или SSD под кэш. При этом в статье нет покомпонентных абляций и кривых поиска на 1M токенов, а на сложных научных задачах вроде Terminal-Bench 4.0 модель уступает крупным закрытым системам (31.2% против 51.8% у Opus-5).
Изучать архитектуру тут: https://t.me/gonzo_ML_podcasts/4840 | 2 298 |
| 19 | No text... | 2 447 |
| 20 | No text... | 2 398 |
