gonzo-обзоры ML статей
Авторы: Гриша Сапунов, ранее руководитель разработки Яндекс-Новостей, ныне CTO Intento. Области интересов: AI/ML/DL, биоинформатика. Лёша Тихонов, ранее аналитик в Яндексе, автор Автопоэта, Нейронной Обороны... Области интересов: discrete domain, NLP, RL.
Show more📈 Analytical overview of Telegram channel gonzo-обзоры ML статей
Channel gonzo-обзоры ML статей (@gonzo_ml) in the Russian language segment is an active participant. Currently, the community unites 24 573 subscribers, ranking 5 395 in the Technologies & Applications category and 26 648 in the Russia region.
📊 Audience metrics and dynamics
Since its creation on невідомо, the project has demonstrated rapid growth, gathering an audience of 24 573 subscribers.
According to the latest data from 12 October, 2026, the channel demonstrates stable activity. Although there has been a change in the number of participants by 233 over the last 30 days and by 0 over the last 24 hours, overall reach remains high.
- Verification status: Not verified
- Engagement rate (ER): The average audience engagement rate is 13.62%. Within the first 24 hours after publication, content typically collects 8.73% reactions from the total number of subscribers.
- Post reach: On average, each post receives 3 346 views. Within the first day, a publication typically gains 2 143 views.
- Reactions and interaction: The audience actively supports content: the average number of reactions per post is 15.
- Thematic interests: Content is focused on key topics such as learning, tl;dr, токенов, архитектура, контекст.
📝 Description and content policy
The author describes the resource as a platform for expressing subjective opinions:
“Авторы:
Гриша Сапунов, ранее руководитель разработки Яндекс-Новостей, ныне CTO Intento. Области интересов: AI/ML/DL, биоинформатика.
Лёша Тихонов, ранее аналитик в Яндексе, автор Автопоэта, Нейронной Обороны... Области интересов: discrete domain, NLP...”
Thanks to the high frequency of updates (latest data received on 13 October, 2026), the channel maintains relevance and a high level of publication reach. Analytics show that the audience actively interacts with content, making it an important point of influence in the Technologies & Applications category.
Data loading in progress...
| Date | Subscriber Growth | Mentions | Channels | |
| 13 October | +14 | |||
| 12 October | +8 | |||
| 11 October | +3 | |||
| 10 October | +2 | |||
| 09 October | +4 | |||
| 08 October | +13 | |||
| 07 October | +17 | |||
| 06 October | +11 | |||
| 05 October | +7 | |||
| 04 October | +11 | |||
| 03 October | +21 | |||
| 02 October | +27 | |||
| 01 October | +9 |
| 2 | No text... | 2 612 |
| 3 | No text... | 2 466 |
| 4 | No text... | 2 390 |
| 5 | Вторая статья про законы скейлинга для зацикленных трансформеров (первая тут). Теперь с MoE.
Scaling Laws for Looped Mixture of Experts
Yanbei Chen, Anirudh Goyal, Raghuraman Krishnamoorthi
Paper: https://arxiv.org/abs/2609.40316
Review: https://arxiviq.substack.com/p/scaling-laws-for-looped-mixture-of
Code: N/A
Model: N/A
ЧТО сделали: Вывели Loop Scaling Laws — фреймворк, который совместно моделирует глубину рекуррентных циклов и разреженность Mixture-of-Experts (MoE) наряду с числом параметров и объёмом данных предобучения. Закон заменяет неограниченный рост эффективной ёмкости на функцию с насыщением, зависящую от разреженности.
ЧТО получили: Ограниченная формула предсказывает лосс на отложенных тестах рекуррентности до 16 проходов с RMSE 0.0100 (против 0.2847 у линейной модели и 0.0480 у степенного закона). При равных затратах 1.5E22 FLOPs модель LoopMoE с 0.3B активных (1.3B всего) параметров и 5 проходами сопоставима с нерекуррентной MoE вдвое большего размера (0.6B активных, 2.9B всего) на GSM8K (41.2% против 42.9%) и BIG-Bench Hard (31.8% против 29.8%).
ПОЧЕМУ это важно: Закон позволяет математически оптимизировать число активных весов, количество экспертов и глубину рекуррентности под жёсткие лимиты памяти устройств. Однако выигрыш в параметрической эффективности заметен в основном на задачах на рассуждение и проседает на тестах широкого кругозора.
Скейлить тут: https://t.me/gonzo_ML_podcasts/4826 | 2 403 |
| 6 | Готовятся к математикам с вилами. И не только. "Many AI industry insiders told Axios they believe a major event will occur in the next six to 12 months."
https://www.axios.com/2026/10/09/ai-companies-day-after-major-attack | 2 663 |
| 7 | No text... | 2 675 |
| 8 | No text... | 2 550 |
| 9 | No text... | 2 381 |
| 10 | No text... | 2 116 |
| 11 | Любопытное про изменение законов скейлинга для looped моделей. Завтра ещё одну статью про это бахну.
How Model Growth, Recursion, and Boundary Operators Influence Scaling Exponents
Zixi Chen, Akshay Vegesna, Samip Dahal, Andrew Gordon Wilson
Статья: https://arxiv.org/abs/2609.19107
Ревью: https://arxiviq.substack.com/p/how-model-growth-recursion-and-boundary
Код: https://github.com/qlabs-eng/scaling-exponents
ЧТО сделали: Исследовали, способны ли архитектурные изменения менять показатель степени в законах скейлинга предобучения, а не только константу. В pre-norm трансформерах изолировали граничную нормализацию, рекуррентные циклы и поэтапный рост глубины. Для каждого семейства авторы подобрали индивидуальные оптимальные по вычислениям режимы обучения.
ЧТО получили: Архитектурные модификации действительно меняют показатель степени γ. У базового трансформера γ = 0.111. Добавление граничного оператора увеличивает показатель до γ = 0.114 (множитель вычислений 1.25x при 10^20 FLOPs — метрика, показывающая, во сколько раз больше вычислительного бюджета потребовалось бы стандартному бейзлайну, чтобы достичь точно такого же валидационного лосса, какой демонстрирует исследуемая модель), рост со связанными весами даёт γ = 0.116 (1.36x), а с независимыми весами — γ = 0.117 (1.55x). При экстраполяции до 1.23x10^21 FLOPs модель на 7.4B с независимым ростом показала точность 0.3865 на бенчмарке DCLM CORE из 22 задач, догнав GPT-3 13B с затратами вычислений примерно в 20 раз меньше.
ПОЧЕМУ это важно: Прирост эффективности предобучения масштабируется вместе с объёмом вычислений, а не остаётся фиксированным сдвигом. Однако рост модели с независимыми весами требует динамического выделения памяти прямо посреди обучения.
Двигать экспоненты тут: https://t.me/gonzo_ML_podcasts/4825 | 2 166 |
| 12 | No text... | 2 367 |
| 13 | No text... | 2 534 |
| 14 | No text... | 2 501 |
| 15 | No text... | 2 441 |
| 16 | No text... | 2 180 |
| 17 | No text... | 2 167 |
| 18 | Что если дать модели возможность переписывать контекст? Так чтобы она работала с ним как с файлом? Простая и гениальная идея, не понимаю, почему её раньше никто не довёл в таком виде. Сплошные профиты: многие вещи из контекста не нужны после того как получен результат, запросто можно урезать лишнее ненужное и сэкономить вычислений. Да, после точки редактирования летят KV-кеши, но для неизменившейся части можно быстро пересчитать RoPE эмбеддинги и не делать полный prefill. Эта часть вообще потенциально много где полезна.
Зачётная работа, респект авторам!
Context Language Models
Rulin Shao, Shannon Zejiang Shen, Junjie Oscar Yin, Yuetai Li, Minheng Wang, Hamish Ivison, Radha Poovendran, Nathan Lambert, Teng Xiao, Mike Lewis, Wen-tau Yih, Luke Zettlemoyer, Pang Wei Koh
Paper: https://arxiv.org/abs/2609.37725
Review: https://arxiviq.substack.com/p/context-language-models
Code: https://github.com/facebookresearch/context-language-models
ЧТО сделали: Предложили подход Context Language Models (CLM): контекст агента хранится как редактируемый файл на диске. Модель сама читает, сжимает и переписывает его командами Bash и Python вместо внешних эвристик суммаризации. Чтобы правки в середине контекста не заставляли заново вычислять KV-кэш, авторы создали патч для SGLang — Suffix Cache Reuse (SCR), который сохраняет и перемещает кэшированные активации суффикса.
ЧТО получили: В режиме zero-shot модель Qwen3.6-27B с CLM достигла точности 59.4% на BrowseComp-Plus (относительный прирост 11.4% по сравнению с 53.3% у суммаризации в духе Codex) при снижении FLOPs на 21.5%. На Software World модель показала ускорение на 65% выше при том же объёме вычислений. Пошаговый GRPO поднял точность Qwen3.5-9B с 28.8% до 42.5%, сократив FLOPs на 12%.
ПОЧЕМУ это важно: Прямой доступ на запись в собственный контекст избавляет от хрупких эвристик сжатия при долгой работе агента. Однако из-за слабого ощущения размера контекста модели пока требуется внешнее напоминание о расходе токенов.
Переписывать контекст здесь: https://t.me/gonzo_ML_podcasts/4824 | 2 429 |
| 19 | No text... | 2 444 |
| 20 | No text... | 2 400 |
