gonzo-обзоры ML статей
Авторы: Гриша Сапунов, ранее руководитель разработки Яндекс-Новостей, ныне CTO Intento. Области интересов: AI/ML/DL, биоинформатика. Лёша Тихонов, ранее аналитик в Яндексе, автор Автопоэта, Нейронной Обороны... Области интересов: discrete domain, NLP, RL.
Ko'proq ko'rsatish📈 Telegram kanali gonzo-обзоры ML статей analitikasi
gonzo-обзоры ML статей (@gonzo_ml) Rus til segmentidagi kanali faol ishtirokchi. Hozirda hamjamiyat 24 573 obunachidan iborat bo'lib, Texnologiyalar & Aralashmalar toifasida 5 395-o'rinni va Rossiya mintaqasida 26 648-o'rinni egallagan.
📊 Auditoriya ko‘rsatkichlari va dinamika
невідомо sanasidan buyon loyiha tez o‘sib, 24 573 obunachiga ega bo‘ldi.
12 Oktabr, 2026 dagi oxirgi ma’lumotlarga ko‘ra kanal barqaror faollikka ega. Oxirgi 30 kunda obunachilar soni 233 ga, so‘nggi 24 soatda esa 0 ga o‘zgardi va umumiy qamrov yuqori darajada qolmoqda.
- Tasdiqlash holati: Tasdiqlanmagan
- Jalb etish (ER): Auditoriya o‘rtacha 13.62% darajada jalb etiladi. Nashrdan keyingi dastlabki 24 soatda kontent odatda umumiy obunachilar sonining 8.73% ini tashkil etuvchi reaksiyalarni to‘playdi.
- Post qamrovi: Har bir post o‘rtacha 3 346 marta ko‘riladi; birinchi sutkada odatda 2 143 ta ko‘rish yig‘iladi.
- Reaksiyalar va o‘zaro ta’sir: Auditoriya faol: har bir postga o‘rtacha 15 ta reaksiya keladi.
- Tematik yo‘nalishlar: Kontent learning, tl;dr, токенов, архитектура, контекст kabi asosiy mavzularga jamlangan.
📝 Tavsif va kontent siyosati
Muallif resursni shaxsiy fikrni ifoda etish maydoni sifatida ta’riflaydi:
“Авторы:
Гриша Сапунов, ранее руководитель разработки Яндекс-Новостей, ныне CTO Intento. Области интересов: AI/ML/DL, биоинформатика.
Лёша Тихонов, ранее аналитик в Яндексе, автор Автопоэта, Нейронной Обороны... Области интересов: discrete domain, NLP...”
Yuqori yangilanish chastotasi (oxirgi ma’lumot 13 Oktabr, 2026 da olingan) sababli kanal doimo dolzarb va katta qamrovli bo‘lib qoladi. Analitika auditoriya kontent bilan faol hamkorlik qilishini, uni Texnologiyalar & Aralashmalar toifasidagi muhim ta’sir nuqtasiga aylantirishini ko‘rsatadi.
Ma'lumot yuklanmoqda...
| Sana | Obunachilarni jalb qilish | Esdaliklar | Kanallar | |
| 12 Oktabr | +8 | |||
| 11 Oktabr | +2 | |||
| 10 Oktabr | +2 | |||
| 09 Oktabr | +4 | |||
| 08 Oktabr | +13 | |||
| 07 Oktabr | +17 | |||
| 06 Oktabr | +11 | |||
| 05 Oktabr | +7 | |||
| 04 Oktabr | +11 | |||
| 03 Oktabr | +21 | |||
| 02 Oktabr | +27 | |||
| 01 Oktabr | +9 |
| 2 | Matn yo'q... | 1 563 |
| 3 | Matn yo'q... | 1 545 |
| 4 | Вторая статья про законы скейлинга для зацикленных трансформеров (первая тут). Теперь с MoE.
Scaling Laws for Looped Mixture of Experts
Yanbei Chen, Anirudh Goyal, Raghuraman Krishnamoorthi
Paper: https://arxiv.org/abs/2609.40316
Review: https://arxiviq.substack.com/p/scaling-laws-for-looped-mixture-of
Code: N/A
Model: N/A
ЧТО сделали: Вывели Loop Scaling Laws — фреймворк, который совместно моделирует глубину рекуррентных циклов и разреженность Mixture-of-Experts (MoE) наряду с числом параметров и объёмом данных предобучения. Закон заменяет неограниченный рост эффективной ёмкости на функцию с насыщением, зависящую от разреженности.
ЧТО получили: Ограниченная формула предсказывает лосс на отложенных тестах рекуррентности до 16 проходов с RMSE 0.0100 (против 0.2847 у линейной модели и 0.0480 у степенного закона). При равных затратах 1.5E22 FLOPs модель LoopMoE с 0.3B активных (1.3B всего) параметров и 5 проходами сопоставима с нерекуррентной MoE вдвое большего размера (0.6B активных, 2.9B всего) на GSM8K (41.2% против 42.9%) и BIG-Bench Hard (31.8% против 29.8%).
ПОЧЕМУ это важно: Закон позволяет математически оптимизировать число активных весов, количество экспертов и глубину рекуррентности под жёсткие лимиты памяти устройств. Однако выигрыш в параметрической эффективности заметен в основном на задачах на рассуждение и проседает на тестах широкого кругозора.
Скейлить тут: https://t.me/gonzo_ML_podcasts/4826 | 1 593 |
| 5 | Готовятся к математикам с вилами. И не только. "Many AI industry insiders told Axios they believe a major event will occur in the next six to 12 months."
https://www.axios.com/2026/10/09/ai-companies-day-after-major-attack | 2 351 |
| 6 | Matn yo'q... | 2 625 |
| 7 | Matn yo'q... | 2 498 |
| 8 | Matn yo'q... | 2 326 |
| 9 | Matn yo'q... | 2 062 |
| 10 | Любопытное про изменение законов скейлинга для looped моделей. Завтра ещё одну статью про это бахну.
How Model Growth, Recursion, and Boundary Operators Influence Scaling Exponents
Zixi Chen, Akshay Vegesna, Samip Dahal, Andrew Gordon Wilson
Статья: https://arxiv.org/abs/2609.19107
Ревью: https://arxiviq.substack.com/p/how-model-growth-recursion-and-boundary
Код: https://github.com/qlabs-eng/scaling-exponents
ЧТО сделали: Исследовали, способны ли архитектурные изменения менять показатель степени в законах скейлинга предобучения, а не только константу. В pre-norm трансформерах изолировали граничную нормализацию, рекуррентные циклы и поэтапный рост глубины. Для каждого семейства авторы подобрали индивидуальные оптимальные по вычислениям режимы обучения.
ЧТО получили: Архитектурные модификации действительно меняют показатель степени γ. У базового трансформера γ = 0.111. Добавление граничного оператора увеличивает показатель до γ = 0.114 (множитель вычислений 1.25x при 10^20 FLOPs — метрика, показывающая, во сколько раз больше вычислительного бюджета потребовалось бы стандартному бейзлайну, чтобы достичь точно такого же валидационного лосса, какой демонстрирует исследуемая модель), рост со связанными весами даёт γ = 0.116 (1.36x), а с независимыми весами — γ = 0.117 (1.55x). При экстраполяции до 1.23x10^21 FLOPs модель на 7.4B с независимым ростом показала точность 0.3865 на бенчмарке DCLM CORE из 22 задач, догнав GPT-3 13B с затратами вычислений примерно в 20 раз меньше.
ПОЧЕМУ это важно: Прирост эффективности предобучения масштабируется вместе с объёмом вычислений, а не остаётся фиксированным сдвигом. Однако рост модели с независимыми весами требует динамического выделения памяти прямо посреди обучения.
Двигать экспоненты тут: https://t.me/gonzo_ML_podcasts/4825 | 2 114 |
| 11 | Matn yo'q... | 2 218 |
| 12 | Matn yo'q... | 2 253 |
| 13 | Matn yo'q... | 2 220 |
| 14 | Matn yo'q... | 2 158 |
| 15 | Matn yo'q... | 2 044 |
| 16 | Matn yo'q... | 2 005 |
| 17 | Что если дать модели возможность переписывать контекст? Так чтобы она работала с ним как с файлом? Простая и гениальная идея, не понимаю, почему её раньше никто не довёл в таком виде. Сплошные профиты: многие вещи из контекста не нужны после того как получен результат, запросто можно урезать лишнее ненужное и сэкономить вычислений. Да, после точки редактирования летят KV-кеши, но для неизменившейся части можно быстро пересчитать RoPE эмбеддинги и не делать полный prefill. Эта часть вообще потенциально много где полезна.
Зачётная работа, респект авторам!
Context Language Models
Rulin Shao, Shannon Zejiang Shen, Junjie Oscar Yin, Yuetai Li, Minheng Wang, Hamish Ivison, Radha Poovendran, Nathan Lambert, Teng Xiao, Mike Lewis, Wen-tau Yih, Luke Zettlemoyer, Pang Wei Koh
Paper: https://arxiv.org/abs/2609.37725
Review: https://arxiviq.substack.com/p/context-language-models
Code: https://github.com/facebookresearch/context-language-models
ЧТО сделали: Предложили подход Context Language Models (CLM): контекст агента хранится как редактируемый файл на диске. Модель сама читает, сжимает и переписывает его командами Bash и Python вместо внешних эвристик суммаризации. Чтобы правки в середине контекста не заставляли заново вычислять KV-кэш, авторы создали патч для SGLang — Suffix Cache Reuse (SCR), который сохраняет и перемещает кэшированные активации суффикса.
ЧТО получили: В режиме zero-shot модель Qwen3.6-27B с CLM достигла точности 59.4% на BrowseComp-Plus (относительный прирост 11.4% по сравнению с 53.3% у суммаризации в духе Codex) при снижении FLOPs на 21.5%. На Software World модель показала ускорение на 65% выше при том же объёме вычислений. Пошаговый GRPO поднял точность Qwen3.5-9B с 28.8% до 42.5%, сократив FLOPs на 12%.
ПОЧЕМУ это важно: Прямой доступ на запись в собственный контекст избавляет от хрупких эвристик сжатия при долгой работе агента. Однако из-за слабого ощущения размера контекста модели пока требуется внешнее напоминание о расходе токенов.
Переписывать контекст здесь: https://t.me/gonzo_ML_podcasts/4824 | 2 267 |
| 18 | Matn yo'q... | 2 410 |
| 19 | Matn yo'q... | 2 368 |
| 20 | Прикольный результат. Не все чекпойнты одинаково полезны. Очередная лотерея.
Generalization Dynamics of LM Pre-Training
Jiaxin Wen, Zhengxuan Wu, Dawn Song, Lijie Chen
Paper: https://arxiv.org/abs/2609.33150
Review: https://arxiviq.substack.com/p/generalization-dynamics-of-lm-pre
Code: N/A
Model: N/A
ЧТО сделали:
Авторы проверили, как языковые модели переходят от простых поверхностных эвристик к способности обобщать. Для этого они отслеживали частые промежуточные чекпоинты открытых моделей в процессе предобучения с помощью легковесного набора поведенческих тестов.
ЧТО получили:
Модели нестабильно удерживают способность к рассуждению на масштабах от 9x до 90x оптимума по Чинчилле. В задаче последовательной арифметики точность OLMo3-32B достигает 81% на 2.17T токенов, падает до 0% на 2.19T токенов и снова подскакивает до 81.7% на 2.21T токенов. Выбор промежуточного чекпоинта на 4.5T токенов вместо 4.9T даёт 36.3% против 29.8% точности на GPQA после математического файнтюнинга, а также повышает устойчивость к атакам через prefilling с 21% до 53%.
ПОЧЕМУ это важно:
Взяв финальный чекпоинт долгого предобучения, можно получить ухудшенные представления для рассуждений и безопасности. При этом диагностические сигналы сильно различаются в разных доменах.
Искать правильный чекпойнт здесь: https://t.me/gonzo_ML_podcasts/4823 | 2 506 |
