gonzo-обзоры ML статей
Авторы: Гриша Сапунов, ранее руководитель разработки Яндекс-Новостей, ныне CTO Intento. Области интересов: AI/ML/DL, биоинформатика. Лёша Тихонов, ранее аналитик в Яндексе, автор Автопоэта, Нейронной Обороны... Области интересов: discrete domain, NLP, RL.
Ko'proq ko'rsatish📈 Telegram kanali gonzo-обзоры ML статей analitikasi
gonzo-обзоры ML статей (@gonzo_ml) Rus til segmentidagi kanali faol ishtirokchi. Hozirda hamjamiyat 24 661 obunachidan iborat bo'lib, Texnologiyalar & Aralashmalar toifasida 5 365-o'rinni va Rossiya mintaqasida 26 408-o'rinni egallagan.
📊 Auditoriya ko‘rsatkichlari va dinamika
невідомо sanasidan buyon loyiha tez o‘sib, 24 661 obunachiga ega bo‘ldi.
02 Noyabr, 2026 dagi oxirgi ma’lumotlarga ko‘ra kanal barqaror faollikka ega. Oxirgi 30 kunda obunachilar soni 118 ga, so‘nggi 24 soatda esa 5 ga o‘zgardi va umumiy qamrov yuqori darajada qolmoqda.
- Tasdiqlash holati: Tasdiqlanmagan
- Jalb etish (ER): Auditoriya o‘rtacha 13.65% darajada jalb etiladi. Nashrdan keyingi dastlabki 24 soatda kontent odatda umumiy obunachilar sonining 7.75% ini tashkil etuvchi reaksiyalarni to‘playdi.
- Post qamrovi: Har bir post o‘rtacha 3 366 marta ko‘riladi; birinchi sutkada odatda 1 911 ta ko‘rish yig‘iladi.
- Reaksiyalar va o‘zaro ta’sir: Auditoriya faol: har bir postga o‘rtacha 15 ta reaksiya keladi.
- Tematik yo‘nalishlar: Kontent learning, tl;dr, токенов, архитектура, контекст kabi asosiy mavzularga jamlangan.
📝 Tavsif va kontent siyosati
Muallif resursni shaxsiy fikrni ifoda etish maydoni sifatida ta’riflaydi:
“Авторы:
Гриша Сапунов, ранее руководитель разработки Яндекс-Новостей, ныне CTO Intento. Области интересов: AI/ML/DL, биоинформатика.
Лёша Тихонов, ранее аналитик в Яндексе, автор Автопоэта, Нейронной Обороны... Области интересов: discrete domain, NLP...”
Yuqori yangilanish chastotasi (oxirgi ma’lumot 03 Noyabr, 2026 da olingan) sababli kanal doimo dolzarb va katta qamrovli bo‘lib qoladi. Analitika auditoriya kontent bilan faol hamkorlik qilishini, uni Texnologiyalar & Aralashmalar toifasidagi muhim ta’sir nuqtasiga aylantirishini ko‘rsatadi.
Ma'lumotlar yuklanmoqda
| Sana | Obunachilarni jalb qilish | Esdaliklar | Kanallar | |
| 03 Noyabr | +3 | |||
| 02 Noyabr | +10 | |||
| 01 Noyabr | +5 |
| 2 | Matn yo'q... | 1 910 |
| 3 | Matn yo'q... | 1 860 |
| 4 | Говорят, может и не нужна куча отдельных этапов в обучении (pretrain, midtrain, SFT, RL) и предлагают унифицированное обучение.
Training Foundation Models with a Single Algorithm
Yuda Song, Alvin Zhang, Fahim Tajwar, Daman Arora, Jeff Schneider, Daniel Khashabi, Ruslan Salakhutdinov, J. Andrew Bagnell, Aarti Singh, Andrea Zanette
Paper: https://arxiv.org/abs/2610.40564
Code: https://github.com/yudasong/unified-training
Model: https://huggingface.co/sfanm/unified-training
Review: https://arxiviq.substack.com/p/training-foundation-models-with-a
ЧТО сделали: Авторы предложили единое обучение — фреймворк и асинхронную систему, которые объединяют предобучение, мидтрейнинг, SFT и RL в один взвешенный по токенам лосс максимального правдоподобия. Градиенты политики при этом выражаются через подгонку правдоподобия под целевые распределения, зависящие от награды.
ЧТО получили: На логических головоломках при разных пропорциях смешивания данных pass@1 составляет примерно 4–39% на размерах задач из обучающего распределения (против 12.24–24.54% у поэтапных бейзлайнов) и примерно 1–13% на новых задачах с 12 персонажами (против 5.58% у выбранного поэтапного бейзлайна). До старта RL подмешивание данных мидтрейнинга в предобучение удерживает точность на общих бенчмарках на уровне 41.85–42.42% (против 42.37% у чистого предобучения и 35.00–38.49% у отдельного мидтрейнинга). В математическом RL для модели на 0.76B параметров последующий RL на коде даёт 23.67–24.96% pass@1 на HumanEval+ при доле подмешивания 0.5–5% (против 22.94% при поэтапном обучении).
ПОЧЕМУ это важно: Отдельные пайплайны для предобучения, SFT и RL можно заменить одним непрерывным потоком данных и взвешенной кросс-энтропией. Это улучшает последующую адаптацию и предотвращает забывание. Однако все эксперименты проведены на моделях меньше 1B параметров, для модели на 0.76B объединение применялось только в финальном RL, и ни одно расписание смешивания не оказалось лучшим сразу по всем метрикам.
Обучать здесь: https://t.me/gonzo_ML_podcasts/4843 | 1 857 |
| 5 | Matn yo'q... | 2 139 |
| 6 | Matn yo'q... | 2 108 |
| 7 | Возможен ли чисто программный взрыв или невозможен, вот в чём вопрос.
What if automating AI R&D triggers an intelligence explosion?
Alan Chan, Christoph Winter, Andrew Barto, Jakub Pachocki, Geoffrey Hinton, Eric Horvitz, Yoshua Bengio, Dawn Song, Jack Clark, Hilary Greaves, Anton Korinek, Samuel Hammond, Thore Graepel, Ben Bariach, Philip H. S. Torr, Sheila A. McIlraith, Jeff Clune, Sam Manning, Girish Sastry, Tom Davidson, Daniel Eth, Sören Mindermann
Paper: https://arxiv.org/abs/2609.36054 + https://casp.ac/reports/intelligence-explosion (Cambridge Programme on AI Science & Policy, Frontier AI Working Paper Series No. 2/2026)
Review: https://arxiviq.substack.com/p/what-if-automating-ai-r-and-d-triggers
Code: N/A
Model: N/A
ЧТО сделали: Авторы предложили аналитический и регуляторный подход к программному взрыву интеллекта — резкому ускорению развития ИИ за счёт автоматизации исследований и разработки (R&D) без ожидания нового железа. Внутренние метрики передовых лабораторий объединили с макроэкономическими моделями роста, чтобы оценить, преодолеет ли автоматизированный R&D убывающую отдачу и физические ограничения.
ЧТО получили: В Anthropic доля одобренного кода, написанного ИИ, выросла с единиц процентов в январе 2025 года до более чем 80% к маю 2026 года, а доля автономных R&D-задач под высокоуровневым присмотром человека — с 1% до 26% с марта по август 2026 года. При полной автоматизации, если отдача от исследовательских усилий r совпадёт с центральными оценками от 1.2 до 1.9 по подобластям ИИ (против бейзлайна постоянной скорости r = 1), прогресс ИИ ускорится в 10 раз примерно за 17 месяцев, сжимая год развития в 5 недель.
ПОЧЕМУ это важно: Взрыв интеллекта опередит законотворчество, поэтому государствам нужно заранее ввести обязательную отчётность по R&D, механизмы приостановки вычислений и протоколы изоляции. Впрочем, 90%-ные доверительные интервалы оценок роста опускаются ниже r = 1, а сами расчёты опираются на упрощённые модели, где прогресс софта смешан с ростом вычислений.
Разбираться тут: https://t.me/gonzo_ML_podcasts/4842 | 2 139 |
| 8 | Matn yo'q... | 2 098 |
| 9 | Matn yo'q... | 2 089 |
| 10 | Matn yo'q... | 1 965 |
| 11 | Matn yo'q... | 1 880 |
| 12 | Интересный результат. Зацикленные модели и модели с постепенным наращиванием через копирование слоёв во время обучения бьют dense модели в неожиданном месте — они лучше выучивают in-context learning.
How Depth Growth and Looping Shape In-Context Learning in Language Models
Ferdinand Kapl, Kaitlin Maile, Stefan Bauer, Johannes von Oswald
Paper: https://arxiv.org/abs/2610.31421
Review: https://arxiviq.substack.com/p/how-depth-growth-and-looping-shape
Code: N/A (built on https://github.com/huggingface/nanotron)
Model: N/A
ЧТО сделали: Исследователи изучили, как повторное использование вычислений по глубине сети влияет на обучение в контексте (ICL) в моделях до 3B параметров. Сравнивали постепенное дублирование средних слоёв во время обучения (оператор LIDAS) и зацикливание (многократный прогон общих слоёв за один прямой проход).
ЧТО получили: Модели с наращиванием и зацикливанием сильнее опираются на контекст, чем плотные бейзлайны. На масштабе 3B метод LIDAS обходит плотную модель на 8-shot GSM8K (~19% против 12% точного совпадения) и тратит на 26% меньше FLOPs в обучении. На новых формальных языках из RegBench наращивание и зацикливание снижают тестовое расстояние полной вариации до ~0.119 и ~0.125 против ~0.137. В 3B LIDAS 10 из 12 сильнейших индукционных голов происходят от двух предков из ранней 4-слойной сети. Отключение топ-20% таких голов роняет few-shot F1 на 19 задачах примерно на 0.18 (LIDAS) и 0.28 (Loop) против 0.08 у бейзлайна.
ПОЧЕМУ это важно: Наращивание глубины экономит вычисления при предобучении и клонирует ранние индукционные схемы по всей сети, защищая ICL от вытеснения запоминанием в весах. При этом зацикливание сокращает число уникальных параметров и ухудшает извлечение знаний из весов, а все прогоны от 360M до 3B провели только с одним сидом предобучения.
Выучивать ICL здесь: https://t.me/gonzo_ML_podcasts/4841 | 2 000 |
| 13 | Matn yo'q... | 2 298 |
| 14 | Matn yo'q... | 2 282 |
| 15 | Matn yo'q... | 2 169 |
| 16 | Matn yo'q... | 2 118 |
| 17 | Matn yo'q... | 2 046 |
| 18 | DeepSeek нынче — один из светочей открытого инжиниринга. Прогресс в эффективности использования KV-кешей от версии к версии сумасшедший. А ещё свежий DeepSeek крайне интересен тем, что это, кажется, единственная из топовых больших открытых моделей, отошедших от повсеместного decoder-only (да, была ещё encoder-decoder T5Gemma; поправьте, если я кого важного забыл). Здесь это вариация decoder-decoder (помните YOCO?). Короче, это всё очень прикольно!
DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression
~500 authors
Paper: https://arxiv.org/abs/2609.19969
Review: https://arxiviq.substack.com/p/deepseek-v41-flash-pushing-the-limits
Code: N/A
Model: https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash
ЧТО сделали: Представили DeepSeek-V4.1-Flash — мультимодальную MoE-модель на 552B параметров в основном стволе (плюс 196B в таблицах памяти Engram) для контекста в 1M токенов. Инференс удешевили тремя способами: каузальная схема энкодер-декодер (CED) активирует 8B параметров на префилле и 16B при декодировании, механизм внимания CSA2 переиспользует FP4-кэш между слоями, а ограниченный пересчёт скользящего окна (SWA Bounded Replay) избавляет от записи локального кэша на диск.
ЧТО получили: Глобальный KV-кэш в HBM ужали до 890 байт на токен (против 3,514 байт у DeepSeek-V4-Flash), а долговременный кэш на SSD сократили примерно до 1/8 от объёма DeepSeek-V4-Flash. На DeepSWE v1.1 модель решает 74.2% задач (против 54.4% у DeepSeek-V4-Flash и 74.0% у Opus-5), а на Terminal-Bench 2.1 набирает 90.6% Pass@1 (против 82.7% у DeepSeek-V4-Flash и 89.1% у Opus-5).
ПОЧЕМУ это важно: Обслуживание агентских сессий в миллион токенов теперь ограничивается вычислениями, а не объёмом HBM или SSD под кэш. При этом в статье нет покомпонентных абляций и кривых поиска на 1M токенов, а на сложных научных задачах вроде Terminal-Bench 4.0 модель уступает крупным закрытым системам (31.2% против 51.8% у Opus-5).
Изучать архитектуру тут: https://t.me/gonzo_ML_podcasts/4840 | 2 298 |
| 19 | Matn yo'q... | 2 447 |
| 20 | Matn yo'q... | 2 398 |
