uz
Feedback

Firibgarlarga uchmang! Telemetrio bunday kanallarni topadi va belgilaydi 👉 Belgini ko‘rmoqchi bo‘lsangiz, obuna bo‘ling

gonzo-обзоры ML статей

gonzo-обзоры ML статей

Kanalga Telegram’da o‘tish

Авторы: Гриша Сапунов, ранее руководитель разработки Яндекс-Новостей, ныне CTO Intento. Области интересов: AI/ML/DL, биоинформатика. Лёша Тихонов, ранее аналитик в Яндексе, автор Автопоэта, Нейронной Обороны... Области интересов: discrete domain, NLP, RL.

Ko'proq ko'rsatish

📈 Telegram kanali gonzo-обзоры ML статей analitikasi

gonzo-обзоры ML статей (@gonzo_ml) Rus til segmentidagi kanali faol ishtirokchi. Hozirda hamjamiyat 24 661 obunachidan iborat bo'lib, Texnologiyalar & Aralashmalar toifasida 5 365-o'rinni va Rossiya mintaqasida 26 408-o'rinni egallagan.

📊 Auditoriya ko‘rsatkichlari va dinamika

невідомо sanasidan buyon loyiha tez o‘sib, 24 661 obunachiga ega bo‘ldi.

02 Noyabr, 2026 dagi oxirgi ma’lumotlarga ko‘ra kanal barqaror faollikka ega. Oxirgi 30 kunda obunachilar soni 118 ga, so‘nggi 24 soatda esa 5 ga o‘zgardi va umumiy qamrov yuqori darajada qolmoqda.

  • Tasdiqlash holati: Tasdiqlanmagan
  • Jalb etish (ER): Auditoriya o‘rtacha 13.65% darajada jalb etiladi. Nashrdan keyingi dastlabki 24 soatda kontent odatda umumiy obunachilar sonining 7.75% ini tashkil etuvchi reaksiyalarni to‘playdi.
  • Post qamrovi: Har bir post o‘rtacha 3 366 marta ko‘riladi; birinchi sutkada odatda 1 911 ta ko‘rish yig‘iladi.
  • Reaksiyalar va o‘zaro ta’sir: Auditoriya faol: har bir postga o‘rtacha 15 ta reaksiya keladi.
  • Tematik yo‘nalishlar: Kontent learning, tl;dr, токенов, архитектура, контекст kabi asosiy mavzularga jamlangan.

📝 Tavsif va kontent siyosati

Muallif resursni shaxsiy fikrni ifoda etish maydoni sifatida ta’riflaydi:
“Авторы: Гриша Сапунов, ранее руководитель разработки Яндекс-Новостей, ныне CTO Intento. Области интересов: AI/ML/DL, биоинформатика. Лёша Тихонов, ранее аналитик в Яндексе, автор Автопоэта, Нейронной Обороны... Области интересов: discrete domain, NLP...”

Yuqori yangilanish chastotasi (oxirgi ma’lumot 03 Noyabr, 2026 da olingan) sababli kanal doimo dolzarb va katta qamrovli bo‘lib qoladi. Analitika auditoriya kontent bilan faol hamkorlik qilishini, uni Texnologiyalar & Aralashmalar toifasidagi muhim ta’sir nuqtasiga aylantirishini ko‘rsatadi.

24 661
Obunachilar
+524 soatlar
+237 kun
+11830 kun
Obunachilarni jalb qilish
Noy '26
Noyabr '26
+18
1 kanalda
Oktabr '26
+328
10 kanalda
Get PRO
Sentabr '26
+343
9 kanalda
Get PRO
Avgust '26
+157
7 kanalda
Get PRO
Iyul '26
+196
4 kanalda
Get PRO
Iyun '26
+253
9 kanalda
Get PRO
May '26
+210
6 kanalda
Get PRO
Aprel '26
+279
6 kanalda
Get PRO
Mart '26
+275
10 kanalda
Get PRO
Fevral '26
+387
6 kanalda
Get PRO
Yanvar '26
+415
17 kanalda
Get PRO
Dekabr '25
+439
9 kanalda
Get PRO
Noyabr '25
+295
13 kanalda
Get PRO
Oktabr '25
+510
13 kanalda
Get PRO
Sentabr '25
+286
8 kanalda
Get PRO
Avgust '25
+430
5 kanalda
Get PRO
Iyul '25
+641
11 kanalda
Get PRO
Iyun '25
+362
9 kanalda
Get PRO
May '25
+431
7 kanalda
Get PRO
Aprel '25
+922
19 kanalda
Get PRO
Mart '25
+583
8 kanalda
Get PRO
Fevral '25
+649
16 kanalda
Get PRO
Yanvar '25
+1 065
24 kanalda
Get PRO
Dekabr '24
+699
13 kanalda
Get PRO
Noyabr '24
+1 001
20 kanalda
Get PRO
Oktabr '24
+727
14 kanalda
Get PRO
Sentabr '24
+415
11 kanalda
Get PRO
Avgust '24
+467
3 kanalda
Get PRO
Iyul '24
+217
10 kanalda
Get PRO
Iyun '24
+375
20 kanalda
Get PRO
May '24
+354
11 kanalda
Get PRO
Aprel '24
+377
13 kanalda
Get PRO
Mart '24
+399
14 kanalda
Get PRO
Fevral '24
+323
12 kanalda
Get PRO
Yanvar '24
+660
15 kanalda
Get PRO
Dekabr '23
+641
19 kanalda
Get PRO
Noyabr '23
+268
8 kanalda
Get PRO
Oktabr '23
+501
19 kanalda
Get PRO
Sentabr '23
+355
0 kanalda
Get PRO
Avgust '23
+456
0 kanalda
Get PRO
Iyul '23
+357
0 kanalda
Get PRO
Iyun '23
+300
0 kanalda
Get PRO
May '23
+2 022
0 kanalda
Get PRO
Aprel '23
+967
0 kanalda
Get PRO
Mart '23
+2 757
0 kanalda
Get PRO
Fevral '23
+385
0 kanalda
Get PRO
Yanvar '23
+166
0 kanalda
Get PRO
Dekabr '22
+343
0 kanalda
Get PRO
Noyabr '22
+100
0 kanalda
Get PRO
Oktabr '22
+93
0 kanalda
Get PRO
Sentabr '22
+70
0 kanalda
Get PRO
Avgust '22
+261
0 kanalda
Get PRO
Iyul '22
+475
0 kanalda
Get PRO
Iyun '22
+215
0 kanalda
Get PRO
May '22
+225
0 kanalda
Get PRO
Aprel '22
+101
0 kanalda
Get PRO
Mart '22
+132
0 kanalda
Get PRO
Fevral '22
+233
0 kanalda
Get PRO
Yanvar '22
+113
0 kanalda
Get PRO
Dekabr '21
+248
0 kanalda
Get PRO
Noyabr '21
+226
0 kanalda
Get PRO
Oktabr '21
+69
0 kanalda
Get PRO
Sentabr '21
+92
0 kanalda
Get PRO
Avgust '21
+73
0 kanalda
Get PRO
Iyul '21
+133
0 kanalda
Get PRO
Iyun '21
+174
0 kanalda
Get PRO
May '21
+75
0 kanalda
Get PRO
Aprel '21
+84
0 kanalda
Get PRO
Mart '21
+97
0 kanalda
Get PRO
Fevral '21
+136
0 kanalda
Get PRO
Yanvar '21
+170
0 kanalda
Get PRO
Dekabr '20
+4 514
0 kanalda
Sana
Obunachilarni jalb qilish
Esdaliklar
Kanallar
03 Noyabr+3
02 Noyabr+10
01 Noyabr+5
Kanal postlari
2
Matn yo'q...
1 910
3
Matn yo'q...
1 860
4
Говорят, может и не нужна куча отдельных этапов в обучении (pretrain, midtrain, SFT, RL) и предлагают унифицированное обучение. Training Foundation Models with a Single Algorithm Yuda Song, Alvin Zhang, Fahim Tajwar, Daman Arora, Jeff Schneider, Daniel Khashabi, Ruslan Salakhutdinov, J. Andrew Bagnell, Aarti Singh, Andrea Zanette Paper: https://arxiv.org/abs/2610.40564 Code: https://github.com/yudasong/unified-training Model: https://huggingface.co/sfanm/unified-training Review: https://arxiviq.substack.com/p/training-foundation-models-with-a ЧТО сделали: Авторы предложили единое обучение — фреймворк и асинхронную систему, которые объединяют предобучение, мидтрейнинг, SFT и RL в один взвешенный по токенам лосс максимального правдоподобия. Градиенты политики при этом выражаются через подгонку правдоподобия под целевые распределения, зависящие от награды. ЧТО получили: На логических головоломках при разных пропорциях смешивания данных pass@1 составляет примерно 4–39% на размерах задач из обучающего распределения (против 12.24–24.54% у поэтапных бейзлайнов) и примерно 1–13% на новых задачах с 12 персонажами (против 5.58% у выбранного поэтапного бейзлайна). До старта RL подмешивание данных мидтрейнинга в предобучение удерживает точность на общих бенчмарках на уровне 41.85–42.42% (против 42.37% у чистого предобучения и 35.00–38.49% у отдельного мидтрейнинга). В математическом RL для модели на 0.76B параметров последующий RL на коде даёт 23.67–24.96% pass@1 на HumanEval+ при доле подмешивания 0.5–5% (против 22.94% при поэтапном обучении). ПОЧЕМУ это важно: Отдельные пайплайны для предобучения, SFT и RL можно заменить одним непрерывным потоком данных и взвешенной кросс-энтропией. Это улучшает последующую адаптацию и предотвращает забывание. Однако все эксперименты проведены на моделях меньше 1B параметров, для модели на 0.76B объединение применялось только в финальном RL, и ни одно расписание смешивания не оказалось лучшим сразу по всем метрикам. Обучать здесь: https://t.me/gonzo_ML_podcasts/4843
1 857
5
Matn yo'q...
2 139
6
Matn yo'q...
2 108
7
Возможен ли чисто программный взрыв или невозможен, вот в чём вопрос. What if automating AI R&D triggers an intelligence explosion? Alan Chan, Christoph Winter, Andrew Barto, Jakub Pachocki, Geoffrey Hinton, Eric Horvitz, Yoshua Bengio, Dawn Song, Jack Clark, Hilary Greaves, Anton Korinek, Samuel Hammond, Thore Graepel, Ben Bariach, Philip H. S. Torr, Sheila A. McIlraith, Jeff Clune, Sam Manning, Girish Sastry, Tom Davidson, Daniel Eth, Sören Mindermann Paper: https://arxiv.org/abs/2609.36054 + https://casp.ac/reports/intelligence-explosion (Cambridge Programme on AI Science & Policy, Frontier AI Working Paper Series No. 2/2026) Review: https://arxiviq.substack.com/p/what-if-automating-ai-r-and-d-triggers Code: N/A Model: N/A ЧТО сделали: Авторы предложили аналитический и регуляторный подход к программному взрыву интеллекта — резкому ускорению развития ИИ за счёт автоматизации исследований и разработки (R&D) без ожидания нового железа. Внутренние метрики передовых лабораторий объединили с макроэкономическими моделями роста, чтобы оценить, преодолеет ли автоматизированный R&D убывающую отдачу и физические ограничения. ЧТО получили: В Anthropic доля одобренного кода, написанного ИИ, выросла с единиц процентов в январе 2025 года до более чем 80% к маю 2026 года, а доля автономных R&D-задач под высокоуровневым присмотром человека — с 1% до 26% с марта по август 2026 года. При полной автоматизации, если отдача от исследовательских усилий r совпадёт с центральными оценками от 1.2 до 1.9 по подобластям ИИ (против бейзлайна постоянной скорости r = 1), прогресс ИИ ускорится в 10 раз примерно за 17 месяцев, сжимая год развития в 5 недель. ПОЧЕМУ это важно: Взрыв интеллекта опередит законотворчество, поэтому государствам нужно заранее ввести обязательную отчётность по R&D, механизмы приостановки вычислений и протоколы изоляции. Впрочем, 90%-ные доверительные интервалы оценок роста опускаются ниже r = 1, а сами расчёты опираются на упрощённые модели, где прогресс софта смешан с ростом вычислений. Разбираться тут: https://t.me/gonzo_ML_podcasts/4842
2 139
8
Matn yo'q...
2 098
9
Matn yo'q...
2 089
10
Matn yo'q...
1 965
11
Matn yo'q...
1 880
12
Интересный результат. Зацикленные модели и модели с постепенным наращиванием через копирование слоёв во время обучения бьют dense модели в неожиданном месте — они лучше выучивают in-context learning. How Depth Growth and Looping Shape In-Context Learning in Language Models Ferdinand Kapl, Kaitlin Maile, Stefan Bauer, Johannes von Oswald Paper: https://arxiv.org/abs/2610.31421 Review: https://arxiviq.substack.com/p/how-depth-growth-and-looping-shape Code: N/A (built on https://github.com/huggingface/nanotron) Model: N/A ЧТО сделали: Исследователи изучили, как повторное использование вычислений по глубине сети влияет на обучение в контексте (ICL) в моделях до 3B параметров. Сравнивали постепенное дублирование средних слоёв во время обучения (оператор LIDAS) и зацикливание (многократный прогон общих слоёв за один прямой проход). ЧТО получили: Модели с наращиванием и зацикливанием сильнее опираются на контекст, чем плотные бейзлайны. На масштабе 3B метод LIDAS обходит плотную модель на 8-shot GSM8K (~19% против 12% точного совпадения) и тратит на 26% меньше FLOPs в обучении. На новых формальных языках из RegBench наращивание и зацикливание снижают тестовое расстояние полной вариации до ~0.119 и ~0.125 против ~0.137. В 3B LIDAS 10 из 12 сильнейших индукционных голов происходят от двух предков из ранней 4-слойной сети. Отключение топ-20% таких голов роняет few-shot F1 на 19 задачах примерно на 0.18 (LIDAS) и 0.28 (Loop) против 0.08 у бейзлайна. ПОЧЕМУ это важно: Наращивание глубины экономит вычисления при предобучении и клонирует ранние индукционные схемы по всей сети, защищая ICL от вытеснения запоминанием в весах. При этом зацикливание сокращает число уникальных параметров и ухудшает извлечение знаний из весов, а все прогоны от 360M до 3B провели только с одним сидом предобучения. Выучивать ICL здесь: https://t.me/gonzo_ML_podcasts/4841
2 000
13
Matn yo'q...
2 298
14
Matn yo'q...
2 282
15
Matn yo'q...
2 169
16
Matn yo'q...
2 118
17
Matn yo'q...
2 046
18
DeepSeek нынче — один из светочей открытого инжиниринга. Прогресс в эффективности использования KV-кешей от версии к версии сумасшедший. А ещё свежий DeepSeek крайне интересен тем, что это, кажется, единственная из топовых больших открытых моделей, отошедших от повсеместного decoder-only (да, была ещё encoder-decoder T5Gemma; поправьте, если я кого важного забыл). Здесь это вариация decoder-decoder (помните YOCO?). Короче, это всё очень прикольно! DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression ~500 authors Paper: https://arxiv.org/abs/2609.19969 Review: https://arxiviq.substack.com/p/deepseek-v41-flash-pushing-the-limits Code: N/A Model: https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash ЧТО сделали: Представили DeepSeek-V4.1-Flash — мультимодальную MoE-модель на 552B параметров в основном стволе (плюс 196B в таблицах памяти Engram) для контекста в 1M токенов. Инференс удешевили тремя способами: каузальная схема энкодер-декодер (CED) активирует 8B параметров на префилле и 16B при декодировании, механизм внимания CSA2 переиспользует FP4-кэш между слоями, а ограниченный пересчёт скользящего окна (SWA Bounded Replay) избавляет от записи локального кэша на диск. ЧТО получили: Глобальный KV-кэш в HBM ужали до 890 байт на токен (против 3,514 байт у DeepSeek-V4-Flash), а долговременный кэш на SSD сократили примерно до 1/8 от объёма DeepSeek-V4-Flash. На DeepSWE v1.1 модель решает 74.2% задач (против 54.4% у DeepSeek-V4-Flash и 74.0% у Opus-5), а на Terminal-Bench 2.1 набирает 90.6% Pass@1 (против 82.7% у DeepSeek-V4-Flash и 89.1% у Opus-5). ПОЧЕМУ это важно: Обслуживание агентских сессий в миллион токенов теперь ограничивается вычислениями, а не объёмом HBM или SSD под кэш. При этом в статье нет покомпонентных абляций и кривых поиска на 1M токенов, а на сложных научных задачах вроде Terminal-Bench 4.0 модель уступает крупным закрытым системам (31.2% против 51.8% у Opus-5). Изучать архитектуру тут: https://t.me/gonzo_ML_podcasts/4840
2 298
19
Matn yo'q...
2 447
20
Matn yo'q...
2 398