gonzo-обзоры ML статей
Авторы: Гриша Сапунов, ранее руководитель разработки Яндекс-Новостей, ныне CTO Intento. Области интересов: AI/ML/DL, биоинформатика. Лёша Тихонов, ранее аналитик в Яндексе, автор Автопоэта, Нейронной Обороны... Области интересов: discrete domain, NLP, RL.
显示更多📈 Telegram 频道 gonzo-обзоры ML статей 的分析概览
频道 gonzo-обзоры ML статей (@gonzo_ml) 俄语 语言赛道中的 是活跃参与者。目前社区聚集了 24 727 名订阅者,在 技术与应用 类别中位列第 5 376,并在 俄罗斯 地区排名第 26 315 位。
📊 受众指标与增长动态
自 невідомо 创建以来,项目保持高速增长,吸引了 24 727 名订阅者。
根据 17 十一月, 2026 的最新数据,频道保持稳定运转。过去 30 天订阅人数变化为 108,过去 24 小时变化为 3,整体触达仍然可观。
- 认证状态: 未认证
- 互动率 (ER): 平均受众互动率为 11.71%。内容发布后 24 小时内通常能获得 7.43% 的反应,占订阅者总量。
- 帖子覆盖: 每篇帖子平均可获得 2 895 次浏览,首日通常累积 1 836 次浏览。
- 互动与反馈: 受众积极参与,单帖平均反应数为 13。
- 主题关注点: 内容集中在 learning, tl;dr, токенов, архитектура, контекст 等核心主题上。
📝 描述与内容策略
作者将该频道定位为表达主观观点的平台:
“Авторы:
Гриша Сапунов, ранее руководитель разработки Яндекс-Новостей, ныне CTO Intento. Области интересов: AI/ML/DL, биоинформатика.
Лёша Тихонов, ранее аналитик в Яндексе, автор Автопоэта, Нейронной Обороны... Области интересов: discrete domain, NLP...”
凭借高频更新(最新数据采集于 18 十一月, 2026),频道始终保持新鲜度与高覆盖。分析显示受众积极互动,使其成为 技术与应用 类别中的关键影响点。
正在加载数据
| 日期 | 订阅者增长 | 提及 | 频道 | |
| 18 十一月 | +7 | |||
| 17 十一月 | +9 | |||
| 16 十一月 | +7 | |||
| 15 十一月 | +14 | |||
| 14 十一月 | +10 | |||
| 13 十一月 | +8 | |||
| 12 十一月 | +5 | |||
| 11 十一月 | +3 | |||
| 10 十一月 | +12 | |||
| 09 十一月 | +8 | |||
| 08 十一月 | +3 | |||
| 07 十一月 | +8 | |||
| 06 十一月 | +7 | |||
| 05 十一月 | +11 | |||
| 04 十一月 | +5 | |||
| 03 十一月 | +14 | |||
| 02 十一月 | +10 | |||
| 01 十一月 | +5 |
| 2 | 没有文字... | 1 657 |
| 3 | 没有文字... | 1 572 |
| 4 | Кеннет Стэнли продолжает (предыдущее тут) исследовать единые и разрозненные представления. Неудивительным образом единые факторизованные представления рулят на непрерывном обучении. Но работают пока только на очень игрушечных кейсах.
Unified Factored Representations Resist Catastrophic Forgetting
Joel Lehman, Kenneth O. Stanley
Paper: https://arxiv.org/abs/2611.11020
Review: https://arxiviq.substack.com/p/unified-factored-representations
Главное: Нейросети могут избегать катастрофического забывания при градиентном спуске, если внутренние признаки кодируют каждую закономерность один раз и разделяют независимые факторы. Но для этого нужно маскировать лишние нулевые веса и делать малые шаги вдоль структуры задачи.
ЧТО сделали: Авторы объясняют забывание спутанными представлениями, где закономерности дублируются, а признаки смешиваются. В многократном циклическом файнтюнинге туда-обратно на частях входа они проверили единые факторизованные представления, объединяющие закономерности и разделяющие факторы.
ЧТО получили: За 30 циклов файнтюнинга попиксельная ошибка факторизованных моделей на отложенной области оказалась в 2.9–12 раз ниже, чем у градиентных бейзлайнов — без повтора примеров и штрафов за уход от старой задачи. Целевые вариации при этом генерировали самими факторизованными сетями.
ПОЧЕМУ это важно: Вспомогательные лоссы, упорядочивающие скрытые признаки при начальном обучении, снижают последующую интерференцию. Однако градиентный спуск всё ещё не выучивает такие представления с нуля и не может надёжно добавить даже один новый признак, не сломав их.
Исследовать репрезентации здесь: https://t.me/gonzo_ML_podcasts/4852 | 1 602 |
| 5 | 没有文字... | 2 091 |
| 6 | 没有文字... | 2 103 |
| 7 | 没有文字... | 2 016 |
| 8 | Любопытная свежая работа про файнтюнинг занулением небольшого количества весов.
The Surprising Effectiveness of Deleting Weights in LLM Post-Training
Jack Lu, Zhenbang Yang, Mike Lasby, Tejas Pote, Yani Ioannou, Mengye Ren
Paper: https://arxiv.org/abs/2611.10866
Review: https://arxiviq.substack.com/p/the-surprising-effectiveness-of-deleting
Project: https://agenticlearning.ai/deleting-weights/
Code: https://github.com/agentic-learning-ai-lab/deleting-weights
Model: https://huggingface.co/Jacklu0831/deletion-tuning-masks
Главное: Предобученные языковые модели могут осваивать новые навыки рассуждения и работы с инструментами без записи новых весов. На больших масштабах достаточно занулить менее 0.05% параметров, и прежние способности не пострадают.
ЧТО сделали: Авторы предложили метод пост-тренинга Deletion Tuning, который адаптирует замороженную модель через обучение бинарной маски для гейтовых проекций MLP. Выбранные веса остаются нетронутыми, а остальные обращаются в ноль.
ЧТО получили: На самых крупных протестированных моделях Deletion Tuning сравнялся с полным файнтюнингом. При обучении с подкреплением точность на старых задачах падает не более чем на 1 пункт от базовой модели, хотя малые модели набирают порой лишь 90% от точности плотного обновления.
ПОЧЕМУ это важно: Системы инференса могут переключать задачи мегабайтными битовыми масками поверх одной общей модели без потери старых навыков. Однако последовательное дообучение в работе не проверяли, несжатые bf16-адаптеры ранга 1 часто меньше по объёму, а само обучение требует куда больше памяти.
Занулять здесь: https://t.me/gonzo_ML_podcasts/4851 | 2 210 |
| 9 | 没有文字... | 2 357 |
| 10 | 没有文字... | 2 311 |
| 11 | 没有文字... | 2 293 |
| 12 | Я продолжаю посматривать на работы, где из реальных данных авторы пытаются вывести символьные физические законы, стоящие за наблюдениями. Уверен, это крайне интересная и нужная область.
Одна из свежих работ предложила двухступенчатый пайплайн: сначала выделяем низкоразмерный базис (интересные переменные) и только потом уже на нём ищем символьную формулу. Какой-то прогресс в этом есть, но результат пока неоднозначный.
Distilling neural networks into equations to predict planetary instability
Simon Alford, Edward Gu, Omar Costilla-Reyes, Dan Tamayo, Miles Cranmer, Kevin Ellis
Paper: https://arxiv.org/abs/2610.35617
Review: https://arxiviq.substack.com/p/distilling-neural-networks-into-equations
Code: https://github.com/simonalford42/planet_eqs
Data and code archive: https://doi.org/10.5281/zenodo.15731358
Главное: Символьная регрессия справляется с хаотической динамикой, если градиентный спуск сначала сжимает траектории в разреженный линейный базис. Полученные компактные формулы экстраполируют лучше прямого символьного поиска.
ЧТО сделали: Предложили двухэтапную дистилляцию нейросетей для предсказания неустойчивости многопланетных систем. На коротких симуляциях орбит обучается разреженный линейный экстрактор (по две переменные на признак), после чего библиотека эволюционной символьной регрессии PySR дистиллирует нейросеть в алгебраические уравнения.
ЧТО получили: На бенчмарках дистиллированная формула предсказывает время до неустойчивости с точностью от 1.34 до 1.52 порядков величины. Она точнее аналитической теории для круговых орбит и экстраполирует на более крупные системы, но уступает прямой символьной регрессии по ряду метрик внутри распределения.
ПОЧЕМУ это важно: Астрономы получают читаемую формулу, связывающую колебания орбит с резонансами. Однако расчёт всё ещё требует короткой численной симуляции, не учитывает физические размерности и даёт много ложных тревог при стандартных порогах.
Гнать дистиллят тут: https://t.me/gonzo_ML_podcasts/4850 | 2 344 |
| 13 | Вдруг вы по мне соскучились.
https://youtu.be/r4iThqisYcg?si=rObK2ySJcZf9dTOt | 2 811 |
| 14 | 没有文字... | 3 125 |
| 15 | 没有文字... | 2 938 |
| 16 | 没有文字... | 2 973 |
| 17 | Как обучать латентный ризонинг без явной разметки шагов.
Заодно решил проверить как работает ревью на Gemini 4 Hydrogen. Как вам?
Learn Your Own Thoughts: Abstract Token Curriculum
Khashayar Gatmiry, Avrajit Ghosh, Parsa Mirtaheri, Jason D. Lee, Nika Haghtalab, Emmanuel Abbe, Peter Bartlett
Paper: https://arxiv.org/abs/2609.19717v2
Review: https://arxiviq.substack.com/p/learn-your-own-thoughts-abstract
Code: N/A
Model: N/A
Главное: Подача подзадач с растущим бюджетом непрерывных токенов учит трансформеры последовательным скрытым состояниям без разметки мыслей, но переносит декомпозицию задачи в генератор данных.
ЧТО сделали: Авторы предложили метод Abstract Token Curriculum (ATC), который обучает векторы рассуждений (скрытые эмбеддинги в конце контекста) с помощью поэтапного усложнения, отката по точности и дропаута кандидатов.
ЧТО получили: ATC достигает 99.9% точности на задаче достижимости в дереве наравне с размеченным бейзлайном и медианных 98.7% точного совпадения на сложении против бейзлайна без усечения. В идеализированных условиях теория доказывает: один градиентный шаг по ключам концентрирует внимание на последней мысли для одного знака чётности.
ПОЧЕМУ это важно: Если задачу можно алгоритмически разбить на этапы по сложности, разметка цепочек рассуждений не нужна. Однако эксперименты проводились на синтетике и малых трансформерах с нуля (до 15M параметров), а отсутствие части контрольных прогонов не исключает влияния подсказок-кандидатов в промпте.
Латентные и не очень куррикулумы здесь: https://t.me/gonzo_ML_podcasts/4849 | 3 147 |
| 18 | Я постил месяц назад кейноут DHH с открытия Rails World 2026, он был прекрасен. Но кроме него есть и двухмесячной давности разговор на канале Лекса Фридмана, традиционно долгий, аж целых пять часов! И я его наконец дослушал. Получилось только на 1.5x–1.75x: он говорит довольно быстро, ускорять сильнее не выходит (а некоторых удаётся слушать и на 2.5x-3x 😁)
Это один из разговоров, которые нет смысла давать в виде саммари. Большие (а особенно теперь ещё и сгенерённые) статьи с архива есть смысл суммаризировать, некоторые длинные посты тоже, а вот разговоры с некоторыми людьми содержат очень много сигнала в отдельных деталях, и их лучше слушать целиком, обращая внимание на эти детали -- ну собственно как дистилляция на полном распределении логитов (soft targets), а не только на финальном ответе, несёт существенно больше информации и позволяет лучше выучить распределение. Вот так и разговор с DHH -- лучше глубже понять, как мыслит этот человек, он крутой. Его одержимость качеством и достижением невероятных результатов очень хороша и заразительна.
Будь как DHH!
https://youtu.be/NYFGCESmikA?si=TqugdxoM-g7N9MDV | 3 186 |
| 19 | 没有文字... | 3 037 |
| 20 | 没有文字... | 3 129 |
