gonzo-обзоры ML статей
Авторы: Гриша Сапунов, ранее руководитель разработки Яндекс-Новостей, ныне CTO Intento. Области интересов: AI/ML/DL, биоинформатика. Лёша Тихонов, ранее аналитик в Яндексе, автор Автопоэта, Нейронной Обороны... Области интересов: discrete domain, NLP, RL.
إظهار المزيد📈 نظرة تحليلية على قناة تيليجرام gonzo-обзоры ML статей
تُعد قناة gonzo-обзоры ML статей (@gonzo_ml) في القطاع اللغوي الروسية لاعباً نشطاً. يضم المجتمع حالياً 24 727 مشتركاً، محتلاً المرتبة 5 376 في فئة التكنولوجيات والتطبيقات والمرتبة 26 315 في منطقة روسيا.
📊 مؤشرات الجمهور والحراك
منذ تأسيسه في невідомо، حقق المشروع نمواً سريعاً وجمع 24 727 مشتركاً.
بحسب آخر البيانات بتاريخ 17 نوفمبر, 2026، تحافظ القناة على نشاط مستقر. خلال آخر 30 يوماً تغيّر عدد الأعضاء بمقدار 108، وفي آخر 24 ساعة بمقدار 3، مع بقاء الوصول العام مرتفعاً.
- حالة التحقق: غير موثّقة
- معدل التفاعل (ER): يبلغ متوسط تفاعل الجمهور 11.71%. وخلال أول 24 ساعة من النشر يحصد المحتوى عادةً 7.43% من ردود الفعل نسبةً إلى إجمالي المشتركين.
- وصول المنشورات: يحصل كل منشور على متوسط 2 895 مشاهدة. وخلال اليوم الأول يجمع عادةً 1 836 مشاهدة.
- التفاعلات والاستجابة: يتفاعل الجمهور بانتظام؛ متوسط التفاعلات لكل منشور يبلغ 13.
- الاهتمامات الموضوعية: يركز المحتوى على مواضيع رئيسية مثل learning, tl;dr, токенов, архитектура, контекст.
📝 الوصف وسياسة المحتوى
يصف المؤلف القناة بأنها مساحة للتعبير عن الآراء الذاتية:
“Авторы:
Гриша Сапунов, ранее руководитель разработки Яндекс-Новостей, ныне CTO Intento. Области интересов: AI/ML/DL, биоинформатика.
Лёша Тихонов, ранее аналитик в Яндексе, автор Автопоэта, Нейронной Обороны... Области интересов: discrete domain, NLP...”
بفضل وتيرة التحديث المرتفعة (أحدث البيانات بتاريخ 18 نوفمبر, 2026) تحافظ القناة على حداثتها ومستوى وصول مرتفع. وتُظهر التحليلات تفاعلاً نشطاً من الجمهور، ما يجعلها نقطة تأثير مهمة ضمن فئة التكنولوجيات والتطبيقات.
جارٍ تحميل البيانات
| التاريخ | نمو المشتركين | الإشارات | القنوات | |
| 18 نوفمبر | +7 | |||
| 17 نوفمبر | +9 | |||
| 16 نوفمبر | +7 | |||
| 15 نوفمبر | +14 | |||
| 14 نوفمبر | +10 | |||
| 13 نوفمبر | +8 | |||
| 12 نوفمبر | +5 | |||
| 11 نوفمبر | +3 | |||
| 10 نوفمبر | +12 | |||
| 09 نوفمبر | +8 | |||
| 08 نوفمبر | +3 | |||
| 07 نوفمبر | +8 | |||
| 06 نوفمبر | +7 | |||
| 05 نوفمبر | +11 | |||
| 04 نوفمبر | +5 | |||
| 03 نوفمبر | +14 | |||
| 02 نوفمبر | +10 | |||
| 01 نوفمبر | +5 |
| 2 | لا يوجد نص... | 1 657 |
| 3 | لا يوجد نص... | 1 572 |
| 4 | Кеннет Стэнли продолжает (предыдущее тут) исследовать единые и разрозненные представления. Неудивительным образом единые факторизованные представления рулят на непрерывном обучении. Но работают пока только на очень игрушечных кейсах.
Unified Factored Representations Resist Catastrophic Forgetting
Joel Lehman, Kenneth O. Stanley
Paper: https://arxiv.org/abs/2611.11020
Review: https://arxiviq.substack.com/p/unified-factored-representations
Главное: Нейросети могут избегать катастрофического забывания при градиентном спуске, если внутренние признаки кодируют каждую закономерность один раз и разделяют независимые факторы. Но для этого нужно маскировать лишние нулевые веса и делать малые шаги вдоль структуры задачи.
ЧТО сделали: Авторы объясняют забывание спутанными представлениями, где закономерности дублируются, а признаки смешиваются. В многократном циклическом файнтюнинге туда-обратно на частях входа они проверили единые факторизованные представления, объединяющие закономерности и разделяющие факторы.
ЧТО получили: За 30 циклов файнтюнинга попиксельная ошибка факторизованных моделей на отложенной области оказалась в 2.9–12 раз ниже, чем у градиентных бейзлайнов — без повтора примеров и штрафов за уход от старой задачи. Целевые вариации при этом генерировали самими факторизованными сетями.
ПОЧЕМУ это важно: Вспомогательные лоссы, упорядочивающие скрытые признаки при начальном обучении, снижают последующую интерференцию. Однако градиентный спуск всё ещё не выучивает такие представления с нуля и не может надёжно добавить даже один новый признак, не сломав их.
Исследовать репрезентации здесь: https://t.me/gonzo_ML_podcasts/4852 | 1 602 |
| 5 | لا يوجد نص... | 2 091 |
| 6 | لا يوجد نص... | 2 103 |
| 7 | لا يوجد نص... | 2 016 |
| 8 | Любопытная свежая работа про файнтюнинг занулением небольшого количества весов.
The Surprising Effectiveness of Deleting Weights in LLM Post-Training
Jack Lu, Zhenbang Yang, Mike Lasby, Tejas Pote, Yani Ioannou, Mengye Ren
Paper: https://arxiv.org/abs/2611.10866
Review: https://arxiviq.substack.com/p/the-surprising-effectiveness-of-deleting
Project: https://agenticlearning.ai/deleting-weights/
Code: https://github.com/agentic-learning-ai-lab/deleting-weights
Model: https://huggingface.co/Jacklu0831/deletion-tuning-masks
Главное: Предобученные языковые модели могут осваивать новые навыки рассуждения и работы с инструментами без записи новых весов. На больших масштабах достаточно занулить менее 0.05% параметров, и прежние способности не пострадают.
ЧТО сделали: Авторы предложили метод пост-тренинга Deletion Tuning, который адаптирует замороженную модель через обучение бинарной маски для гейтовых проекций MLP. Выбранные веса остаются нетронутыми, а остальные обращаются в ноль.
ЧТО получили: На самых крупных протестированных моделях Deletion Tuning сравнялся с полным файнтюнингом. При обучении с подкреплением точность на старых задачах падает не более чем на 1 пункт от базовой модели, хотя малые модели набирают порой лишь 90% от точности плотного обновления.
ПОЧЕМУ это важно: Системы инференса могут переключать задачи мегабайтными битовыми масками поверх одной общей модели без потери старых навыков. Однако последовательное дообучение в работе не проверяли, несжатые bf16-адаптеры ранга 1 часто меньше по объёму, а само обучение требует куда больше памяти.
Занулять здесь: https://t.me/gonzo_ML_podcasts/4851 | 2 210 |
| 9 | لا يوجد نص... | 2 357 |
| 10 | لا يوجد نص... | 2 311 |
| 11 | لا يوجد نص... | 2 293 |
| 12 | Я продолжаю посматривать на работы, где из реальных данных авторы пытаются вывести символьные физические законы, стоящие за наблюдениями. Уверен, это крайне интересная и нужная область.
Одна из свежих работ предложила двухступенчатый пайплайн: сначала выделяем низкоразмерный базис (интересные переменные) и только потом уже на нём ищем символьную формулу. Какой-то прогресс в этом есть, но результат пока неоднозначный.
Distilling neural networks into equations to predict planetary instability
Simon Alford, Edward Gu, Omar Costilla-Reyes, Dan Tamayo, Miles Cranmer, Kevin Ellis
Paper: https://arxiv.org/abs/2610.35617
Review: https://arxiviq.substack.com/p/distilling-neural-networks-into-equations
Code: https://github.com/simonalford42/planet_eqs
Data and code archive: https://doi.org/10.5281/zenodo.15731358
Главное: Символьная регрессия справляется с хаотической динамикой, если градиентный спуск сначала сжимает траектории в разреженный линейный базис. Полученные компактные формулы экстраполируют лучше прямого символьного поиска.
ЧТО сделали: Предложили двухэтапную дистилляцию нейросетей для предсказания неустойчивости многопланетных систем. На коротких симуляциях орбит обучается разреженный линейный экстрактор (по две переменные на признак), после чего библиотека эволюционной символьной регрессии PySR дистиллирует нейросеть в алгебраические уравнения.
ЧТО получили: На бенчмарках дистиллированная формула предсказывает время до неустойчивости с точностью от 1.34 до 1.52 порядков величины. Она точнее аналитической теории для круговых орбит и экстраполирует на более крупные системы, но уступает прямой символьной регрессии по ряду метрик внутри распределения.
ПОЧЕМУ это важно: Астрономы получают читаемую формулу, связывающую колебания орбит с резонансами. Однако расчёт всё ещё требует короткой численной симуляции, не учитывает физические размерности и даёт много ложных тревог при стандартных порогах.
Гнать дистиллят тут: https://t.me/gonzo_ML_podcasts/4850 | 2 344 |
| 13 | Вдруг вы по мне соскучились.
https://youtu.be/r4iThqisYcg?si=rObK2ySJcZf9dTOt | 2 811 |
| 14 | لا يوجد نص... | 3 125 |
| 15 | لا يوجد نص... | 2 938 |
| 16 | لا يوجد نص... | 2 973 |
| 17 | Как обучать латентный ризонинг без явной разметки шагов.
Заодно решил проверить как работает ревью на Gemini 4 Hydrogen. Как вам?
Learn Your Own Thoughts: Abstract Token Curriculum
Khashayar Gatmiry, Avrajit Ghosh, Parsa Mirtaheri, Jason D. Lee, Nika Haghtalab, Emmanuel Abbe, Peter Bartlett
Paper: https://arxiv.org/abs/2609.19717v2
Review: https://arxiviq.substack.com/p/learn-your-own-thoughts-abstract
Code: N/A
Model: N/A
Главное: Подача подзадач с растущим бюджетом непрерывных токенов учит трансформеры последовательным скрытым состояниям без разметки мыслей, но переносит декомпозицию задачи в генератор данных.
ЧТО сделали: Авторы предложили метод Abstract Token Curriculum (ATC), который обучает векторы рассуждений (скрытые эмбеддинги в конце контекста) с помощью поэтапного усложнения, отката по точности и дропаута кандидатов.
ЧТО получили: ATC достигает 99.9% точности на задаче достижимости в дереве наравне с размеченным бейзлайном и медианных 98.7% точного совпадения на сложении против бейзлайна без усечения. В идеализированных условиях теория доказывает: один градиентный шаг по ключам концентрирует внимание на последней мысли для одного знака чётности.
ПОЧЕМУ это важно: Если задачу можно алгоритмически разбить на этапы по сложности, разметка цепочек рассуждений не нужна. Однако эксперименты проводились на синтетике и малых трансформерах с нуля (до 15M параметров), а отсутствие части контрольных прогонов не исключает влияния подсказок-кандидатов в промпте.
Латентные и не очень куррикулумы здесь: https://t.me/gonzo_ML_podcasts/4849 | 3 147 |
| 18 | Я постил месяц назад кейноут DHH с открытия Rails World 2026, он был прекрасен. Но кроме него есть и двухмесячной давности разговор на канале Лекса Фридмана, традиционно долгий, аж целых пять часов! И я его наконец дослушал. Получилось только на 1.5x–1.75x: он говорит довольно быстро, ускорять сильнее не выходит (а некоторых удаётся слушать и на 2.5x-3x 😁)
Это один из разговоров, которые нет смысла давать в виде саммари. Большие (а особенно теперь ещё и сгенерённые) статьи с архива есть смысл суммаризировать, некоторые длинные посты тоже, а вот разговоры с некоторыми людьми содержат очень много сигнала в отдельных деталях, и их лучше слушать целиком, обращая внимание на эти детали -- ну собственно как дистилляция на полном распределении логитов (soft targets), а не только на финальном ответе, несёт существенно больше информации и позволяет лучше выучить распределение. Вот так и разговор с DHH -- лучше глубже понять, как мыслит этот человек, он крутой. Его одержимость качеством и достижением невероятных результатов очень хороша и заразительна.
Будь как DHH!
https://youtu.be/NYFGCESmikA?si=TqugdxoM-g7N9MDV | 3 186 |
| 19 | لا يوجد نص... | 3 037 |
| 20 | لا يوجد نص... | 3 129 |
