ru
Feedback

Не попадитесь на канал ботавода! Telemetrio находит и помечает такие каналы 👉 Хотите видеть метку — оформите подписку

gonzo-обзоры ML статей

gonzo-обзоры ML статей

Открыть в Telegram

Авторы: Гриша Сапунов, ранее руководитель разработки Яндекс-Новостей, ныне CTO Intento. Области интересов: AI/ML/DL, биоинформатика. Лёша Тихонов, ранее аналитик в Яндексе, автор Автопоэта, Нейронной Обороны... Области интересов: discrete domain, NLP, RL.

Больше

📈 Аналитический обзор Telegram-канала gonzo-обзоры ML статей

Канал gonzo-обзоры ML статей (@gonzo_ml) языкового сегмента Русский является активным участником. Сейчас сообщество объединяет 24 727 подписчиков, занимая 5 376 место в категории Технологии и приложения и 26 315 место в регионе Россия.

📊 Показатели аудитории и динамика

С момента создания невідомо проект демонстрирует стремительный рост, собрав аудиторию из 24 727 подписчиков.

Согласно последним данным от 17 ноября, 2026, канал показывает стабильную активность. За последние 30 дней изменение числа участников составило 108, а за последние 24 часа — 3, при этом общий охват остаётся высоким.

  • Статус верификации: Не верифицирован
  • Уровень вовлечённости (ER): Средний показатель вовлечённости аудитории составляет 11.71%. В первые 24 часа после публикации контент обычно набирает 7.43% реакций от общего числа подписчиков.
  • Охват публикаций: В среднем каждый пост получает 2 895 просмотров. В течение первых суток публикация набирает 1 836 просмотров.
  • Реакции и взаимодействия: Аудитория активно поддерживает контент: среднее количество реакций на один пост — 13.
  • Тематические интересы: Контент сосредоточен на ключевых темах, таких как learning, tl;dr, токенов, архитектура, контекст.

📝 Описание и контентная политика

Автор описывает ресурс как площадку для выражения субъективного мнения:
“Авторы: Гриша Сапунов, ранее руководитель разработки Яндекс-Новостей, ныне CTO Intento. Области интересов: AI/ML/DL, биоинформатика. Лёша Тихонов, ранее аналитик в Яндексе, автор Автопоэта, Нейронной Обороны... Области интересов: discrete domain, NLP...”

Благодаря высокой частоте обновлений (последние данные получены 18 ноября, 2026) канал поддерживает актуальность и высокий уровень охвата публикаций. Аналитика показывает, что аудитория активно взаимодействует с контентом, что делает его важной точкой влияния в категории Технологии и приложения.

24 727
Подписчики
+324 часа
+207 дней
+10830 дней
Архив постов
photo content
17 нояб., 09:27

photo content
17 нояб., 09:27

photo content
17 нояб., 09:27

Кеннет Стэнли продолжает (предыдущее тут) исследовать единые и разрозненные представления. Неудивительным образом единые факторизованные представления рулят на непрерывном обучении. Но работают пока только на очень игрушечных кейсах. Unified Factored Representations Resist Catastrophic Forgetting Joel Lehman, Kenneth O. Stanley Paper: https://arxiv.org/abs/2611.11020 Review: https://arxiviq.substack.com/p/unified-factored-representations Главное: Нейросети могут избегать катастрофического забывания при градиентном спуске, если внутренние признаки кодируют каждую закономерность один раз и разделяют независимые факторы. Но для этого нужно маскировать лишние нулевые веса и делать малые шаги вдоль структуры задачи. ЧТО сделали: Авторы объясняют забывание спутанными представлениями, где закономерности дублируются, а признаки смешиваются. В многократном циклическом файнтюнинге туда-обратно на частях входа они проверили единые факторизованные представления, объединяющие закономерности и разделяющие факторы. ЧТО получили: За 30 циклов файнтюнинга попиксельная ошибка факторизованных моделей на отложенной области оказалась в 2.9–12 раз ниже, чем у градиентных бейзлайнов — без повтора примеров и штрафов за уход от старой задачи. Целевые вариации при этом генерировали самими факторизованными сетями. ПОЧЕМУ это важно: Вспомогательные лоссы, упорядочивающие скрытые признаки при начальном обучении, снижают последующую интерференцию. Однако градиентный спуск всё ещё не выучивает такие представления с нуля и не может надёжно добавить даже один новый признак, не сломав их. Исследовать репрезентации здесь: https://t.me/gonzo_ML_podcasts/4852
17 нояб., 09:26

photo content
16 нояб., 13:37

photo content
16 нояб., 13:37

photo content
16 нояб., 13:37

Любопытная свежая работа про файнтюнинг занулением небольшого количества весов. The Surprising Effectiveness of Deleting Weights in LLM Post-Training Jack Lu, Zhenbang Yang, Mike Lasby, Tejas Pote, Yani Ioannou, Mengye Ren Paper: https://arxiv.org/abs/2611.10866 Review: https://arxiviq.substack.com/p/the-surprising-effectiveness-of-deleting Project: https://agenticlearning.ai/deleting-weights/ Code: https://github.com/agentic-learning-ai-lab/deleting-weights Model: https://huggingface.co/Jacklu0831/deletion-tuning-masks Главное: Предобученные языковые модели могут осваивать новые навыки рассуждения и работы с инструментами без записи новых весов. На больших масштабах достаточно занулить менее 0.05% параметров, и прежние способности не пострадают. ЧТО сделали: Авторы предложили метод пост-тренинга Deletion Tuning, который адаптирует замороженную модель через обучение бинарной маски для гейтовых проекций MLP. Выбранные веса остаются нетронутыми, а остальные обращаются в ноль. ЧТО получили: На самых крупных протестированных моделях Deletion Tuning сравнялся с полным файнтюнингом. При обучении с подкреплением точность на старых задачах падает не более чем на 1 пункт от базовой модели, хотя малые модели набирают порой лишь 90% от точности плотного обновления. ПОЧЕМУ это важно: Системы инференса могут переключать задачи мегабайтными битовыми масками поверх одной общей модели без потери старых навыков. Однако последовательное дообучение в работе не проверяли, несжатые bf16-адаптеры ранга 1 часто меньше по объёму, а само обучение требует куда больше памяти. Занулять здесь: https://t.me/gonzo_ML_podcasts/4851
16 нояб., 13:37

photo content
15 нояб., 09:16

photo content
15 нояб., 09:16

photo content
15 нояб., 09:16

Я продолжаю посматривать на работы, где из реальных данных авторы пытаются вывести символьные физические законы, стоящие за наблюдениями. Уверен, это крайне интересная и нужная область. Одна из свежих работ предложила двухступенчатый пайплайн: сначала выделяем низкоразмерный базис (интересные переменные) и только потом уже на нём ищем символьную формулу. Какой-то прогресс в этом есть, но результат пока неоднозначный. Distilling neural networks into equations to predict planetary instability Simon Alford, Edward Gu, Omar Costilla-Reyes, Dan Tamayo, Miles Cranmer, Kevin Ellis Paper: https://arxiv.org/abs/2610.35617 Review: https://arxiviq.substack.com/p/distilling-neural-networks-into-equations Code: https://github.com/simonalford42/planet_eqs Data and code archive: https://doi.org/10.5281/zenodo.15731358 Главное: Символьная регрессия справляется с хаотической динамикой, если градиентный спуск сначала сжимает траектории в разреженный линейный базис. Полученные компактные формулы экстраполируют лучше прямого символьного поиска. ЧТО сделали: Предложили двухэтапную дистилляцию нейросетей для предсказания неустойчивости многопланетных систем. На коротких симуляциях орбит обучается разреженный линейный экстрактор (по две переменные на признак), после чего библиотека эволюционной символьной регрессии PySR дистиллирует нейросеть в алгебраические уравнения. ЧТО получили: На бенчмарках дистиллированная формула предсказывает время до неустойчивости с точностью от 1.34 до 1.52 порядков величины. Она точнее аналитической теории для круговых орбит и экстраполирует на более крупные системы, но уступает прямой символьной регрессии по ряду метрик внутри распределения. ПОЧЕМУ это важно: Астрономы получают читаемую формулу, связывающую колебания орбит с резонансами. Однако расчёт всё ещё требует короткой численной симуляции, не учитывает физические размерности и даёт много ложных тревог при стандартных порогах. Гнать дистиллят тут: https://t.me/gonzo_ML_podcasts/4850
15 нояб., 09:15

Вдруг вы по мне соскучились. https://youtu.be/r4iThqisYcg?si=rObK2ySJcZf9dTOt
13 нояб., 10:51

photo content
12 нояб., 17:55

photo content
12 нояб., 17:54

photo content
12 нояб., 17:54

Как обучать латентный ризонинг без явной разметки шагов. Заодно решил проверить как работает ревью на Gemini 4 Hydrogen. Как вам? Learn Your Own Thoughts: Abstract Token Curriculum Khashayar Gatmiry, Avrajit Ghosh, Parsa Mirtaheri, Jason D. Lee, Nika Haghtalab, Emmanuel Abbe, Peter Bartlett Paper: https://arxiv.org/abs/2609.19717v2 Review: https://arxiviq.substack.com/p/learn-your-own-thoughts-abstract Code: N/A Model: N/A Главное: Подача подзадач с растущим бюджетом непрерывных токенов учит трансформеры последовательным скрытым состояниям без разметки мыслей, но переносит декомпозицию задачи в генератор данных. ЧТО сделали: Авторы предложили метод Abstract Token Curriculum (ATC), который обучает векторы рассуждений (скрытые эмбеддинги в конце контекста) с помощью поэтапного усложнения, отката по точности и дропаута кандидатов. ЧТО получили: ATC достигает 99.9% точности на задаче достижимости в дереве наравне с размеченным бейзлайном и медианных 98.7% точного совпадения на сложении против бейзлайна без усечения. В идеализированных условиях теория доказывает: один градиентный шаг по ключам концентрирует внимание на последней мысли для одного знака чётности. ПОЧЕМУ это важно: Если задачу можно алгоритмически разбить на этапы по сложности, разметка цепочек рассуждений не нужна. Однако эксперименты проводились на синтетике и малых трансформерах с нуля (до 15M параметров), а отсутствие части контрольных прогонов не исключает влияния подсказок-кандидатов в промпте. Латентные и не очень куррикулумы здесь: https://t.me/gonzo_ML_podcasts/4849
12 нояб., 17:53

Я постил месяц назад кейноут DHH с открытия Rails World 2026, он был прекрасен. Но кроме него есть и двухмесячной давности разговор на канале Лекса Фридмана, традиционно долгий, аж целых пять часов! И я его наконец дослушал. Получилось только на 1.5x–1.75x: он говорит довольно быстро, ускорять сильнее не выходит (а некоторых удаётся слушать и на 2.5x-3x 😁) Это один из разговоров, которые нет смысла давать в виде саммари. Большие (а особенно теперь ещё и сгенерённые) статьи с архива есть смысл суммаризировать, некоторые длинные посты тоже, а вот разговоры с некоторыми людьми содержат очень много сигнала в отдельных деталях, и их лучше слушать целиком, обращая внимание на эти детали -- ну собственно как дистилляция на полном распределении логитов (soft targets), а не только на финальном ответе, несёт существенно больше информации и позволяет лучше выучить распределение. Вот так и разговор с DHH -- лучше глубже понять, как мыслит этот человек, он крутой. Его одержимость качеством и достижением невероятных результатов очень хороша и заразительна. Будь как DHH! https://youtu.be/NYFGCESmikA?si=TqugdxoM-g7N9MDV
11 нояб., 18:31

photo content
10 нояб., 17:02

photo content
10 нояб., 17:01