uk
Feedback

Не попадись на ботовода! Telemetrio знаходить і позначає такі канали мітками 👉 Хочеш бачити мітку, оформляй підписку

gonzo-обзоры ML статей

gonzo-обзоры ML статей

Відкрити в Telegram

Авторы: Гриша Сапунов, ранее руководитель разработки Яндекс-Новостей, ныне CTO Intento. Области интересов: AI/ML/DL, биоинформатика. Лёша Тихонов, ранее аналитик в Яндексе, автор Автопоэта, Нейронной Обороны... Области интересов: discrete domain, NLP, RL.

Показати більше

📈 Аналітичний огляд Telegram-каналу gonzo-обзоры ML статей

Канал gonzo-обзоры ML статей (@gonzo_ml) у мовному сегменті Російська є активним учасником. На даний момент спільнота об'єднує 24 727 підписників, посідаючи 5 376 місце в категорії Технології та додатки та 26 315 місце у регіоні Росія.

📊 Показники аудиторії та динаміка

З моменту свого створення невідомо, проект продемонстрував стрімке зростання, зібравши аудиторію у 24 727 підписників.

За останніми даними від 17 листопада, 2026, канал демонструє стабільну активність. Хоча за останні 30 днів спостерігається зміна кількості учасників на 108, а за останні 24 години на 3, загальне охоплення залишається високим.

  • Статус верифікації: Не верифікований
  • Рівень залученості (ER): Середній показник залученості аудиторії становить 11.71%. Протягом перших 24 годин після публікації контент зазвичай збирає 7.43% реакцій від загальної кількості підписників.
  • Охоплення публікацій: В середньому кожен допис отримує 2 895 переглядів. Протягом першої доби публікація в середньому набирає 1 836 переглядів.
  • Реакції та взаємодія: Аудиторія активно підтримує контент: середня кількість реакцій на один пост – 13.
  • Тематичні інтереси: Контент зосереджений навколо ключових тем, таких як learning, tl;dr, токенов, архитектура, контекст.

📝 Опис та контентна політика

Автор описує ресурс як майданчик для висловлення суб'єктивної думки:
“Авторы: Гриша Сапунов, ранее руководитель разработки Яндекс-Новостей, ныне CTO Intento. Области интересов: AI/ML/DL, биоинформатика. Лёша Тихонов, ранее аналитик в Яндексе, автор Автопоэта, Нейронной Обороны... Области интересов: discrete domain, NLP...”

Завдяки високій частоті оновлень (останні дані отримано 18 листопада, 2026), канал підтримує актуальність та високий рівень охоплення публікацій. Аналітика показує, що аудиторія активно взаємодіє з контентом, що робить його важливою точкою впливу в категорії Технології та додатки.

24 727
Підписники
+324 години
+207 днів
+10830 днів
Архів дописів
photo content
17 лист, 09:27

photo content
17 лист, 09:27

photo content
17 лист, 09:27

Кеннет Стэнли продолжает (предыдущее тут) исследовать единые и разрозненные представления. Неудивительным образом единые факторизованные представления рулят на непрерывном обучении. Но работают пока только на очень игрушечных кейсах. Unified Factored Representations Resist Catastrophic Forgetting Joel Lehman, Kenneth O. Stanley Paper: https://arxiv.org/abs/2611.11020 Review: https://arxiviq.substack.com/p/unified-factored-representations Главное: Нейросети могут избегать катастрофического забывания при градиентном спуске, если внутренние признаки кодируют каждую закономерность один раз и разделяют независимые факторы. Но для этого нужно маскировать лишние нулевые веса и делать малые шаги вдоль структуры задачи. ЧТО сделали: Авторы объясняют забывание спутанными представлениями, где закономерности дублируются, а признаки смешиваются. В многократном циклическом файнтюнинге туда-обратно на частях входа они проверили единые факторизованные представления, объединяющие закономерности и разделяющие факторы. ЧТО получили: За 30 циклов файнтюнинга попиксельная ошибка факторизованных моделей на отложенной области оказалась в 2.9–12 раз ниже, чем у градиентных бейзлайнов — без повтора примеров и штрафов за уход от старой задачи. Целевые вариации при этом генерировали самими факторизованными сетями. ПОЧЕМУ это важно: Вспомогательные лоссы, упорядочивающие скрытые признаки при начальном обучении, снижают последующую интерференцию. Однако градиентный спуск всё ещё не выучивает такие представления с нуля и не может надёжно добавить даже один новый признак, не сломав их. Исследовать репрезентации здесь: https://t.me/gonzo_ML_podcasts/4852
17 лист, 09:26

photo content
16 лист, 13:37

photo content
16 лист, 13:37

photo content
16 лист, 13:37

Любопытная свежая работа про файнтюнинг занулением небольшого количества весов. The Surprising Effectiveness of Deleting Weights in LLM Post-Training Jack Lu, Zhenbang Yang, Mike Lasby, Tejas Pote, Yani Ioannou, Mengye Ren Paper: https://arxiv.org/abs/2611.10866 Review: https://arxiviq.substack.com/p/the-surprising-effectiveness-of-deleting Project: https://agenticlearning.ai/deleting-weights/ Code: https://github.com/agentic-learning-ai-lab/deleting-weights Model: https://huggingface.co/Jacklu0831/deletion-tuning-masks Главное: Предобученные языковые модели могут осваивать новые навыки рассуждения и работы с инструментами без записи новых весов. На больших масштабах достаточно занулить менее 0.05% параметров, и прежние способности не пострадают. ЧТО сделали: Авторы предложили метод пост-тренинга Deletion Tuning, который адаптирует замороженную модель через обучение бинарной маски для гейтовых проекций MLP. Выбранные веса остаются нетронутыми, а остальные обращаются в ноль. ЧТО получили: На самых крупных протестированных моделях Deletion Tuning сравнялся с полным файнтюнингом. При обучении с подкреплением точность на старых задачах падает не более чем на 1 пункт от базовой модели, хотя малые модели набирают порой лишь 90% от точности плотного обновления. ПОЧЕМУ это важно: Системы инференса могут переключать задачи мегабайтными битовыми масками поверх одной общей модели без потери старых навыков. Однако последовательное дообучение в работе не проверяли, несжатые bf16-адаптеры ранга 1 часто меньше по объёму, а само обучение требует куда больше памяти. Занулять здесь: https://t.me/gonzo_ML_podcasts/4851
16 лист, 13:37

photo content
15 лист, 09:16

photo content
15 лист, 09:16

photo content
15 лист, 09:16

Я продолжаю посматривать на работы, где из реальных данных авторы пытаются вывести символьные физические законы, стоящие за наблюдениями. Уверен, это крайне интересная и нужная область. Одна из свежих работ предложила двухступенчатый пайплайн: сначала выделяем низкоразмерный базис (интересные переменные) и только потом уже на нём ищем символьную формулу. Какой-то прогресс в этом есть, но результат пока неоднозначный. Distilling neural networks into equations to predict planetary instability Simon Alford, Edward Gu, Omar Costilla-Reyes, Dan Tamayo, Miles Cranmer, Kevin Ellis Paper: https://arxiv.org/abs/2610.35617 Review: https://arxiviq.substack.com/p/distilling-neural-networks-into-equations Code: https://github.com/simonalford42/planet_eqs Data and code archive: https://doi.org/10.5281/zenodo.15731358 Главное: Символьная регрессия справляется с хаотической динамикой, если градиентный спуск сначала сжимает траектории в разреженный линейный базис. Полученные компактные формулы экстраполируют лучше прямого символьного поиска. ЧТО сделали: Предложили двухэтапную дистилляцию нейросетей для предсказания неустойчивости многопланетных систем. На коротких симуляциях орбит обучается разреженный линейный экстрактор (по две переменные на признак), после чего библиотека эволюционной символьной регрессии PySR дистиллирует нейросеть в алгебраические уравнения. ЧТО получили: На бенчмарках дистиллированная формула предсказывает время до неустойчивости с точностью от 1.34 до 1.52 порядков величины. Она точнее аналитической теории для круговых орбит и экстраполирует на более крупные системы, но уступает прямой символьной регрессии по ряду метрик внутри распределения. ПОЧЕМУ это важно: Астрономы получают читаемую формулу, связывающую колебания орбит с резонансами. Однако расчёт всё ещё требует короткой численной симуляции, не учитывает физические размерности и даёт много ложных тревог при стандартных порогах. Гнать дистиллят тут: https://t.me/gonzo_ML_podcasts/4850
15 лист, 09:15

Вдруг вы по мне соскучились. https://youtu.be/r4iThqisYcg?si=rObK2ySJcZf9dTOt
13 лист, 10:51

photo content
12 лист, 17:55

photo content
12 лист, 17:54

photo content
12 лист, 17:54

Как обучать латентный ризонинг без явной разметки шагов. Заодно решил проверить как работает ревью на Gemini 4 Hydrogen. Как вам? Learn Your Own Thoughts: Abstract Token Curriculum Khashayar Gatmiry, Avrajit Ghosh, Parsa Mirtaheri, Jason D. Lee, Nika Haghtalab, Emmanuel Abbe, Peter Bartlett Paper: https://arxiv.org/abs/2609.19717v2 Review: https://arxiviq.substack.com/p/learn-your-own-thoughts-abstract Code: N/A Model: N/A Главное: Подача подзадач с растущим бюджетом непрерывных токенов учит трансформеры последовательным скрытым состояниям без разметки мыслей, но переносит декомпозицию задачи в генератор данных. ЧТО сделали: Авторы предложили метод Abstract Token Curriculum (ATC), который обучает векторы рассуждений (скрытые эмбеддинги в конце контекста) с помощью поэтапного усложнения, отката по точности и дропаута кандидатов. ЧТО получили: ATC достигает 99.9% точности на задаче достижимости в дереве наравне с размеченным бейзлайном и медианных 98.7% точного совпадения на сложении против бейзлайна без усечения. В идеализированных условиях теория доказывает: один градиентный шаг по ключам концентрирует внимание на последней мысли для одного знака чётности. ПОЧЕМУ это важно: Если задачу можно алгоритмически разбить на этапы по сложности, разметка цепочек рассуждений не нужна. Однако эксперименты проводились на синтетике и малых трансформерах с нуля (до 15M параметров), а отсутствие части контрольных прогонов не исключает влияния подсказок-кандидатов в промпте. Латентные и не очень куррикулумы здесь: https://t.me/gonzo_ML_podcasts/4849
12 лист, 17:53

Я постил месяц назад кейноут DHH с открытия Rails World 2026, он был прекрасен. Но кроме него есть и двухмесячной давности разговор на канале Лекса Фридмана, традиционно долгий, аж целых пять часов! И я его наконец дослушал. Получилось только на 1.5x–1.75x: он говорит довольно быстро, ускорять сильнее не выходит (а некоторых удаётся слушать и на 2.5x-3x 😁) Это один из разговоров, которые нет смысла давать в виде саммари. Большие (а особенно теперь ещё и сгенерённые) статьи с архива есть смысл суммаризировать, некоторые длинные посты тоже, а вот разговоры с некоторыми людьми содержат очень много сигнала в отдельных деталях, и их лучше слушать целиком, обращая внимание на эти детали -- ну собственно как дистилляция на полном распределении логитов (soft targets), а не только на финальном ответе, несёт существенно больше информации и позволяет лучше выучить распределение. Вот так и разговор с DHH -- лучше глубже понять, как мыслит этот человек, он крутой. Его одержимость качеством и достижением невероятных результатов очень хороша и заразительна. Будь как DHH! https://youtu.be/NYFGCESmikA?si=TqugdxoM-g7N9MDV
11 лист, 18:31

photo content
10 лист, 17:02

photo content
10 лист, 17:01