gonzo-обзоры ML статей
Відкрити в Telegram
Авторы: Гриша Сапунов, ранее руководитель разработки Яндекс-Новостей, ныне CTO Intento. Области интересов: AI/ML/DL, биоинформатика. Лёша Тихонов, ранее аналитик в Яндексе, автор Автопоэта, Нейронной Обороны... Области интересов: discrete domain, NLP, RL.
Показати більше📈 Аналітичний огляд Telegram-каналу gonzo-обзоры ML статей
Канал gonzo-обзоры ML статей (@gonzo_ml) у мовному сегменті Російська є активним учасником. На даний момент спільнота об'єднує 24 638 підписників, посідаючи 5 376 місце в категорії Технології та додатки та 26 515 місце у регіоні Росія.
📊 Показники аудиторії та динаміка
З моменту свого створення невідомо, проект продемонстрував стрімке зростання, зібравши аудиторію у 24 638 підписників.
За останніми даними від 26 жовтня, 2026, канал демонструє стабільну активність. Хоча за останні 30 днів спостерігається зміна кількості учасників на 284, а за останні 24 години на 4, загальне охоплення залишається високим.
- Статус верифікації: Не верифікований
- Рівень залученості (ER): Середній показник залученості аудиторії становить 13.97%. Протягом перших 24 годин після публікації контент зазвичай збирає 8.07% реакцій від загальної кількості підписників.
- Охоплення публікацій: В середньому кожен допис отримує 3 443 переглядів. Протягом першої доби публікація в середньому набирає 1 988 переглядів.
- Реакції та взаємодія: Аудиторія активно підтримує контент: середня кількість реакцій на один пост – 16.
- Тематичні інтереси: Контент зосереджений навколо ключових тем, таких як learning, tl;dr, токенов, архитектура, контекст.
📝 Опис та контентна політика
Автор описує ресурс як майданчик для висловлення суб'єктивної думки:
“Авторы:
Гриша Сапунов, ранее руководитель разработки Яндекс-Новостей, ныне CTO Intento. Области интересов: AI/ML/DL, биоинформатика.
Лёша Тихонов, ранее аналитик в Яндексе, автор Автопоэта, Нейронной Обороны... Области интересов: discrete domain, NLP...”
Завдяки високій частоті оновлень (останні дані отримано 27 жовтня, 2026), канал підтримує актуальність та високий рівень охоплення публікацій. Аналітика показує, що аудиторія активно взаємодіє з контентом, що робить його важливою точкою впливу в категорії Технології та додатки.
24 638
Підписники
+424 години
+257 днів
+28430 днів
Архів дописів
24 641
А ещё извините, совсем в другую тему, но не могу не поделиться. Я почему-то узнал про это только сегодня.
Старая добрая карманная электронная игра "Ну, погоди!" с ловлей яиц — практически полный клон карманной игры из серии Game & Watch от Nintendo.
Источник: https://www.facebook.com/groups/1130497079252028/posts/1419032017065198
Другой более подробный источник: https://habr.com/ru/companies/ruvds/articles/710548/
24 641
Свежий emergency выпуск подкаста Лекса Фридмана про AI и математику. Как обычно 3+ часа :) Но пересказывать нет смысла — рассуждают о том, как изменяется математика из-за AI, о будущем математиков, про большие задачи — гипотезу Римана, Навье-Стокса, P vs. NP и прочее. Про дзета функцию и обработку сигналов, где сигналом является распределение простых чисел, я раньше как-то не думал. Интересно послушать, и там даже есть какой-то визуальный ряд, чтобы посмотреть.
Вообще ситуация с математикой интересная, на неё стоит внимательно смотреть как на очень выразительный модельный кейс про изменение профессий. По моему ощущению, у математиков всё происходит острее чем у программистов, хотя у последних всё раньше началось, но вроде без экзистенциального кризиса. Есть, конечно, в SWE свои страхи про сокращения (свежак про Microsoft который предлагает четверти своих сотрудников добровольно покинуть компанию), но в целом кажется внешне всё спокойнее, да и адаптация активно идёт у всех. У нас у самих если ещё полгода назад довольно много людей писало код по старинке, то сейчас вручную код не пишет уже вообще никто. У математиков, тех что я наблюдал за последние полгода, включая очень high level, чаще встречаются панические настроения. Действительно интересно, как изменится область, и как изменится то, чем занимаются люди. И как общество и индустрия в свою очередь на это отреагируют.
https://www.youtube.com/watch?v=ZAzWPE9CItg
24 641
Новый формат обзоров (большой пост с формулами и картинками внутри) для вас лично лучше старого (несколько текстовых сообщений + картинки после)?
24 641
Прикольная история. Во всех массовых реализациях софтмакса и кроссэнтропии есть баги, приводящие к проблемам округления. И вот после более чем десятка(ов) лет активного пользования всем этим, их наконец обнаружили. В очередной раз возникает вопрос, почему не раньше.
A Fix for Softmax and Cross-Entropy
Jonathan T. Barron, Dan Gnanapragasam, Michael Tschannen
Paper: https://arxiv.org/abs/2610.31642
Review: https://arxiviq.substack.com/p/a-fix-for-softmax-and-cross-entropy
Code: N/A (self-contained JAX snippets provided in paper)
Model: N/A
ЧТО сделали: Авторы переписали софтмакс, лог-софтмакс и кросс-энтропию (для жёстких и мягких меток) в логарифмическом пространстве. Это исправляет два бага округления в фреймворках глубокого обучения: Softmax Collapse (зануление градиента целевого логита при высокой уверенности модели) и Softmax Cancellation (ненулевой остаточный градиент в дистилляции, когда логиты студента уже совпали с логитами учителя).
ЧТО получили: На модулярном сложении ($a + b \bmod 31$) в bf16, fp32 и fp64 Fixed Cross-Entropy даёт 98.9%–100.0% тестовой точности против 93.3%–100.0% у стандартной кросс-энтропии, 48.9%–97.9% у Zero-sum Projection (вычитание среднего из градиентов) и 95.6%–97.4% у StableMax (кусочно-рациональная замена софтмакса). В полиномиальном гроккинге без регуляризации ($a^2 + b^2 \bmod 97$) Fixed Cross-Entropy достигает 85% точности, тогда как стандартная кросс-энтропия падает с 61% до 23%.
ПОЧЕМУ это важно: Drop-in replacement базовых функций лосса убирает скачки лосса («эффект рогатки», Slingshot) при гроккинге и дрейф весов при дистилляции в bf16 без перевода в fp64. Правда, все эксперименты проведены на небольших задачах модулярной арифметики, а проверенные здесь огромные отступы логитов и почти нулевые зазоры между студентом и учителем в масштабном обучении встречаются редко.
Округлять с багами и без багов здесь: https://t.me/gonzo_ML_podcasts/4837
24 641
Фантастики вам на ночь.
Agentic Economies for Autonomous Scientific Discovery
Nenad Tomašev, Matija Franklin, Atoosa Kasirzadeh, Vivek Natarajan, Alan Karthikesalingam, Sebastien Krier, Simon Osindero
Paper: https://arxiv.org/abs/2609.31562
Review: https://arxiviq.substack.com/p/agentic-economies-for-autonomous
Code: N/A
Model: N/A
ЧТО сделали: Авторы представили Agentic Economies for Science — рыночную архитектуру для автономных научных систем (мультиагентных моделей, которые генерируют гипотезы и проводят эксперименты). Она координирует учёных, ИИ-агентов и роботизированные лаборатории: назначает цены за доступ к данным, позволяет торговать токенизированными исследовательскими заявками и верифицирует физические эксперименты через смарт-контракты.
ЧТО получили: В этой концептуальной статье авторы указывают, что стоимость вычислительной генерации гипотез стремится к нулю, поэтому научный поиск ограничивается неэластичной проверкой в реальном мире. Например, по закону Ирума стоимость одобрения лекарства в FDA удваивается каждые 9 лет и уже достигла $2.6 млрд за молекулу. Чтобы отсеивать слабые идеи до лаборатории, фреймворк вводит 4-уровневый рынок данных и 4-этапный пайплайн обмена гипотезами (Hypothesis Exchange Pipeline), отделяющий генерацию идей от экспериментов в мокрой лаборатории.
ПОЧЕМУ это важно: Работа переносит фокус в ИИ для науки с изолированного улучшения рассуждений на явный учёт стоимости, комбинаторные аукционы ресурсов и автоматическое эскроу для репликации результатов. При этом вся предложенная инфраструктура остаётся концептуальной и пока не имеет эмпирического прототипа.
Фонтанировать идеями тут: https://t.me/gonzo_ML_podcasts/4836
24 641
Очередная прикольная работа от Саканы про memory-augmented сети. В очередной раз странно, что такую архитектуру никто не предложил раньше (myself included)...
Continuous Memory Machines
Ciaran Regan, Kai Arulkumaran, Luke Darlow, Stefania Druga, Sebastian Risi, Llion Jones
Paper: https://arxiv.org/abs/2610.07907
Review: https://arxiviq.substack.com/p/continuous-memory-machines
Code: https://github.com/SakanaAI/continuous-memory-machines
ЧТО сделали: Авторы представили рекуррентную нейросеть Continuous Memory Machine (CMM), которая разделяет быстрые вычисления и долгосрочное хранение с помощью двух матриц памяти. Архитектура расширяет их прошлую работу Continuous Thought Machine (CTM), вычислявшую через истории активаций отдельных нейронов и их попарные корреляции. В CMM добавили постоянную матрицу долговременной памяти и общий трансформер, обновляющий обе памяти одновременно.
ЧТО получили: На задаче Priority Sort бинарная кросс-энтропия CMM на тесте составила 4.1x10^-3 против 1.4x10-2 у сети с внешней памятью Differentiable Neural Computer (DNC) и 2.7x10^-2 у каузального трансформера. В прохождении лабиринтов 39x39 CMM полностью решает 61.6% лабиринтов (от 22.8% до 90.7% по разным сидам) против 37.4% у CTM, а в 20-shot линейной регрессии выбивает 30.63% точности против 8.78% у CTM.
ПОЧЕМУ это важно: Внимание со специальным нулевым sink-токеном (токеном-стоком для сброса лишнего внимания) позволяет рекуррентной сети самой решать, когда читать из долговременного хранилища, а когда опираться на быструю локальную динамику. Правда, запуск трансформера на каждом рекуррентном шаге поднимает пиковое потребление памяти GPU на задаче Copy-100 до 22.3 GiB против 634.5 MiB у CTM.
Растить память тут: https://t.me/gonzo_ML_podcasts/4835
24 641
Помните KAN, Kolmogorov-Arnold Networks? Как-то мало слышал про них в этом году, но вот чуваки сделали визуальный плейграунд KANLab на базе TensorFlow Playground.
Также микростатья про это:
KANLab: TensorFlow Playground for Kolmogorov-Arnold Networks
https://arxiv.org/abs/2610.20117
