uz
Feedback

Firibgarlarga uchmang! Telemetrio bunday kanallarni topadi va belgilaydi 👉 Belgini ko‘rmoqchi bo‘lsangiz, obuna bo‘ling

gonzo-обзоры ML статей

gonzo-обзоры ML статей

Kanalga Telegram’da o‘tish

Авторы: Гриша Сапунов, ранее руководитель разработки Яндекс-Новостей, ныне CTO Intento. Области интересов: AI/ML/DL, биоинформатика. Лёша Тихонов, ранее аналитик в Яндексе, автор Автопоэта, Нейронной Обороны... Области интересов: discrete domain, NLP, RL.

Ko'proq ko'rsatish

📈 Telegram kanali gonzo-обзоры ML статей analitikasi

gonzo-обзоры ML статей (@gonzo_ml) Rus til segmentidagi kanali faol ishtirokchi. Hozirda hamjamiyat 24 711 obunachidan iborat bo'lib, Texnologiyalar & Aralashmalar toifasida 5 391-o'rinni va Rossiya mintaqasida 26 285-o'rinni egallagan.

📊 Auditoriya ko‘rsatkichlari va dinamika

невідомо sanasidan buyon loyiha tez o‘sib, 24 711 obunachiga ega bo‘ldi.

15 Noyabr, 2026 dagi oxirgi ma’lumotlarga ko‘ra kanal barqaror faollikka ega. Oxirgi 30 kunda obunachilar soni 111 ga, so‘nggi 24 soatda esa 11 ga o‘zgardi va umumiy qamrov yuqori darajada qolmoqda.

  • Tasdiqlash holati: Tasdiqlanmagan
  • Jalb etish (ER): Auditoriya o‘rtacha 11.59% darajada jalb etiladi. Nashrdan keyingi dastlabki 24 soatda kontent odatda umumiy obunachilar sonining 7.30% ini tashkil etuvchi reaksiyalarni to‘playdi.
  • Post qamrovi: Har bir post o‘rtacha 2 864 marta ko‘riladi; birinchi sutkada odatda 1 803 ta ko‘rish yig‘iladi.
  • Reaksiyalar va o‘zaro ta’sir: Auditoriya faol: har bir postga o‘rtacha 14 ta reaksiya keladi.
  • Tematik yo‘nalishlar: Kontent learning, tl;dr, токенов, архитектура, контекст kabi asosiy mavzularga jamlangan.

📝 Tavsif va kontent siyosati

Muallif resursni shaxsiy fikrni ifoda etish maydoni sifatida ta’riflaydi:
“Авторы: Гриша Сапунов, ранее руководитель разработки Яндекс-Новостей, ныне CTO Intento. Области интересов: AI/ML/DL, биоинформатика. Лёша Тихонов, ранее аналитик в Яндексе, автор Автопоэта, Нейронной Обороны... Области интересов: discrete domain, NLP...”

Yuqori yangilanish chastotasi (oxirgi ma’lumot 16 Noyabr, 2026 da olingan) sababli kanal doimo dolzarb va katta qamrovli bo‘lib qoladi. Analitika auditoriya kontent bilan faol hamkorlik qilishini, uni Texnologiyalar & Aralashmalar toifasidagi muhim ta’sir nuqtasiga aylantirishini ko‘rsatadi.

24 711
Obunachilar
+1124 soatlar
+267 kun
+11130 kun
Postlar arxiv
Я продолжаю посматривать на работы, где из реальных данных авторы пытаются вывести символьные физические законы, стоящие за наблюдениями. Уверен, это крайне интересная и нужная область. Одна из свежих работ предложила двухступенчатый пайплайн: сначала выделяем низкоразмерный базис (интересные переменные) и только потом уже на нём ищем символьную формулу. Какой-то прогресс в этом есть, но результат пока неоднозначный. Distilling neural networks into equations to predict planetary instability Simon Alford, Edward Gu, Omar Costilla-Reyes, Dan Tamayo, Miles Cranmer, Kevin Ellis Paper: https://arxiv.org/abs/2610.35617 Review: https://arxiviq.substack.com/p/distilling-neural-networks-into-equations Code: https://github.com/simonalford42/planet_eqs Data and code archive: https://doi.org/10.5281/zenodo.15731358 Главное: Символьная регрессия справляется с хаотической динамикой, если градиентный спуск сначала сжимает траектории в разреженный линейный базис. Полученные компактные формулы экстраполируют лучше прямого символьного поиска. ЧТО сделали: Предложили двухэтапную дистилляцию нейросетей для предсказания неустойчивости многопланетных систем. На коротких симуляциях орбит обучается разреженный линейный экстрактор (по две переменные на признак), после чего библиотека эволюционной символьной регрессии PySR дистиллирует нейросеть в алгебраические уравнения. ЧТО получили: На бенчмарках дистиллированная формула предсказывает время до неустойчивости с точностью от 1.34 до 1.52 порядков величины. Она точнее аналитической теории для круговых орбит и экстраполирует на более крупные системы, но уступает прямой символьной регрессии по ряду метрик внутри распределения. ПОЧЕМУ это важно: Астрономы получают читаемую формулу, связывающую колебания орбит с резонансами. Однако расчёт всё ещё требует короткой численной симуляции, не учитывает физические размерности и даёт много ложных тревог при стандартных порогах. Гнать дистиллят тут: https://t.me/gonzo_ML_podcasts/4850

Вдруг вы по мне соскучились. https://youtu.be/r4iThqisYcg?si=rObK2ySJcZf9dTOt

Как обучать латентный ризонинг без явной разметки шагов. Заодно решил проверить как работает ревью на Gemini 4 Hydrogen. Как вам? Learn Your Own Thoughts: Abstract Token Curriculum Khashayar Gatmiry, Avrajit Ghosh, Parsa Mirtaheri, Jason D. Lee, Nika Haghtalab, Emmanuel Abbe, Peter Bartlett Paper: https://arxiv.org/abs/2609.19717v2 Review: https://arxiviq.substack.com/p/learn-your-own-thoughts-abstract Code: N/A Model: N/A Главное: Подача подзадач с растущим бюджетом непрерывных токенов учит трансформеры последовательным скрытым состояниям без разметки мыслей, но переносит декомпозицию задачи в генератор данных. ЧТО сделали: Авторы предложили метод Abstract Token Curriculum (ATC), который обучает векторы рассуждений (скрытые эмбеддинги в конце контекста) с помощью поэтапного усложнения, отката по точности и дропаута кандидатов. ЧТО получили: ATC достигает 99.9% точности на задаче достижимости в дереве наравне с размеченным бейзлайном и медианных 98.7% точного совпадения на сложении против бейзлайна без усечения. В идеализированных условиях теория доказывает: один градиентный шаг по ключам концентрирует внимание на последней мысли для одного знака чётности. ПОЧЕМУ это важно: Если задачу можно алгоритмически разбить на этапы по сложности, разметка цепочек рассуждений не нужна. Однако эксперименты проводились на синтетике и малых трансформерах с нуля (до 15M параметров), а отсутствие части контрольных прогонов не исключает влияния подсказок-кандидатов в промпте. Латентные и не очень куррикулумы здесь: https://t.me/gonzo_ML_podcasts/4849

Я постил месяц назад кейноут DHH с открытия Rails World 2026, он был прекрасен. Но кроме него есть и двухмесячной давности разговор на канале Лекса Фридмана, традиционно долгий, аж целых пять часов! И я его наконец дослушал. Получилось только на 1.5x–1.75x: он говорит довольно быстро, ускорять сильнее не выходит (а некоторых удаётся слушать и на 2.5x-3x 😁) Это один из разговоров, которые нет смысла давать в виде саммари. Большие (а особенно теперь ещё и сгенерённые) статьи с архива есть смысл суммаризировать, некоторые длинные посты тоже, а вот разговоры с некоторыми людьми содержат очень много сигнала в отдельных деталях, и их лучше слушать целиком, обращая внимание на эти детали -- ну собственно как дистилляция на полном распределении логитов (soft targets), а не только на финальном ответе, несёт существенно больше информации и позволяет лучше выучить распределение. Вот так и разговор с DHH -- лучше глубже понять, как мыслит этот человек, он крутой. Его одержимость качеством и достижением невероятных результатов очень хороша и заразительна. Будь как DHH! https://youtu.be/NYFGCESmikA?si=TqugdxoM-g7N9MDV

photo content

Давненько про интерпретируемость не было. А тут как раз статья на 183 страницы! Understanding AI from the Inside: The State of Mechanistic Interpretability for AI Safety Fazl Barez, Tung-Yu Wu, Hunar Batra, Gabriele Dominici, Florent Draye, Yanai Elazar, Damiano Fornasiere, Antía García, Abir Harrasse, Riley Harris, Sara Hooker, Michael Lan, Belinda Z. Li, Aaron Maiwald, Narmeen Fatimah Oozeer, Naomi Saphra, Or David Shafran, Adi Simhi, Robert Trager, Shriyash Kaustubh Upadhyay, Ziyu Yao, Yu Zhao, Shay B. Cohen, Mor Geva, Yoshua Bengio, Stella Biderman, Hassan Sajjad Paper: https://arxiv.org/abs/2611.08438 Review: https://arxiviq.substack.com/p/understanding-ai-from-the-inside Главное: Найти или направленно сдвинуть внутреннее представление в нейросети — ещё не значит получить надёжный контроль над её поведением. Приближённые разложения неполны, а дублирующие обходные пути сохраняют поведение модели даже при вмешательстве. ЧТО сделали: Авторы написали обзор по механистической интерпретируемости (реверс-инжинирингу вычислений нейросетей через каузальные интервенции) в задачах безопасности ИИ. Они предложили пятимерную систему оценки и разделили область на шесть исследовательских направлений. ЧТО получили: По данным разобранных работ, линейные пробы обнаруживают внедрённые бэкдоры с AUROC выше 99% даже там, где стандартное обучение безопасности не может их удалить. При этом замена многослойных перцептронов на межуровневые транскодеры (многослойные приближения разреженными словарями) сохраняет top-1 предсказания токенов лишь примерно на 50% промптов. ПОЧЕМУ это важно: Механистические инструменты дополняют поведенческое тестирование в многоуровневой защите. Однако из-за высокой вычислительной цены и хрупкости при сдвиге распределений они не могут служить самостоятельной гарантией безопасности. Интерпретировать тут: https://t.me/gonzo_ML_podcasts/4848

Давно мы ничего из направления MLSys не разбирали. Прикольная работа про поиск тихих багов при компиляции графов вычислений через XLA. Такие тихие баги — одни из худших, технически всё работает и ничего не падает, но результаты расчётов неверны. А должно быть как со стартапами, Fail Fast, иначе потратишь впустую кучу сил (а здесь на обучении ещё и миллионы долларов). Авторы встроили дифференциальный фаззинг прямо в автотюнер производительности: он и так гоняет разные варианты компиляции ядра в поисках самого быстрого, а теперь заодно сверяет их ответы с дефолтным слитым ядром (а при поиске бага внутри графа — и с неслитым эталоном). Получается практически бесплатный поиск проблем. Здесь это для TPU, но подход в целом-то универсальный. Отловили в проде 142 бага. Крутой результат. XLA from the Trenches: Correctness on TPU Workloads at Scale Ignacio Cano, Amir Saadat, Rishipal Singh Bhatia, Samuel Ginzburg, Patrick C. Toulme, Ioannis Zarkadas, Praveen Narayanan, Pratik Bhatu, Nicolas Basile, Alexander Dietmuller, Ruishan Wang, Jacob Wahlgren, Victor Barros, Subhankar Shah, Michael Kuperstein, Farzin Houshmand, Emma Sevastian, Peter Gavin, Karthik Srinivasa Murthy, Berkin Ilbeyi, Amit Sabne, Eli Bendersky Paper: https://arxiv.org/abs/2611.00624 Review: https://arxiviq.substack.com/p/xla-from-the-trenches-correctness Code: https://github.com/openxla/xla/blob/main/docs/hlo_isolation.md Главное: Автотюнеры производительности сами проверяют граничные режимы компилятора, где прячутся тихие численные баги. Дифференциальные проверки внутри автотюнинга и пошаговое чтение регистров внутри слитых ядер ловят ошибки компиляции, пропускаемые миллионами статических тестов. ЧТО сделали: Авторы представили систему верификации и диагностики для компилятора Google XLA:TPU, переводящего графы машинного обучения в машинный код TPU. Она объединяет генерацию синтетических программ, дифференциальные проверки при ежедневном автотюнинге кластера, рой ИИ-агентов для написания патчей и двухэтапный изолятор, пошагово читающий аппаратные векторные регистры внутри слитых ядер. ЧТО получили: На кластерах TPU в Google система помогла устранить более 142 багов компилятора, пропущенных в CI. Из них 43% находились в низкоуровневых генераторах кода для векторных регистров и памяти, а не в высокоуровневых преобразованиях графа. ПОЧЕМУ это важно: Команды, использующие автотюнеры, могут почти без лишних затрат на железо добавить непрерывную проверку корректности, а разработчики компиляторов — отлаживать слитые ядра без их разбиения, маскирующего баг. Однако статья объединяет все 142 бага без абляций по компонентам, а недетерминированные гонки памяти остаются за рамками метода. Искать гейзенбаги тут: https://t.me/gonzo_ML_podcasts/4847