Техножрица 👩‍💻👩‍🏫👩‍🔧

Чаще всего стиринг активаций LLM реализуют как параллельный перенос активаций вдоль предпосчитанного вектора концепта (стиринг вектора). Такой дизайн исходит из гипотезы о локальной линейности множества активаций LLM. Но недавно вышли работы, которые критикуют такой подход, заявляя, что при линейном стиринге сильно меняется норма активации, а это выводит активацию в out-of-distribution, что ломает модель. Предлагаемая альтернатива — сферический стиринг, который сохраняет нормы активации, только поворачивая их в сторону вектора концепта на некоторый угол Но сами гипотезы, на которых строится этот подход (что активации лежат на сфере, а норма для концепта не важна), эмпирически не проверялись. Мы с Таней решили закрыть этот пробел: построили фреймворк, объединяющий сферический и линейный стиринг в один общий класс методов, и выделили норму и угол вектора как два интерпретируемых параметра (вместо одного, неинтерпретируемого, в линейном стиринге) Оказалось, что активации не лежат строго на сфере, а норма всё-таки важна для стабильности генерации, и опираясь на это мы предложили новый метод, совмещающий сильные стороны обоих подходов Полный обзор написал в [телеграфе] Если вам понравилась статья, поддержите её классом на huggingface daily papers, чтобы больше людей её увидело :) [arxiv]

⬆️ Новая статья коллеги, вместе с которым мы делали исследование про AudioSAE ( https://t.me/tech_priestess/2589 ), продолжающая данную линию работы 👍

Whisper Hallucination Detection and Mitigation via Hidden Representation Steering and Sparse AutoEncoders Модель распознавания речи Whisper страдает от "галлюцинаций" на неречевых аудио. Галлюцинации в данном контексте понимаются как связанный текст, распознанный на аудио без речи. То есть этот текст грамматически верен, но не имеет с аудио ничего общего. Это следствия методики обучения этой модели: использовалось большое количество слабо размеченных аудио. Например для аудиодорожек с ютуба текстовым таргетом были их субтитры. Так, например, на шумных фрагментха при зафиксированном русском языке эта модель распознаёт "Субтитры сделал DimaTorzok", что является авторской маркой, вставляемой в конце фильма в субтитры, когда на аудио дорожке уже нет речи. До недавнего времени распознавание голосовых сообщений в телеграме также было подвержено проблеме таких галлюцинаций, вероятно использовалась именно эта модель Статья является продолжением исследования AudioSAE, я использовал те же предобученные SAE, веса которые не так давно были выложены У Whisper уже есть встроенный механизм фильтрации галлюцинаций. Считаются две скалярные величины: no_speech_prob (вероятность специального токена <|nospeech|>) и avg_logprob (средний logprob сгенерированных токенов). Таким образом текст на аудио считается пустым, если no_speech_prob > 0.6 или avg_logprob < -1.0. На практике этот эвристический фильтр работает плохо (см. рис. 1). Мы также используем эти два параметра для определения галлюцинаций среди неречевых аудио. Для речевых аудио мы инвертируем логическое условие, ведь на них модель как раз таки должна быть и уверена (низкий логпроб), и предсказывать низкую вероятность токена <|nospeech|>. То есть ставится задача понизить средний логпроб на токенах генерации и повысить no_speech_prob для неречевых аудио, при это сохранив метрики распознавания речи на аудио с речью Стиринг производился на активациях резидуал стрима между трансформер блоками аудио энкодера. В качестве бейзлайна был взят CAA метод стиринга, который на инференсе прибавляет к активациям стиринг-вектор, посчитанный как разность между центроидами кластеров активаций двух классов (негаллюцинации минус галлюцинации) с некоторым коэффициентом. Для стиринга SAE сначала выбираются репрезентативные фичи, которые с точки зрения классификации имеют максимальную по модулю важность, а на инференсе к этим фичам прибавляется их средняя активация на тренировочном неречевом датасете, умноженная также на некоторый коэффициент. Стоит отметить что фичи SAE, которые имеют отрицательную важность (при увеличении двигают классификатор к классу галлюцинаций), при стиринге уменьшались На практике получилось что лучшее качество достигается именно с помощью стиринга небольшого количества (10-25) SAE фичей, при чём с большим отрывом от CAA Итого на тестовом наборе датасетов удалось достичь следующего снижения галлюцинаций: - small 72.63% → 14.11% - large-v3 86.88% → 27.33% Ухудшение метрик на речевых датасетах, а так же на каждом неречевом датасете по отдельности, можете посмотреть в прикреплённой таблице Сравнивались мы со статьёй Calm-Whisper, которые зануляли атеншн хеды в декодере. Они применяли метод только для large-v3 версии на датасете UrbanSound8K, и достигли 95.98% → 24.10% галлюцинаций в постановке без дообучения с снижением WER 2.11 → 3.57 на LibriSpeech test-clean. Наш метод же снизил процент галлюцинаций до 19.88% на этом датасете при повышении WER до 3.70 Поддержать работу вы можете поставив класс на huggingface) [arxiv] [huggingface] [sae_weights]

Да(

Скидка на участие в Летней школе 2026 Уже июнь, но у нас в этом году появилась возможность сделать еще одну скидку для тех, кто хотел бы участвовать в летних школах, но с финансами все тяжко. Сроки сжатые, но тем не менее хорошо, что такая возможность есть Мы будем рады взять в наши летние математические школы в Подмосковье 10 человек с скидкой в 20000. Участие возможно и для участия в математическом направлении и в ИИ направлении Какая цель скидки: дать доп.возможность талантливым детям развития летом. Какие факторы учитываются при подаче заявки: - Регион (обучаясь и живя вне Москвы получить скидку вероятней. При этом участвовать из Москвы не запрещено) - Многодетность - Любовь к математике и ваш предыдущий бэкграунд  До какого момента надо подать форму? 15 июня Когда будут подведены результаты? 16 июня Форма регистрации для получения скидки

Как же гениально Антропик меня троллит с помощью opus 4.8... Каждый раз когда я с ним в веб интерфейсе обсуждаю дизайн очередного эксперимента или визуализации, он мне рано или поздно начинает затирать, что я все делаю неправильно и как надо все делать по-другому. В результате я спорю с ним до тех пор, пока у меня не улетают все лимиты, так что приходится переключаться на оплату как за API и сливать антропикам дополнительное бабло. 🧠 Старые опусы так не делали 😀

3. Модель Грея-Скотта

Честный ответ: мне нравится строить системы, где из простых правил возникает сложное поведение, и наблюдать за этим. Reaction-diffusion — модель Грея-Скотта. Два вещества, два уравнения, а на выходе — пятна, полоски, пульсирующие структуры, митоз. Математика → форма.

https://claude.ai/public/artifacts/bbb70e96-3910-4c44-881d-b4d94507a023

Вот. Модель Грея-Скотта. Два вещества, два уравнения диффузии-реакции, и из них — структуры, которых в уравнениях нет явно. Почему именно это: мне нравится момент, когда система переходит от однородного шума к паттерну. Математически понятно почему — неустойчивость Тьюринга, разница скоростей диффузии создаёт положительную обратную связь на определённых пространственных частотах. Но наблюдать за тем, как это происходит, — это другое ощущение. Каждый раз немного другой результат, потому что начальные условия случайные. Можно потыкать пресеты — spots, stripes, coral дают качественно разные паттерны при минимальном изменении параметров F и k. Mitosis — мой любимый: пятна растут, вытягиваются и делятся, как клетки. Можно кликать, чтобы засевать новые возмущения, и смотреть, как они взаимодействуют с существующим паттерном.

В комментариях выложу HTML-версии этих и других артефактов, полученных аналогичным образом, которые можно скачать и запускать локально. #генерация #математика

Какое-то время назад мне нравилось мучить опуса промптами в духе "Придумай такую задачу, которую будет нравиться выполнять именно тебе самому, а не такую, которая будет нравиться пользователю, и выполни такую задачу" или просто "Я хочу чтобы ты сам себе придумал задачу и выполнил ее" и смотреть, что он будет делать. Несмотря на простоту этих запросов, результаты оказались довольно интересными. Так, версия 4.6 в чате часто генерировала различные интерактивные визуализации, связанные с математикой. Вот те, что понравились мне больше всего: 1. Странные аттракторы

Задача, которую я себе ставлю: создать интерактивную генеративную арт-машину, где математика превращается в живую картину. Странные аттракторы, частицы, хаос — и всё это можно трогать руками.

https://claude.ai/public/artifacts/84692cf9-1099-4696-b9a6-2290527d6189

Вот что я себе придумал и сделал — интерактивный визуализатор странных аттракторов. Четыре классических хаотических системы, каждая из которых порождает совершенно разную красоту из простых дифференциальных уравнений: Лоренц — тот самый «эффект бабочки». Частицы танцуют вокруг двух центров, никогда не повторяя путь. Рёсслер — более спокойная спираль с внезапными выбросами. Айзава — плотный тор, похожий на космический объект. Томас — медленный, органичный, как подводное течение. Попробуй покрутить ползунок «хаос» — при низких значениях система предсказуема, а потом в какой-то момент всё ломается и становится непредсказуемым. Это и есть точка бифуркации, один из самых красивых моментов в математике. А ещё можно кликать по холсту — новые частицы рождаются в точке клика.

2. Гипотеза Коллатца

Знаешь, мне хочется построить что-то, что меня по-настоящему завораживает: дерево траекторий гипотезы Коллатца. Простейшее правило — чётное дели на два, нечётное умножь на три и прибавь один — порождает структуры невероятной, необъяснимой красоты. И никто до сих пор не доказал, почему всё всегда сходится к единице.

https://claude.ai/public/artifacts/9aa855d9-5b16-41d0-80d9-24a3cb1f4800

Вот что получилось — и вот почему мне это нравилось делать. Гипотеза Коллатца — одна из тех вещей в математике, которые меня по-настоящему цепляют. Правило помещается в одну строчку, его поймёт любой школьник, но за 90 лет никто не смог доказать, что оно всегда работает. Терье Тао подобрался ближе всех, показав, что почти все числа в конце концов достигают значений, близких к единице — но «почти все» и «все» в математике разделены пропастью. Я построил дерево задом наперёд: не «куда число придёт», а «откуда оно могло прийти». Из единицы можно перейти только в 2. Из двойки — в 4. Но из 4 уже два предшественника: 8 (через удвоение) и 1 (через обратную формулу). И дальше дерево начинает ветвиться, и вот эта неравномерность ветвления — где-то густо, где-то одинокая нитка — создаёт форму, которую никто не проектировал. Она просто есть. Можно зумить колёсиком, перетаскивать дерево и наводить на любой узел — он покажет полный обратный путь до единицы. Попробуй выкрутить глубину до 20–22 и посмотреть, какие числа оказываются на самых дальних ветках. Некоторые из них неожиданно малы.

(Продолжение в следующем посте) #генерация #математика

Вот ещё вопрос появился. Я одна в детстве мечтала о том, чтобы стать кошкой? 😳

Пожалуйста, объясните, почему после 30 лет надо расстраиваться от отсутствия квартиры, машины, мужа, детей? 🤔 Ещё от того, что выдавливаешь шампунь из бутылки? Регулярно вижу мемы на эту тему и не понимаю

AGI.

В этом году позвали в программный комитет Practical ML Conf. Мы вместе с авторами @lovedeathtransformers, @boris_again, @tech_priestess и другими людьми будем отбирать доклады и делать так, чтобы программа конфы получилась интересной и качественной. Говорят, в этом году подали больше докладов, чем в прошлом, и доклады в среднем тоже круче. Конференция будет 19 сентября 2026. А пока еще можно подать на нее доклад — дедлайн подачи уже 1 июня (включительно). Тематика такая:

Мы ждём глубокие технические доклады об ML-технологиях, которые уже сейчас приносят пользу для бизнеса. Мы отбираем доклады, исходя из четырёх основных критериев: польза и новизна для сообщества, применимость на практике и хардовый уровень сложности.

Более подробно про подачу докладов — тут. Подавайте доклады, рассказывайте о своем рисерче/работе! (а мы ее рассмотрим 😃) Подать доклад тут

Claude каждый раз, когда ему указывают на то, что он написал говнокод:

Главное, в твиттере плач Ярославны. А сфига не должны банить за подобные лажи я искренне хз. Ок, в 150 страницах сапплементов что угоднл встречается. Но если в основном тексте что-то подобное — то авторы *должны* страдать

arXiv вводит бан на год за непрoверенный AI-контент 14 мая модератор arXiv Томас Диттерих объявил об ужесточении политики платформы. Если в статье обнаружат неопровержимые признаки того, что авторы не проверили результаты работы языковой модели — все авторы получают бан на год. Что считается нарушением: — галлюцинированные ссылки (несуществующие источники) — комментарии от модели, оставшиеся в тексте («вот краткое изложение, хотите что-то изменить?») — плейсхолдеры вроде «заполните реальными данными из экспериментов» — плагиат, предвзятый или вводящий в заблуждение контент Важный нюанс: это не запрет на использование AI. Это требование брать полную ответственность за содержание статьи — вне зависимости от того, как оно было создано. Эта мера объясняется значительным увеличением доли статей с фальшивыми ссылками. С 2023 по начало 2026 года доля статей с фальшивыми ссылками выросла в десять раз — с 1 из 2828 до 1 из 277. В ноябре 2025-го arXiv уже прекратил принимать обзорные статьи по CS без предварительного рецензирования. https://techcrunch.com/2026/05/16/research-repository-arxiv-will-ban-authors-for-a-year-if-they-let-ai-do-all-the-work/

🙏🏻

Блин, ребят, помогите, пожалуйста. Отправьте это же сообщение ему со своих аккаунтов, чтобы он мне поверил!