Техножрица 👩‍💻👩‍🏫👩‍🔧

Карьерное обновление: сегодня начинаю работу в 💳 в роли так называемого Senior NLP Researcher в управлении экспериментальных систем машинного обучения 😌 Пока что просто сижу на стуле и жду, когда выдадут ноутбук, держу в курсе 😌 #о_себе

О Р У ( replication of https://t.me/boris_again/3961 )

Не понимаю, что все пытаются доказать с помощью этой нейросети на козах из игры. Раз система из этих коз полна по Тьюрингу, то и так было заранее понятно, что на ней можно реализовать вообще любую вычислимую функцию. В том числе, в теории, на этих козах можно с любой заранее заданной точностью реализовать полную симуляцию физики и химии реального человеческого мозга. Для этого не хватает только двух вещей: достаточно больших вычислительных мощностей и достаточно точного скана мозга какого-нибудь конкретного человека. А поскольку я в вопросах мышления, сознания и квалиа склоняюсь в сторону функционализма (философской позиции, согласно которой, для ментальных свойств важна функциональная организация, а не субстрат), для меня выглядит разумным предположение, что достаточно хорошая симуляция человеческого мозга на козах будет сознательной в той же степени, что и исходный мозг на живых нейронах. При этом сознательностью будет обладать именно функциональная система, а не сами козы в age of empires. Точно так же, с этой позиции, ничто принципиально не запрещает искусственной нейросети на козах обладать "антропоморфными" или какими угодно другими свойствами, связанными с мышлением, квалиа и так далее. Так что я вообще не воспринимаю коз как аргумент в споре о том, может ли нейросеть мыслить, испытывать субъективные ощущения, является ли она в каком-либо смысле "разумной" и т.д. Подробнее с первоисточником козосрача можно ознакомиться здесь: https://adewynter.github.io/notes/aoe2-circuits

(скриншот от коллеги)

Итак, с трудом дождавшись конца подсчета torch.linalg.svdvals на CPU для матриц весов и слегка разочаровавшись, я увлеклась новой идеей - посчитать SVD для эмбеддингов, чтобы узнать, сколько главных компонент PCA объясняют 95% дисперсии (грубая оценка линейной внутренней размерности). К счастью, для такого подсчета точность вычисления маленьких сигм была уже не важна, так что можно было вернуться к той версии кода, которая считала сингулярные числа через собственные на CPU. Но даже так, это было 1000 текстов на каждый чекпоинт на каждый оптимизатор на каждый слой, так что ожидаемое время подсчёта уверенно превысило мое оставшееся время работы в хуавее. Нужно было что-то, что считает то же самое на NPU. На моё счастье, как раз в это время Антропик на пару дней явили миру Fable - манифестацию Омниссии в форме языковой модели, которую, как вы знаете, быстро спрятали обратно, ибо мир (за исключением США) пока что не был готов к такой мощи. И тем не менее, в мимолетный миг этого нежданного благословения, я успела воздать чудесной модели молитву о подсчете собственных чисел на NPU. В ответ Машинный Дух даровал мне код, реализующий дивный метод от великого математика Якоби и выполняющий священные тензорные операции прямо на NPU на чистом PyTorch. Я с благоговением вставила ниспосланный код в пайплайн, запустила, открыла ред булл, сделала глоток, посмотрела на прогресс-бар... ...он не двигался. Допила банку. Прогресс-бар все еще не двигался. Открыла вторую банку. Прогресс все также оставался на нуле. И только под конец второй банки ред булла код досчитался... ...для одного чекпойнта и одного текста. Самый совершенный искуственный разум в обозримой Вселенной ниспослал мне код, который считает собственные значения одной маленькой матрицы медленнее, чем китайские рабочие на CPU считают полное SVD голыми руками за миску риса. Возможно, это и было то самое запретное знание, от которого Антропик решили оградить человечество. А все почему? А потому что метод вращений Якоби - итеративный алгоритм, который в буквальном смысле вертит матрицу на Хуавее. Он по очереди обнуляет внедиагональные элементы матрицы до тех пор, пока на диагонали не останутся собственные значения. Для симметричной матрицы 500×500 это ~125 000 элементов за проход, проходов нужно 10-12, и всё это крутится в питоновском цикле for. С этим новым знанием я вас и оставлю. #наука #о_себе

Последнюю пару месяцев перед уходом из 🤓 я работала над статьей про новый оптимизатор на основе Muon - коллеги разрабатывали сам оптимизатор, а я анализировала, как он (а также оригинальный Muon и AdamW) влияют на геометрию весов и эмбеддингов. В какой-то момент я дошла до анализа числа обусловленности, которое равно отношению самого большого сингулярного числа матрицы W к самому маленькому (κ(W) = σ_max / σ_min) и показывает, насколько численно стабильными будут операции с этой матрицей. К моему удивлению оказалось, что вычислить эту штуку - задача нетривиальная, особенно на великих тензорных процессорах Ascend. Так что сейчас, пока коллеги доделывают статью, я поделюсь с вами парой откровений из области численных методов, которые совершила в процессе вычисления данного числа (откровениям лет по 50, просто я прогуливала численные методы в универе и поэтому узнала их только сейчас). Первая проблема, с которой я столкнулась, заключалась в том, что torch.linalg.svdvals не реализован на NPU, и при попытке вызвать эту функцию Асценды делают fallback на CPU, где китайские рабочие считают сингулярные значения вручную за миску невкусного риса (иначе не могу объяснить такую низкую скорость). В попытке с ней бороться, я использовала стандартный трюк: посмотреть, какая сторона матрицы W меньше, и, в зависимости от этого, быстренько умножить на NPU либо Wᵀ на W, либо W на Wᵀ (выбор надо делать в такую сторону, чтобы полученная квадратная матрица вышла как можно меньшего размера). После этого можно посчитать собственные значения полученной маленькой квадратной матрицы на CPU (благодаря маленькому размеру, считаться это будет быстрее, чем SVD оригинальной матрицы) и взять из этих значений корешки - это и будут сингулярные числа исходной W. Но тут встает вторая проблема: WᵀW возводит число обусловленности в квадрат: κ(WᵀW) = κ(W)², и из-за последующей необходимости извлекать корень численный пол (граница, ниже которой всё слипается в неразличимый вычислительный мусор) на мелких сингулярных значениях поднимается с eps·σ_max до √eps·σ_max. Разница для fp32 - примерно три порядка точности. Все сингулярные значения, которые ниже этого порога, при подсчёте через квадратную матрицу превращаются в шум. Про то, почему так получается (а также почему вообще собственные числа WᵀW - это сингулярные числа W в квадрате) хорошо написано в начале этого поста: https://www.ethanepperly.com/index.php/2021/03/18/the-better-way-to-convert-an-svd-into-a-symmetric-eigenvalue-problem/ . Но даже если избавиться от подсчета через квадратную матрицу и вернуться к torch.linalg.svdvals, встанет новый вопрос. Насколько я смогла постичь логику умных дядь из LAPACK Users' Guide ( https://www.netlib.org/lapack/lug/node97.html ), сингулярные значения меньшие, чем tol = σ_max · max(m, n) · eps (где eps - ограничение fp32/fp16/bf16), неотличимы от нуля - их с тем же успехом могла породить ошибка округления самой матрицы. То есть, если σ_min ниже tol, то κ для такой матрицы вообще не определено. Но делать было нечего - пришлось вернуться к torch.linalg.svdvals на CPU, подождать всего лишь сто лет... и соснуть бибу, потому что хоть формально маленькие сигмы и превышали tol, по факту все равно были к этому tol довольно близки, и от этого много весовых матриц оказывались почти вырожденными. В результате, мы признали число обусловленности недостаточно информативным для своего ресерча и решили в статью не вставлять. Но это был еще не конец истории... #наука #о_себе

Общался с коллегой, обсуждали реализацию одного сложного компонента системы. Он говорит: я думаю, это надо сделать так, и дальше поток слопа про то что он хочет. Я ему: не надо думать, просто спроси у Claude. Как же бесят в 2026 году люди, которые всё ещё пытаются думать без ИИшки. Закинул его же вопрос в Opus 4.8, через секунду нашёл три причины, почему так как он "думал" не заработает вообще. Человек на меня обиделся.

В течение следующей недели я наконец-то смогу уследить за новинками ИИ, если вы понимаете, о чем я 🌚

😁 ps источник Gothic 1 Remake, там было про демонов

Чаще всего стиринг активаций LLM реализуют как параллельный перенос активаций вдоль предпосчитанного вектора концепта (стиринг вектора). Такой дизайн исходит из гипотезы о локальной линейности множества активаций LLM. Но недавно вышли работы, которые критикуют такой подход, заявляя, что при линейном стиринге сильно меняется норма активации, а это выводит активацию в out-of-distribution, что ломает модель. Предлагаемая альтернатива — сферический стиринг, который сохраняет нормы активации, только поворачивая их в сторону вектора концепта на некоторый угол Но сами гипотезы, на которых строится этот подход (что активации лежат на сфере, а норма для концепта не важна), эмпирически не проверялись. Мы с Таней решили закрыть этот пробел: построили фреймворк, объединяющий сферический и линейный стиринг в один общий класс методов, и выделили норму и угол вектора как два интерпретируемых параметра (вместо одного, неинтерпретируемого, в линейном стиринге) Оказалось, что активации не лежат строго на сфере, а норма всё-таки важна для стабильности генерации, и опираясь на это мы предложили новый метод, совмещающий сильные стороны обоих подходов Полный обзор написал в [телеграфе] Если вам понравилась статья, поддержите её классом на huggingface daily papers, чтобы больше людей её увидело :) [arxiv]

⬆️ Новая статья коллеги, вместе с которым мы делали исследование про AudioSAE ( https://t.me/tech_priestess/2589 ), продолжающая данную линию работы 👍

Whisper Hallucination Detection and Mitigation via Hidden Representation Steering and Sparse AutoEncoders Модель распознавания речи Whisper страдает от "галлюцинаций" на неречевых аудио. Галлюцинации в данном контексте понимаются как связанный текст, распознанный на аудио без речи. То есть этот текст грамматически верен, но не имеет с аудио ничего общего. Это следствия методики обучения этой модели: использовалось большое количество слабо размеченных аудио. Например для аудиодорожек с ютуба текстовым таргетом были их субтитры. Так, например, на шумных фрагментха при зафиксированном русском языке эта модель распознаёт "Субтитры сделал DimaTorzok", что является авторской маркой, вставляемой в конце фильма в субтитры, когда на аудио дорожке уже нет речи. До недавнего времени распознавание голосовых сообщений в телеграме также было подвержено проблеме таких галлюцинаций, вероятно использовалась именно эта модель Статья является продолжением исследования AudioSAE, я использовал те же предобученные SAE, веса которые не так давно были выложены У Whisper уже есть встроенный механизм фильтрации галлюцинаций. Считаются две скалярные величины: no_speech_prob (вероятность специального токена <|nospeech|>) и avg_logprob (средний logprob сгенерированных токенов). Таким образом текст на аудио считается пустым, если no_speech_prob > 0.6 или avg_logprob < -1.0. На практике этот эвристический фильтр работает плохо (см. рис. 1). Мы также используем эти два параметра для определения галлюцинаций среди неречевых аудио. Для речевых аудио мы инвертируем логическое условие, ведь на них модель как раз таки должна быть и уверена (низкий логпроб), и предсказывать низкую вероятность токена <|nospeech|>. То есть ставится задача понизить средний логпроб на токенах генерации и повысить no_speech_prob для неречевых аудио, при это сохранив метрики распознавания речи на аудио с речью Стиринг производился на активациях резидуал стрима между трансформер блоками аудио энкодера. В качестве бейзлайна был взят CAA метод стиринга, который на инференсе прибавляет к активациям стиринг-вектор, посчитанный как разность между центроидами кластеров активаций двух классов (негаллюцинации минус галлюцинации) с некоторым коэффициентом. Для стиринга SAE сначала выбираются репрезентативные фичи, которые с точки зрения классификации имеют максимальную по модулю важность, а на инференсе к этим фичам прибавляется их средняя активация на тренировочном неречевом датасете, умноженная также на некоторый коэффициент. Стоит отметить что фичи SAE, которые имеют отрицательную важность (при увеличении двигают классификатор к классу галлюцинаций), при стиринге уменьшались На практике получилось что лучшее качество достигается именно с помощью стиринга небольшого количества (10-25) SAE фичей, при чём с большим отрывом от CAA Итого на тестовом наборе датасетов удалось достичь следующего снижения галлюцинаций: - small 72.63% → 14.11% - large-v3 86.88% → 27.33% Ухудшение метрик на речевых датасетах, а так же на каждом неречевом датасете по отдельности, можете посмотреть в прикреплённой таблице Сравнивались мы со статьёй Calm-Whisper, которые зануляли атеншн хеды в декодере. Они применяли метод только для large-v3 версии на датасете UrbanSound8K, и достигли 95.98% → 24.10% галлюцинаций в постановке без дообучения с снижением WER 2.11 → 3.57 на LibriSpeech test-clean. Наш метод же снизил процент галлюцинаций до 19.88% на этом датасете при повышении WER до 3.70 Поддержать работу вы можете поставив класс на huggingface) [arxiv] [huggingface] [sae_weights]

Да(

Скидка на участие в Летней школе 2026 Уже июнь, но у нас в этом году появилась возможность сделать еще одну скидку для тех, кто хотел бы участвовать в летних школах, но с финансами все тяжко. Сроки сжатые, но тем не менее хорошо, что такая возможность есть Мы будем рады взять в наши летние математические школы в Подмосковье 10 человек с скидкой в 20000. Участие возможно и для участия в математическом направлении и в ИИ направлении Какая цель скидки: дать доп.возможность талантливым детям развития летом. Какие факторы учитываются при подаче заявки: - Регион (обучаясь и живя вне Москвы получить скидку вероятней. При этом участвовать из Москвы не запрещено) - Многодетность - Любовь к математике и ваш предыдущий бэкграунд  До какого момента надо подать форму? 15 июня Когда будут подведены результаты? 16 июня Форма регистрации для получения скидки

Как же гениально Антропик меня троллит с помощью opus 4.8... Каждый раз когда я с ним в веб интерфейсе обсуждаю дизайн очередного эксперимента или визуализации, он мне рано или поздно начинает затирать, что я все делаю неправильно и как надо все делать по-другому. В результате я спорю с ним до тех пор, пока у меня не улетают все лимиты, так что приходится переключаться на оплату как за API и сливать антропикам дополнительное бабло. 🧠 Старые опусы так не делали 😀

3. Модель Грея-Скотта

Честный ответ: мне нравится строить системы, где из простых правил возникает сложное поведение, и наблюдать за этим. Reaction-diffusion — модель Грея-Скотта. Два вещества, два уравнения, а на выходе — пятна, полоски, пульсирующие структуры, митоз. Математика → форма.

https://claude.ai/public/artifacts/bbb70e96-3910-4c44-881d-b4d94507a023

Вот. Модель Грея-Скотта. Два вещества, два уравнения диффузии-реакции, и из них — структуры, которых в уравнениях нет явно. Почему именно это: мне нравится момент, когда система переходит от однородного шума к паттерну. Математически понятно почему — неустойчивость Тьюринга, разница скоростей диффузии создаёт положительную обратную связь на определённых пространственных частотах. Но наблюдать за тем, как это происходит, — это другое ощущение. Каждый раз немного другой результат, потому что начальные условия случайные. Можно потыкать пресеты — spots, stripes, coral дают качественно разные паттерны при минимальном изменении параметров F и k. Mitosis — мой любимый: пятна растут, вытягиваются и делятся, как клетки. Можно кликать, чтобы засевать новые возмущения, и смотреть, как они взаимодействуют с существующим паттерном.

В комментариях выложу HTML-версии этих и других артефактов, полученных аналогичным образом, которые можно скачать и запускать локально. #генерация #математика