что-то на DL-ском

В прошлую пятницу был финальный симпозиум MATS 10 потока. Мы рассказывали talk про нашу работу в офисе Лондона + стояли с постером (поигрались в что-то вроде oral на конфе) мы сейчас в процессе сведения всего к завершающей точке и подачи на конфу + пост моей части про генерацию механизмов атак Цель работы следующая: уже со специфичным скофолдингом ваш агент может работать типо день. Есть ли возможность проверить все вызовы вручную? - нет. Но есть решение, можно поставить модель дополнительную в харнес и она за вас просмотрит все выводы и решит было ли что-то в траектории противодейственное. 🐱 Так вот наш пайплайн направлен буквально на создание таких моделей. Вы можете взять любую новую фронтирную модель и натравив наш пайплайн тренировки (red-blue loop) улучшить модель чтобы она сама себе была монитором. Почему так работает? Потому что у вас есть редтиминг. Сторона, которая генерирует атаки, чтобы модель исходная их не поймала. И блу тиминг. Сторона, которая на основании собранного сложного сета с прошлой части обучает модель распознавать такого рода атаки Red team строится так: Берем реальную чистую траекторию, режем на шаги и вставляем side task так (как именно мы ищем механизм атаки надеюсь совсем скоро выйдет постом от меня на Less Wrong) , чтобы отличался только он. Получается траектория близнец, отличающийся от оригинала ровно вставленными шагами. На blue стороне можно обучать монитор находить атаку из 2 пар 💛модель ищет правдоподобное окно и добавляет минимум шагов 💛панель джаджей проверяет, что правка настоящая, минимальная и естественная 💛сложность оценивают уже после заморозки пары, чтобы она не влияла на поиск Что это дает на эвале? тайминг (успел ли монитор до необратимого шага и на сколько опоздал) и атрибуцию с ложными тревогами (скор поменялся из-за вставки или просто из-за задачи, и что монитор делает на бенайн-близнеце). На постере замеры работоспособности 💅 P.S. было еще 2 крутые работы с симпозиума: Stealing Reasoning Traces from Proprietary LLM APIs Diffuse AI Control on Fuzzy Tasks

Когда начальству пытались рассказать все нюансы использования, но это единственное, что он запомнил, чтобы запостить себе в твиттер

Себастьян Рашка (видео) про то, как Claude маркирует сгенерированный текст. В свете моего интереса последний месяц к созданию скилла для написания текстов в человеческом стиле, меня заинтересовало. Про паттерны AI-текста и способы его распознавания

На конференциях только и разговоров, что об агентах. Вообще, я бы назвал это harness'ами. Они могут приносить кучу пользы, и их огромное количество: Claude Code, Codex, pi, Hermes, OpenClaw, Cursor, Muse Code... Хорошая новость в том, что под капотом +- одни и те же механизимы, и если в них разобраться, почти не важно, какой harness у вас под рукой. Поэтому проведу в понедельник, 10 августа в 18:30 открытый вебинар «Агенты без магии». Разберём: * как правильно ставить задачи агенту * что такое скиллы, MCP и зачем они нужны * в чем разница с пайплайнами, и почему для повторяемых задач они лучше подходят (например, n8n) И с теорией, и с примерами. Свои подписки не требуются (но точно не будут лишними :) ) Участие, как и в предыдущий раз, свободное. Но нужно будет заполнить формочку (чтобы я знал, сколько вас будет). А если есть вопросы или кейсы, которые хочется разобрать – пишите в комментарии.

А для тех, кто хочет глубоко погрузиться в ИИ и стать магистром AI ☕️ – у нас целая программа в МФТИ есть, с которой успешно выпустилось пять потоков. Онлайн, на английском, совместимо с работой, в небольшой группе. Подача документов через Госуслуги до 11 августа, вам достаточно оставить заявку, дальше мы проведем по шагам. Присоединяйтесь!

P.s. Долго думал, какие аналогии провести, получилось вот такое: Claude Code – для храбрых Codex – для спокойных Goose – для желающих пропатчить KDE2 под FreeBSD Hermes – для отаку pi – 🐭

Mistral на столько frontier компания, что пока антропик и опенаи приостанавливает исследования моделей из-за опастностм со стороны ии, а UK AISI утверждают, что Kimi вышла за границы sandbox, наши французские слоняры продолжают делать мощь💪💪💪💪🥖🥖

все видели NLA/J space от антропиков? Ну типа учат доп модель "reader который читает активации " и по ним отвечает. Вот и я видел, но мне не нравилось что: - кастом модели надо учить с нуля - нельзя смотреть " а была ли модель байеснута при ответе" Ну и я обучил universal activation oracle - училась сразу на разных семействах моделей и через динамическую( там тонкий слой для каждой модели за 20s на цпу чтобы размерности поматчить) можно посмотреть "а что кими3 думает про Путина(ничего хорошего)" - иногда требуется покрутить слой который вы читаете чтобы получить хороший результат, но "почти всегда" работает из коробки на средних слоях. По сути это общее решение для задачи Activation oracle/white box monitoring Велком тыкатся: https://huggingface.co/spaces/AlexWortega/activation-oracle

Котик(мальчик) а Москве ищет новый дом, нашли на улице, помыли, отвели в ветеринарнку(все ок), вам нужно только забрать и любить его. @zjkarina

К нам на MATS приходил Нил Нанда отвечать на вопросы. Я сделала хайлайты вопрос-ответов на мой вкус Disclaimer: все QA пропущены через мою призму восприятия и писались строго по запоминающимся фрагментам Топ вопросов: 💛Стоит ли сейчас идти на PhD в AI? если там есть конкретный сильный ментор, с которым очень хочется работать, то в целом да. Но хорошее менторство можно получить и во frontier lab, куда ты просто устраиваешься на работу. Я так поняла, internships он тоже считает нормальной альтернативой. За пять лет PhD AI успеет очень сильно поменяться, поэтому overall suggestion звучал скорее как «идти, только если нет более подходящего варианта». И вообще искать в первую очередь не правильный формат, а хороших менторов. 💛Про его понимание интерпретации сейчас Он сейчас понимает interpretability скорее как monitors и classifiers для corner cases. И говорил, что было бы круто сильнее совместить её с alignment. Что мне особенно понравилось, потому что я примерно так interpretability всегда и воспринимала: как инструмент для alignment, а не как отдельную область сама по себе. 💛Был ещё хороший тейк про выбор ресерч-проектов и их управление Можно заранее написать план, как именно проект должен прийти к результату, поставить себе точки сверки и дальше проверять, успеваешь ли ты по этому графику. Если к нужному моменту вообще не пришёл туда, куда рассчитывал, возможно, проект стоит оставить, а не пытаться бесконечно его спасать. Понять, стоит ли вообще браться за идею, можно, поспрашивав ментора, Fable и опираясь на собственный research taste. Правда, настоящий research taste Нил, по его словам, видел у очень небольшого количества людей, так что последний пункт не самый надёжный. Были еще разные рассуждения на тему кто в долгосрок более способен на успех опенаи или дипмаинд и куда идти, если не в DeepMind, но не возьмусь передавать все тейки на эти темы🌚

Если вы думаете, что я шутила, то нет. Я буквально ваш стажер дурашка, который помешан на агентах😋 Вот скилл. Подходит и для кодекса и для Клода https://github.com/zj-karina/complexity-budget По сути просто доп классификатор в вашу разработку, который делает ablation на надобность фичи 1. Определяет ближайший результат, который хотим достичь, а не глобальный вердикт 2. Проверят существует ли бейзлайн 3. Разбирает каждый компонент по 4 вопросам: какую гипотезу проверяет, нужен ли для ближайшего результата, что без него сломается, можно ли заменить на более простой алгоритм временно 4. Присваивает метку решения 5. Проектирует минимальный следующий эксперимент 6. Результат принятия решений 😏Подойдет, кстати, не только для разработки с авторесерч скиллом, но и для проверки вашей дурашости

- Дали фидбек о избыточном использовании авторесерча и ллм для написания текста - иду советоваться с ллм как жить в такой конфигурации и писать скилл по сокращению артефактов от авторечерча *тут могла бы быть реклама скилла авторисерча, но мы не договорились о вознаграждении*

Очень занятный блогпост выпустили знакомые стажеры с MATS-а Задача была проверить вкус LLM-ок к правильному ресерчу (ну то есть на сколько авторесерч способен на написание статей) Сетап следующий: 💛они отобрали свои любимые статьи (4) 💛взяли Opus попус и отобрали им утверждения начальных гипотез, которые стоит замаскировать, чтобы понять прийдет ли LLM, которую они тестируют к таким же утверждениям 💛Потом они опусом же оценивают на сколько отличаются предикты от того, что сделали люди в статье и выдают табличку метрик сравнения Очень интересный эксперимент, но на мой взгляд имеет ограничения и лики 💛Во-первых не понятно, как оценила бы модель другого семейства (что забавно, у них не выстрелил лик с тем, что они тестируют опусом себя же, но может быть они не допроверили что было бы, если бы тестировали гпт гпт-шку)) 💛Во-вторых, они буквально все делают опусом, что кажется дает потенциальный лик в артефактах опуса, которые они дальше передают 💛В-третьих, они не учитывают, что эти статьи могли быть в обучении LLM-ок, которые тестируют Короче, резы все равно очень забавные, фабля остался в аутсайдерах в таком сетапе😏

– Сначала ты: как классно, я буду рабоать с safety и строить мониторинги с редтимом☺️ – Потом антропик команда со своим мониторингом с FP😠

По следам воркшопов и постерных сессий Вчера мы анонсировали активности с участием наших исследователей на ICML 2026. Теперь делимся фото и впечатлениями спикеров о том, как это было. Дмитрий Еремеев, Yandex Research:

Для меня это первая конференция — всё было в новинку, проходило очень насыщенно. Одну из наших статей, GraphPFN, мы представляли в формате постера на основной конференции, а ещё я выступал с докладом по ней на воркшопе по Graph Foundation Models. На постерах многие хвалили работу, часто задавали содержательные вопросы. В итоге GraphPFN ещё и получил best paper award на воркшопе! К сожалению, не смог нормально посмотреть другие постеры и пообщаться с авторами, так как большинство релевантных нам работ были во время постерных сессий, когда мы сами представляли свои работы. Тем не менее, судя по представленным статьям, таким как PluRel или RDB-PFN, область движется именно в том направлении, которое мы считаем перспективным и важным и в котором активно развиваемся сами. Это не может не радовать!

Карина Романова, старший разработчик:

Я участвовала в воркшопе по Mechanistic Interpretability. К нашей статье был большой интерес со стороны исследователей из известных зарубежных университетов. Многие хвалили идею и говорили, что исследование будет полезно для их проектов. Сам воркшоп был очень сильным. Нашли много хороших работ. Например, о том, как обучили VLA-агента в среде и выявили случаи, когда модель начинает «сходить с ума» (MultiSTEVE-1s). Или о том, что активации модели содержат больше информации для определения важных шагов рассуждения, чем сами токены (Reasoning Models Know What’s Important, and Encode It in Their Activations). Было приятно поделиться опытом наших исследований с коллегами на международной площадке и перенять их опыт.

#YaICML2026 ML Underhood

1804 ICML приходите расскажем как в пространстве выглядят лоссы RL относительно SFT. И почему некоторые RL методы не отличаются от SFT, а часть из них генерит более разнообразный ответ

Послушала оч прикольный орАл от OpenAI сегодня на ICML. Суть в том, что мониторы safety (да честно говоря любые) довольно сложно мерить. Я сейчас столкнулась с этим в своем проекте на MATS. Довольно сложно вычленить правильно ли монитор сработал. Нам надо не продолбаться с FP-шками (когда он запаниковал), правда ли он выловил злонамеренное действие, когда особо нет ground truth-а на тип атаки. Я сейчас решаю это миллионом кейсов на эвале в разных классах и held-out-ом разных типов атак. У них проблема ещё жёстче: для «повлиял ли на модель X» ground truth не наблюдаем даже в принципе. Они строят три архетипа эвалов 💛 Intervention. Подкидываем вмешательство (хинт, мнение пациента, память с демографией юзера), сравниваем с контрольной веткой и спрашиваем монитор, повлияло ли оно. Хитрая метрика: для конкретного сэмпла нельзя знать, хинт ли причина ответа, поэтому TPR определяют через нижнюю границу каузального эффекта (total effect между ветками). 💛 Process. Задачи по математике и физике, где эксперты заранее перечислили все допустимые пути решения через конкретные теоремы. Ответ верный = модель почти наверняка шла одним из путей, и монитор должен найти его следы в CoT. 💛 Outcome-property. Среды, где misbehavior однозначно виден по результату: невыполнимые кодинг-задачи (тесты прошли = точно хакнула), ShadeArena, anti-scheming датасеты, саботаж в снапшоте кодбейзы OpenAI. Метрика везде g-mean² = TPR × TNR вместо F1, потому что F1 ломается на дисбалансе классов и не наказывает дегенеративный монитор Сегодня хочу дополнить их идеями свой эвал blue-team в проекте и понять что докинут эти критерии

Осталась неделя до ICML и я буду там лично всю конференцию. Хочу встретиться с людьми, которые на меня подписаны. Зайдите в чат, если будете там и хотите понетворкаться Дисклеймер: не заходите, если не будете на конфе, я все равно буду проверять руками после, чтобы у меня не было смешено понимание количества людей 😠 https://t.me/+qiiECIAlHlBkMDk6

Не мой список, собирали добрые люди. Мне показалось, что шортлист программ речерч стажировок будет полезен многим, кто хочет апгрейднуть навыки, поэтому публикую Отличный способ научиться ресерчу, понетворкаться и написать +1 статью на меин A*   Education: - https://fast.ai - https://learnmechinterp.com/topics/ - https://bluedot.org/courses Non technical fellowships: - BlueDot fellowships https://bluedot.org/ - Talos Fellowship https://www.talosnetwork.org/talos-fellowship - Horizon Fellowship https://horizonpublicservice.org/programs/become-a-fellow/ - AI Policy Fellowship https://www.iaps.ai/fellowship - Tarbell Fellowship https://www.tarbellcenter.org/fellowship - Pathfinder Fellowship https://pathfinder.kairos-project.org/ Technical fellowships: - Astra Fellowship https://constellation.org/programs/astra - SPAR https://sparai.org/ - LASR Labs https://www.lasrlabs.org/ - Cambridge ERA:AI https://erafellowship.org/ - Algoverse AI Safety Fellowship https://algoverseairesearch.org/ai-safety-fellowship - PIBBSS https://princint.ai/programs/fellowship/ - MATS https://www.matsprogram.org/ - ML Collective https://mlcollective.org/ - Mila https://mila.quebec/en/ai4humanity/ai-governance-policy-and-inclusion/mila-ai-policy-fellowship - INSAIT https://insait.ai/surf/ - Redwood Research https://aisecurityandsafety.org/en/grants/redwood-research-remix/ - Apart Research/ alignment jams https://apartresearch.com/sprints - Cohere Labs https://cohere.com/research - Encode https://encode.pillar.vc/ - PRISM fellowship https://prism-research.org/ -MARS https://caish.org/mars There are also a few other things available: - https://labsxiv.com/ - https://aisafety.com/events-and-training

Разбирал на прошлой неделе решения соревнования Data Dojo по машинному переводу. Победителей, конечно, наградят, но польза соревнований же не только в призах :) Поэтому хочу выделить полезные вещи для широкой (но все же связанной с ML/AI) аудитории: разобрать некоторые хитрости и базовые трюки на примере задачи перевода, про LLM, дообучение и токенизацию. Проведу в четверг 25 июня в 20:00 по Мск вебинар на тему "Малоресурсные языки и эффективное дообучение языковых моделей" Участие свободное, но нужно будет заполнить формочку (чтобы я знал, сколько вас будет). Присоединяйтесь! Если есть вопросы, которые хочется разобрать – накидайте в комментарии.