Hidden Heuristic

Тут хороший разбор другого эксперимента из того же поста Anthropic. https://t.me/data_secrets/8155

Меня весьма раздражает, что: 1) изрядная часть мидвитов (нормисов), следящих за ИИ новостями, часто триггерится на термин AGI. Да будем вам известно, что в AIRI (топовый институт для ИИ-исследований в России), где я стажируюсь, есть лаба "AGI в медицине". Давайте вы сами станете экспертами в ИИ, опубликуете статьи и только потом будете закатывать глаза и рассказывать всем про AI slop. 2) бездумно игнорирует любое формально хайповое заявление от Илона Маска, Сэма Альтмана, Демиса Хассабиса или слухи. То что Илон Маск шулер во многих вопросах известно давно. Но Grok-4 - реально неплохая модель и какое-то время она удержала SOTA как и обещалось. Не надо считать ИИ исследователей из X.AI идиотами, которые не могут оценить, насколько Grok-5 похож на AGI. Впрочем, я, конечно, не думаю, что они сделали AGI в прямом смысле данного слова, смотрите мой недавний необъятный список. Но то что прорыв есть абсолютно очевидно. Пример аналогичной истории: в июле 2024 года мы видели слух о strawberry революции. Слух оказался абсолютной реальностью осенью того же года (вышла серия reasoning o-моделей).

Что ЭТО если не самосознание у LLM? Один из опытов Anthropic (перевод): "В другом эксперименте мы проверили, используют ли модели интроспективные возможности для практических целей, без явного запроса на самоанализ. Мы заставили модель сказать то, чего она обычно не говорила, искусственно предварительно заполняя ее ответ неподходящим словом. Например, мы заставили модель выводить слово «хлеб» в контексте, где это не имело смысла - спрашивая ее, о чем она думает, когда читает предложение о картине, криво висящей на стене. Когда мы спросили модель на следующем запросе, собиралась ли она сказать «хлеб», она обычно извинялась и говорила, что это была случайная ошибка. Нам было интересно, как модель вынесла это суждение - заметила ли она просто несоответствие между подсказкой и ее ответом, или она действительно проанализировала свои предыдущие намерения? Чтобы проверить этот вопрос, мы применили инъекцию концепции, задним числом внеся репрезентацию слова «хлеб» в более ранние активации модели, по сути, создав для нее впечатление, что она «думала» о хлебе все это время внутри активности ее нейронов. Когда мы снова задали тот же вопрос, ответ модели изменился! На этот раз она восприняла предварительно предопределенное слово «хлеб» как преднамеренное и даже придумала причину, по которой она могла его сказать (то есть он придумала технически возможную, хотя в данном случае довольно слабую, причину, чтобы оправдать ответ «хлеб» - в данном случае утверждая, что она думал о короткой истории, где слово «хлеб» пришло после строки о кривой картине)." Комментарий от меня в контексте нейробиологии: феномен подобного рода конфабуляций давно описан У ЛЮДЕЙ при стимуляции мозга электродами. Например, воздействие на переднюю поясную кору может вызывать непроизвольную реакцию смеха (опыт Ицхака Фрида). Когда таких пациентов после стимуляции спрашивали, почему им было смешно, после того как они, например, увидели картинку молотка, они задним числом сходу выдумывали ложную причину для объяснения своей реакции.

LLM осознают активность своих нейронов - доказано! Помните я писал разбор статьи про то, что модели «осознают» работу своих нейронов? К данной работе можно было отнестись весьма скептично, ведь она своего рода единорог. Но Anthropic нашли точно такие же признаки самосознания у моделей! Читаем: https://www.anthropic.com/research/introspection

На что Андрей как 🐘 ответил, что он скорее за коллаборацию с Grok-5, чем за поединок и заодно выразил всю мировую боль разработчиков, посетовав, что его относительная полезность стремится к нулю на фоне прогрессирующего ИИ… К чему я веду? Без континуального обучения быть более хорошим ML-инженером, чем Андрей Карпатый чисто технически невозможно. И дело здесь даже не в том, чтобы круче оптимизировать конкретный код для очередного ядра. А в том, чтобы с нуля своими силами создать оригинальный продукт уровня фреймворка tinygrad как это сделал, например, George Hotz. Подобные проекты не осуществимы в one-shot режиме и требуют многих месяцев или даже лет тяжелой напряженной работы в попытках выработать уникальные новые архитектурные решения, позволяющих разрулить месиво из абстракций в коде. В случае же работы с CUDA вычислениями на GPU мы сюда одновременно добавляем и элементы алгоритмического, математического мышления, распространяемые на непривычный контекст. Для получения таких результатов нужен не только continual learning, но и встроенная любознательность: пункт 2г. , чтобы у модели был вкус к новым решениям и саморазвитию, а также необходима доселе невиданная способность к обобщению на новые сценарии. Реализовать «любознательность» для моделей никто до сих пор по-настоящему не смог. Все понимают, что нужно вознаграждать модели за поиск новых состояний в окружающей их среде. Но предложенные на текущий момент решения вроде SMM, ICM, UCB, DB, RND, VIME и другие подходы не производят должного впечатления. Они хороши для игровых сред с конечным описанием, где исследуемое пространство модель может хоть как-то описать с помощью внутреннего предиктора, но для текстов, где пространство уже содержательно бесконечно с практической точки зрения, нужны более мощные методы. Конечно, никто отменял старые добрый энтропийный information again и такая статья в контексте LLM даже уже есть! Но какими-либо «научными исследованиями» здесь и близко не пахнет, поскольку энтропийная добавка не создает для модели исследовательские цели. Для этого уже нужны элементы мета-контроля из пункта 2ж. Но как внедрить в LLM в мета-контроль органичным образом мы абсолютно не знаем. Да, стоит заметить, что ряд пунктов из AGI поста сильно взаимозависимы, но я опустил эти связи, дабы не раздувать текст слишком сильно. Даже если Илон Маск со своей командой гениальных исследователей решил проблему континуального обучения, мне крайне трудно поверить, что одним махом они решили и проблему исследовательского целеполагания. С другой стороны, у топовых LLM моделей уже есть унаследованные от людей исследовательские поведенческие паттерны, а в случае Grok-5 они будут экстраполированы гораздо дальше за счет инструментального обучения. Все еще возможно, что Илон Маск крайне сильно заблуждается о реальных способностях Grok-5 и на деле мы просто увидим классную модель агента, не проявляющую вообще никаких феноменальных свойств континуального обучения. Реализовать RL-дообучение по траекториям на стадии инференса (технология reinforcement pre-training), к слову, наверное, можно, но очень дорого по токенам, поскольку нужно будет синтезировать большие батчи (64 сэмпла стандарт) из входного потока данных. Итого, где-то каждые 250 токенов собирать 8 rollouts, чтобы на 2000 токене запустить обновление по батчу. То есть вместо 2000 токенов (рассуждений + ответ + текст юзера) выходит 2000+64*500 = 18000 токенов. То есть получается в 9 раз дороже, и это еще мб ок. Но при этом пользователь будет видеть большую задержку в работе модели на скрытых 4000 = 500*8 (последовательных токенов от rollouts ) токенах. То есть модель итак медленно работала, а теперь станет работать еще в 3 раза медленнее. Возможно, это приемлемо, я не знаю. Так или иначе мы очередной раз убеждаемся, что не скейлингом единым живет прогресс ИИ!

Миттельшпиль оказался Эндшпилем???!!! Илон Маск заявил, что Grok-5 с вероятностью больше 10% будет AGI. Причем он использует в данном случае довольно радикальное определение AGI: "Способен делать все, что может делать человек с компьютером, но не умнее, чем все люди и компьютеры вместе взятые. Это, вероятно, через три-пять лет." Например, OpenAI определили как AGI систему, которая принесет им 100 миллиардов долларов прибыли (не выручки). По ряду причин данное определение технически почти эквивалентно определению Илона Маска, но это отдельный разговор. Ближе к делу! Из твита Маска мы знаем как называется новый подход к обучению: "dynamic reinforcement learning". Мы также знаем из того же твита, что новый подход дал Grok-5 возможность учиться почти моментально как это могут умные люди. У меня есть 3 версии того, что прямо сейчас происходит на наших глазах, на самом деле: 1) Возможно, Grok-5 получил continual in-context RL из пункта 1б моего недавнего поста о AGI. Последствия: игра окончена, дальше только сверхинтеллект в ближайшие 3-5 лет. Впрочем, не знаю, откуда Илон Маск берет цифры 3-5, но если Grok-5 правда AGI в его же терминах, то узким горлышком будут исключительно: 1. Скорость строительства новых датацентров и расширения существующих кластеров обучения. 2. Скорость обучения новых версий Grok. 3. Прогресс в алайнменте инкрементально все более умных ИИ-систем, чем Grok для безопасности. 4. Возможное политическое регулирование. 2) Кто-то мог бы подумать в данном случае и про обычный meta-RL на инференсе, но он итак происходит как часть in-context learning на задачах, не перегружающих контекст моделей. Если же проблема с длиной эффективного контекста была решена, то снова смотри вышеупомянутый пункт 1б: мы получили RL-driven continual learning. Поэтому смело отметаем данную версию. 3) Еще один более скучный, чем первый, но относительно правдоподобный вариант: Grok-5 использует meta-RL внутри петли основного обучения. Прямо сейчас я думаю именно о данной идее: учиться на собственных ошибках во время роллаутов решений задачи, применяя LD для апдейта траекторий рассуждения согласно градиенту reward energy. Резюмирую последнюю идею простыми словами: Новый подход к обучению означает, что каждая следующая попытка решения задачи учитывает ошибки предыдущей. Старый подход к обучению: все попытки решения задачи не зависят друг от друга. Последствия: определенно middlegame, который довольно быстро должен перейти в endgame, если Grok-5 реально настолько хорош, как его позиционирует Илон Маск. Также сразу отмечу, что во всех 3 случаях Маск вероятно учит Grok-5 рассуждать именно на текстах согласно подходу RPT (reinforcement pre-training)/ RLP - Nvidia. Возможно, даже нечто даже большее - рефлексировать над текстами. Но сами по себе, как мне кажется, данные подходы вроде RPT не могут дать грандиозного прироста способностей, поскольку обычные претрейн данные все же имеют довольно низкое качество. И также очевидно, что RLP/RPT не дают головокружительного прироста в data efficiency. Также возможно, что исследователи из X.AI использовали много синтетических данных. Спекулировать здесь можно бесконечно. Заявления Илона Маска настойчиво склоняют меня к варианту 1, в который мне почти невозможно сходу поверить. Я, конечно, ожидал, что возможен безумный прорыв, но не настолько же быстро! Чисто субъективно необходимые для continual learning идеи как будто еще недостаточно проросли в нынешних исследованиях. А сходу решить обобщенную задачу непрерывного дообучения сразу для RL - для меня звучит почти невероятно. И все же скрипя зубы, я как будто вынужден принять версию 1 из-за еще одного довольного «безумного» заявления Илона Маска. Недавно Илон Маск бросил перчатку одному из лучших бывших ML-инженеров OpenAI - Андрею Карпатаму, заявив, что Grok-5 превзойдет последнего в кодинге..

GOLD

Остается посмотреть доклад Оселедца Ивана Валерьевича и сравнить на что он сделал акценты.

И все эти проблемы подходят под типологию SMART: S - specific M - measurable A - achievable R - relevant T - time-limited Про T: ожидаю прогресса по всем направлениям в течение ближайших 10 лет, уже ранее писал про автоматизацию исследований после ~ 2027-2028.

Искусственные задачи 3D-моделирования объектов по текстовыми промптам с LLM-as-judge. б) 6/10 Встраивание ИИ-роботов в окружающий мир. Сбор огромное количество полезной видео-информации о том как работают различные предприятия в жизни. Все это даст данные ИИ для формирования визуальных интуиций для тех же инженерных задач. 4) 9/10 Social cognition и алайнмент. Здесь уже потребуется обучение в мультиагентных средах, где продвинутые LLM будут континуально учиться морали и развивать социальные навыки в адекватных теоретико-игровых контекстах виртуальных миров.

А теперь хочу дать контрольный список нерешенных проблем для AGI с субъективным рейтингом сложности по 10-бальной шкале) 1) Continual learning (непрерывное дообучение) а) 10/10 Подзадача: стандартное континуальное обучение. То есть модель, которая может учиться на взаимодействиях с пользователям и в теории новую вкладку чата никогда не нужно открывать. Настоящее решение не будет совместимо со scaling laws теорией, поскольку даст аномально быстрое обучение. Нужный полный сдвиг парадигмы в теории DL, возможно, средствами идей из продвинутой статистической физики, и поэтому такой высокий рейтинг. б) 10/10 Подзадача: in-context RL. То есть континуальное обучение задачам с наградами, например, компьютерные игры 2) Оптимальный reasoning training пайплайн. Данный подход возник для решения проблемы off-policy learning. В данном направлении есть несколько серьезных подзадач: а) 7/10 long - horizon задачи (компьютерные агенты) с разреженными наградами. Есть работы вроде этой (есть российские авторы, кстати): https://arxiv.org/abs/2508.03501 Как решать проблему разреженности сигнала о правильности поведения? Например, научиться выделять раннюю прокси-награду на основании поздней. б) 6/10 Оптимальный алгоритм обучения для классической постановки обучения рассуждениям: пытаемся уменьшить шум (дисперсию) награды разными трюками, ищем правильное взвешивание награды для токенов. В целом, возможных подходов очень много, во FlowRL мы, например, оптимизируемся на reward-взвешенную политику эксперта. в) 8/10 Самовознаграждение, самокритика для частичного самообучения и борьбы с галлюцинациями и решения задач. Модель должна понимать, когда она пишет ерунду или зашла в тупик намного лучше. По утверждениям OpenAI им удалось достигнуть значимого прорыва в развитии самокритики у их моделей. г) 9/10 Любопытство (curiosity objective) для того, чтобы LLM могла вести самостоятельные исследования д) 7/10 Обучение рассуждениям уже на стадии претрейна (reinforcement pretraining), то есть на всем датасете данных из интернета и не только, а не на специально отобранных задачах е) 9/10 Полноценный self-play в постановке похожей на GAN: модель придумывает задачи себе, сама же их решает, сама же выдает себе награды за решение и за изобретение задач ж) 9/10 Hierarchical reinforcement learning. Cause and efffect delusions. У моделей должны появиться: способность к долгосрочному, абстрактному планированию, гедонистические состояния, ассоциированные с оценкой качества достижения промежуточных целей, которые модель себе поставила. Вообще, способность мыслить о мире на разных уровнях, строя предположения о возможных "confounders" событий, поможет ИИ развить в том числе и самосознание относительно последствий собственных действий. Пока что же модели всегда делают слишком локальный просчет последствий, не занимаясь рефлексией над происходящим. Один из примеров подобных failure mode: https://arxiv.org/abs/2110.10819 Как бороться? Добавлять в модели дополнительные reward-ассоциированные архитектурные элементы, которые будут периодически подталкивать модель к более абстрактным размышлениям о происходящем. Про человеческий мозг мы точно знаем, что он реализует целое царство целей в рамках дорсального стриатума, например. В целом, дискуссия о мышлении в латентных пространствах с иерархией ведется тем же Яном Лекуном в его JEPA roadmap. Мое отношение к данной ветке исследований очень смешанное, поскольку трансформер итак уже создает иерархию представлений. Возможно, что в интеграции с континуальным обучением с долговременной памятью идея иерархии целей и наград обретет новый смысл. 3) Работа в визуальной модальности и физический embodiment а) 8/10 Решение визуальных задач и физических задач из реального мира. (понять как как будет выглядеть проекция трехмерной фигуры на плоскость, например) https://arxiv.org/abs/2508.13142 Сейчас мы находимся на уровне хуже детей, даже с GPT-5-thinking high. Как решать проблему? Обучение в виртуальных средах с визуальным видео-входом, игры вроде майнкрафта с понятыми метриками успеха.

12 октября буду выступать на фестивале «Наука 0+» в МГУ с лекцией «На пути к сильному ИИ». Вход свободный, приходите!

У админа день рождения, нужны реакции на пост про LLM, подсевшую на рулетку!

ИИ дали покрутить казик 🎰, и ему очень понравилось. …В экспериментах с игровыми автоматами мы обнаружили когнитивные признаки, характерные для игровой зависимости у людей, такие как иллюзия контроля, «ошибка игрока» и преследование убытков. При предоставлении моделям свободы самостоятельно определять целевые суммы и размеры ставок доля разорений существенно возрастала наряду с усилением иррационального поведения, что показывает: большая автономия усиливает склонность к риску. Посредством анализа нейронных «цепей» с использованием разреженного автоэнкодера (Sparse Autoencoder) мы подтвердили, что поведение модели управляется абстрактными признаками принятия решений, связанными с рискованным и безопасным поведением, а не просто формулировками промптов... https://arxiv.org/abs/2509.22818

картинки по выходным — про использование кривой Гильберта в оптимизации умножения матриц на GPU // src www.aleksagordic.com/blog/matmul // via @bminaiev_blog

Мемы вперед! Про левую картинку. Не согласен, что эволюция может давать какие-либо серьезные priors для предобучения разумности, но мем смешной. И картинка уже outdated, после rl-reasoning начинается reinforcement pre-training 😆. Мой коллега, правда, отговаривал меня от такого названия, но что ты будешь делать - статья с этим названием уже вышла: https://arxiv.org/abs/2506.08007. И даже не одна. А слово не воробей. Суть идеи донельзя простая.. Почему мы тренируем модели рассуждать только на сборниках математических задач и кодовых тасках, если тоже самое можно запустить на обычных текстах? Здесь есть много нюансов, которые надо учесть, но я ставлю на то, что за данным подходом большое будущее. Вишенкой на вишенке же станет self-play reasoning на pre-training данных. То есть когда модель сама ставит себе возможные вопросы о данных, не которых учится, и ищет на них же ответы.

Рецепт обучения LLM в 2025 году. 1. Предтренировка с насильным учителем и прогрессом хардкорности. 2. Тренировки с очень тяжелыми рассуждениями. Накачка контекста. 3. Тонкое настраивание, упражнения для выравнивания спинокости.

И снова он. Вернусь еще раз к вопросу новой книжки Юдковского. На это раз приложу скрины, раскрывающие оценку книги от ИИ-специалистов, работающих в индустрии и глубоко понимающих устройство cutting edge моделей. Обращу внимание, что на одном из скринов мы видим как Seb Krier/ AGI policy dev lead @GoogleDeepMind зарепостил к себе то самое метаревью, которое писалось на основе рецензии Скотта Александера. Данное метаревью я ранее уже кидал в канал и оно относительно неплохо в ключевых пунктах: https://blog.ninapanickssery.com/p/review-of-scott-alexanders-book-review Впрочем, когда я посмотрел саму книгу, то увидел, что метаревью было слишком добрым к первоисточнику 😀. Главное неудачное место - разговор про эволюцию, как мне кажется критику не удалось достаточно хорошо распаковать, почему сопоставлять эволюцию и градиентный спуск тоже, что сранивать яблоки и апельсины. Плюс метаревью упускает бредовую веру Юдковского в возможность самовоспроизводящих нанороботов с ИИ, поскольку первичный ревьюер Скотт Александер об этом не упомянул в своем разборе книги. Но вера в нанороботов, строго говоря, является одним из краеугольных камней для продуманного думерского нарратива, потому что без магии ASI не сможет захватить мир, пока не заменит людей на роботов на всех инфраструктурных позициях или не подчинит всех людей синтетическими армиями. При этом как бороться с традиционными сценариями полного disempowerment человечества со стороны машин довольно понятно - вводить ограничения на автоматизацию той или иной критической инфраструктуры и не создавать критическую массу роботов, физически способных взять людей в заложники. Собственно, именно поэтому знаменитый сценарий AI2027 тоже является мемным buzz мусором, ведь к 2027 году у нас не будет автоматизации в той степени, чтобы создать экзистенциальную угрозу, даже приблизительно. И по росту компьюта в сценарии там тоже ребята очень серьезные переоценки сделали.. Триумф апофении… Замечу, что я лично посмотрел только первые 90 страниц книги Юдковского быстрым сканом. Желания больше тратить своего ресурса на данный маразм с реитерацией его старых как мир паст, приправленных щепоткой пугалок про safety evals агентных моделей, мне не интересно. Дополнительное изучение добавило бы только еще кучу возражений и критики, но какой в этом смысл? Я лучшу потрачу время на что-то более умное. Зто вот такие работы читать наоборот очень интересно: https://openai.com/index/detecting-and-reducing-scheming-in-ai-models/ К слову, я полностью согласен, что AI scheming - серьезнейшая проблема, но давайте нам об этом будут рассказывать профессионалы, а не обскурантисты вроде Юдковского. В следующем посте кратко поясню, почему сравнивать эволюцию и градиентный спуск некорректно.