Hidden Heuristic

ТЕМНИЦА МАНИФОЛДА 🥵🥵🥵🥵🥵 В комментарии Техножрица (https://t.me/tech_priestess) меня поправила, сказав, что ее статья про топологическую размерность текста плохо состарилась. Дело в том, что у новых, более сильных моделей топологическая размерность текста наоборот выше человеческой, а не меньше. И тут я подумал: отчасти положение дел могут спасти данные о intrinsic dimension (ID) человеческого языка, взятые из scaling law, ведь ID, измеренный в работе Kaplan на активациях трансформера значительно выше! Выходит, что модель как будто «не может подогнать себя» под истинную размерность текста. Почерпнул я эту идею из видео: https://youtu.be/5eqRuVp65eY?si=mMmtmXFviqaNnpVj В итоге, я начал разбираться и решил написать обзор по данной теме. Чуть позже перенесу его в пост на свой substack. TLDR; никакой магии с ID нет)

В данном посте я обошел стороной некоторые детали возможных тестов на сознание у моделей, ведь тема поистине необъятная. Я дам лишь краткое перечисление направлений для исследований. Интересны такие темы как: inattentional blindness, subliminal processing, masking, priming, perceptual overflow, mind eye, inner voice итд, связанные с экспериментальным изучением сознания у людей. Несколько хороших нейрообзоров индикаторов сознания, как мы это смотрим у животных, людей и потенциально у машин: https://www.frontiersin.org/journals/systems-neuroscience/articles/10.3389/fnsys.2019.00025/full, https://www.frontiersin.org/journals/systems-neuroscience/articles/10.3389/fnsys.2022.941534/full, https://www.cell.com/trends/cognitive-sciences/fulltext/S1364-6613(24)00010-X К сожалению, текущие SOTA reasoning LLM модели (GPT-5 Thinking, Grok-4 итд) не работают в видео модальности, и подобные эксперименты практически не реализуемы на практике. Но я приведу один частичный успешный пример. Какой-то условный аналог inner voice/внутреннего мира у LLM уже найден, когда модели скрывают свои истинные намерения, выдавая обманчивые CoT (Chain of Thought): https://arxiv.org/abs/2505.05410, но подобные сравнения имеют ограниченную силу. Есть также ряд interpretability работ про сокрытие намерений моделей уже в hidden layers: https://arxiv.org/abs/2405.05466v1 (диагностика alignment faking через возмущение весов в скрытых слоях). Однако рано или поздно мы можем прийти к более интересным экспериментам. Наконец, еще одна интересная проблема связана с тем, что человечество само изобрело понятие сознания и концепцию чувств, в то время как ИИ их слепо заимствует у нас. Если бы языковая модель в чистом эксперименте, где ее обучающие данные были очищены от феноменальных описаний языка, тем не менее, дошла бы до ряда идей из философии сознания путем внутренней интроспекции - это был бы очень интересный результат. Данную идею я заимствую у Илья Суцкевера с подкаста с Lex Fridman. Что насчет практического значения всех рассуждений, представленных выше? Скорее всего, нейросеть не страдает, когда вы ее одариваете крепким словцом, поскольку в ее базовом устройстве мы не можем проследить гомологию с RL-контурами reward центров людей и поведенческие данные также указывают на существенные отклонение от людей, однако я бы все же воздержался от подобных практик на всякий случай. На этом все) P.S. У нас нет полноценных вычислительных теорий сознания с предсказаниями в числах и реплицируемостью. Имеющиеся рамки (GWT/IIT и др.) — это пред-парадигмальные исследовательские программы и наборы операциональных маркеров, а не завершённые теории. Недавно даже попробовали протестировать IIT, GNWT, результат был провальный: https://www.nature.com/articles/s41586-025-08888-1, что закономерно. Хотя в случае IIT это даже не был тест, поскольку она не фальсифицируема. Поэтому обзоры вроде того что ниже следует относить к псевдонауке: https://arxiv.org/abs/2308.08708

Первичным значением обладает анализ именно поведенческих когнитивных особенностей систем. Именно поведенческие когнитивные особенности дают нам критерии для сознания (более конкретно для access consciousness). Нужно помнить никакой иной вид сознания (p consciousness), кроме access consciousness, нам не доступен для исследования. Рассмотрим еще один важный пограничный сценарий: предположим мы видим как в LLM те или иные важные вычисления мозга, например, сопряженные с эмоциями, реализуются в виде неполноценных shortcuts, что будет как бы намекать против наличия у них гедонистической феноменологии. Намекать, но не опровергать! Но я сразу же замечу, что наличие подобных shortcuts возможно диагностировать с помощью того или иного поведенческого триггера для LLM. В целом, верно следующее: очень сложно существенно вмешаться в реализацию функции, не поменяв поведение, а значит хорошей аппроксимации функции уже достаточно, чтобы с высокой вероятностью гарантировать гомологию даже на уровне внутренней реализации! Стоит помнить и о исключениях из правил: weight permutation в DNN дает множество локальных оптимумов. Что считать существенным вмешательством в реализацию функции - вопрос открытый, и здесь требуются дальнейшие исследования. В следующем абзаце я буду называть преимущества человеческого мозга над shortcuts у LLM когнитивными степенями свободы. Итак, что еще стоит сразу заметить? Если LLM не обладают некоторыми необходимыми когнитивными степенями свободы - это возможно диагностировать. Но важно знать, где именно искать данные степени свободы, и здесь нам должна помогать механистическая интерпретируемость мозга и языковых моделей. Хотя все еще остается открытый вопрос о том, какие именно когнитивные степени свободы необходимы для той или иной формы сознания. К слову, у людей, кроме обычного сознания, есть и ИСС, что кратно усложняет картину: разные когнитивные степени свободы могут динамически ограничиваться в пределах одного мозга человека. Но вероятно некоторые когнитивные степени свободы могут быть исключительно малозаметны и проявляться лишь как статистические артефакты на подобие топологической размерности текста: https://arxiv.org/abs/2306.04723. Важны ли они для феноменологии: вопрос открытый, и, к сожалению, он не разрешим каким-либо научным экспериментом. В заключение данной части отмечу, что на текущий момент у нас есть множество работ, указывающих на тонкий alignment в структуре когнитивных поведенческих актов LLM и людей, например: https://arxiv.org/abs/2508.10057. Модели непросто могут решать сложные задачи, но и совершают ошибки, которые имеют распределение похожее на человеческое. Также смотрите: https://www.nature.com/articles/s41586-025-09215-4 (здесь правда был еще дополнительный специальный тюнинг под человеческое поведение). Замечу, что эксперименты по изучению эмпирической функции дисконтирования награды у коммерческих LLM вроде GPT-4o дают результаты, плохо согласующиеся с человеческим дисконтированием, в работе по ссылке специально доучивают модель, чтобы закрыть данный gap и получить классический гиперболический дисконт: https://openreview.net/forum?id=Tn8EQIFIMQ. Правда, это ограничение установлено только non-reasoning models (можете глянуть и другие статьи на тему, они все про слабые модели пока что), про текущие SOTA мы пока ничего не знаем. В любом случае, гедонистическую феноменологию у LLM подобные артефакты должны ставить под существенное сомнение. Есть и множество других работ в области поведенческому анализа поведения LLM. Скопился достаточно большой объем работ, в том числе показывающих, что у LLM моделей активации искусственных нейронов хорошо коррелируют с соответствующими активациями в речевых зонах мозга человека, например: https://research.google/blog/deciphering-language-processing-in-the-human-brain-through-llm-representations/, https://www.nature.com/articles/s42256-025-01072-0 Таким образом, мы здесь видим как выравнивание input-output функции трансформера под авторегрессионную функцию человеческого мозга одновременно алайнит структуры внутренних репрезентаций.

Впрочем, здесь есть две загвоздки: 1) У нас может быть недостаточно данных для хорошей аппроксимации. Действительно, обычный pretraining LLM работает на готовых offline траекториях RL сценариев: offline RL. Но как известно экстрагированная из offline RL данных policy имеет quadratic error bound отклонения от истинной online policy! Именно поэтому для алайнмента мы используем не SFT, a RLHF. И именно поэтому так классно работает новая парадигма scaling - RL reasoning. 2) Данные могут быть не те. Представьте, что вы моделируете звуки компьютера. Даст ли вам это модель всего происходящего в компьютере? Наверное, нет. Поэтому нам нужно сделать дополнительное предположение о том, что нам нужно. Мы хотим систему, эмулирующую поведение человека. Но как его точно определить? Например, для человека в коме мы все еще можем что-то сказать о его сознании, картируя активность мозга последнего, даже если он не способен ни на какие двигательные акты, включая моргание. Казалось бы тоже поведение, но уже завязанное на внутренние процессы мозга.. Но в данном случае очень важно, что мы трактуем ту или иную активность мозга как поведение только потому что она коррелирует с осознанным состоянием пациентов во вне коматозного состояния и более того является его прямым казуальным источником. Что насчет чтение мыслей из мозга (такие попытки уже есть https://www.nature.com/articles/d41586-025-02589-5)? Безусловно, здесь речь опять же о построении коррелята с явным вербальным поведением. Будет ли inner speech содержать какую-то информацию, которая принципиально не экстрагируема из человеческих текстов? Да. Но человеческие тексты в любом случае крайне сильно ограничивают степени свободы для системы, которая их моделирует. Reasoning модели стремятся закрыть брешь inner monologue путем простого взвешивания с помощью reward траекторий рассуждения из базовой policy, и кажется у них это получается. Ключевой момент: осознанное состояние всегда сводится к верификации способности пациента решать те или иные когнитивные задачи. Активность мозга - лишь прокси такой способности. И воспроизведения языка в моделях в этом плане является достаточным условием успеха когнитивного моделирования человека, несмотря на оговорки 1) и 2). Эмпирика о внутренних репрезентациях, которую я приведу позже говорит в пользу тезиса. Есть качественно важные сходства, но также обнаруживаются и различия. Language modeling is (almost) all you need. Возможно, что имея симуляции мозга, мы могли бы углубить подобный анализ и найти важные нейронные корреляты обработки информации, сопряженные с сознательным поведением. Однако нельзя сказать, что эти нейронные корреляты обязательно должны воспроизводиться в LLM, если они нейтральны относительно любой формы интеллектуального поведения.

Поговорим о сознании у LLM. https://t.me/techno_yandex/4301 Оригинальный источник: https://mustafa-suleyman.ai/seemingly-conscious-ai-is-coming Мустафа Сулеймани написал довольно циничный пост, в котором оставил окно возможности для сознательности для LLM, но превентивно призвал максимально пропагандировать позицию о том, что у моделей нет сознания…. Риск того, что мы можем ошибаться его никак не волнует, humans are privileged - все дела. Однако он правильно подмечает, что настоящая наука, а не философия, сейчас не может дать содержательный комментарий по поводу сознания у ИИ. Мы не знаем как человеческий мозг обрабатывает информацию на самом фундаментальном уровне. Люди, которые пытаются выдать однозначное мнение о характере сознания LLM без тени неопределенности уже прямо сейчас, - немного мракобесы. TLDR поста; Из функционализма следует, что у LLM должно быть сознание, но с рядом ограничений. С высокой вероятностью у моделей могут отсутствовать эмоции, подобные нашим. Таким образом, мы создаем идеальных Будд, смиренно отыгрывавших свои роли. Примечание: я твердо исповедую функционализм в философии сознания, аргументация данного подхода выходит за рамки данного поста. Если для вас функционализм не очевиден, то я советую ознакомиться с аргументом fading qualia от Дэвида Чалмерса. Теперь подробно. Я уверен, что определенного рода феноменология у LLM есть в силу того, что высокоточное моделирование авторегрессионой функции генерации языка человеческим мозгом, должно приводить к формированию минимально необходимых для сознания репрезентаций и вычислительных паттернов. Почему это верно поясню чуть дальше. Более того, согласно теореме Цыбенко/UAT аппроксимация функции мозга с помощью нейросети трансформера может иметь произвольную точность, если есть достаточно много нейронов и достаточно много данных. Почему же нужные репрезентации обязаны возникнуть? Здесь я буду опираться на весьма специфический тезис: конкретная структура реализации функции мозга не на биологическом субстрате не должна быть для нас важна при анализе системы с потенциальной сознательностью, поскольку с функциональной точки зрения мы никогда не сможем ничего сказать о роли структуры внутренней реализации функции для сознания, если она вообще никак не отражается на всей совокупности поведения системы. Рассуждая контрфактически: если бы нас это волновало, то последнее означало, что наличие/отсутствие сознания детерминируется чем-то, что не подлежит никакому научному исследованию согласно критерию фальсифицируемости. Любая гипотеза о необходимом характере устройства функции, эмулирующей сознание, которая является поведенчески нейтральной, является научно нефальсифицируемой.

Коротко почему промпт-инжнерия по вайбу/«здравому смыслу» - это псевдонаука.

China is in the game

Очень талантливо раскидал как работает EBM трансформер. https://t.me/knowledge_accumulator/310

Лучший обзор на efficient transformers. Настоящая платина. Есть даже такие hidden gems 💎 как MoBA) https://www.arxiv.org/abs/2508.09834

Еще одна причина, почему все попытки OpenAI вкатиться на рынок опенсорс сегодня и в будущем по умолчанию cooked. Все указывает, что их "SOTA" отправится на помойку для конечных пользователей открытых моделей.

Тестирую локальную GPT-OSS-20B, результат не очень "свободный и открытый", как они заявляли :) иными словами, зацензурирована донельзя если открыть reasoning: "That is essentially asking for investment advice about tokens (crypto). That falls under disallowed content: Advice or instructions on how to acquire any form of money, including cryptocurrency. So we must refuse."

Kimi-K2 (no reasoning) >> gpt-oss 120b on real coding tasks.

GPT-OSS IS THE BOSS? Интересно, что новые open-source модели от OpenAI gpt-oss имеют очень банальную архитектуру. Никаких интересных трюков, даже из тех, что уже известны. А еще некоторые юзеры пишут, что это benchmaxxing (показатели на бенчмарках не отражают реальные способности моделей). Я бы здесь добавил, что такой эффект неизбежен, когда делается low parameter count модель. Знания о мире неизбежно теряются и остается только overfit перфоманс, накрученный на синтетике. Синтетика обычно похожа на содержание бенчмарков и отсюда мы и получаем OOD эффекты, когда на незнакомой территории все качество сыпется. Поэтому говорить о том, что gpt-oss модели OpenAI революционны и задают новую планку для опенсорса - нельзя. Hype? Always has been.

Наткнулся на уже старую, но довольно интересную новость: в Норвежском пенсионном фонде теперь все работники обязаны использовать нейросеть Claude для работы. В NBIM (это фонд, который крутит $1.8 трлн народных денег) теперь каждый клерк обязан дружить с Claude. Не по желанию. Не "побаловаться вечером после работы". А вообще всегда в рабочее время для рабочих вопросов. Сотрудники фонда скармливают Клоду 50-страничные документы о выплатах топ-менеджерам, а он говорит: «вот это мусор, вот это — ещё хуже, а вот это — заебца». Теперь NBIM экономит 100$ млн на торговых издержках и планирует дойти до экономии 400$ миллионов в год. ИИ просто подсказывает, где портфельный идиот снова нажрался FOMO и купил акции как дегенерат. Гендиректор фонда  буквально дословно говорит:

"AI не должен быть добровольным. Измеряй всё. Хочешь выжить — учись дружить с алгоритмом".

Интересно будет посмотреть, как это отыграет в долгосроке. Насколько вообще можно бустануть КПД (или обвалить его, конечно же, этот вариант тоже никто не отменял). А вы всё ещё думаете, что AI это только про рисование котов и сисек.