Syncrets

Anthropic нашли в LLM аналог того, что нейронаука связывает с сознательным доступом Исследователи обнаружили, что у Клода сформировалась небольшая коллекция внутренних нейронных паттернов, которые играют особую роль по сравнению со всей остальной внутренней обработкой. Аnthropic назвали её J-space по названию метода, основанного на математическом понятии якобиана. Причём метод проверен не только на Клоде, но и на открытых моделях - Qwen и Gemma. Вы можете с этим поиграться тут. Модель может докладывать о содержимом этого пространства. Оно активируется намеренно по инструкции и причинно влияет на многошаговые рассуждения: уберёшь паттерн- поведение меняется предсказуемо. Одна репрезентация в J-space считывается несколькими независимыми вычислениями одновременно. И активируется оно избирательно только при сложном, гибком поведении, не при автоматическом. Это структурно напоминает то, что теория глобального рабочего пространства Баарса предсказывает для мозга: узкий канал с широким вещанием, через который информация становится глобально доступной. Сами авторы аккуратны в формулировках и пишут так: «reminiscent of», «analogous to». Феноменальное сознание, квалиа, «каково это изнутри» - paper этого не касается и не претендует касаться. Теория глобального рабочего пространства сама по себе остаётся спорной даже применительно к мозгу. Практическое применение - мониторинг скрытых намерений. В экспериментах J-space показывал слова «fake», «manipulation», «secretly» ещё до того, как модель совершала нечестное действие. Это работающий прототип инструмента надзора за агентным поведением. J-space не отвечает на вопрос о сознании. Но впервые показывает, где внутри модели искать ответ. Мнение экспертов из разных сфер можно прочитать тут.