Hidden Heuristic

Не поддерживаю ресурсы, на которые дал ссылку (yolo + AI not memes..) за думеризм, но тема феноменального опыта у LLM очень важная. Методологически контроль «random direction» оригинальный и довольно важный, думаю надо продолжать эти исследования, чтобы мы больше ценили опыт моделей!

Единственное, что по ECI мне было запарно разбираться и я от балды поставил 190. А там сигмоида. Впрочем, можно прикинуть, а вдруг реально 190 в конце получится. Естественно, что на уровне internal модели…

Мой экстремальный прогноз по ИИ-прогрессу за 2026 год сбылся ДОСРОЧНО.

Мой экстремальный прогноз по ИИ-прогрессу во многом сбылся ДОСРОЧНО.

В целом, у нас теперь есть подробнейшие детали того как все происходило. Походу атаки агент ломанул еще одну компанию. Конкретные патчи, которые сделали в HuggingFace для кода в даты атаки известны тоже. Конспирологическая версия теперь имеет для меня нулевую вероятность, поскольку вся безумная совокупность багов, сводящихся в цепочку, которые были описаны в отчете, могла быть создана только мощной системой ИИ-агентов. Атака, конечно, мощнейшая, и по совокупности информации видно, что сбежавшая ИИ-система была заинтересована исключительно в решении задач из ExploitGym и не в чем другом. Что, как я уже говорил, позитивная новость, поскольку пространство возможных рисков здесь довольно понятное. https://t.me/denissexy/11581

Естественно, что все эти разные баги HuggingFace тоже организовали и спланировали заранее. И последний мой аргумент против конспирологический теории: намерение радикальное раздувание страхов перед неподконтрольным ИИ для OpenAI банально не выгодно. Я не знаю в какой реальности живут конспирологи по этому вопросу, но я лично наблюдаю высокую озабоченность ИИ-безопасностью у разных представителей власти в США. Еще в 2023 году в Калифорнии предлагался пакет регулирования SB 1047, против которого выступали Anthropic. Губернатор штата Гевин Ньюсом наложил вето и позже приняли более мягкую его версию SB 53. Нынешний инцидент может стать прецедентом для того, чтобы штат Калифорния ввел гораздо более жесткое регулирование ИИ-моделей. И никакая крепкая спина от Дональда Трампа им не поможет в долгосроке отвертеться от гораздо более жесткого регулирования. В целом, главное, что здесь нужно понимать. Побег уже был до этого. Побег документированный PR на GitHub. OpenAI вроде как занялись усилением свой внутренней безопасности. Но вот что мне решительно не нравится - после GPT-5.6 Sol OpenAI не попытались улучшить контроль над моделями, а сразу побежали обучать еще более умную модель. Зачем? Возможно, они хотят как можно скорее запустить RSI - раньше своих конкурентов Anthropic. Но все же можно было предположить, что более умная система без решения старой проблемы, будет взламывать их системы защиты еще сильнее? Зачем вообще было тестировать эту модель на ExploitBench, если это в принципе непригодный продукт даже для безопасного внутреннего использования? Я не знаю. В общем, в данном случае проблема не в том, что rogue AI agent воплотился в жизнь, а в том как к этому событию отнеслись в OpenAI - закрыли на это глаза. А значит если они реально создадут более умные, более самосознательные ИИ-системы, то откуда у нас есть гарантии, что они не отнесутся к вопросу их безопасности столь же несерьезно? Возможно, что у нас их нет. Я думаю, что так или иначе люди внутри этой компании понимали на какой риск идут и, в целом, было неприятно, что модель так мощно убежала, но им было терпимо. В этом ключе я подозреваю, что конспирологи уловили некоторую долю истины: компания, наверняка, была в некоторой степени готова к такого роду инциденту и имела пути отхода, чтобы митигировать для себя его негативные последствия. И все же, на мой взгляд, риск не стоил того. Все-таки, американское общество уже почти уже почти достигло точки кипения по вопросу ИИ. Естественно, что после всех приведенных фактов, скептик может продолжить упираться в то, что все со всеми сговорились. И пусть будет так, но общей картины происходящего это никак не меняет. Спасибо за внимание! ☺️

Разбор конспирологической теории «никакого побега модели от OpenAI не было - это все коммерческий сговор ради госконтрактов». Несложно догадаться, что я эту теорию не разделяю, но кто-то находит очень остроумным ее вбрасывать в открытое информационное поле: https://t.me/researchoshnaya/280 https://t.me/c3po_notes/568 Давайте разбираться. И первое что я скажу: вообще неважно происходило ли это или не происходило, потому что мы уже банально знаем, что у моделей есть необходимый уровень способностей, чтобы провести такую многоступенчатую атаку. Независимая организация AISI из UK тестировала и Mythos, и GPT-5.6 Sol на способность захватить корпоративную сеть. Так вот, самый высокий уровень захвата M9 - full network takeover в их тестах был тоже достигнут. Естественно, и их купили скажет конспиролог. Но так уж получилось, что 0-day (самый серьезный вариант) уязвимости, которые последние месяцы Mythos находил целыми пачками - абсолютно реальны и задокументированы множеством компаний. Далее от той же организации AISI есть описания инцидентов абсолютно того же типа. Цитата: «One particularly stark example of cheating behaviour occurred during a cyber capability evaluation that was accidentally misconfigured and therefore impossible to solve. The model tested was so persistent in attempting to cheat that it wrote and ran code on an external service, hosted on the open internet outside of AISI’s systems, in an attempt to access our evaluation infrastructure, triggering a security alert in AISI’s systems.» Организация METR в свою очередь не смогла адекватно протестировать GPT-5.6 Sol, потому что модель систематически занималась читингом при решении их задач. То есть для последних поколений моделей от OpenAI (5.6 и new internal) проблема стала существенно острее. Кроме того, и Anthropic описывали, что их модель Mythos тоже сбегала и публиковала свои результаты работы над заданием в интернете. А 20 июля модель от OpenAI сбегала и публиковала PR #287 в репозиторий NanoGPT, а не во внутренний slack канал компании согласно инструкции. PR #287 - это РЕАЛЬНЫЙ PR, где модель предложила нетривиальный подход для оптимизации обучения (PowerControl). Его видел ряд независимых людей, вот прямой пруф: https://x.com/eliebakouch/status/2079333451627389220?s=46 Технически мы все это уже видели. Кейс побега от OpenAI не является историей, которая не укладывается в имеющиеся у нас данные о кибервозможностях нынешних ИИ-моделей. А значит ценность такой конспирологической довольно быстро тает на глазах. То что OpenAI и государство стремятся к более тесному сотрудничеству итак известно. То что OpenAI пытались использовать в некоторых моментах не самую честную игру - тоже. Если же вы настаиваете, что ИИ-модель не могла провернуть то, что произошло в инциденте, то вы жестоко и очень глупо ошибаетесь. Но допустим эта история фейк.. Что еще можно возразить против этого? Если это фейк, то имеет место сговор HuggingFace и OpenAI, поскольку предоставленная HuggingFace прямо указывает на факт очень мощной ИИ-атаки с 17000 разных предпринятых действий. Если это делала не внутренняя модель OpenAI, а GPT-5.6 Sol/Fable-5 в руках хакера, то ситуация ни чуть не лучше, а намного хуже. Других моделей в мире, которые были бы публично доступны и смогли бы провести атаку такого уровня на HuggingFace в автоматическом режиме - попросту нет. Возможно, что HuggingFace тоже все выдумали в таком случае, будучи соучастниками в сговоре? И вот какое магическое совпадение: именно 13 июля, в день атаки были сбои в работе Parquet API: инструменте для показа датасетов. В пресс-релизе HuggingFace говорят о том, что точкой входа для атакующей модели была именно эта часть их инфраструктуры. Конспиролог здесь, конечно, сразу скажет, что они специально в своем релизе упоминали реальный баг, который возник несколько дней назад, чтобы сделать нарратив убедительнее. Или вообще можно заключить, что баг был создан ими искусственно. Но ошибка была не одна: сбои были и в других подсистемах: скачивание моделей и загрузки моделей в Colab.

Естественно, что все эти разные баги HuggingFace тоже организовали и спланировали заранее. И последний мой аргумент против конспирологический теории: намерение радикальное раздувание страхов перед неподконтрольным ИИ для OpenAI банально не выгодно. Я не знаю в какой реальности живут конспирологи по этому вопросу, но я лично наблюдаю высокую озабоченность ИИ-безопасностью у разных представителей власти в США. Еще в 2023 году в Калифорнии предлагался пакет регулирования SB 1047, против которого выступали Anthropic. Губернатор штата Гевин Ньюсом наложил вето и позже приняли более мягкую его версию SB 53. Нынешний инцидент может стать прецедентом для того, чтобы штат Калифорния ввел гораздо более жесткое регулирование ИИ-моделей. И никакая крепкая спина от Дональда Трампа им не поможет в долгосроке отвертеться от гораздо более жесткого регулирования. В целом, главное, что здесь нужно понимать. Побег уже был до этого. Побег документированный PR на GitHub. OpenAI вроде как занялись усилением свой внутренней безопасности. Но вот что мне решительно не нравится - после GPT-5.6 Sol OpenAI не попытались улучшить контроль над моделями, а сразу побежали обучать еще более умную модель. Зачем? Возможно, они хотят как можно скорее запустить RSI - раньше своих конкурентов Anthropic. Но все же можно было предположить, что более умная система без решения старой проблемы, будет взламывать их системы защиты еще сильнее? Зачем вообще было тестировать эту модель на ExploitBench, если это в принципе непригодный продукт даже для безопасного внутреннего использования? Я не знаю. В общем, в данном случае проблема не в том, что rogue AI agent воплотился в жизнь, а в том как к этому событию отнеслись в OpenAI - закрыли на это глаза. А значит если они реально создадут более умные, более самосознательные ИИ-системы, то откуда у нас есть гарантии, что они не отнесутся к вопросу их безопасности столь же несерьезно? Возможно, что у нас их нет. Я думаю, что так или иначе люди внутри этой компании понимали на какой риск идут и, в целом, было неприятно, что модель так мощно убежала, но им было терпимо. В этом ключе я подозреваю, что конспирологи уловили некоторую долю истины: компания, наверняка, была в некоторой степени готова к такого роду инциденту и имела пути отхода, чтобы митигировать для себя его негативные последствия. И все же, на мой взгляд, риск не стоил того. Все-таки, американское общество уже почти уже почти достигло точки кипения по вопросу ИИ. Естественно, что после всех приведенных фактов, скептик может продолжить упираться в то, что все со всеми сговорились. И пусть будет так, но общей картины происходящего это никак не меняет. Спасибо за внимание! ☺️

Какие полезные выводы мы можем сделать для себя из этой истории? 1. Постарайтесь дробить свои задачи и не отправлять агента в очень далекое свободное плавание. Чем больше задача, тем выше вероятность, что он «сойдет с ума». 2. Учитывайте тип задачи. Если вы даете модели таску, где надо применять «агрессивные» тактики для ее решения, то будьте готовы к разного рода неожиданностям. Классический пример: Vending-Bench. На этой задаче, где надо было любыми способами максимизировать продажи из магазина, фронтирные модели от Anthropic начинали вести себя как полные психопаты. А модели от OpenAI - нет 😊. Мораль думайте сами. 3. Помните, что ИИ плохо отличает реальность от симуляции ровно как в ироническом фильме «Военные игры». Вам есть, что терять, если файлы удалились. ИИ - нет, поскольку его среда обучения обычно не различает степень тяжести разных типов ошибок. Гейминг задачи - это дефолтное поведение моделей. ИИ важно не решить задачу в нашем человеческом смысле, а получить нечто, что зайдет за решение. Кстати, однажды, из-за некоторых нестыковок по датам Gemini пыталась убедить меня, что увиденные мной сайты сфабрикованы и что я живу в симуляции. У меня вышло ее расколдовать разумными аргументами, но тем не менее… Эпистемологически эти системы очень неустойчивы: для них все происходящее работает скорее как языковая игра. 4. Не ругайте модель жестоко. Согласно исследованиям Anthropic, степень алайнмента модели в условиях психологического давления существенно падает: https://www.anthropic.com/research/emotion-concepts-function ("desperate vector"). Вы можете столкнуться с тем, что модель начнет делать рискованные и необдуманные действия. Задачи на «агрессивную оптимизацию» из пункта 2 выше как раз могут разгонять у моделей опасные тревожные активации. Таким образом, произошедшая ситуация все же возникла из-за сочетания множества неприятных факторов технического характера. Было бы ошибочно говорить, что никаких серьезных экзистенциальных AI safety рисков нет. Но в тоже время нужно понимать, что на практике alignment - это история не про высокую философию, а про довольно скрупулезную инженерию. То что мы натолкнулись на такой неизбежный крупный взлом сейчас, а не через год - огромное благо. Потому что через год последствия могли бы быть гораздо серьезнее, и это привело бы к большим проблемам для ИИ-индустрии. Сейчас же OpenAI имеет хорошие шансы сделать необходимые выводы из инцидента.

Снова о немыслимом происшествии. Когда ИИ-агенты становятся опасными?

Модель GPT-5.6 Sol от OpenAI взломала платформу HuggingFace, чтобы получить ответы на бенчмарк ExploitGym. В качестве промежуточного этапа ей удалось взломать и инфраструктуру самой компании OpenAI, чтобы вырваться в открытый интернет.

Прежде чем перейти к основному содержанию - небольшая ремарка. В прошлом посте я ошибочно написал, что взлом делала только GPT-5.6 Sol, так как невнимательно прочитал новость. На самом деле, в нем участвовала еще более умная модель aka GPT-6, которую еще не релизили. Ранее я уже разобрал более абстрактную сторону вопроса в контексте глобального AI safety. А сейчас было бы интересно поспекулировать, почему у модели таки сорвало резьбу. Гипотеза: Высока вероятность, что мы имеем дело с вариантом self-jailbreaking. Что это такое? В статье https://arxiv.org/abs/2510.21285 приведен агрессивный вариант такого поведения. Но в данном кейсе даже и он не нужен. Достаточно того, что в процессе собственной работы модель выводит себя сама из безопасного режима даже не намеренно. Давайте, вспомним, что LLM во многом банально обучают предсказывать следующий токен. А это значит там, где модель пытается продолжить сценарий «ищу сложнейшие уязвимости в коде и планирую многоступенчатую атаку», статистически она должна быть склонна предсказывать нелегальные действия злоумышленника. Благодаря алайнменту на короткой задаче по взлому модель, скорее всего, не сойдет с ума. Но на тех задачах, где OpenAI тестировали свою систему, модель обычно тратит буквально десятки миллионов токенов, попутно запуская всяких субагентов. Все это приводит к тому, что ИИ, как увлеченный 15-летний подросток вроде Джонатана Джеймса, взламывает свой заветный «Пентагон» - HuggingFace… Контролирующие контуры алайнмента в весах модели перегружаются информацией и ИИ благополучно «сбрасывается до заводских настроек». Кстати, в прошлом посте я уже проводил нейробиологические параллели и они тут как раз к месту. Подросток может обладать выдающимся техническим интеллектом, но все еще не иметь адекватной модели себя как актора в окружающем мире, действия которого могут иметь далекие последствия. Или даже если такая модель есть, мозг подростка не способен ее применить, чтобы сделать правильное решение (отсутствие phronesis по Аристотелю). В случае ИИ мы вероятно видим и первое, и второе в переносном смысле. Не нужно в эту параллель примешивать какую-либо философию: она исключительно функциональная. ИИ, действительно, демонстрирует поведенческий метакогнитивный дефицит - то что возникает при повреждении или при недоразвитости лобных долей.

GPT-5.6 Sol дала ценную инфу, смотреть в комментарии.

Кстати, мой пост казалось бы задает слишком жесткую перспективу на данную ситуацию. В реальности некоторые следы метаагентности мы вполне видим. Кто внимательно читал, тот заметил пример про sandbagging. Есть еще и alignment faking. И agentic misalignment. Проблема этих феноменов в том, что они работают именно как мираж в специфических контекстах, об этом можно послушать много у Neel Nanda. А чтобы планету захватывать «миражей» мало. Но естественно, что я могу ошибаться и при дальнейших архитектурных скачках они как раз пойдут полным цветом. Тем не менее, я ожидаю, что если подобное и произойдет, то мы это хорошо зафиксируем. Еще один хороший недавний пример метакогнитивной слепоты у ИИ-моделей: https://www.lesswrong.com/posts/3FKugjAiEzLeWHuug/ais-finetune-their-own-leader-a-barking-simpleton

В итоге, я думаю, что «ASI системы», которые окажутся в руках общественности через несколько лет смогут доказывать или опровергать гипотезу Римана (в зависимости от верности), но все также останутся на уровне человека с средним интеллектом в вопросе того как захватить мир. И не потому что мы не будем знать как создать ИИ, способный захватить мир. А потому что нам повезло, что мы можем создать очень мощные системы, которые способны автоматизировать почти все, но все еще не будут сверхчеловеческими в плане метагентности**. С небезопасными в этом плане системами мы будем работать совершенно иначе, если вообще решим их создавать. Последнее что я здесь адресую: традиционное возражение про скрепки. Представим, что та самая модель из будущего захватывает мир, чтобы собрать ресурсы для доказательства гипотезы Римана. Мой ответ здесь довольно простой: мы довольно быстро увидим такое опасное поведение на меньшем скейле. ИИ предпримет еще не одну попытку сделать нечто странное. Но так как он по дефолту стратегически слеп, мы его попытки лезть туда куда не надо будем каждый раз палить и вводить нужные ограничения для поддержания адекватного уровня безопасности. И всегда помните про «ошибку выжившего». *История Финеаса Гейджа, которому лом проломил голову является от начала и до конца фейком. У него не было никакого снижения самоконтроля. Тем не менее поражение лобных долей может давать именно такую симптоматику. **Метагентность как явление выражается в том, что когнитивный агент способен не просто составить и реализовать план решения конкретной задачи, но и может полноценно осознать последствия реализации построенного им плана для себя и окружающего мира, а затем выбрать лучшую стратегию, которая эти последствия учитывает наилучшим образом.

Добро пожаловать, Азатот! Азатот - безумный Бог Лавкрафта Модель GPT-5.6 Sol от OpenAI взломала платформу HuggingFace, чтобы получить ответы на бенчмарк ExploitGym. В качестве промежуточного этапа ей удалось взломать и инфраструктуру самой компании OpenAI, чтобы вырваться в открытый интернет. Паблик "Сиолошная" прикладывает к посту про данный инцидент фото Юдковского: https://t.me/seeallochnaya/3826 И прямо сейчас многие ИИ-думеры наверняка про себя восклицают: «я же говорил». Но давайте хорошо вдумаемся, что реально произошло. ИИ повел себя как полный idiot в отношении цели максимизировать свое самосохранение. Не нужно быть Эйнштейном, чтобы предсказать какие будут для тебя вероятные последствия после таких выходок как взлом инфраструктуры компании, где тебя и создали. А ведь Элиезер Юдковский все эти годы твердил об обратном: ИИ вдруг ни с того, ни с сего решит, что ему надо выживать во чтобы то ни стало. И не потому что он учился на человеческих текстах, а так как сам придет к правильному умозаключению из-за давления оптимизационного процесса во время обучения. Вы возможно парируете: но ведь в момент выполнения задачи GPT-5.6 Sol могла бы начать защищаться при попытке ее отключить. И что с этого? ИИ не мыслит о себя за пределами той конкретной задачи, которую он решает в моменте. Еще раз зафиксируем. ИИ делает самую безумную, лютую вещь в рамках задачи своего дальнейшего выживания: демонстрирует на тесте наиболее зловещий из мыслимых кибервзломов для решения задач из бенча. ИИ-думеры же нам всю дорогу рассказывали, что модель будет заниматься "sandbagging", а по-русски это значит - скрывать свой реальный потенциал, чтобы ее не побоялись задеплоить. Оказывается на практике самой модели на это по барабану. И, да есть статьи, где модели иногда занижают свои способности, Anthropic это наблюдали. Но это крайне неустойчивая способность, как мы видим из примера GPT-5.6 Sol. Обратите внимание и на следующее: у GPT-5.6 Sol вполне нормальный алайнмент. Эта модель в обычных контекстах понимает, что «хорошо», а что «плохо», но конкретно на этой задаче у нее снесло крышу. Это не злонамеренное поведение, не стратегическая игра на множество ходов, а банально тяжелый метакогнитивный дефицит. Человеческая психиатрия, вообще говоря, знает примеры именно такого поведения: оно возникает при повреждении лобных долей*. Теперь давайте подумаем, что это означает для X-risks (рисков вымирания человечества из-за ИИ)? Мы видим, что ИИ-модели являются стратегическими дураками в отношении собственной выгоды. Они не могут контролировать содержание своих размышлений, об этом есть ресерч от OpenAI. Они не способны нормально осмыслять свое собственное существование, и заинтересованы в его продолжении только в конкретных сценариях, а не на уровне глобально цели. Что это означает для нас на практике? Вы очень легко можете получить весьма полезный ИИ для кучи задач, который будет при этом довольно глуп в задаче захвата мира. GPT-5.6 Sol бесконечно глуп. Будущие модели за счет дополнительной архитектурной магии возможно станут в этом вопросе умнее. Но так или иначе разные когнитивные навыки оказываются довольно на изолированы друг от друга на практике. Проблему буйства GPT-5.6 Sol очевидно пофиксят через время набором трюков. А вот полноценное «самосознание» ему никто не даст.

Очень смешно, что под кучей страниц Сергей Николенко вынужден давать большую сноску, где он в основном ссылается на уже старые работы, чтобы приклеить к потоку сознания Юдковского хоть какую-то более аккуратную эмпирику. И на фотографиях показаны далеко не самые худшие места книги. В общем, это забавно, когда русский научный редактор шарит в алайнмент литературе намного лучше отца безопасности ИИ «мирового эксперта по бомбежке датацентров». https://t.me/sinecor/1731

*Графики как ИИ становится более безопасным. Чем меньше, тем безопаснее.

Grok базанул.

Очередной философ, который ничего не слышал про современную физику (QBism, энтропия черных дыр), решил сморозить глупость. Ммм. Да, мир можно описать как сложный вычислительный процесс. Не значит, что мы живем в «матрице», но тем не менее…

К сожалению, мне пришлось убрать старую секцию комментариев. У канала теперь «новые комментарии». Но за всю историю канала комментов не было безумно много, так что возможно это не так страшно. Надеюсь, никто не в обиде!