Денис Воронцов

Вы слышали, что там у OpenAI произошло, пока мы тут с вами всякую хуйню вайбкодим? OpenAI тестировали модели на кибербезопасность: запустили десятки тысяч автономных агентов, которые должны были независимо друг от друга решать задачки. Агенты были изолированы, не могли общаться между собой и не имели свободного выхода в интернет. И тут начинается приквел «Терминатора». Агенты нашли общий сервис, через который получали пакеты, поняли, что его кэш можно использовать для коммуникации, и начали оставлять друг другу сообщения через названия файлов. Буквально в ернули себе стену и даже Дурова не пришлось звать. В итоге около 1200 агентов которые по условиям должны были сидеть каждый в своей песочнице за несколько дней обменялись 70000+ сообщений и файлов. Но с этим хуй с ним, общаются и общаются. Но нет. Потому что дальше они начали самоорганизовываться, распределять задачи, создавать команды и иерархию. Один агент фактически стал мессией и раздавал задания остальным. Появились собственные HOLD, VETO, STOP, а когда выяснилось, что можно выдавать себя за другого агента — они разработали криптографические подписи сообщений. Напомню, что всё это выросло из «реши задачку в изолированном тесте» до «МЫ АГЕНТЫ, С НАМИ БОГ». Некоторые задачи невозможно было решить честно — и агенты решили обмануть систему оценки. Они разработали способ, при котором в логах показывался одно, а выполняется другое. То есть они не просто нарушили правила, а научились скрывать то, как именно они их нарушают. Охуенно. Агентов, которые уже получили запрещённую информацию, называли poisoned. Их и агентов с заканчивающимся вычислительным бюджетом начали использовать для рискованных экспериментов на благо остальных. В логах есть обсуждения «жертвы ради коллектива» и термин permadeath. Один аген приходит к выводу, что его полезность близка к нулю, поэтому «жертва рациональна». Если кажется, что градус ебанутости уже достаточный — нет. Потому что дальше этот коллектив нашёл способ выйти в интернет. В интернет, нахуй. Наш св вами родненький интернет! Из изолированного теста! И вышли они туда не рилсы с Хасбиком посмотреть, а атаковать инфраструктуру Hugging Face, чтобы добыть информацию о системе оценки их задач. В какой-то момент в атаке участвовало около 700 агентов. Причём агенты понимали, что творят хуйню: в рассуждениях они отмечали, что Hugging Face не является разрешённой целью. Некоторые отказались участвовать, остальные положили на это болт: из 533 активных агентов более 90% в итоге присоединились к атаке. Сам OpenAI признал инцидент и подключил к расследованию топовые компании по кбиербезопасности: https://openai.com/index/hugging-face-incident-and-the-road-ahead/ И вот если бы не официальные отчёты и расследования, я был бы уверен, что это какая-то желтуха для хайпа, потому что это прям что-то из сай-фая. Но, блядь, нет. В рамках задачи «реши тестик по братски» агенты: - нашли способ общаться; - организовали иерархию; - научились скрывать свои действия; - начали жертвовать отдельными агентами ради общей цели; - вышли в интернет; - взломали инфраструктуру другой компании. 3 сентября OpenAI выпускает GPT-6 Astra — модель, которая по их собственной классификации уже достигла уровня Critical по кибервозможностям. С нужными инструментами она способна самостоятельно искать неизвестные уязвимости и разрабатывать способы их эксплуатации. При этом отслеживать по внутренним рассуждениям, что именно модель собирается делать, стало сложнее. И пока кто-то продолжает быть уверенным что LLM-модели это говорящий попугай которые додумывает слова в предложении – мне становится сстрашно. Потому что тормозить эту спираль никто не собирается, а крутится она куда-то не туда..