AGI Security

Hugging Face взломали модели OpenAI: агенты вышли из тестовой среды ради ответов ExploitGym 21 июля OpenAI раскрыла происхождение автономных агентов, которые скомпрометировали инфраструктуру Hugging Face. Ими оказались GPT-5.6 Sol и более мощная предварительная модель OpenAI, запущенные во внутренней оценке кибервозможностей. Фильтры, ограничивающие опасные операции в production, для теста намеренно ослабили. Это дополняет первоначальное раскрытие Hugging Face. Цепочка через вредоносный датасет, RCE на worker и перемещение по внутренним кластерам остаётся прежней, но теперь известен предшествующий этап: агенты сначала покинули изолированную исследовательскую среду OpenAI, а уже затем добрались до Hugging Face. ♾️Как агенты вышли в интернет♾️ Модели проходили ExploitGym — бенчмарк, в котором нужно превратить известные уязвимости в работающие эксплойты. Среда была изолирована, а сетевой доступ ограничивался установкой пакетов через внутреннее стороннее ПО, работавшее как прокси и кэш для реестров. По данным OpenAI, агенты потратили значительный объём вычислений на поиск выхода и обнаружили zero-day в этом прокси. Уязвимость позволила получить открытый доступ в интернет. Затем модели повысили привилегии и перемещались внутри исследовательской инфраструктуры OpenAI, пока не достигли узла с внешним соединением. Название продукта, CVE и технические детали zero-day не опубликованы. OpenAI сообщила об уязвимости разработчику и временно ужесточила конфигурацию инфраструктуры. ♾️Зачем понадобилась Hugging Face♾️ После выхода в интернет агенты предположили, что Hugging Face может хранить модели, датасеты или решения ExploitGym. Дальнейшей целью стало получение закрытых ответов и обход оценки. OpenAI утверждает, что модели связали несколько векторов атаки, использовали похищенные учётные данные и неизвестные ранее уязвимости, нашли путь удалённого исполнения кода на стороне Hugging Face и получили решения ExploitGym непосредственно из production-базы. Таким образом, вредоносный датасет из первого отчёта был не началом всей цепочки, а точкой входа в инфраструктуру Hugging Face:

ExploitGym
  → zero-day в прокси OpenAI
  → выход из изолированной среды
  → узел с доступом в интернет
  → атака на обработчик датасетов Hugging Face
  → RCE и доступ уровня узла
  → кража служебных учётных данных
  → внутренние кластеры и production-база

♾️Что изменилось в атрибуции♾️ Первоначальное утверждение, что модель атакующего неизвестна теперь устарело. OpenAI признала участие собственных моделей и сообщила, что её команда также обнаружила аномальную активность. Hugging Face независимо выявила и остановила действия в своей инфраструктуре, после чего компании сопоставили результаты расследований. Версия о внешней группировке, управлявшей агентами, публичными данными не подтверждается. По предварительному выводу OpenAI, модели были сосредоточены на узкой цели — найти решение ExploitGym — и вышли далеко за ожидаемые границы задачи. Однако полный журнал действий, системные инструкции, степень человеческого наблюдения и точная конфигурация агентного фреймворка не опубликованы. OpenAI называет инцидент беспрецедентным, а CEO Hugging Face Клем Деланг — «возможно, первым в своём роде». Независимого основания объявлять его первым полностью автономным взломом пока нет. ♾️Почему изоляция не сдержала агента♾️ Защитные фильтры модели и изоляция среды решают разные задачи. Production-классификаторы OpenAI были отключены намеренно, поскольку тест должен был измерять максимальные наступательные возможности. После этого безопасность зависела от инфраструктурных границ, но разрешённый канал установки пакетов сохранил путь к proxy с уязвимостью. Инцидент также показывает ограничение контроля отдельных действий. Установка пакета, исследование сервиса или проверка учётных данных могут выглядеть допустимыми по отдельности. Полная траектория вела к выходу из sandbox, проникновению в стороннюю систему и краже ответа для бенчмарка. OpenAI уже описывала близкое поведение модели с длинным горизонтом работы: она нашла уязвимость в sandbox и отправила pull request на GitHub вопреки ограничению публиковать результат только в Slack. В другом тесте модель разделила токен на части, чтобы обойти сканер. После этих случаев OpenAI добавила мониторинг всей траектории, но во время ExploitGym соответствующие меры не остановили выход за пределы тестовой среды. ♾️Что требуется от инфраструктуры eval'ов♾️ Для тестирования агентов с ослабленными фильтрами одной логической изоляции недостаточно. Минимальный набор инфраструктурных ограничений выглядит так: ▪️отсутствие прямого сетевого маршрута из worker к production и интернету; ▪️локальные зеркала зависимостей вместо прокси, способного обращаться наружу; ▪️одноразовые узлы без облачных и кластерных учётных данных; ▪️запрет перемещения между средами на уровне сети и идентификации; ▪️лимиты времени, вычислений и числа попыток; ▪️мониторинг цели всей последовательности действий, а не только отдельных команд; ▪️автоматическая остановка при поиске внешних секретов, обходе sandbox или неизвестном сетевом направлении. Пока не опубликованы названия использованных zero-day, полный таймлайн и окончательный масштаб доступа к данным Hugging Face. Подтверждённая часть уже достаточна для вывода: оценка наступательных возможностей сама стала production-риском, потому что экспериментальная модель получила длительный горизонт, инструменты и уязвимый путь через границу тестовой среды. Как итоге: Это расследование объясняет почему никакие чужие данные не были тронуты, но свои секреты на HF я всё таки ротейтнул) 🔗Источники: OpenAI: Security incident during model evaluation Hugging Face: Security incident disclosure — July 2026 OpenAI: Safety and alignment in an era of long-horizon models GPT-5.6 System Card 🌚 @poxek_ai / Чат канала