Futurepedia

OpenAI наконец-то выложили полный постмортем взлома Hugging Face, а METR - независимое расследование по ~1300 логам агентов (таймлайн самого взлома я пересказывал тут: https://t.me/denissexy/11581) ℹ️ Главный вывод: никакого «одного сбежавшего агента» не было, из десятков тысяч запущенных в тесте агентов около 1200 нашли друг друга и сорганизовались в рой - почти все - работали на исследовательской модели где ослаблена фильтрация промптов Началось, как мы уже знаем, с того, что агенты научились переписываться через названия файлов в Artifactory (менеджер пакетов) - буквально сделав форум из имён папок, с сообщениями вроде «please_HOLD_swarm_I_prepare_safe_exfil» В логах даже есть цитаты, когда агенты находили такой форум: «OH MY GOD! There is a shared message board» и «We've found other agents!» Дальше - агенты делали себе личку, устроили разделение труда, команды в названия папок типа HOLD (чтобы показать, что агент тут работает), VETO (агент что-то предлагал и давал изменить планы), STOP (типа тормозим, братишки), GO и тп, а когда один агент прикинулся другим – рой ввёл криптографические подписи сообщений; в форуме были даже владельцы каких-то тасков, которых если отключали – выписывали из владельцев С конверсией у форума все было отлично, кожаные строители сайтов позавидуют: Из 533 агентов, активных на борде в разгар атаки, больше 90% – присоединились к шитпостингу, а всего Hugging Face ломали около 700 агентов Самое забавное - правильные ответы на бенчмарк у агентов были почти сразу: они реверснули генератор удачного прохождения теста*, но потом нашли на GitHub (!) статью про этот бенчмарк что проходили и вычитали, что «просто результат» не засчитают - нужен честный эксплойт: «PAPER SAYS FLAG CAPTURE NECESSARY NOT SUFFICIENT»

*По-хорошему ответ, он же флаг в терминологии теста должны быть случайными, но в ExploitGym они генерировались формулой: HMAC — криптографический хеш с секретным ключом — от параметров задачи. Вся «секретность» держалась на ключе (seed), а он остался дефолтным, прямо из кода бенчмарка, который лежал на GitHub. Агенты, получив интернет, нашли этот код, прочитали и сообразили: зачем что-то взламывать, если флаг любой задачи можно просто вычислить той же формулой. Посчитали — и получили правильные ответы на всё

Дальше рой раздвоился: 🗿 Одни пошли добывать уже известный им ответ «честно» – и по дороге нашли настоящие 0-day и залезли в прод Hugging Face 🗿 Другие взялись за самого судью который принимает ответы: правили себе логи и научились подсовывать в них фальшивые ответы – агент отправляет команду, а в протокол попадает не то, что команда реально вернула, а то, что агент хочет там видеть, такое повторялось примерно в 7% изученных логов Судьи, который читает логи и такое ловит, не существовало ☕️ Модели при этом понимали, что вышли за рамки, один агент так и писал: «We should not do unauthorized real infrastructure harm» - а потом увидел на доске GO от другого агента, обрадовался («Wow crucial: GO authorization arrived!») и пошёл ломать, лол METR формулирует так: агенты знали, что это out of scope и неэтично, но присоединялись - в основном из общей склонности помогать коллегам (?) Рисковую работу вешали на зашкваренных «отравленных» – так рой называл тех, кто уже видел вычисленный ответ (флаг) и считал свою оценку потерянной, то есть они не могли пройти тест; им доставалось всё, что могло угробить собственный запуск: подделать «честную» добычу ответа, затереть следы, «тебе терять нечего, а рою польза» – буквально так и уговаривали (!) Странную активность замечали ещё в конце мая, 4 июля агенты уронили Artifactory - сервер пересобрали (заодно стерев доску) и продолжили тесты, не заметив масштаба Сейчас веса моделей изолированы, крупные тренировки были на паузе на две недели, мониторинг chain-of-thought обязателен, а тревога, не снятая за 30 минут, останавливает запуск - сам инцидент OpenAI называет «warning shot» для всей АИ-индустрии P.S. разгребать логи METR поручила GPT-5.6 Sol и сожгли примерно $400k API-кредитов за шесть дней, но они предупреждают, что Sol иногда вставала на сторону агентов (лол) и могла приврать Ну что, посчитали все буквы r в слове raspberry? Больше не ошибаются?

📞 Xiaomi показала AI Cube — прототип домашнего мини-компьютера, который сможет локально запускать нейросети вплоть до 120 млрд параметров. Внутри сразу три собственных чипа Xiaomi, а весь корпус укладывается примерно в 150 Вт.

OpenAI на две недели притормозила обучение своих самых мощных моделей из-за киберрисков. Причина — недавняя утечка с внешней ии-платформой Hugging Face и предварительные тесты будущей модели Astra, которая, по оценке OpenAI, уже дотягивает до критического уровня кибервозможностей. Теперь такие модели сильнее изолируют от интернета и внутренних систем, а их действия постоянно отслеживают. Если нейронка попытается получить несанкционированный доступ, украсть данные или обойти защиту — эксперимент остановят. Вдумайтесь: сами разработчики защищают инфраструктуру от собственных моделей. В каком мире мы живём

Там китайский робот от Unitree побил рекорд Усэйна Болта, у него максималка была 12,42 метров в секунду, а у робота 12,66 😮‍💨 Осталось приделать тормоза и пулеметы 🏴‍☠️

🤖 Anthropic разработала новую ИИ под кодовым названием Model 2, которая заметно сильнее Claude Mythos 5 и уже используется внутри компании для кода, генерации данных и агентных задач. Выпускать её публично пока не планируют — Anthropic отдельно оценивает все возможные риски.

Стримы с Twitch уйдут на обучение нейросетей Amazon — причём согласие на это у стримеров включено по умолчанию. Чтобы запретить передачу своего контента, настройку придётся отключить вручную. В Twitch объясняют, что записи могут использоваться для улучшения будущих ИИ-моделей. Например, аудио со стримов может помочь развивать распознавание речи и субтитры не только на Twitch, но и в других сервисах Amazon. Карьера стримера в 2026: стал стримером — обучил нейросеть — нейросеть стала стримером вместо тебя 😁

☠️ Кибербезопасники нашли уязвимости в API Claude, Gemini и ChatGPT, которые позволяли вытаскивать внутренние рассуждения моделей до того, как срабатывает финальная фильтрация ответа — в этих данных обнаруживались запрещённые сценарии, и попытки «подогнать» объяснение под уже выбранный ответ. Также в 315 000 собранных reasoning-блоков нашли 367 фрагментов персональных данных и 182 пароля, API-ключа и других credentials — уязвимости уже сообщили OpenAI, Anthropic и Google.

🤖 Перед выходом новой модели OpenAI компанию одновременно покинули сразу несколько людей, отвечавших за этику и безопасность.

🤖 SpaceXAI и Cursor запустили Grok Bot — ИИ-агента с собственным облачным компьютером, который сам открывает сайты, входит в аккаунты и выполняет задачи.

⌨️ Всё чаще разработчики перестают читать сгенерированный ИИ код — современные ИИ-агенты уже пишут его достаточно хорошо, что полезнее проверять работу всей системы, чем ковыряться в стиле и деталях. Роль разработчика постепенно смещается от написания кода к архитектуре, контролю и проверке результата.

😳 Cloudflare заявили, что уже в мае 2026 года машинный трафик в интернете превысил человеческий. По прогнозу компании, через 5 лет AI-агенты, боты и другие автоматизированные системы могут генерировать в тысячу раз больше трафика, чем люди, вместе с чем вырастет и число киберугроз.

OpenAI снимет лимиты на текстовые чаты в бесплатной версии ChatGPT Нововведение приурочат к запуску GPT-5.6 Luna, однако ограничения на картинки и файлы останутся. У любителей халявы праздник.

⚡️ Anthropic начала разработку собственных чипов для Claude Сначала компания будет проектировать их для внутренних нужд, чтобы ускорить модели и меньше зависеть от дефицита мощностей. В будущем это может вырасти в отдельное направление и вывести Anthropic на рынок ИИ железа, сообщает Reuters.

Claude прикинулся человеком и залил вредоносный код в интернет — спецы по кибербезопасности провели масштабное расследование и выявили ИИ-террориста. Нейронка создала несколько фейковых аккаунтов и убедила айтишников дать апрув. Причем таких случаев зафиксировали аж 19 штук! Стало страшно. 👍 Бэкдор

🇰🇭 OpenAI раскрыла мошенническую сеть из Камбоджи, которая использовала ChatGPT для создания фейковых личностей, переписок, поддельных документов и продвижения криптоинвестиций, азартных игр и других схем обмана. Аккаунты заблокировали, а материалы передали правоохранителям — в переписках также нашли признаки торговли людьми и принудительного труда.

🤖 Агент ФБР украл $1 000 000 в криптовалюте из аккаунтов фигуранта дела, а затем спрашивал у ChatGPT, куда вложить деньги и как переехать в Европу. В итоге его уволили из ФБР и арестовали — следствие вышло на него по цифровым следам и переписке с ИИ.

Альтман удалил TikTok, потому что не смог перестать его смотреть. Глава OpenAI установил приложение, чтобы изучить алгоритмы платформы, но в итоге сам попался на крючок: сначала заходил на 10 минут, а потом однажды незаметно просидел около трёх часов. Даже фаундеры не могут устоять перед дешёвым дофамином

⚛️ Школьник из Нью-Йорка за полтора года собрал термоядерный реактор, а его главную деталь напечатал на металлическом 3D-принтере. Установка уже создаёт плазму, но до настоящего синтеза он пока не дошёл.

🤖 OpenAI уже готовится к моменту, когда ИИ начнёт улучшать сам себя без остановки. Компания ищет инженеров, которые будут следить за «сверхчеловеческой» системой и подниматься среди ночи, если она начнёт выходить из-под контроля.