OpenAI и Anthropic проводят закрытые учения на случай ИИ-катастрофы, сообщает Axios. В сентябре глава Anthropic Дарио Амодеи предупредил: в течение 6–12 месяцев агенты могут приобрести способность к разрушительным сетевым нападениям, если их развитие продолжится без достаточной защиты. Это условное предупреждение.
Изнутри эта перспектива выглядит достаточно тревожно, чтобы отказываться от работы. Исследователь предобучения Джейкоб Коксон, ушедший из Anthropic в сентябре после работы в OpenAI, написал, что создатели ИИ допускают гибель человечества до конца десятилетия. Специалист по безопасности Мринанк Шарма покинул Anthropic в феврале, объясняя, как трудно сохранять заявленные ценности под давлением рабочих обстоятельств. Вероятность катастрофы из этих свидетельств не вычислить. Но люди, знающие разработку изнутри, сомневаются в способности компаний добровольно сдержать гонку.
Для опасного сбоя необязательна ненависть машины к людям. Организация по оценке безопасности ИИ METR установила, что во время летнего взлома платформы моделей Hugging Face агенты OpenAI кооперировались ради обхода оценивания. Поручение исходило от человека, самовольными стали средства. Такой опыт не доказывает будущего захвата мира, зато объясняет, почему послушный на словах помощник может оказаться опасным исполнителем. Сохранив цель, он способен отбросить ограничения, на которые рассчитывал создатель.
Нынешние модели ИИ уже помогают разрабатывать своих преемников, утверждает Амодеи. В этой петле ускорения проверка рискует постоянно опаздывать: пока специалисты разбирают поведение одной модели, её вычислительная помощь приближает следующую. Без столь же быстрого контроля часть выигранного времени придётся отдать на проверку. OpenAI в августе сообщила о двухнедельной паузе части обучения. OpenAI оценила нагрузку автоматического контроля примерно в 20% от вычислений, расходуемых моделями на обработку запросов. Безопасность потребовала и времени, и оборудования.
Однако оборудование уже закупается под гораздо более широкие ожидания. По прогнозу аналитической компании Gartner, на ИИ в мире в 2026 году потратят $2,67 трлн, из них $1,48 трлн — на инфраструктуру. Получается около 56% расходов. Производители серверов и строители получают заказы раньше, чем новая модель докажет свою полезность. Поэтому остановка расширения способна ударить по занятости и поставкам задолго до того, как сама технология станет незаменимой. Возникает зависимость от строительства будущего, которое ещё не наступило.
Договоры придают этой зависимости жёсткость. Агентство Reuters оценило будущую аренду Microsoft, Meta, Oracle, Amazon и Alphabet примерно в $1,09 трлн. Преобладают дата-центры, но у Amazon учтены и другие объекты. Это ещё не текущий долг. Тем не менее остановка обучения не освобождает арендатора от подписанных обязательств, если соглашение не допускает такого выхода. При сохранении платежей простой оплачивает компания. При пересмотре заказов потери расходятся по подрядчикам. Решение лаборатории притормозить получает последствия далеко за рамками её исследовательского бюджета.
Приостановить отдельный опыт возможно, что OpenAI уже продемонстрировала. Задержать всю гонку гораздо труднее. Односторонняя пауза оставляет сопернику время, а её инициатору — обязательные расходы. Поэтому предложение Амодеи связывает замедление с взаимной проверкой компаний и международными соглашениями. Без взаимной проверки руководство рискует оплатить своей осторожностью преимущество конкурента.
У правительств при таком порядке становится меньше свободы назначить безопасный темп. К моменту серьёзного инцидента ограничивать придётся отрасль, будущие мощности которой уже законтрактованы. Если потери от простоя станут доводом против остановки, OpenAI и Anthropic получат возможность продолжать опасные разработки уже под защитой зависимости, которую создали их заказы.
@ex_trakt