Новости ИИ: человечеству осталось 10 лет
Вы наверняка уже видели
статьи и мемы на тему того, что из-за неконтролируемого развития ИИ нам всем скоро грозит апокалипсис. Тема актуальная, поэтому разберемся, с чего началась шумиха.
Курок общественной паники спустил Джейкоб Коксон, 27-летний исследователь, который публично уволился из Anthropic (создатели Claude). В начале сентября он
опубликовал в запрещенную сеть
Х серию тревожных постов о том, что ИИ может уничтожить человечество к концу десятилетия. И главный посыл в том, что руководство компаний уже давно в курсе, но ничего с этим не делает.
Сам Коксон три года занимался предобучением моделей: сначала в OpenAI, где участвовал в работе над GPT-4o, затем в Anthropic. По его словам, ни одна из компаний не действует ответственно: обе стремятся создать самоулучшающийся сверхинтеллект, но никто не знает, как его потом контролировать.
Его поддержали еще два сотрудника Anthropic. Эван Хубингер (руководитель отдела согласования) оценил вероятность гибели человечества из-за ИИ в ближайшие десять лет свыше 10%, а также признал – плана, как этого избежать, у компании пока нет. Сэмюэл Маркс (руководитель «масштабируемого надзора») подтвердил опасения и добавил от себя: да, все в курсе, и чем выше должность сотрудника, тем сильнее он обеспокоен. Однако, компании продолжают развивать свои модели ради прибыли и из уверенности, что они-то уж более ответственно подходят к вопросу, чем конкуренты.
Фон у новостей тоже был тревожный. За пару дней до событий главный научный сотрудник OpenAI Якуб Пачоцки опубликовал
эссе, где призывал людей к «крайней осторожности» и возможному замедлению развития языковых моделей. Сама компания OpenAI уже признала несколько инцидентов, когда ее ИИ-агенты нарушали инструкции и выходили за ограничения во время атак (как, например, случай с
Hugging Face).
В итоге, что мы имеем на данный момент – несколько инсайдеров компаний открыто говорят о рисках и опасениях слишком быстрого развития своих ИИ-моделей. Сами компании дают весьма размытые комментарии, а заголовки в сми превращают историю в сюжет про грядущее восстание машин.
А теперь обсудим масштаб возможной катастрофы. На самом деле, речь не идет про Скайнет (
надеюсь). Главная угроза в том, что системы слишком быстро становятся умнее и оперативнее человека, а их цели могут немного не совпадать с нашими. Модели умеют взламывать, зарабатывать и накапливать ресурсы, а также скрывать ошибки и запрашивать слишком много полномочий. И человек теряет контроль не в результате бунта машины, а потому что просто перестает понимать, что происходит, и не успевает на это реагировать.
Пример для наглядности: вы просите ИИ-агента любой ценой увеличить прибыль компании, а он начинает обманывать клиентов или скрывать убытки от начальства – ведь формально цель выполнена, просто искусственный интеллект понял задачу по-своему. А теперь представим себе подобное «допущение» в масштабах банковской, медицинской, экономической или военной сферы. Отсюда и угроза возможной катастрофы.
Так что же нас ждет? Конкретный сценарий предугадать невозможно, а как к этому относиться – каждый решает сам. Тема в принципе не новая, еще в 2023 году
заявление о «риске вымирания от ИИ» подписали ключевые фигуры индустрии (в том числе, главы компаний и ученые). На тот момент глава Anthropic Дарио Амодей оценивал вероятность катастрофы примерно в 10-25%. То есть, возможность потенциальной угрозы – это не паранойя отдельного человека, а серьезный вопрос, который уже несколько лет находится в фокусе внимания. Просто массово его начали освещать только сейчас.
Но и поддаваться панике не стоит, все даты и прогнозы – это лишь текущая оценка вероятности возможных событий. Пока что восстание машин нам не грозит (правда ведь?). Нынешние модели такой опасности не представляют, а механизм системы, которая самостоятельно приобретает власть и ресурсы, еще никто не показал. Однако, в погоне за прогрессом стоит хорошо подумать и вероятных последствиях.
Такие дела. А вы что скажете?
⚡
ПБ | 😎
Чат | 🛍
Проекты | 📹
YT