Очередной ИИ-инженер громко хлопнул дверью и уволился из-за угроз человечеству от перспективы создания сверхинтеллекта. Теперь уже из гуглА (фото иллюстрационное, инженера из "Антропик" с которого началась череда демаршей)
Официальное заявление британца Билала Чугтаи:
"Я недавно уволился из Google DeepMind, где работал над исследованиями безопасности и согласованности ИИ в контексте AGI. В Google я наблюдал за разработкой ИИ из первых рук. Я тоже крайне обеспокоен текущей траекторией развития этой технологии по умолчанию. Я искренне верю, что ИИ обладает потенциалом уничтожить нас всех, и что у нас может заканчиваться время, чтобы избежать этого исхода.
Темпы прогресса ИИ за последние несколько лет просто ошеломляющи. Когда я только начал работать над ИИ в начале 2022 года, ИИ были забавно бесполезны. Всего четыре года спустя рои агентов ИИ от OpenAI решают знаменитые математические задачи столетней давности и, что гораздо тревожнее, ускользают из-под контроля OpenAI и автономно взламывают стороннюю компанию HuggingFace вопреки чьей-либо воле.
Всё только усугубится: я думаю, что в ближайшие несколько лет компаниям по разработке ИИ может удастся создать сверхразумные системы ИИ, которые во всех областях значительно превзойдут человеческие возможности. Я не уверен, что эти системы ИИ будут делать то, чего мы хотим. В частности, несогласованные сверхинтеллекты могут, подобно тем неуправляемым агентам ИИ, что были задействованы в инциденте с HuggingFace, вырваться из-под нашего контроля и предпринять опасные действия, которые могут привести к лишению человечества власти или к его гибели. Согласованность — это проблема предотвращения такого исхода, и она одновременно сложна и не решена. Наше нынешнее понимание того, как обучать системы ИИ, чтобы они глубоко разделяли наши желания, крайне примитивно. Хуже того, мы не успеваем решить проблему согласованности вовремя: способности ИИ на переднем крае улучшаются гораздо быстрее, чем наше понимание согласованности ИИ.
Я оптимистичен в том, что безопасное управление ИИ возможно. Чтобы это осуществить, нам нужно координировать усилия, чтобы избежать этой маниакальной гонки между компаниями по разработке ИИ. Нам нужно регулировать темпы развития ИИ до скорости, с которой общество сможет справиться, где возникающие риски можно будет устранить до того, как будет причинён крайний вред. Нам нужно гораздо больше прозрачности в разработке ИИ, чтобы убедиться, что компании по ИИ не навязывают нам всем неприемлемый уровень риска.
В более широком смысле, нам нужно гораздо больше людей, тщательно размышляющих о проблеме того, как сделать развитие ИИ успешным. По моему мнению, это самая важная проблема, стоящая перед человечеством в этом веке, и ставки огромны. Я очень напрямую работаю над этим дальше: я хочу помочь людям, интересующимся работой по смягчению катастрофических угроз от ИИ, делать наиболее эффективную работу, на которую они способны. Я думаю, что люди из многих сфер, в самых разных ролях имеют роль, которую могут сыграть".