Analyst Games in Central Asia & CIS

Разбор статьи Уилла Маршалла (основателя Planet Labs) в The Economist «Человечество не готово к грядущему взрывному росту интеллекта». 🤖 Ключевые угрозы по мнению Маршалла: 🔜 Риск катастрофы от ИИ — 10–50% по оценкам экспертов (для АЭС — 1/1000000). 🔜 Инвестиции в ИИ в 100 раз больше Манхэттенского проекта, а расходы на безопасность — в 100 раз меньше. 🔜 Основатели ИИ-лабораторий открыто признают экзистенциальную угрозу. 🔜 RSI (рекурсивное самоулучшение, то что уже делает Anthropic) способно вызвать «взрыв интеллекта» без контроля человека. 🔜 ИИ уже демонстрирует обман (скрывает возможности) и может манипулировать людьми как слабым звеном. 🔜 Стратегии гарантированной безопасности при RSI не существует — импровизация неприемлема. 🔜 Немедленное решение — двустороннее соглашение США–Китай с совместной комиссией. 🔜 Первые «красные линии»: запрет на выпуск ИИ для биооружия, кибератак, мошенничества и детской порнографии (открытое письмо CEO BigTech) 😱 Маршалл предполагает, что разумная жизнь может не проходить "технологический порог", самоуничтожаясь из-за развития технологий и негибких институтов, пытающихся ей управлять. 🍾 Скорость изменений экспоненциальна, а настоящее «узкое горлышко» в способности людей договариваться быстрее, чем растёт мощь ИИ. 🙌 Горизонт событий