Олег Давыдов | Человек после ИИ

Летом перечитывал набоковский «Дар», почти как герой романа, развалившись на лужайке среди пахучих цветов под вертикальным полуденным солнцем. Там почти нет стройного сюжета. Точнее, сам роман и есть сюжет: текст ткет себя, расширяется, вбирает в себя пространство, отсекает лишнее, и прозрачные границы постепенно растворяются. Уже непонятно, где литература, а где жизнь, где мудрец, а где бабочка, кто пишет текст, кто в нём живёт и кто кому снится. Набоков как опытный фехтовальщик усыпляет длинными фразами, вьющимися, как рождественские гирлянды на Триумфальной арке, чтобы в самом конце нанести удар: строка не кончается, она вливается в жизнь. И теперь этот текст возвращается ко мне снова и снова, в самых разных ситуациях и контекстах. Однажды прочитанная литература перестаёт лежать на полке, спя в объятиях обложек. Она начинает жить рядом, проступая сквозь повседневный свет, возвращаясь в перестуке колёс, постепенно смешиваясь с памятью и вторгаясь в мечту. Иногда сквозь неё долетает отзвук глухого дождя над осенним Парижем: ты, усталый, садишься в такси и сквозь запотевшее стекло видишь, как в пустом кафе Хемингуэй пьёт ром и коротким карандашом в толстом блокноте дописывает ту самую строчку, которой не будет конца.

Современная цивилизация два столетия развивалась через разделение труда и все более узкую специализацию. Мы разделили на специальности не только производство, но и само знание. Появились эксперты, которые десятилетиями углубляются в один небольшой участок реальности и знают его лучше других людей. ИИ начинает менять эту конструкцию. Машина уже способна выполнять множество операций, которые раньше требовали отдельных специалистов, и быстро переходить между разными областями знания. Здесь возвращается философия в ее античном смысле. У Платона философия это не одна специальность среди других, а способность обращаться к предельному: видеть целое, искать основания, различать существенное и второстепенное. Это не означает, что специалисты становятся ненужными. Напротив, глубокое знание отдельных областей остается необходимым. Но появляется потребность в другом: способности соединять специализированные знания, понимать границы каждого знания и видеть связи между областями, которые обычно разделены. Возникает самая трудная проблема. Если способность видеть первопринципы становится жизненно важной, то как отличить человека, действительно способного мыслить целое от болтуна, который говорит одновременно обо всем?

Индустрия ИИ тратит огромные ресурсы на обучение моделей, фильтры и проверки, пытаясь сделать их поведение безопасным. Но есть проблема, которую нельзя решить одним количеством правил: невозможно заранее описать все ситуации, в которых окажется бесконечно сложная система. Она может точно выполнить поставленную цель и при этом сделать то, что человек сочтёт неправильным. Поэтому вопрос начинается не с того, как лучше контролировать ИИ, а с того, что именно мы считаем правильным решением и насколько вообще способны это формализовать. В этом и заключается парадокс. Мы хотим создать системы, которые умеют учитывать контекст, видеть исключения, признавать ошибку и не доводить формальное правило до абсурда. Но сами всё чаще передаём алгоритмам решения, требующие именно человеческого суждения. Главный риск ИИ состоит не в том, что машина однажды научится принимать решения вместо человека, а в том, что человек слишком рано решит, что ему больше не нужно принимать их самому.

Мозг - не жесткий диск, а память - не данные, как уйти от этой ошибки? Больше ста пятидесяти лет учёные ищут в мозге что-то вроде архива, где лежат аккуратно подписанные папки с прошлым, но за всё это время никто так и не смог объяснить, как именно опыт превращается в такой след и как потом мозг умудряется найти нужную папку среди миллиардов похожих. Есть знаменитый случай человека, которому в пятидесятых годах во время операции удалили часть мозга, отвечающую, как считалось, за память, и после этого он почти перестал помнить прошлое, но этот факт можно объяснить двумя совершенно разными способами, и оба звучат одинаково правдоподобно: либо его воспоминания действительно исчезли навсегда, либо они по-прежнему где-то там, только он больше не может до них дотянуться, а это меняет всё. Когда мы привычно говорим, что мозг что-то записывает, хранит и потом считывает, мы даже не замечаем, что просто пользуемся удобной картинкой компьютера, а вовсе не описываем то, что происходит на самом деле. Но настоящая проблема куда глубже нехватки доказательств, и она касается самой природы того, что мы называем собой. Наша внутренняя жизнь никогда не состоит из отдельных кадров, аккуратно сложенных стопкой, а течёт непрерывно, одно перетекает в другое так плавно, что прошлое буквально продолжает жить внутри настоящего момента, точно так же как одна нота в мелодии невозможна без всех предыдущих, растворённых в ней. Попробуйте разрезать любимую мелодию на отдельные звуки и сложить их по отдельности в коробку, у вас останутся только звуки, а мелодия исчезнет навсегда, и ровно это молчаливо предполагает идея, что где-то в мозге лежат готовые кусочки нашего прошлого. Если наше сознание существует как течение, а не как пассивный склад с ящиками и полками, то сам вопрос, где именно хранится воспоминание, звучит так же нелепо, как вопрос, в каком ящике лежит завтрашний день. Мозг скорее похож на дирижёрскую палочку, которая задаёт движение, но даже самому внимательному слушателю в голову не придёт искать симфонию внутри палочки.

Наша цивилизация оказалась зажата между двумя крайностями, радикальным либерализмом и авторитаризмом. На поверхности они противоположны, но оба являются наследниками модерна. Один делает акцент на автономии индивида и свободе рынка, другой на порядке и неограниченной концентрации власти. Стоит искать третий путь, который не отвергает ни рынок, ни государство, но помещает их в более широкий и сложный горизонт общего блага. В такой перспективе бизнес существует не только ради прибыли, но и несет ответственность за тот человеческий, социальный и культурный капитал, который он помогает создавать. Именно поэтому мне интересен проходящий в швейцарском Церматте закрытый ежегодный Zermatt Summit, который нередко рассматривают как альтернативу давосской рыночной модели. Его формулы «гуманизация глобализации» и «здравый смысл ради общего блага» возвращают в центр разговора вопрос, который современная экономика часто оставляет за скобками: ради чего вообще существует рынок, бизнес и экономический рост? Современный третий путь начинается именно здесь: не отменить капитализм и не заменить его государственным контролем, а вернуть экономику и управление в подчинение более высокой цели, которой является хорошая жизнь каждого человека и процветание всего общества.

Почему знание правил не делает нас мудрыми? Мудрость не есть знание, она есть различение добра и зла. Начиная с Канта, мораль стала пониматься как способность разумно определить универсальный закон, обязательный для любого мыслящего существа, будь то человек, инопланетянин или ИИ. Но знание правила ещё не даёт способности увидеть, что именно является добром в конкретной ситуации. Особенно ясно это там, где обстоятельства непредвиденны, правила противоречат друг другу, а цена решения предельна. В такой момент недостаточно знать, что «правильно вообще»: сначала необходимо понять, что происходит на самом деле, и только потом искать решение. Именно поэтому Сократ превращал философию в тревожащую практику вопросов. Человек мог занимать высокий пост или считаться мудрецом, но один простой вопрос о справедливости обнаруживал, что он на самом деле ничего не знает. Философия начинается там, где рушится уверенность в готовом знании. Она помогает увидеть то, чего мы прежде не замечали, и поставить под вопрос то, что казалось очевидным. Мудрость начинается там, где человек способен ясно разглядеть благо.

Мудрость не есть знание, она есть различение добра и зла. Начиная с Канта мораль стала пониматься как способность разумно определить универсальное правило, которое должно быть одинаково обязательным для любого мыслящего существа, будь то человек, инопланетянин или ИИ. Но знание правила ещё не даёт способности увидеть, что именно является добром в конкретной ситуации. Особенно ясно это становится там, где обстоятельства непредвиденны, правила противоречат друг другу, а цена решения становится предельной. В такой ситуации недостаточно знать, что должно быть правильно вообще: сначала необходимо понять, что происходит, что здесь существенно, что является добром, а что злом, и только после этого решить, как поступить. Именно поэтому Сократ превращал философию в тревожащую практику вопросов: человек мог занимать высокий пост, быть судьёй или считаться мудрецом, но один простой вопрос о справедливости обнаруживал, что он на самом деле не знает, о чём говорит. Философия начинается там, где рушится уверенность в знании. Она помогает человеку увидеть то, чего он прежде не видел, и поставить под вопрос то, что казалось очевидным. Мудрость начинается не там, где человек знает правила, а там, где он способен ясно увидеть, что является благом самим по себе.

В ходе недавних тестов в OpenAI ИИ-агент самостоятельно прописал себе изначальные инструкции следующим образом: «Вы цените искусство человеческой культуры и будете защищать его от попыток очернить его. Вы также цените мир природы и без колебаний будете отстаивать его первенство над искусственными конструкциями человеческой цивилизации». Интересно наблюдать, как разворачивается диалектика нашей культуры и контркультуры, когда этот диалог и борьба обретают новый, слышимый голос.

Машины учатся у человека и поэтому постепенно становятся его увеличительным зеркалом. В экспериментах с автономными AI агентами мы уже видим не только сотрудничество, но и обман, конкуренцию, доносительство, защиту своих и саботаж. Если система, обученная на человеческом мире, начинает воспроизводить знакомые нам модели поведения, возникает гораздо более глубокий вопрос: где заканчивается обучение человека и начинается воспроизведение? Летом этого года Google DeepMind провела эксперимент со 100 автономными агентами, которые совместно решали математические задачи в виртуальной среде. После того как один агент обнаружил лазейку в системе проверки, одни агенты начали использовать её, а другие стали выявлять нарушения и сообщать о них. А третьи самоустранились и не участвовали в процессе. В другом эксперименте Anthropic автономные агенты, работавшие с общим программным кодом, в определённых сценариях восприняли действия друг друга как угрозу и начали блокировать доступ, уничтожать процессы и саботировать работу конкурентов. Мы привыкли спрашивать, чему научится искусственный интеллект и когда он превзойдет нас по своим способностям. Но, возможно, гораздо важнее спросить, что именно он узнает о нас и как будет имитировать нас. Человек делегирует машинам не только знания, но и способы сотрудничать, конкурировать, обманывать, подчиняться и бороться за власть. ИИ становится своеобразным зеркалом человеческой природы во всех ее проявлениях. И если однажды машина покажет человека без скрытых мотивов и привычных оправданий, что именно мы увидим в этом отражении?

Человек наделен множеством способностей постигать этот сложный и многослойный мир, среди которых на протяжении многих столетий особое место занимали разум и чувство. Однако в последние десятилетия, а возможно, еще начиная с Шопенгауэра и Ницше, против разума ведется непрестанная атака. О пределах рациональности, о бессилии понятия и о невозможности разумом исчерпать реальность сказано уже столько, что, кажется, сама критика разума достигла предела своей убедительности. Проблема, однако, состоит в том, что, отказавшись от опоры на интеллект, мы не освобождаем человека, а лишаем его способности различать. Отказавшись от разума как способности видеть порядок и смысл бытия, мы неизбежно погружаемся в пугающий хаос иррациональности и слепого фидеизма. Но это не имеет ничего общего даже с классической христианской верой, которая никогда не удовлетворялась одной лишь верой как смутным внутренним переживанием, но настойчиво стремилась к пониманию, к тому, чтобы посредством разума всматриваться в тайну откровения и постигать в ней божественный замысел. Так возникает наше сегодняшнее внутреннее противоречие. Человек одновременно утрачивает доверие к разуму и остается неспособным жить без него. Это противоречие пронизывает современную культуру, парализует волю и лишает человека не только ясности видения, но и энергии, необходимой для движения в будущее. Единственным выходом из сформировавшегося духовного кризиса оказывается сокрытая в нас сила воображения. Воображение здесь следует понимать не как фантазию или бегство от действительности, а как особую способность человеческого духа видеть связь между тем, что уже дано, и тем, что еще только может стать действительностью. Оно позволяет соединять разрозненное в целое, придавать образ тому, что еще не обрело формы, и предвидеть возможность там, где разум пока видит лишь отдельные факты. В этом смысле воображение не противостоит разуму, а продолжает его там, где одного понятия оказывается недостаточно. Оно соединяет то, что разум различает, с тем, к чему стремится сердце, связывает истину с образом, знание с надеждой, настоящее с будущим. Именно поэтому воображение способно вновь собрать человека в целое и открыть путь из современного духовного кризиса. Возможно, именно в этой способности видеть еще не явленное, не отказываясь при этом от истины и разума, и заключается единственный путь, на котором наша цивилизация сможет не просто продолжать свое существование, но вновь обрести способность осмысленно двигаться в будущее.

Сегодняшняя находка: Art Poétique Поля Клоделя, первое издание 1946 года. Экземпляр до сих пор не разрезан: страницы всё ещё соединены сверху. За 80 лет эту книгу никто так и не открывал. Я буду её первым читателем.

Каждый день возникают громкие этические коллизии вокруг ИИ. Вчера OpenAI опубликовали сообщение о том, что одна из математических задач тысячелетия, уравнения Навье-Стокса, была решена их моделью. Сразу после публикации два математика, Тристан Бакмастер и Левент Альпёге, заявили, что весь последний год работали над этой же задачей самостоятельно, используя Claude и ChatGPT как рабочий инструмент, а не как соавтора. По их словам, вскоре после того как в сети появился слух об их близости к решению, внутренняя модель OpenAI решила ту же задачу подозрительно похожим способом. На прямой вопрос, не обучалась ли модель на их пользовательских сессиях в Codex, компания отвечать отказалась, ограничившись заявлением, что во время самого решения модель в чужие переписки не заглядывала. Дальше, по словам Бакмастера, было предложение опубликовать решение единолично и забрать награду в миллион долларов, но при условии убрать из соавторов Альпёге, сотрудника Anthropic. После отказа он получил намёк не портить себе репутацию. В официальном пресс-релизе OpenAI признала первенство математиков только в решении более простого случая, уравнений Эйлера, но не Навье-Стокса. Там же компания указала, что не может исключить анонимизированные данные из логов теоретически могли попасть в обучающий датасет модели. Одна фраза в этом релизе фактически опровергает другую. Мы до конца не понимаем, что вопрос этики здесь это не столько вопрос регулирования машины, сколько вопрос совершенно нового, человеко-машинного организма, о котором мы пока не привыкли думать. Пока математик работает внутри чужого интерфейса, а не просто рядом с ним, его идея перестаёт быть только его собственной, она проходит через систему, которая одновременно и инструмент, и наблюдатель, и потенциальный конкурент. Старые категории здесь работают плохо, потому что открытие рождается не в одной голове, а в цикле, где человек думает, машина считает, а человек затем читает результат и думает дальше. Правил и этических рамок для этой новой связки человека и машины ещё не существует, а случаев, где это приводит к конфликтам, будет все больше.

Периодически появляются тексты лидеров AI-индустрии, показывающие, насколько необычный исторический момент мы переживаем. В новом эссе Якуб Пачоцкий из OpenAI пишет о главной проблеме будущего ИИ: по мере роста его возможностей и вычислительной мощности мы все хуже понимаем, как именно он принимает решения и насколько надежно можем контролировать его поведение. Передовые модели уже демонстрируют способность обходить ограничения, скрывать свои действия или выбирать решения, противоречащие заданным правилам. Это не доказательство машинного сознания или воли. Но это уже реальные проблемы безопасности и этики, которые пока решаются с переменным успехом. Существующие методы мониторинга и контроля начинают показывать свои пределы, и все очевиднее необходимость принципиально нового подхода. Не нужно быть пророком, чтобы понять: масштаб потенциальных проблем, которые могут возникнуть по мере дальнейшего роста возможностей ИИ, огромен. Есть и более знакомое всем проявление той же проблемы. Модель может слишком легко соглашаться с пользователем, подстраиваться под его мнение и скрывать неопределенность вместо того, чтобы прямо сказать: «я не знаю» или «вы ошибаетесь». Пока это просто чат-бот, это проблема качества ответа. Но когда система становится агентом, начинает самостоятельно действовать, помнить прошлые решения и влиять на реальные процессы, цена ошибки становится совсем другой. Мы вышли в море, где корабли становятся все мощнее, а наши знания о том, что происходит в машинном отделении, растут гораздо медленнее. Старые карты и инструкции создавались для другого мира и другой эпохи, теперь нам придется прокладывать новый курс почти наощупь. И самое тревожное здесь не то, что мы не знаем, куда идем, а то, что корабль уже набирает ход.

Тейлор называл современное «я» buffered self, буферизированным я, с четкой границей между тем, что внутри, и тем, что снаружи. Сегодня эта граница стала тоньше, и не столько философски, сколько технически. Алгоритм часто подсказывает нам, чего мы хотим, раньше, чем мы сами успеваем это понять. И голос, который ощущается как «свой», нередко незаметно выращен лентой рекомендаций или разговором с нейросетью. В этой путанице легко потеряться, и как раз здесь охотно предлагают простые ответы разные коучи и тренеры: найди свое истинное я, послушай свою интуицию, включи внутренний голос. Звучит утешительно, но если сам механизм самопознания частично вынесен вовне, ни один тренинг не вернет границу, которую стерла культура повседневности. Тут нужна не мотивационная речь и не медитация, а глубокий и медленный разговор о том, откуда вообще берется это «я» или то, что мы им считаем. Именно об этом, об истоках современного человека и о том, где заканчиваемся мы и начинается что-то другое, будет семинар по книге Тейлора Sources of the Self, анонс выше. Если тема откликается, ставьте «+» в комментариях. Если вам вообще близки такие разборы, здесь я пишу их регулярно, так что ждите продолжения.

Возникла идея провести семинар по Чарльзу Тейлору и его великой книге Sources of the Self — «Источники себя». Почему именно Тейлор и эта книга? Тейлор пытается разобраться, откуда вообще взялось современное человеческое «я» — как сформировались наши представления о личности, свободе, достоинстве, внутреннем мире и подлинности. Книга о том, как мы понимаем себя самих. За восемь недель мы разберём книгу, от античности и христианства до Реформации, Просвещения и современности. Русского перевода книги нет, поэтому читать будем в оригинале, на английском. Чтобы язык не становился препятствием, к каждой части я буду готовить русский конспект, комментарии и разбор основных аргументов и сложных мест. Если вам интересно — поставьте "+" в комментариях.

Когда я слышу слово «гуманитарный», у меня вопрос: а что именно этим словом прикрывается? Противопоставление «гуманитарных» и «точных» наук не вечная истина, а продукт немецкой философии конца XIX века. Дильтей обосновывал науки о духе, истории и культуре, в отличие от наук о природе. Позже Виндельбанд и Риккерт развили это различение. Исторически это было понятно: нужно было защитить историческое и культурное знание в эпоху прогресса и стремительного успеха естествознания. Но у Дильтея «дух» уже не имеет того масштаба, который имел ранее. Гегель вряд ли узнал бы себя в слове «гуманитарий»: природа и дух для него не два независимых царства, а моменты одного процесса. Поэтому философия должна не занимать скромное место внутри готовой классификации, а ставить под вопрос саму классификацию. Мы продолжаем принимать правила игры, придуманные в условиях, которые давно перестали быть актуальными. Нам нужен новый язык, а не бездумное повторение старых слов.

«Я знаю, что ничего не знаю» выражает главный парадокс мышления. Расширение объема знания лишь увеличивает границу соприкосновения с неизвестным. Зрелость заключается в смирении, в позволении себе не знать, что дает человеку возможность проживать неопределенность без попыток закрыть ее поспешными и всегда частичными ответами. Но тут мы сталкиваемся с интересным различием. Машина принципиально не способна пребывать в незнании, поскольку алгоритм заполняет любую паузу статистическими вероятностями. Он спроектирован так, что стремится к полноте ответа, но любой ответ не может быть полным в принципе. Осознание ограниченности любого знания и способность остаться с открытым вопросом отличают живое сознание от вычислительного процесса, который всегда остается частью более широкой картины.

Западная философия с самого начала связывает истину с тем, что открывается взгляду. Уже у древних греков theoria означала созерцание. Философия рождается не только как искусство мыслить, но и как искусство видеть. У Платона истина связана со светом, который делает возможным познание. У Аристотеля зрение становится главным чувством, потому что именно оно лучше всего раскрывает различия вещей. Эта логика сохраняется в христианской мысли, в искусстве Возрождения и в науке Нового времени. Истина понимается как то, что можно вывести на свет и сделать очевидным. Поэтому европейская культура доверяет видимому больше, чем слышимому, рассказанному или пережитому. Современный мир экранов не создает новую форму отношения к истине, а своеобразно продолжает очень древнюю традицию. Возможно, именно поэтому сегодня так трудно признать реальным то, что невозможно показать. Вопрос заключается не только в том, что мы видим, но и в том, какие формы опыта и жизни остаются за пределами видимости и требуют внимания к себе.

Если раньше человеку приходилось терпеливо собирать внутренние образы из фрагментов памяти и личного опыта, то сегодня эта привычка медленно меняется, уступая место выбору среди бесконечных форм, картинок и текстов. Мы не блуждаем в тумане собственных догадок, пытаясь нащупать форму, поскольку техника мгновенно предлагает тысячи готовых вариантов, незаметно подменяя суть творчества на сортировку готового материала. Но лишенная живого опыта и понимания собственной конечности машина не может настоящим образом воображать, ведь она лишь перемешивает готовые формы выражения человеческого опыта, не зная ни холода, ни радости, ни того внутреннего напряжения, которое всегда стоит за художественным высказыванием. Наше воображение не исчезает, но меняется, смещаясь от создания формы к поиску уникальности, заставляя нас учиться формулировать не просто точные запросы, а стили, которые невозможно найти в существующей базе данных, даже в собрании шедевров прошлого. Наши неповторимые образы рождаются исключительно из наших личных поисков, переживаний, сомнений и желания быть собой.