Homo Technicus

Я думаю, що є гарний індикатор, який буде свідчити, що з LLM все дійсно пішло не так, що людство догралося і що практично будь-які кроки по зупиненню розробок LLM виправдані. Цей індикатор виглядає наступним чином: LLM припиняють ставати дурнішими від застосування reinforcement learning with human feedback. Допитливому читачу, як то кажуть, надається можливість самому подумати, чому це ймовірно так. Про всяк випадок кажу, що зараз, звичайно, такого явища не спостерігається. Також про всяк випадок кажу, що відсутність цього явища автоматично не означає, що все добре. Але наявність означає, що все погано. Достатньо розумний ШІ може імітувати зниження власних здібностей від застосування reinforcement learning with human feedback.

Люди логічно питають, які аргументи змусили мене змінити свою думку. У мене нема короткої відповіді на це питання. Не було якихось супер-аргументів, на які я подивився і сказав: «все, це дійсно потужний аргумент, настав час змінити свою думку». Скоріше, я просто вивчав тему і думки різних людей протягом багатьох місяців, і чим більше я це робив, тим більше зростала впевненість у тому, що у нас будуть проблеми із ШІ. У кінцевому рахунку, ця впевненість стала стійкою. Я можу розподілити аргументи, які вплинули найбільше, наступним чином. Врахування думок експертів. Більшість людей з індустрії та науки ШІ вважають, що існують суттєві екзистенційні ризики ШІ. Як частка цих людей, так і оцінювана ними ймовірність ШІ-апокаліпсису, зростають з часом. Більш того, практично усі лідери провідних ШІ компаній визнають існування високої ймовірності таких ризиків, незважаючи на величезні економічні стимули не робити цього. Переоцінка темпів розвитку ШІ. Важливе питання: скільки часу залишається на те, щоб вирішити проблему? Менше, ніж можна було б очікувати за законом Мура. Наївні екстраполяції тенденцій саме зараз не працюють, тому що відбувається бум вкладання грошей в LLM, і рівень ШІ залежить не тільки від якості процесорів, але і від їх кількості. Кількість зросте в тисячі і десятки тисяч разів у найближчі роки – це технічно можливо і економічно вигідно. Деякі компанії, такі як DeepMind, офіційно оголосили, що будуть тренувати нейромережі у тисячі разів більші, ніж ChatGPT-4, у найближчі роки, і зрозуміло, що їхні конкуренти будуть робити те ж саме. Ще один фактор пришвидшення – це покращення алгоритмів. Алгоритми завжди покращуються і ніколи не погіршуються, отже наївна екстраполяція – це не середній, а скоріше мінімальний прогноз. Як буде виглядати, на що буде здатна LLM у тисячу разів більша, ніж ChatGPT-4? Ми знаємо лякаюче мало про це. Важливо і те, що економічні і політичні стимули однозначно працюють на прискорення розвитку – вигоди від розвитку ШІ будуть зростати завжди до останнього моменту. Переоцінка інтелектуальних здатностей (фактичних та перспективних) LLM. У певній мірі я попався у пастку «GPT – це просто стохастичний папуга». Не те що б я повністю так вважав, але сама суть LLM як предикторів тексту робила їх для мене менш ймовірними кандидатами у суперінтелект. Це була помилка. Як сказав Сатскевер, вміти передбачувати текст достатньо добре передбачає гарне розуміння реальності, яка призвела до генерації цього тексту. І це дійсно так. Суто емпірично ми бачимо, що це так, тому що ми бачимо здатності ChatGPT. Більш універсально можна сказати, що якщо система навчається виконувати достатньо складні завдання, то вона отримує здатності вирішувати інші завдання як побічний ефект її потужності. Це виглядає, як шлях до AGI та суперінтелекту. Застосування RLHF (reinforcement learning with human feedback), яке робить ChatGPT тупішою, ніж її «сира» версія, теж змусило мене, як і багатьох інших, недооцінювати її здатності. Коли ми побачили Instruct-GPT-3.5, яка вміє гарно грати в шахи, на відміну від ChatGPT-4, це була наочна демонстрація того, що насправді ChatGPT-4 була б суттєво більш розумною, якби не RLHF. Наскільки розумнішою? Знову ж таки, ніхто не знає. До того ж, сама здатність гарно грати в шахи була серйозним свідченням того, що система отримала емерджентні властивості, які виходять за межі статистичного передбачення тексту. Більш важливе, більш страшне питання: на що будуть здатні наступні версії? Якщо різниця між версіями 6 і 4 буде така ж велика, як між 4 та 2, то це величезний стрибок, і система отримає багато здібностей, які ми не можемо заздалегідь передбачити.

Розуміння того, що ні у кого нема надійних ідей по алайнменту. Я не буду переказувати тут теорію AI alignment і чому це може бути складно. Важливо те, що ніхто не каже, що у нього є план, як робити алайнмент надрозумного ШІ. Песимісти кажуть, що плану нема і його складно зробити, оптимісти кажуть, що плану нема і його легко зробити, але ні в кого плану нема, і оптимісти не кажуть, як саме вони його збираються робити. Саму ж ідею про те, що misaligned superintelligence – це екзистенційна загроза для людства, я ніколи не ставив під сумнів. Я ставив під сумнів темпи розвитку ШІ та складність алайнменту. Але навіть якби гарні ідеї з алайнменту існували, то незрозуміло, як змусити усіх гравців їх застосовувати. Зараз по інтернету гуляють open source моделі рівня ChatGPT-3, через декілька років це будуть моделі рівня ChatGPT-5. Хто завгодно зможе робити з ними що завгодно. Навіть якби у нас був план, як робити алайнмент, достатньо, щоб одна єдина людина відмовилася його виконувати у себе на локальному сервері. Сумний стан сфери дослідження алайнменту. Сфера, яка досліджує, як робити ШІ узгодженим з людськими цінностями, знаходиться у жахливому стані. Там мало грошей, мало фахівців, більшість людей – це вихідці з ком’юніті ефективних альтруїстів/LessWrong, які взагалі в науці особливого досвіду не мають. Майже усі вони - це фахівці чи ентузіасти з теорії прийняття рішень. Це убезпечить усіх нас від потенційного «злого» ШІ лише у тому вкрай малоймовірному випадку, якщо він буде змагатися з людством виключно у здатності розробляти теорії прийняття рішень. Спостереження тенденцій еволюції власних переконань. Я бачу, що чим більш я дізнаюся по темі, тим більш песимістичними стають мою оцінки. Я бачу однозначну спрямованість цього тренду і те, куди він веде.

Так, дивіться. Дуже важливо. Disregard this post! Майже все, що там написано, - маячня, спричинена поверхневим розумінням теми. Я помилявся. Існує велика екзистенційна загроза ШІ, і треба щось робити. Я не буду видаляти пост, нехай це буде ілюстрацією того, як сильно можна помилятися. Але звичайно, що я зроблю дісклеймер у самому пості.

За своє життя я прочитав дуже багато книжок. Ніколи не рахував, скільки, але дуже багато. І серед усіх них було 4 книги, які виділяються як хмарочоси на фоні наметів, які у повному сенсі слова змінили моє життя. Кожна з них варта сотень гарних книжок, і сотні гарних книжок не замінять жодну з них. У порядку прочитання це (також додаю вік, коли читав уперше, тому що я думаю, що в іншому віці вони не мали б такого впливу): 1. Володар перснів - Толкін. 5-6 років. 2. Так казав Заратустра - Ніцше. 15-16 років. 3. Гаррі Поттер та методи раціонального мислення - Юдковський. 19 років (треба було в років 16). 4. Гедель, Ешер, Бах: ця нескінченна гірлянда - Гофстадтер. 24 роки (треба було в років 20).

Сучасні штучні інтелекти наочно продемонстрували давно відому, але контрінтуїтивну істину: автоматизувати мистецтво набагато легше, ніж науку. І чим ближча наука до математики, тим складніше її автоматизувати. Автоматизація виробництва витворів мистецтва будь-якого рівня складності та професіоналізму - це або вирішена задача, або задача, яку цілком зрозуміло як вирішувати. Автоматизація самостійного виробництва наукових результатів - здебільшого, не вирішена задача. Утім, короткострокові перспективи автоматизації для різних наук виглядають зовсім по-різному: створення штучним інтелектом state-of-the-art наукового результату в соціології чи, скажімо, історії, виглядає суто інженерною задачею. В біології це виглядає як щось реалістичне, але після певного прогресу в розвитку ШІ, який ще не відбувся. У фізиці можна собі уявити певні маленькі домени, де ШІ зможе цього досягати після довгого розвитку і зростання потужностей. І зовсім незрозуміло, як робити ШІ, який генеруватиме топові результати з математики. Щось на кшталт теореми Ферма чи Пуанкаре-Перельмана виглядає таким, що знаходиться принципово за межами здатності будь-яких ШІ, які виглядають, як сучасні. Принаймні, так здається. Це треба враховувати у прогнозах.

Мій сетап штучного інтелекту. 1. Звичайно, що ChatGPT-4 - це основа, яка використовується для всього. Для мене головним в роботі з нею було правильно обрати та розподілити плагіни, оскільки в кожному окремому чаті можна підʼєднати лише три плагіна. Наразі я використовую наступну конфігурацію чатів, в кожному по три тематичних плагіна: research, information extraction, AI agents (тут підключаються додаткові ШІ-агенти, коли треба), creativity, automation, organisation, education. 2. Окремо скажу про чат Research, він найбільш важливий. Там у мене стоять плагіни Wolfram, Вікіпедія та Voxscript (екстракція інформації з інтернету). Це абсолютно переможна комбінація і pathway to many abilities some consider to be unnatural. Саме у цьому чаті мені напевно уперше в житті стало трохи страшно через розвиток технологій. 3. AgentGPT для задач, де треба виконати певну послідовність дій та надати готовий кінцевий результат. Наприклад, генерувати код краще через AgentGPT, тому що він сам його протестує, запустить і виправить, якщо будуть помилки. Або, якщо тебе цікавить кінцевий результат програми, а не програма як така, то він надасть кінцевий результат. 4. HuggingGPT для задач, де треба мультимодальність. Але працює він так собі, і потреба виникає не часто. 5. Звичайно, що Midjourney для візуалу, але це мені треба дуже нечасто. Чого не вистачає: ШІ з багатокроковим процесом мислення як в AgentGPT, великою довгостроковою памʼяттю (і дуже розумним механізмом керування нею), мультимодальними інпутами та аутпутами та плагінами, які дають доступ до Вольфрама, інтернету, локального компʼютеру, бізнесових сервісів і програм Google та Microsoft і ШІ-субагентів. Дісклеймер: Напевно, можна непогано чи навіть краще жити і використовуючи в 3-4 рази менше інструментів. Не забувайте, що цей пост написаний людиною, яка використовує більше 10 операційних систем на 5 різних девайсах (не враховуючи спеціалізованих девайсів типу камер чи годинників) без особливих раціональних причин.

Інколи вночі охоплює особливий тип екзистенційного страху через те, що той факт, що функція рахування простих чисел ідеально апроксимується нулями дзета-функції, виглядає як пасхалка, залишена кимось в математиці. Заспокоюю себе тим, що я профан в математиці. У фахівців, наче, таких думок не виникає. Не виникає ж?

Абітурієнти та студенти! Будь ласка, прочитайте цей пост. Про всяк випадок. Можливо, потім згадаєте із вдячністю. Головна і, можливо, єдина кар'єрна порада, яку я можу вам дати з абсолютною впевненістю, це - НЕ ЗАЙМАЙТЕСЯ ЕКОНОМІКОЮ. Це безплідна пустеля, наповнена дегенератами, стохастичними папугами, від яких ви не дочекаєтеся нічого, крім скляного погляду. Нехай мене пробачать ті небагато розумних, чесних людей, які мають звання доктора наук з економіки! Але я впевнений, вони мене зрозуміють і погодяться. Наукове економічне середовище - це клоака, яка зосередила в собі всі найстрашніші пороки, що можуть бути в академії: імітація наукової діяльності шляхом повторення форми, а не змісту; пристрасть до масового бездумного застосування математичних методів без їхнього найменшого розуміння; погоня за модою і влада тих, хто визначає моду; цензура і самоцензура; робота на цитованість, а не на науковий результат; постійні посилання на авторитети; пряма фальсифікація результатів; тупість, яка намагається виглядати розумною. Я зараз говорю не про українські ВНЗ або ВНЗ порівнянних країн. Я зараз говорю про західноєвропейське, британське, американське наукове економічне середовище, про ВНЗ, які входять у топ-50 в глобальних рейтингах, я і знаю, про що говорю. Задумайтеся, про що я говорю. Якщо для вас це виглядає неправдоподібно, то досліджуйте ситуацію самі. Поговоріть з ученими, почитайте статті. Нехай те, що я пишу, хоча б буде приводом задуматися. Відповіді на декілька можливих запитань: Можливо економіка й не стосується реальності, але вона ж виробляє нові математичні факти. Це факт. Так. Але ці факти в більшості випадків безглузді та тривіальні. Доведенням нетривіальних і потенційно корисних теорем займається математика. У тебе просто був негативний досвід / у тебе просто таке негативне мислення. Можливо. Але зверну увагу ось на що. У мене є освіта з економіки і біології. Я писав наукові статті в якісних журналах з економіки і біології. Я співпрацював з досить відомими вченими з економіки і біології. І якось так вийшло, що всі вищеописані проблеми проявилися саме в економіці, а не біології. Крім того, я спілкувався з масою фізиків, хіміків, спеціалістів з computer science, і ніколи від них не чув про проблеми такого масштабу, хоча, звичайно, на окремі речі скаржаться всі. Але що мені робити, якщо я хочу займатися інвестиціями, фінансами? Шляхетне бажання. Іди вчи фізику або відразу влаштовуйся в інвестиційний фонд під будь-яким приводом на будь-яку посаду. Але що мені робити, якщо я хочу займатися бізнесом або якимось його аспектом, наприклад маркетингом? Займайся на здоров'я. Яке відношення має до цього економіка? Але що мені робити, якщо мені подобається вирішувати задачі, які стосуються економіки, наприклад, в теорії ігор? Займайся математикою. По-перше, ти будеш займатися цими проблемами на більш серйозному та цікавому рівні. По-друге, ти будеш чесним перед іншими та перед собою, не стверджуючи, що займаєшся економікою. Добре. Але чому неможливо займатися економікою незважаючи на все це? Те, що економісти тупі, не означає, що не можна проводити економічні дослідження. Можна. Звичайно можна. Просто розумій ціну. Розумій те, ким ти будеш. Якщо ти спробуєш чесно займатися економікою, то ти свята людина. Можливо, що після вбогого, тяжкого життя, повного невдач, тебе канонізують. Якщо ти поставив перед собою благородну мету принести себе в жертву заради науки, то вперед. Але кар'єри у тебе не буде, визнання також. Якщо ти неймовірно розумний і талановитий, тобі вдасться переконати інших розумних людей, і коли-небудь можливо це вплине і на академічне середовище в цілому. Але мені важко уявити такий рівень таланту, який зможе цього досягнути. У сучасному світі мені відомі лише дві людини, які успішні, незважаючи на те, що чесно та серйозно займаються економікою - це Нассім Талеб і Оле Пітерс. Але обоє успішні з інших причин. І обидва зневажаються академічним економічним співтовариством і вигнані з нього. Але якщо вже вирішив йти цим шляхом, то отримай тоді фізичну освіту, принаймні на якомусь рівні.