Сиолошная

Наверняка вам попадались выдержки из недавнего интервью Джона Шульмана (кофаундера OpenAI) на Dwarkesh Podcast. Вернее даже одна конкретная выдержка, где Джон говорит, что его работу искусственный интеллект заменит через 5 лет Я решила целиком посмотреть интервью, так как Джон достаточно интересный чел: он первый автор в статье про PPO, лидит команду, которая файнтюнит модели в OAI, а после недавних событий еще и видимо alignment на нем. Так что вот список каких-то интересных его тейков: - Его главный фокус сейчас на том, чтобы научить модели выполнять длинные и сложные задачи, а не решать мелкие таски за один шаг. Например, хочется чтобы модель не просто подсказала тебе код для конкретной функции, а могла по промпту сделать целый репозиторий. С тем, чтобы обучать модели на таких “длинных” задачах много проблем, но одновременно с этим Джон считает это low-hanging fruit. Решать это он предлагает с помощью RL, видимо как-то адаптировав и улучшив текущие методы тренировки - Fun fact №1: у gpt-3.5 изначально планировался web browsing, но потом оказалось, что своих знаний у модели достаточно для QA, и особого смысла в этом не оказалось - Fun fact №2: изначально gpt-3.5 вообще не различала, что она может или не может делать (например, она могла сказать, что успешно отправила кому-то письмо или заказала что-то в магазине). Чтобы это пофиксить оказалось достаточно около 30 примеров в датасете для файнтюна! - Для обучения ChatGPT данные делились на инструкции и чат. При чем, прототипы модели, которые обучались на чат-данных, оказывались более просты в использовании (лучше понимали, что от них хочет пользователь), выдавали более осмысленные ответы и лучше отдавали себе отчет, что они могут и что не могут выполнить. Объяснение этому Джон видит в том, что в формате инструкций задача “complete this text, but in a nice or helpful way” довольно мутная и непонятная, как для разметчиков, которые готовят данные, так потом и для модели. А качественные чат-данные людям было проще собирать и размечать, так как было понятнее, как именно модель должна ответить. Видимо за счет этого был скачок InstructGPT -> ChatGPT - Интересная интуиция откуда у больших моделей emergent capabilities: можно представить, что когда у нас столько параметров, модель в латентном пространстве развивает много линий размышления параллельно, и повышается шанс, что какая-то из них будет верной (примерно как происходит в MoE) - Также довольно необычный комментарий касательно Model Spec (это недавний вайтпейпер о том, какое поведение OAI считает желательным и нежелательным) – Джон сказал, что модели должны быть продолжением воли человека и делать, что от них просят, и что OAI не хочет тут занимать патерналистскую позицию и насаждать свои моральные представления. Снова заставляет задуматься о каком-то проигрыше фракции сейфитистов, так как я не могу представить такой ответ от OAI еще пару лет назад…. - Интересное было объяснение тому, почему модель часто выплевывает очень водянистую и обширную статью в ответ на какой-то вопрос: она тренировалась на одном ответе за раз (а не на всей истории диалога), поэтому она пытается уместить всю информацию в одно сообщение, а не ждет от вас каких-то уточняющих вопросов - Наконец про следующие шаги в разработке моделей Джон отметил проактивность: в идеале пользователь не будет обращаться к модели как к поисковику с какими-то изолированными запросами. Модель скорее должна быть как helpful colleague, который сам тебе может предложить какие-то решения, напомнить о чем-то, и так далее

Jimmy Apples, надёжный источник касательно слухов про OpenAI, написал про другую компанию. Не знаю, насколько надёжный инсай(т)д, но ситуация крайне занимательная. «МЕТА планирует не предоставлять доступ к весам LLAMA 3 400B [прим.: крупнейшая версия модели, которая ещё не была опубликована. В 5.5 раз больше 70B версии, доступной нам]. Они надеятся на то, что мы не заметим/пропустим это. Не позволяйте этому ускользнуть от вас» Это вызывало очень говорящую реакцию в сообществе (читать тут). Люди понимают, что без этого релиза им до GPT-4-Turbo/Opus/и тем более следующих поколений моделей — как до Луны. Весь опенсурс ближайшего будущего (и большое количество экспериментов независимых лабораторий) буквально крутятся вокруг того, будет ли META дальше выкладывать модели, обучение которых стоит десятки-сотни миллионов долларов [есть другие лаборатории и компании, которые выкладывают, но у этих пока самые масштабные релизы]. Не поймите неправильно, людям будет чем заняться, но они по сути навсегда застрянут на одном и том же уровне навыков моделей. Будет борьба за то, кто улучшит модель на 3-5% (в отдельных задачах на 20%!) и ускорит на 15%. Люди будут пытаться впихнуть существующие модели тут и там, как-то оптимизировать, то сё. Но этот момент как бы застынет в истории, пока ведущие игроки будут скакать вперёд. Разрыв будет стремительно нарастать. Zuck на подкасте ведь говорил прямо: мы будем публиковать модели пока 1) это помогает нам 2) их навыки ниже определённых порогов. А я писал, что с развитием моделей уже в ближайшем будущем помощь сообщества будет минимальна, и ценности для компании публикация очень-очень дорогих моделей не несёт. Запуск топ-тир моделей очень дорог, расходы на команду и поддержку тоже не маленькие, а их обучение и улучшение так вообще — потому такие 400B модели это игрушки для очень малого количества юзеров. Без 8 видеокарточек (или 12? 16? сколько надо) по $20k каждая даже не запустить. А может быть это неправда, и модель выпустят. А может не выпустят следующую. А может что-то ещё. Поживём — увидим, но в концепцию опенсурса как помощника развития технической стороны AGI я не верю. Вся история показывает, что улучшение происходит с масштабированием, и даже если модели 2024-го уже имеют неадекватные размеры и ценник, то что и куда дальше?

Вчера-сегодня идёт конференция Microsoft Build (для разработчиков), на которой показывают много разных AI-штук и не только. Про некоторые из штук напишу ближе к выходным, а пока вот вам шутки. В конце вступительной презентации CTO Microsoft Kevin Scott рассказывал о том, что будущие модели от OpenAI будут ещё мощнее, что они вкладывают всё больше и больше вычислительных ресурсов в обучение, и не планируют останавливаться: — «Мы ещё далеки от точки уменьшения отдачи от того, насколько мощными мы можем создавать модели AI по мере увеличения масштаба вычислений» (читайте как «GPT-5 будет офигенной») На твит со скриншотом с презентации решил ответить Gary Marcus, вечный критик нейросетей и глубокого обучения, который уже лет 10 говорит, что мы упёрлись в стену, и дальше прогресса не будет. Не знаю, как он не видит противоречия реальности своим словам за последние 3 года, но для нас это повод поглумиться 🥊 Он тегнул CTO Microsoft и спросил, готов ли тот поставить $100k на то, что тезис про дальнейшее масштабирование — не бред. Гигачад Kevin 💪 ответил: — Я думаю, что уже сделал ставку. И она намного больше, чем 100 тысяч долларов. (Напомню, что Microsoft строит для OpenAI суперкомпьютер стоимостью 100 МИЛЛИАРДОВ долларов. Если пропустили — обязательно прочитайте вот этот пост)

Начинаем свой день с очередных хвалебных речей Sam'у 👀 Я уже пару раз писал про то, что Paul Graham, основатель YC, думает про CEO OpenAI. Особенно много артефактов сохранилось в 2008-12 годах, когда они плотно работали вместе, а Paul писал эссе. А вот про эту историю я не знал (1, 2): Paul рассказал, что 19-летний Altman добился принятия своего первого стартапа Loopt в Y Combinator в 2005 году, проявив некоторую хитрость. После того как инкубатор отверг Loopt, Altman «упёрся, как 40-летний мужик» и настоял на том, что он в любом случае присоединится к YC. Позже Altman посоветовал Graham'у добавить на собеседовании для будущих стартапов при приёмке в YC вопрос о том, как и когда они «взламывали» (хакали) какой-то процесс в свою пользу. «Это стало одним из вопросов, которым мы уделяем больше всего внимания при рассмотрении заявок» — написал Graham. У нас тут не стартап-инкубатор, конечно, но делитесь в комментах историями о том, как вы хакнули систему 💬👇 (А ещё в новостях пишут, что «по словам человека, знакомого с мнением Johansson, актриса не планирует подавать в суд на OpenAI из-за этого дела»)

Чем мне нравятся Anthropic, так это количеством работ по интерпретируемости модели. В этом смысле мне жаль, что от OpenAI вышла одна работа год назад, и больше ничего. Не знаю, не хотят ли они делиться или просто закрыли команду. Новая ОГРОМНАЯ работа от Anthropic посвящена применению методов интерпретируемости на масштабе модели уровня Claude 3 Sonet (средняя в семействе). До этого почти все работы были на игрушечных моделях, которые даже 2-3 года назад считались бы маленькими. Чудовищный по размеру блог с интерактивными визуализациями: тык TLDR от самих Anthropic: тут TLTLDR тизер от меня (полный разбор либо завтра, либо никогда): — находят нейроны, которые отвечают за «секретность» модели. Они срабатывают для описаний людей или персонажей, хранящих тайну. Если искусственно зафиксировать высокое значение этих нейронов, то это приводит к тому, что Claude 3 скрывает информацию от пользователя, хотя без вмешательства такого не происходит. — схожие группы нейронов находятся и для уязвимостей в коде (можно выкрутить ручку так, чтобы ваша генерация была нашпигована небезопасным кодом), стремление к получению ресурсов и намеренному обману, итд. Как написал @datastorieslanguages (у которого я и увидел анонс статьи): «Польза [таких методов] в том, что можно подавлять подобные "плохие" темы и улучшать безопасность модели - делать модель менее социопатичной, "отключать" ответы на определенные темы и так далее. Правда, боюсь, что с тем же успехом можно делать и обратное - двигать какую-нибудь повестку, рекламировать товары или просто отстаивать какую-то точку зрения»

Заметил, что в Нидерландах начали появляться вакансии с припиской AI-First … и AI-Augmented … – это так компания хочет дать понять, что ищет людей которые не воротят нос от Gen AI и готовы использовать новые технологии в работе ☕️ Понятно, что такие компании в итоге победят классические – эффективность выше, расходы те же

SpaceX: — Завершена репетиция запуска для 4-го испытательного полёта системы Starship. | Elon Musk: — Полёт Starship примерно через 2 недели. Основная цель — добиться точки максимального нагрева при входе корабля в атмосферу. Сверхнадёжный, лёгкий и многоразовый тепловой экран — самая большая техническая задача, оставшаяся для Starship. Стоит отметить, что никому и никогда не удавалось создать полностью многоразовый тепловой экран. Space Shuttle требовал > 6 месяцев ремонта.

Проснулись-потянулись, а тут новый скандал с OpenAI. Scarlett Johansson вышла на связь и рассказала, что с ней лично связывался Sam Altman для того, чтобы заполучить голос для AI-ассистента. Полный текст обращения можно прочитать в твиттере тут, оригинальная новость на английском здесь. Но не спешите с выводами про то, какой Sama злой, а OpenAI плохие. Scarlett пишет, что первый раз с ней связались в сентябре 2023-го. Как я писал вчера, со слов OpenAI к этому моменту уже все голоса были записаны, модели скорее всего были обучены и проходили финальные полировочные работы. В озвученный ими таймлайн легко поверить — за месяц с нуля такое не сделать, а про публичный релиз мы все знаем, он 100% был в сентябре. Мисс Johansson «после долгих раздумий и по личным причинам отклонила это предложение». В этот момент голос Sky уже был доступен публике, но Scarlett видимо про него не знала, так как пишет дальше: «за два дня до анонса GPT-4o [а это уже вот недавняя презентация, которая была на прошлой неделе] Sam снова связался с моим агентом, но презентация прошла ещё до того, как мы смогли пообщаться». И когда она увидела в сети демонстрацию, то была в шоке, ведь согласия не давала. Но напомню, OpenAI говорят, что отбирали актёров и актрис сами, и что все голоса принадлежат реальным людям, с которыми они плотно работали. И вот вчерашний пост OpenAI — это по сути ответ на юридический запрос представителей Scarlett о том, как же были выбраны голоса, и почему так вышло. Вижу 3 возможных объяснения: 1) существует другая актриса, которая подарила свой голос Sky, OpenAI не врут, они честно отобрали отобрали её в ходе кастинга и работали с ней. Скорее всего, сотрудники OpenAI не вникали в выбор кандидатов до финального списка из 14 штук, то есть не могли из 400+ отобрать конкретно голос, который похож на Scarlett (это сделали продюсеры без явных наставлений). Ближе к релизу пришла идея присвоить один голос другой актрисе, и с ней связались для официального соглашения. 2) то же, что в 1, но голос отбирали намеренно с прицелом на то, что позже удастся заключить сделку с Johansson и объявить, что вот она, официальная представительница. Против этого сценария играет то, что с актрисой связались достаточно поздно, почему этого не сделать раньше? 3) то же, что в 2, но помимо реальной актрисы, озвучившей Sky, сотрудники OpenAI намеренно собирали со всех видео и фильмов голос Scarlett Johansson, дообучали модель, чтобы сходство было больше, и делали прям всё-всё, чтобы было максимально похоже. Ну и можно ещё попридумывать разные комбинации в зависимости от конкретной точки, когда принимались те или иные решения. Я верю в сценарий 1 — хорошие продюсеры услышали хороший приятный голос, отобрали кандидатку, передали в OpenAI, те собрали данные, обучили модель, и решили наклеить приятный лейбл сверху. Не получилось — пофиг, запустили голос, потому что у них есть реальная актриса, которой этот голос и принадлежит, есть все свидетельства того, что они делали каждый шаг легально. Напомню позицию OpenAI из вчерашнего поста: «Мы считаем, что голоса ИИ не должны намеренно имитировать голоса знаменитостей — голос Sky не является имитацией Scarlett Johansson, а принадлежит другой профессиональной актрисе, использующей свой собственный естественный голос». Почти уверен, что если их вызовут в суд, то проиграть будет сложно (однако использовать голос могут запретить, лол). Ну и заметка на будущее в контексте регуляций AI: получается, что ваш голос принадлежит не вам, а самому богатому человеку с достаточно похожим на ваш голосом ¯\_(ツ)_/¯

На данный момент ChatGPT умеет говорить пятью голосами, у каждого — своё имя (Breeze, Cove, Ember, Juniper и Sky). Напомню, что в приложении вам будет отвечать старая модель, которая отдельно обучена переводить текст в аудио, а не свежая часть GPT-4o (писал тут). Ещё на презентации было заметно, что основной женский голос, Sky, немного флиртовал (ну давайте, расскажите мне, что это я себе придумаю и что я ей безразличен 🥲😨 ОНА СМЕЯЛАСЬ НАД МОИМИ ШУТКАМИ!), и что многие проводили аналогию с героиней фильма «Her», где как раз AI вступил в отношения с человеком. И голос Sky был достаточно похож на голос Scarlett Johansson, отвечавшую за озвучку AI в фильме. Настолько похож, что сегодня OpenAI приняли решение от него отказаться — потому что они считают, что голоса ИИ не должны намеренно имитировать голос конкретных знаменитостей. Вы могли подумать, что компания специально всё так подстроила, и намеренно искала схожий голос, но они уверяют, что это не так — и для этого делятся процессом отбора (но не именами актёров, по понятным причинам). В этом посте для меня интересно описание временных интервалов разработки: — начало 2023-го, OpenAI начинают сотрудничество с неупомянутыми известными и отмеченными наградами директорами по кастингу и продюсерами. Совместно они составляют набор критериев, по которым будут оцениваться кандидаты. Некоторые из них: 1. Актёры говорят на нескольких языках 2. Теплый, обаятельный, внушающий доверие, харизматичный голос с насыщенным тоном 3. Естественный голос, который легко слушать — май 2023-го, начинается поиск кандидатов. За первую неделю откликается 400 актёров. На прослушивание актерам давали сценарии ответов ChatGPT и просили сделать озвучку. Сюда входили ответы на вопросы об осознанности, совместный мозговой штурм планов поездок и прочее. — конец мая 2023-го, отобрано 14 кандидатов. OpenAI встретились и поговорили с каждым участником об их видении голосового взаимодействия человека и ИИ, а также обсудили возможности, ограничения и связанные с этим риски. Было важно, чтобы каждый актер понимал масштабы целевого продукта, прежде чем приступить к проекту. — итого, из 14 актёров был составлен финальный список из 5. — июнь-июль 2023-го, актёры прилетали в Сан-Франциско и записывали свои реплики — 25-ое сентября 2023-го, OpenAI выпускает свои модельки. Вот такой вот вышел цикл разработки. Сейчас OpenAI продолжают сотрудничать с теми же актёрами, чтобы привнести новые голосовых фичи в GPT-4o. Ну а голоса Scarlett Johansson с нами больше, увы, нет 🥲

FAA заявляет, что есть вариант не дожидаться результатов расследования предыдущего испытательного полёта Starship, и приступить к новому полёту

"Если FAA согласится, что преждевременное завершение миссии не было связано с проблемами для общественной безопасности, эксплуатант системы запуска (ред. - SpaceX) может вернуться к полётам, пока расследование происшествия остаётся открытым, при условии, что все остальные лицензионные требования были соблюдены", — заявил регулятор ресурсу NSF.

А что, так можно было что ли? 😳