Сиолошная

🙀 продавцы видеокарточек стали самой дорогой компанией в мире

Тут ТикТок запустил фабрику ботов. Точнее аватаров. Читаем, потом смотрим. Стоковые аватары: готовые аватары, созданные с использованием платных актеров, которые лицензированы для коммерческого использования. Свои аватары: с возможностью работы на нескольких языках, дают контроль и возможность масштабировать свою персону и бренд. Креаторы могут использовать свое собственное лицо и создавать мультиязычные аватары для расширения своего глобального охвата и сотрудничества с брендами. Теперь смотрим. Это снятое видео. Руки и туловище кожаные, снятые. Это видно. А дальше с лицом производятся манипуляции. Причем это даже больше похоже не на дипфейк, а на оживление фотачек лица, о котором я тут пишу как ужаленный. Видно, что губы оживляются библиотекой wav2lib (скорее всего), и выглядят блекло. В общем это старый подход с цифровыми инфлюенсерами - взять реальное фото-видео и пришпандорить на лицо какое-нибудь безобразие. Ну честно сказать, качество не впечатляет. Впечатляет, что это ТикТок, ибо у него до фига разработок в области оживляжа лица, и если он вышел на эту поляну, то прогресс будет. https://newsroom.tiktok.com/en-us/announcing-symphony-avatars

— Нет вы не понимаете они НЕ МОГУТ решать — Чел, ты промпты писать не умеешь и не делаешь генерацию тысяч вариантов, успойося или я в дурку позвоню 🏥 😆

Помните вот эту ситуацию? Когда человек утверждал, что LLM не могут решить какую-то задачу, утвердил приз $10'000, и через два дня расстался с деньгами? Я ещё в комментариях шутил, что если хотите на серьёзных щах что-то утверждать про ограничения систем — надо готовиться выкладывать деньги, ибо иначе людям, которые реально могут доказать, что вы не правы, просто не интересно. А помните я на прошлой неделе писал про бенчмарк ARC от Francois Chollet? Якобы что это визуальная загадка, где нужно уметь на лету идентифицировать новые паттерны, и что текущие LLM в этом вообще не разбираются, и выдают <10% качества? Как написали в одном из чатов (автор @senior_augur): — Я думаю ARC никто долго не побивал, потому что он никому нахер не нужен был На интервью Francois говорил, мол, вот LLM не умеют рассуждать и обобщаться, бенчмарку 4 года, а воз и ныне там стоит. И утвердил конкурс (ну и получил освещение в подкасте) на $1M (правда там пока только $500k доступно, и то со звёздочками, что фронтир-модели, лучшие из лучших, под критерии не попадают). Прошло 6 дней. Воздуха набрали? Готовы? 😏 Знакомый подкастера из Redwood Research написал пост, где показывает, насколько высоки метрики GPT-4. На тренировочной выборке (публично доступной) качество 71% на 100 отложенных автором задачах, в которые он не подглядывал. Качество человека в среднем 85%. Кажется, что разрыв большой, но напомню, что основной тезис разработчика бенчмарка был «ну так LLM и 10% не решают!». На приватной выборке качество 51%, но не удивляйтесь — она сама по себе сложнее (и для неё неизвестен показатель человека, в смысле его просто не померили). До этого лучший метод давал 34% и не опирался на LLM. Осталось дождаться, что Francois со своими друзьями возьмут метод и запустят на самом ультра-приватном датасете, который ещё никто не видел (специально для соревнований сделали), увидели там 50%+- и сидели вот так: 😅 , переосмысливали своё представления об «ограничениях дип лернинга». Но вам наверное интересно, как работает решение? Примерно так: — GPT-4o на каждую задачу генерирует примерно 5000 программ на питоне, которые потенциально могут быть решением — программы фильтруются по их способности повторить 3 примера, которые всегда даются (по условиям задачи, именно по ним нужно установить зависимость и дать ответ) — топ-программы, дающие максимально похожий результат (если нет правильных) отдаются на правку GPT-4o, типа «вот как нужно, вот как ты сделала, исправляй эту хрень». Тут генерируется ещё 3000 программ (итого 8000) — выбирается финальный кандидат для решения. Для того, чтобы это работало хорошо, нужно немного поиграться с входными представлениями (так как, как я и говорил, модель не очень хорошо «видит» картинку, совсем не так, как мы), используя ASCII и написать несколько примеров рассуждений. Обычно в промпт входит примерно 30'000 токенов — если добавлять больше, то модель начинает работать хуже после 32'000 по естественным причинам (это давно замечено). Автор описал несколько итераций улучшений промпта, но самое главное, как я понял — это подать несколько представлений на вход для одной и той же задачи, просто потому, что GPT не видит так же, как это делает человек. «GPT-4o’s vision is terrible on grids» (потому что все задачи на клеточках). Ей нужно хорошо приготовить текст, разделить всё символами (типа 0 | 3 | 1 | 2, цифры обозначают разные цвета). И второе — GPT-4o плохо кодит и часто ошибается на +-1 по клеточкам. Обе проблемы решаются с развитием моделей, так что ждём к концу года новых прорывов (хотя кому теперь интересно будет садиться за задачу?).

Сделано с новой моделью Runway Gen 3

Те из вас, кто читал лонг про Sora, наверняка (не)помнят про то, что компания Runaway ещё год назад пробовала обучать модели по генерации видео, а в декабре (ещё до OpenAI) заявили, что их следующие модели будут World Models («...системы, которые понимают визуальный мир и его динамику. Они создают внутреннее представление окружающей среды и используют его для моделирования будущих событий в этой среде»). И вот вышел анонс модели Gen-3 Alpha с примерами генерации. Некоторые я приложил к этому посту (простите за вес!), но рекомендую перейти по ссылке и посмотреть все демки. В отдельных аспектах генерации превосходят OpenAI'шную модельку — особенно, как мне показалось, на генерации людей. Утверждается, что это решение будет для Артистов (не артИстов) и с прицелом на прикладное использование в индустрии. И якобы управляемость генерациями очень хорошая — правда все промпты на странице очень короткие, не чета Dalle 3 или Sora'шным. То есть как будто бы нельзя в мельчайших деталях описать, что происходит. Ну и ещё все ролики короткие — до 10 секунд. Зато будет предлагаться персонализация под бизнес-заказчиков. Например, это может быть полезно при генерации одного и того же персонажа в разных ситуациях, чтоб результат выходил более консистентным, а детали сохранялись.

И в заключение перевод последнего блока официального поста с анонсом статьи: === Будущее: полностью автоматизированный исследователь искусственного интеллекта, который постоянно совершенствуется Существует много интересных путей дальнейшего продвижения предложенного процесса автоматизации исследований <...> Наконец, мы считаем, что необходимы более эффективные методы отбора потенциальных решений <...> Наша работа подчеркивает огромный потенциал использования современного искусственного интеллекта для создания процесса самоулучшения. В будущем мы предполагаем, что этот подход можно будет использовать в открытой форме. То есть LLM неоднократно предлагает изменить части себя (любую часть обучения или работы системы) или части различных агентов, которые в конечном итоге дают обратную связь самим себе (например, посредством дебатов между собой). В этом проекте мы изучили возможности предложения кода различных LLM, включая GPT-4, Gemini-1.5 и Llama-3. Хотя все модели в целом были способны генерировать подходящие целевые функции, в конце концов мы решили использовать пограничную модель GPT-4, чтобы оценить, что в настоящее время осуществимо. Мы ожидаем, что возможности, обнаруженные в этой работе, будут возможны с большинством других передовых моделей, включая модели с открытым исходным кодом <...>В будущем мы хотели бы использовать предлагаемый процесс исследования для разработки самоусовершенствующихся ИИ-агентов в замкнутом цикле и с использованием открытых моделей. === Напомню, что a) OpenAI хотят делать то же самое (и скорее всего активно делают) б) Чем лучше базовая модель, тем лучше генерируемые гипотезы и варианты в) Лучшие базовые модели последние 3-4 года у OpenAI г) В этом году мы ждём GPT-4.5/GPT-5/GPT-Next, как там её назовут, и можно ожидать, что методы, подобные описываемым, будут работать ещё лучше

Таким образом у нас есть: — исходная модель, которую хотим дообучить — набор пар ответов «хороший-плохой», на которых будем дообучать — функция потерь, задающая направление дообучения — код, который запускает тренировку, беря на вход все три пункта выше (модель+данные+функция потерь) и выдаёт новообученную модель — автоматизированный бенчмарк, который принимает на вход модель и возвращает оценку, якобы отражающую мнение человека Все части для запуска алгоритма оптимаизации есть. Итеративно повторяем следующее: — просим LLM (в данном случае GPT-4) написать функцию потерь, описав задачу, что мы хотим — берем функцию, запускаем обучение, ЖДЁМ, пока обучится модель — оцениваем её на бенчмарке, получаем оценку. Пусть это будет условные 6.8 из 10 — дальше берем функцию, берем оценку, подаём в GPT-4 и просим улучшить код, чтобы оценка стала выше — получаем новую функцию... — обучаем... — оцениваем (пусть получилось 7.1 из 10)... — просим GPT-4 улучшить... (изображено на картинке слева, а по центру примерная структура промпта). и это работает. Модель понимает, как примерно нужно поменять код так, чтобы улучшить оценку. Более того авторы замечают, что, во-первых, модель пишет осмысленные названия функций, которые отражают используемые приёмы, а, во-вторых, трезво размышляет о способах улучшений, переиспользуя концепты из разных областей. Запустив цикл, авторы сгенерировали более 100 функций и выбрали перспективные. После проверили, что и на других бенчмарках, и на других данных, и в других ситуациях это работает также хорошо — зачастую лучше, чем существующие подходы. На правой части картинки вы можете посмотреть некоторую другую автоматизированную оценку. Заштрихованные полоски — существующие алгоритмы, а обычные — это новые, найденные GPT-4. Как вы понимаете, подход работает в общем виде — авторы пробовали его на моделях для классификации картинок, там тоже всё ОК (найденная функция работает для разных архитектур, и для других наборов данных). В общем, вот такие первые шажки в само-улучшающемся AI. Никакого прям супер-прорыва не произошло, то есть это не то что «вау ИИ самоулучшается мы скоро все умрём», но и улучшение на несколько процентов тут, там и здесь — всегда приятно.

Discovering Preference Optimization Algorithms with and for Large Language Models Помните у меня был лонг про FunSearch, алгоритм от DeepMind? Если пропустили — обязательно рекомендую к прочтению (особенно в контексте вчерашних постов про поиск). Вкратце: LLM общего назначения нашла решение оптимизационной задачи, над которой бились математики, лучше, чем найденное человеком. Алгоритм в некотором роде универсальный и может быть применён к любой задаче, решение которой можно каким-то образом числено оценить и сказать, что вот это лучше, а это хуже. Звучит сложно, поэт ому ещё раз отсылаю к лонгу. Так вот, ребята из Японии из стартапа Sakana предложили схожую идею, но для оптимизации самого процесса дообучения LLM. Как вы наверянка знаете, есть 3 этапа тренировки моделей вроде ChatGPT: — предтренировка на терабайтах текста (~98% всех ресурсов тут) — обучение следованию инструкциям — обучения на человеческих предпочтениях (чтобы модель отвечала так, как мы хотим, и была наиболее полезной, а также знала границы своих навыков) Последние 2 этапа иногда схлопывают в один, но не суть. При обучении на предпочтениях модель обычно оперирует парами сравнений: дан один промпт (запрос в LLM) и два ответа, и известно, какой ответ человек считает лучшим (или что они равны). OpenAI для обучения на таких данных используют метод PPO, который сами изобрели в 2017м. Но он требует очень качественных данных и тонкой настройки, и работает мало у кого вне OpenAI (может они и сами с него съехали, хз). В последний год появилось много аналогов, которые запустить куда проще — два самых популярных это DPO и KTO. Можете прочитать обзор у Ильи вот тут. По сути, все эти методы отличаются одной вещью: функцией потерь, используемой во время дообучения, а сами аргументы функции одни и те же (вероятности, выдаваемые моделями - текущей и исходной. Итого 4 штуки на каждый токен — потому что у нас 2 варианта, «хороший» ответ и тот, что похуже). То есть вся разница в том, какой обучающий сигнал мы подаём модели при прочих равных. То есть функция для оптимизации через генерацию разных вариантов у нас есть, осталось понять, как оценивать — и можно запускать аналог FunSearch. Важно, чтобы оценка была автоматической и быстрой — ведь потенциально нужно генерировать сотни функций. Для этого можно использовать саму LLM: у нас уже есть несколько разных автоматизированных бенчмарков, состоящих из 80 (MTBench) или 500 (ArenaHard) промптов и референсных ответов GPT-4. Если хотим понять, насколько хороша новая модель, то генерируем ответы на эти запросы, подаём в GPT-4 вместе с референсами и просим оценить по шкале с разными критериями. Немного шумно, но внезапно неплохо коррелирует с оценками живых людей.

Обновление по бенчмарку оценки моделей в разрезе понимания видео и ответа на вопросы по ним (Video-MME). Я писал, что Gemini сильно обгоняет GPT-4 потому, что в последнюю подавали всего 10 кадров из всего видео — конечно же многое будет пропущено. Авторы исправились, и сделали замер GPT-4o с 384 кадрами на видео. Всё ещё не как у Gemini-1.5-Pro, но тут роль уже играет естественное ограничение на длину контекста: больше просто не получается. Метрики скакнули с 66.2% до 71.9% — при 75% у конкурента от Google. Хотел сначала написать, что «ну если бы впихнули всё, то были бы и вовсе лучше!», но скорее всего нет: на коротких видео (до 4 минут), где теперь модели на равных (видят по 1-2 кадра в секунду), решение OpenAI отстаёт на 1.7%. Интересно, что на длинных видео разница увеличивается совсем немного — пока не понимаю почему.