Data Secrets

Понедельник

Проверь ее, прежде чем жениться ‼️

Вышло крутое полуторачасовое интервью Франсуа Шолле. Ниже – TLDR Шолле – создатель Keras, ex ведущий исследователь Google DeepMind, автор книги "Deep Learning with Python", а также один из главных создателей того самого бенчмарка ARC AGI и учредитель соревнования ARC Prize. Из Google, он кстати, совсем недавно ушел и планирует открывать собственную компанию. Самое интересное из интервью: 🟦 Умение хорошо отвечать на сложные вопросы само по себе не гарантирует AGI, потому что бывает двух видов: а) запоминание и применение паттернов, например, обучение алгоритму умножения чисел и его использование (это ближе к тому что умеют классические LLMки); б) адаптация к новизне, то есть умение рекомпозировать и объединять известные когнитивные блоки для решения новых задач (ближе к o1). Только если добиться от моделей полноценного ризонинга типа б) можно прийти к AGI (база) 🟦 Бенчмарк ARC AGI – как раз такой инструмент, который может помочь нам отличить а) от б). И по такому принципу должны строиться все современные бенчмарки, потому что, еще раз, просто умение отвечать на сложные вопросы ничего не доказывает, мы должны проверять умение рассуждать. 🟦 Но и с ARC AGI есть свои проблемы: в частности, он все еще недостаточно разнообразный. Кроме того, существуют известные методы, позволяющие восстанавливать содержимое приватного теста через отправку кучи сабмитов, и ARC AGI уязвим. В будущем Шолее планирует это исправить. 🟦 То, каких результатов добивается o1 делает ее абсолютно уникльной моделью, совершившей прорыв в генерализации. "Это уже далеко за рамками классического лубокого обучения" – говорит Шолле. 🟦 По его догадкам, o1 выполняет поиск по дереву в пространстве возможных Chain of Thought. Как устроен этот поиск, до конца не понятно, это может быть Монте-Карло или даже градиентный спуск. Посмотреть полностью можно здесь (то что нужно в воскресенье)

🍯

GAN умер; да здравствует GAN! Да, эта статья заслуживает внимания за одно лишь название (в оригинале на английском The GAN is dead; long live the GAN!). Однако вчера она еще и стала лидером в рейтинге Paper of the day на HF. Разбираемся 👇 Итак, GAN был одной из первых генеративных архитектур. Чем же он плох? Самое главное, нестабильностью: чтобы заставить лосс сойтись, обычно нужно продать дьяволу душу. Есть миллион статей, описывающих кучу трюков для таких танцев с бубном, но это все еще попытки компенсировать фундаментальные недостатки архитектуры. Здесь же авторы предлагают вообще переосмыслить подход и представляют архитектуру R3GAN. В R3GAN нет эмпирических трюков, как например в StyleGAN2, но зато есть новая функция потерь Relativistic Pairing GAN. Это продолжение идеи о лоссе Relativistic GAN, который был предложен еще давно, но здесь авторы добавили две хитрые регуляризации, и, что самое главное не имперически, а теоретически доказали локальную сходимость. В итоге получаем стабильность + универсальность для разных распределений даты. В архитектуре тоже кое-что изменилось. Авторы полностью отказались от рудиментов, которые оставались в ганах аж с 2015 (ака нормализация, впрыскивание шума и тд) и добавили современных подходов: заменили стандартные свертки на групповые, добавили больше остаточных блоков в стиле ResNet, увеличили ширину боттлнеков и переделали ресемплинг с помощью билинейной интерполяции (раньше было просто транспонирование сверток). В итоге R3GAN очень заметно превзошла StyleGAN2 на нескольких датасетах по FID, и даже показывает какие-то конкурентоспособные результаты по сравнению с диффузионными моделями, при этом оставаясь более эффективной с точки зрения вычислительных затрат. Есть даже демо, потыкать и погенерить можно здесь

Meta проиграла суд по делу о нарушении авторских прав в процессе обучения ИИ Это был один из первых исков, который был подан на корпорацию за обучение моделек на данных, защищенных автоским правом (да, даже считая тысяча и один иск на OpenAI). Его подавали еще в начале 2023 писатели Ричард Кадри и Кристофер Голден, а также комик Сара Сильверман. Сначала Meta вину отрицали, и говорили, что обучали модели на безобидном датасете Books3 (там 196 000 книг). Однако в ходе разбирательства оказалось... что собирали эти данные в компании с помощью LibGen. Кто не в курсе – это самая известная пиратская либа для скачивания книг, созданная, кстати, в России. 😁

DeepSeek: 100 additional authors not shown Google: подержи мое пиво

Общий объем компьюта, который используется для обучения моделек, увеличился с 2018 года в 10 000 раз 😲 Такими числами в своем новом исследовании нас радуют известные EpochAI. Они установили, что за последние 6 лет объем вычислений рос каждый год в четыре раза. При этом быстрее всего разростался размер кластеров (то есть непосредственно количество железа для обучения) – примерно в 1,7 раза в год (40% общего роста). На втором месте – время обучения. Оно тоже увеличивалось стремительно: в 1,5 раза каждый год. И, конечно, помимо прочего, за шесть лет наши чипы стали сильно лучше: количество FLOP/s, достижимое на обучающем оборудовании, выросло в 8 раз с 2018 года. Отчет целиком здесь

Инвесторы дуреют с этой прикормки

137 Столько раз на презентации Nvidia на международной выставке CES было произнесено AI. Это примерно раз в 40 секунд 👥 AMD тоже поднапряглись: говорили AI раз в 30 секунд. Только Intel отстали от тренда. Не дело

В топ-1 Paper of the day на Hugging Face сегодня невероятная статья от Microsoft, в которой они показывают, как научили крошечную модельку математическому ризонингу на уровне o1 Статья называется rStar-Math: Small LLMs Can Master Math Reasoning with Self-Evolved Deep Thinking и в ней на практике доказано, что маленькие модельки даже без дислилляции могут ризонить и решать мат. задачи на уровне передовых моделей от того же OpenAI. Все происходит только за счет хитрого инференса. Подробнее ⬇️ Ключевая идея rStar – уже знакомый нам по многим статьям метод Monte Carlo Tree Search, который выполняет поиск по дереву решений. К слову, у самих HF недавно выходил блогпост-исследование с примерно таким же алгоритмом для ризонинга (вот наш разбор), а еще Alibaba делали подобное (разбор). Короче, идея не новая, даже в AlphaGo и AlphaZero уже был поиск по дереву, но что сделали Microsoft? Они ввели три дополнительных фишки: 🔷 Code-augmented CoT. Вместо исполользования классического Chain-of-Thought (CoT), который часто ошибается в промежуточных шагах, они дополнили его генерацией кода на питоне. Каждый шаг проверяется исплементацией — если что-то ломается, такую ветку просто отбрасывают. 🔷 Process Preference Model (PPM). Вместо громоздкой скучной ручной аннотации данных здесь используется Q-values из поиска по дереву для создания пар предпочтений. Получается попарная оценка ответов с стиле "этот лучше чем этот", а затем PPM оптимизируют через pairwise ranking лосс. 🔷 Self-evolution. Это итеративный процесс, в котором модель обучается на данных, которые она сама же и генерирует. Обратите внимание, что никакая сторонняя модель тут не используется, все на своем топливе. Просто на каждом шаге хорошие ризонинг-траектории попадают в дату, которая используется в следующем цикле. И нет, это не вырождается. Результаты получили ну очень крутые: на 8 траекториях для поиска rStar-Math улучшила Qwen2.5-Math-7B на бенче MATH с 58.8% до 89.4%, а на 64 — до 90% (это лучше, чем o1-preview на +4.5%). На AIME 2024 в итоге получилось достичь 53.3% (больше, чем o1-preview на +8.7%). Все это, еще раз, на крошке 7B! Полностью статья лежит тут, код и данные скоро обещают открыть 🍜

На YouTube канале Anthropic ночью вышло новое интересное видео про alignment Присутствовали четверо разработчиков команды элаймента, среди которых был знаменитый Ян Лейке, ушедший из OpenAI вместе с Суцкевером. Видео длится всего 28 минут, посмотреть полностью советуем здесь, а вот основные и самые интересные тейки: 🟦Главная проблема элаймента сегодня – масштабирование. Текущие подходы вроде RLHF и constitutional AI работают для относительно "предсказумых" задач. Но что произойдет, когда модели начнут решать задачи, которые люди не могут проконтролировать напрямую (например, разработка новых белков в биоресерсе)? Такой элаймент пока остается открытым вопросом. 🟦Ризонинг – это еще один челлендж. Сейчас цепочки размышлений моделей понятны и их можно анализировать, потому что модели думают на английском. Но в будущем это изменится, и проверять CoT станет сложнее. 🟦Поэтому два главных и самых перспективных направления ресерча сейчас – это интерпретация фичей (см. пост про исследования стартапа на эту тему №1, №2, №3) и супер-alignment, то есть элаймент сложных автономных систем, которые могут принимать долгосрочные решения. Интерпретация нужна, чтобы контролировать, не врет ли нам модель, не примеряет ли маску послушного гражданина, просто чтобы пройти проверку. А супер-элаймент – это будущее. 🟦Лейке предполагает, что самым вероятным решением для супер-элаймента является делегирование элаймента другим ИИ-моделям, то есть его полная автоматизация. Сейчас исследователи уже пробуют элайнить маленькие модели и заставлять их выравнивать более мощные, но главный вопрос: как быть уверенными, что модель, которой мы доверяем, не саботирует процесс? – все еще открыт. 🟦Для решения этого вопроса, в частности, в Anthropic недавно появились целые команды, одни из которых занимаются анти-элайментом, то есть создают моделей-злюк, а другие берут эти модели и пытаются научиться их "понимать", определять источник проблемы и исправлять ее. Это называется red-blue team. Еще раз ссылка на полное видео: www.youtube.com/watch?v=IPmt8b-qLgk

Google DeepMind, видимо, планируют искать свои собственные пути скейлить модельки Мы заметили, что буквально на днях они открыли две интересные вакансии: Research Engineer, World Modeling и Research Scientist, World Modeling. Но это необычный WM: в обеих вакансиях написано, что основным направлением работы будет исследование скейлинга в претрейне на новых модальностях, в частности на видео. В целом, что-то такое ожидалось, когда Google недавно выпустили Veo. В вакансиях так, кстати, и написано: "Команда будет сотрудничать с командами Gemini, Veo и Genie и развивать их работу". Нанимает в эту команду, к слову, бывший лид команды SORA в OpenAI, Тим Брукс. Он ушел из стартапа в октябре, и уже успел приложить руку к Veo. А теперь, видимо, Veo послужит мощным источником синтетики. Кто знает, может DeepMind и найдет в этом золотую жилу скейлинга. В любом случай, ждем от них крутых релизов в этом году

Зацените, на что мы случайно наткнулись на гитхабе: мемориальная доска бенчмарков "Killed by LLM" Проект создан пару недель назад неким Робом Копелем и представляет из себя кладбище бенчмарков, которые были пройдены модельками. Бенчмарк считается убитым, если больше не способен служить индикатором передовых достижений. То есть, даже если эти тесты остаются важными и значимыми, высокий скор какой-то новой модели на них больше не означает, что мы вышли на новый уровень возможностей ИИ. Среди погибших в этом году числятся ARC-AGI, MATH, Human Eval и др. Вот, что пишет автор в ридми:

Этот проект создан, чтобы немного развлечь нас и напомнить о впечатляющем прогрессе, которого мы достигли — большей части из этого я даже не надеялся увидеть при своей жизни.

Вот он, идеальный новогодний пет-проект r0bk.github.io/killedbyllm/

Автономный компьютерный агент от OpenAI может выйти уже в этом месяце Об этом пишет The Information. От инсайдеров журналисты узнали, что стартап якобы уже давно готов к релизу, но позволяет конкурентов обогнать себя из-за страха prompt injection атак. Так что пока Anthropic и Google уже вовсю тестируют свои системы в проде, OpenAI там занимается безопасностью (удивительно!) Что такое prompt injection? Вкратце, это когда вредоносные сайты крадут ваши данные через агента. При этом вы, как пользователь, ни о чем не подозреваете, потому что у вас нет контроля за тем, какие данные с сайтов или вашего пк поглощает моделька. Тем не менее, кажется, проблему уже почти победили, потому что по словам того же инсайдера катить агента собираются уже в январе. Ставим ставки, сколько будет стоить подписка с ним? 🤑

Виталик Бутерин предлагает ввести «глобальную кнопку паузы ИИ» В случае появления ASI эта кнопка сократит AI-компьют на 90-99% на два года. По мнению создателя эфира, это даст человечеству шанс подготовиться к «экзистенциальной гибели». Идея, кстати, не нова. В один из таких проектов уже даже можно донатить

Сегодня прошел первый день CES – самой крупной техно-выставки в мире. Nvidia залетела на нее сразу с несколькими крутыми релизами: ➖ Во-первых, новое поколение видеокарт RTX, 50 серия. Самая мощная из них – RTX 5090 – будет стоить $2000. В ней 4000 AI TOPS, 380 ray-tracing TFLOPS, пропускная способность 1,8 ТБ/с (вау!). Еще в продаже будут RTX 5070 ($549), RTX 5070 Ti ($749) и RTX 5080 ($999). ➖ Следующая, пожалуй самая крутая новинка – DIGITS. Это ИИ-суперкомпьютер у вас дома за 3 тысячи долларов. Представляет из себя небольшую коробочку, но внутри аж 128Gb оперативки. Комп тащит 1 петафлопс операций в секунду, это примерно в 1000 раз быстрее среднего ноута. На одном таком чемоданчике можно запустить LLM весом до 200B параметров. То есть имея две таких, можно запустить локально почти любую из существующих моделек. ➖ Cosmos – моделирование физического мира с помощью ИИ, аналог недавно прогремевшей Genesis (пост). Нужна для обучения роботов и беспилотных автомобилей, в партнерах уже числится Uber и Toyota. Как-то так. Кстати, цитата Хуанга с его выступления: «ChatGPT moment для робототехники наступит скорее, чем вы думаете» 🤖

Альтман подтвердил, что OpenAI теперь точно знает, как достигнуть AGI и уже готовится к созданию ASI В честь Нового Года он выложил в своем блоге новый пост под названием Reflections. Там (в который раз) Сэм рассказывает историю успеха OpenAI. Он говорит, что в 2022 компания была незаметной лабораторией, и к их вере в то, что AGI достижим, относились скептично. Поэтому они придумали концепт ChatGPT. Интересный факт: ChatGPT вообще планировался, как маленький эксперимент и демо возможностей ИИ для сообщества, а никак не полноценный основной продукт. Тем не менее, именно ChatGPT стал супер-мощным катализатором и благодаря ему стартап добился того, чего добился. Этого никто не ожидал. «Эти два года были самыми захватывающими в моей карьере» – говорит Альтман (и после трогательно рассказывает про увольнение, возвращение, ошибки и тд) Короче, теперь OpenAI точно знает, как достигнуть AGI и в этом году мы уже увидим полноценных ИИ-агентов, которые смогут работать на реальный бизнес. Следующий шаг для компании – ASI. Это звучит как фантастика, «но нам не впервой» – написано в блоге. В общем, интересный сторителлинг, прочитать полностью можно тут

Вот куда надо вкладываться в 2025, а не этот ваш AI Источник

Пошли какие-то недвусмысленные намеки от OpenAI Вчерашний твит ресерчера оттуда, который, кстати, занимается агентами:

Я скучаю по временам, когда мы занимались ИИ-исследованиями, не зная, как достичь суперинтеллекта.

И сразу за этим, твит Альтмана:

Всегда хотел написать историю из шести слов. Вот она: «Сингулярность рядом: непонятно, с какой мы стороны». (Предполагается, что это либо 1. Мы в гипотезе моделирования, либо 2. Мы не можем узнать, когда на самом деле наступит критический момент при взлете, но мне нравится, что это работает и во многих других отношениях)

🧐