Data Secrets

Вышел новый бенчмарк EnigmaEval, на котором все модели выбивают ровно 0 Его выпустили рисерчеры из ScaleAI (те самые, которые составляли знаменитый Humanity’s Last Exam) и он состоит из длинных и сложных головоломок, на решение которых людям требуются дни. Несколько примеров мы оставили наверху (сможете решить?) На нормальном уровне сложности большинство моделей выбивают 0.5-1.3%, а o1 – 7%. Но если переключится на задачи высокой сложности, некоторые из которых разрабатывали для студентов MIT, все дают одинаковый результат: 0. (DeepSeek в тесте нет, потому что для прохождения требуется мультимодальность) Интересно, что покажет o3. В нее как раз вчера добавили возможность грузить файлы и картинки. Статья | Блогпост + лидерборд

Вышло двухчасовое интервью с легендами Google Джеффом Дином и Ноамом Шазиром Джефф сейчас старший научный сотрудник Google Brain. Он разрабатывал MapReduce, BigTable, Tensorflow, AlphaChip и Gemini. А Ноам – это фаундер Character AI, которому Google недавно заплатили 2.7 миллиарда долларов за то, чтобы он вернулся в компанию со своей технологией. Поговорили про MoE, новые архитектуры, 25-летнее становление Google и AI в нем, AlphaChip, AGI и экономику ИИ. Нарезали для вас немного интересных цитат:

ИИ уже генерирует 25% кода Google. Мы обучили Gemini на своей внутренней кодовой базе, и это помогает разработчикам.

К 2030 году агенты будут повсюду, мировой ВВП вырастет на несколько порядков и мы решим проблему неограниченной энергии.

AGI будет одним гигантским MoE, который не обучается весь сразу, а выращивается частями

youtu.be/v0gjI__RyCY?si=82zRs8B6w2jusxlg

А вы знали, что существует организация Stop AI? Это общественное объединение, и они борются за то, чтобы навсегда запретить разработку AGI и ASI во избежании вымирания человечества. А еще они проводят митинги в Сан-Франциско и расследуют гибель ресерчера Сухири Баладжи из OpenAI, который рассказал журналистам о том, как OpenAI нарушает авторские права, а затем внезапно совершил самоубийство. Рабочий слоган StopAI «AI will kill us all» и их логотип вообще не нуждается в комментариях вверх 👆 Теперь вы в курсе

В Apple изучили законы мастабирования дистилляции и написали об этом интересную работу Дистилляция в последнее время уж очень всем полюбилась. С помощью нее можно как бы "перекачивать" знания из большой модели-учителя в маленькую модель-ученика, заставляя ученика предсказывать генерации и иногда промежуточные состояния учителя. Таким образом было получено ну очень много моделей, которыми мы пользуемся и особенно которые запускаем локально. С другой стороны дистилляция непредсказуема. Например, насколько глупее учителя получается ученик в зависимости от разницы в количестве параметров? Насколько это эффективнее обучения с нуля? Или насколько быстро обучение выходит на плато? Apple изучали как раз такие вопросы и вот к каким выводам эмпирически пришли:

➖ Кажется, что чем мощнее учитель, тем лучше получится дистилляция. Оказалось, это миф. Слишком мощный учитель может ухудшить обучение ученика из-за capacity gap, при котором ученик не может эффективно усваивать "уроки". ➖ На дистилляцию распространяется общий закон масштабирования моделей. Это значит, что добавление данных и увеличение модели снижает ошибку, но с убывающей отдачей. Работает и для учителя, и для ученика. ➖ Есть способ оптимизировать дистилляцию и описывается он вполне конкретным уравнением, которое зависит от размера ученика и доступного бюджета вычислений. ➖ От выбора учителя тоже много чего зависит. Чем больше ученик, тем мощнее должен быть учитель, но эта зависимость следует степенному закону, так что нужно очень внимательно подбирать соотношение параметров. ➖ И да, дистилляция эффективнее ванильного обучения, но только в пределах определённого бюджета вычислений. Если данных и вычислений достаточно, супервизионное обучение всегда будет лучше.

Супер-полезное исследование для практики, на самом деле. Прямо готовые рецепты удачного обучения arxiv.org/pdf/2502.08606

Маск заявил, что отзовет свою заявку на покупку OpenAI, если некоммерческий совет директоров остановит преобразование организации в коммерческую Собственно, ничего удивительного. Сразу было понятно, что цель Илона была именно в том, чтобы отнять у Альтмана некий финансовый контроль совета директоров и надавить на них. Адвокаты OpenAI тем временем говорят, что Маск делает все для того, чтобы подорвать позиции конкурента и утверждают, что все его действия неправомерны.

Курсы AI: от основ до языковых моделей от кандидата физико-математических наук Евгений Разинков – преподаватель ML в Казанском университете с многолетним стажем, руководитель собственной команды ML-инженеров и автор популярного канала по машинному обучению на YouTube основал свою AI-школу и приглашает вас принять участие в ее курсах: - AI: от основ до языковых моделей - MLOps - Decision Making in AI - Math for AI Они проведут вас от основ глубокого обучения и сверточных нейронных сетей до самых современных архитектур – трансформеров и больших языковых моделей. Параллельно вы ознакомитесь, как такие алгоритмы внедряются в продакшен, и как принимаются правильные решения в AI-проектах. Особый акцент делается на понимании алгоритмов на практике! А на все ваши вопросы вы получите ответы на живых QA-сессиях и в Telegram-чате. Старт уже 17 февраля, скорее регистрируйтесь здесь! P.S. Еще больше подробностей о курсе ищите в видео и на странице с отзывами участников ООО «Лаборатория Евгения Разинкова», ИНН: 5043088023, erid: 2VtzqvWetSy

В Nvidia попробовали генерировать оптимизированные GPU-ядра с помощью DeepSeek R1 и получили решения, превосходящие скорость PyTorch Так как атеншн в языковых моделях очень прожорливый, инженеры оптимизируют вычисления на уровне ядер GPU. И это непростая задача, потому что видов внимания много, и их нужно комбинировать, а еще там куча заморочек с мультимодалками. Вот в Nvidia и попробовали с помощью простого пайплайна генерировать CUDA код автоматически с R1. В итоге решения, которые она написала, превосходят по производительности стандартные решения PyTorch API в 1.1—2.1 раза. К тому же модель почти никогда не ошибается, особенно на высоком уровне бюджета на рассуждения. Получается, страдать и учить CUDA теперь необязательно 🥳 Блогпост

⚡️ o3 не будет. Зато будет GPT-4.5 и GPT-5 Сэм Альтман внезапно запостил в X планы OpenAI. GPT-4.5 (aka тот самый Orion, для которого из o3 генерировали синтетику) станет последней не-ризонинг моделью и выйдет уже в течение нескольких недель. После этого компания надеется создать единую модель, которая будет воплощать в себе все технологии OpenAI, включая o3: GPT-5. По словам Сэма, она сама будет знать, когда думать дольше, а когда нет. Также в нее интегрируют головой режим, агентов, поиск и холст. При этом GPT-5 будет доступна бесплатно! А Plus и Pro юзеры смогут запускать ее на более высоком уровне компьюта.

Мы хотим, чтобы ИИ «просто работал» для вас, и мечтаем вернуться к единому волшебному интеллекту вместо множества моделей, из которых приходится выбирать

Что-то замышляют?

Deep Research будет доступен бесплатным пользователям Альтман сказал, что в плюсе будет доступно 10 запросов в месяц, а во фри плане – 2, и со временем это будут масштабировать. Он также написал следующее:

«В долгосрочной перспективе нам все еще предстоит найти способ позволить людям платить за вычислительные ресурсы, которые они хотят использовать более динамично»

Такая подписка, конечно, была бы революционной в мире чат-ботов. Представьте: вы платите не за план, а динамически настраиваете себе ресурсы, которые можете оптимизированно тратить на любую модель или продукт в зависимости от ваших задач.

Бесплатно приехать в топовый вуз, поучиться у IT-экспертов и познакомиться с единомышленниками — звучит как мечта? Тогда вам стоит подать заявку на весенний студкемп Яндекс Образования в ФПМИ МФТИ. Он пройдёт с 14 по 26 апреля и будет посвящён робототехнике и генеративному ИИ. В программе — лекции от экспертов, воркшопы, работа над проектами и вдохновляющая атмосфера. Студенты выпускного курса смогут поступить в магистратуру ФПМИ МФТИ, сдав на студкемпе вступительный экзамен. Участие, как и всегда, бесплатное. Каждому, кто пройдёт отбор, оплатят проезд и проживание. Успейте зарегистрироваться до 23 февраля.

Тем времен Альтман: что? 500 миллиардов? Маловато 🤑

«500 миллиардов сейчас звучит невероятно, но через несколько лет, когда мы привлечем 5 триллионов, уже не будет так казаться»

Вот кому уверенности хватает

Евросоюз проснулся и решил вложить 200 миллиардов долларов в AI Об этом сообщили на AI Action Summit в Париже. Из этой суммы 20 миллиардов евро будут направлены на создание так называемых «гигафабрик» ИИ aka датацентов для обучения. Есть нюанс: из этих 200 миллиардов государственных (а это от всего Евросоюза) только 50. Остальное пока только планируют привлечь от частных инвесторов и бизнеса.

Вы не поверите: у OpenAI вышла статья! Правда, она никаких новых идей не раскрывает (разбежались), а скорее похожа на тех.отчет и называется Competitive Programming with Large Reasoning Models. Это текст об успехах их ризонинг моделей в кодинге. Оказывается, OpenAI в реальном времени тестили модельки на IOI (Международная Олимпиада по Информатике). В соревновании участвовала o1, специально зафайнтюненная с помощью RL и эвристик – о1-ioi, а также o3. Результаты такие: ➡️o1 достигла рейтинга 1673 на CodeForces (Альтман уже об этом говорил, кстати). Ее зафайнтюненная версия на олимпиаде вошла в 49-й процентиль среди участников. НО если бы не ограничение на количество сабмитов, взяла бы золото ➡️ o3 же без всякого дообучения уверенно набрала 395.64 балла (золото). На CodeForces ее рейтинг 2724 (99.8-й процентиль). Это на уровне топ-200 участников мира. Еще тестили на более привычных HackerRank Astra и SWE-Bench. Результаты на графиках, у o3 значительный прогресс (при этом говорят, что строго отслеживали чтобы в тесте не было того, на чем модель обучалась). Из технических деталей почти ничего. Есть намеки на то, что o3 обучена с гораздо большим количеством RL-компьюта. За счет этого по словам авторов ей даже не пришлось «объяснять» предопределенные тест-тайм стратегии, o3 сама научилась генерировать, проверять и корректировать решения во время инференса, а еще внезапно догадалась использовать брутфорс для проверки некоторых собственных алгоритмов. https://arxiv.org/abs/2502.06807

«Илон Маск делает это, потому что он неуверен в себе» Так прокомментировал Альтман попытку Маска купить его компанию.

– Вся его жизнь продиктована неуверенностью. Я сочувствую ему, думаю он несчастный человек. – Переживаете ли вы о том, что он может влиять на принятие решений в США? – Может мне и стоит, но не очень. Я просто стараюсь просыпаться и думать о том, как сделать технологии лучше 👼

Посочувствуем Сереже

Рисерчер из OpenAI поделился графиком прогресса по бенчмаркам

«Я сделал этот график для предстоящего выступления. Безумие, как быстро в наше время перенасыщаются бенчмарки»

Конечно, эта шкала немного необъективная. Почти все бенчмарки (или их открытые части) почти сразу после публикации попадают в трейны и получается лик, которым не полностью, но частично точно обусловлен рост метрик и «умирание» бенчмарка. Интересно, когда на кладбище бенчей (такое существует!) попадет новый Humanity’s Last Exam. На графике он – маленькая синяя черточка справа, текущие модели OpenAI решают его на <30%

Anthropic анонсировали собственный экономический индекс и в числах показали, как ИИ влияет на экономику труда Anthropic Economic Index показывает, как люди на самом деле используют ИИ, и основан он на диалогах пользователей. Но не осуждайте: они очень бережно подходят к персональным данным, у них даже было огромное исследование на этот счет (наш разбор). Если кратко, в том ресерче они релизовали очень умную систему анализа диалогов Clio, которая полностью автономно в несколько этапов чистит чаты от персональных данных и извлекает из них фичи. То есть люди вообще не имеют никакого доступа к текстам: только к финальным статистикам. И вот теперь Clio используют для глубокой экономической аналитики. Вот что накопали в антропик: ➖ Уже в 36% профессий AI используется как минимум в четверти рабочих задач. ➖ В 57% случаев AI помогает пользователям (аугментация), а в 43% — заменяет их в выполнении задач (автоматизация). ➖ Больше всего AI используют разработчики, аналитики и технические писатели. Меньше всего — самые низкооплачиваемые и самые высокооплачиваемые профессии. Прикольные нелинейные наблюдения (и графики красивые!). Для аналитики, кстати, даже привлекали экспертов социологов и экономистов. Такую статистику, да еще и от такого крупного вендора, вообще нигде больше не увидишь. Кроме того, данные выложили в свободный доступ и они открыты для исследований (датасет на HuggingFace) assets.anthropic.com/m/2e23255f1e84ca97/original/Economic_Tasks_AI_Paper.pdf

Илон Маск пытается купить OpenAI и настроен серьезно Начальная ставка от его группы инвесторов за контрольный пакет акций – $97.4 млрд (1/5 Stargate). В документе также написано, что они готовы перебить любые другие ставки, если OpenAI собирается их рассматривать. Маск не просто так проснулся сейчас. OpenAI, как мы знаем, пытается из некоммерческой организации стать коммерческой. Для этого нужно «убрать» некоммерческий совет директоров, который должен был получить компенсацию по справедливой рыночной стоимости за отказ от контроля. Сколько им планировали заплатить OpenAI – неизвестно, но точно меньше 100 млрд. Вероятно около 30-40. Поэтому Маск все усложнил, и поэтому то в документе и написано «перебьем любую ставку». Альтман отказался от предложение (Маск в ответ на это назвал его мошенником), но решение будет принимать тот самый некоммерческий совет директоров. И даже если они откажутся, Альтману теперь придется платить им более чем щедро. Ведь если переход в коммерческую организацию не завершится через 2 года, инвесторы 2024 года (которые вкладывались именно в идею ком. проекта) могут потребовать инвестиции обратно. Игра престолов в 21 веке выглядит так

⚡️ Тем временем DeepSeek выкупили домен ai.com В 2023 его за 11 миллионов долларов купили OpenAI. До этого он принадлежал Google. Сколько за него заплатили в Китае, неизвестно.