Data Secrets

Помните бенчмарк Humanity’s Last Exam, в который можно было предложить свой вопрос за 5000 долларов? Его опубликовали! Напоминаем: ученые из CAIS и ScaleAI с сентября собирали самый сложный бенчмарк с вопросами из разных областей. За хорошие вопросы они давали от 500 до 5000 долларов, а также соавторство в статье. И вот наконец бечмарк вышел! Он состоит из 3000 вопросов и ведущие модели выбивают на нем < 10%. Лучше всех справляется (не поверите) новая R1 от DeepSeek: она выбивает 9.4%, в то время как даже o1 выбивает всего 9.1%. Среди вопросов бОльшая часть по математике (42%), но также много физики, биологии и других наук. Примеры задачек можно посмотреть в статье. Датасет | Статья | Репо

Пока OpenAI начинают раскатывать Operator на Pro юзеров (похоже релиз действительно будет сегодня вечером!), китайская ByteDance подгадала момент и выкатила своего такого же агента в опенсорс Он называется UI-TARS и вышел под лицензией Apache 2.0 (репозиторий). Основан агент на VLM (есть варианты на 2B, 7B и 72B, вот тут веса), на вход принимает картинки аля кадры экрана, а на выход генерирует человекоподобные действия, то есть движения мыши или нажатия на клавиатуру. Самое интересное: в агенте есть ризонинг! Его обучали как на простых "интуитивных" сценариях, так и на CoT, так что для сложных задач он может поключать размышление и какое-то подобие планирования. Датасеты там, конечно, огромные, и собранные самими ByteDance. На бенчмарках выглядит ничего. Учитывая, что Operator, вероятно, будет доступен только за 200 долларов, довольно приятный релиз. Статья здесь

🚀 Хотите стать экспертом по машинному обучению в будущем? Тогда не теряйте время и начинайте развивать профильные навыки уже сейчас! Если вам от 13 до 20 лет, вы знаете основы Python и любите математику, у вас есть шанс присоединиться к крутой программе по машинному обучению! Пройти её можно в Яндекс Лицее 🌟 Вас ждут 3 месяца бесплатных онлайн-занятий и лекций от экспертов из индустрии. Все знания вы будете применять на практике, получая реальный опыт: от использования ML‑алгоритмов в компьютерном зрении до построения нейронных сетей 🌐🤖 Набор открыт также на онлайн-программы по веб-разработке на Go и Django, анализу данных, большим данным. Не упустите шанс — подайте заявку до 29 января!

Высок ли потенциал китайских LLM: новое исследование от EpochAI (надеемся, на этот раз не проспонсированное OpenAI) Основное: исследователи насчитали, что мощности, выделяемые на обучение моделей, в Китае растут почти в два раза медленнее, чем у конкурентов с Запада и Европы. Если для глобала это 4.8x в год, то в Китае 2.9x (если считать с конца 2021). Это не означает, что потенциала у Китая нет. Например, до 2021 – посмотрите на график – они уверенно давили педаль в пол, за счет чего и догнали мировую индустрию. А сейчас разрыв опять растет. Конечно, флопсы – это только один из аспектов, и метрики последних моделей DeepSeek нам явно на это указывают, но все-таки недостаток мощности это риск. Например, уже сейчас Китаю бы потребовалось 2 года, чтобы достичь скейла глобального сегодняшнего топ-10. Неужели Gwern был прав?

🚀 Кажется Operator, который должен открыть эру агентов в OpenAI, выйдет уже на этой неделе Об этом сообщает The Information. Напоминаем, что Operator это это ИИ-агент для автономного управления компьютером, аналог агента Sonnet от Anthropic. С его помощью можно будет, например, заказать еду, забронировать путешествие или... оставить его работать над проектом и уйти отдыхать. Учитывая, что почти все релизы у OpenAI выходят в четверг, готовимся увидеть Operator уже завтра

Тем временем Perplexity наконец-то запускает API Проект называется Sonar, о его запуске объявили вчера. Теперь серчинг в интернете на основе ИИ можно встраивать в приложения, то есть каждый может на коленке написать собственный ИИ-поисковик. Есть два варианта использования: базовый и Sonar Pro (лучше подходит для сложных составных задач). Цены вполне ок: по 1 доллару за миллион инпут-аутпут токенов, для Pro $3/m input $15/m output. 🤩

Как решить проблему устаревшего парсинга и ускорить работу с YQL? ANTLR является ключевым инструментом для работы с YQL (диалект SQL для YDB и YTsaurus). Его эффективность напрямую влияет на производительность, точность анализа запросов и удобство работы с системами на базе YDB. Однако версия ANTLR3 давно устарела и не поддерживает генерацию кода для таких языков, как Go, TypeScript или C++, что создает сложности с масштабированием и интеграцией. В статье от выпускника и ментора Школы анализа данных Яндекса представлена компиляция опыта по переводу парсера YQL с ANTLR3 на ANTLR4. Стоит изучить, чтобы разобраться в особенностях парсинга YQL и в том, как ANTLR позволяет просто и быстро реализовывать парсеры различных языков на примере SQL.

How it started: 2015, маленькая некоммерческая организация How it’s going: 2024, инвестиции в размере 2% ВВП США

Итак, Stargate. Что нам известно? ➖ На начальном этапе будут реализованы 100 млрд долларов. Государственных денег США здесь нет: среди акционеров SoftBank, OpenAI, Oracle и MGX. SoftBank и OpenAI являются ведущими партнерами, причем SoftBank несет финансовую ответственность, а OpenAI — операционную. ➖ В техно-партнерах помимо Oracle и OpenAI числятся Arm, Microsoft и NVIDIA. Деньги потратят на инфраструктуру, то есть будут строить датацентры и кластеры. Судя по всеми, первые кампусы появятся в Техасе, остальные территории пока "оцениваются". ➖ Интересно также, что теперь в силу вступает новое соглашение между OpenAI и Microsoft. Стартап еще больше отдаляется от гиганта: раньше Microsoft фактически конролировало все вычислительные силы Альтмана, теперь же стартап волен сам наращивать мощность и управлять своими датацентрами. ➖ Основной экономический упор на первом этапе – рабочие места. Ожидается, что их Stargate сгенерирует сотни тысяч. В перспективе – конечно, AGI, лидерство США в гонке технологий и ИИ в медицине. ➖ Так как вся компания крутится вокруг OpenAI, фактически они теперь – официальный ИИ Америки. У Google и Anthropic вряд ли остаются шансы после такого. Пост OpenAI

⚡️ Итак, игра набирает обороты: Трамп анонсировал Stargate ака манхэттенский проект для ИИ В предприятии участвуют OpenAI, Oracle, SoftBank (интересно, почему Маска на фан-встречу не позвали). Итоговая сумма начальных частных (!) инвестиций – $ 100 млрд, с возможным ростом до 500 в ближайшие 4 года (минимум). Напоминаем, что все ИИ стартапы Европы в 2024 получили в сумме 13.7 млрд, последний раунд OpenAI был 10 млрд. Так что сумма в 100 млрд звучит просто как революция, цель которой, видимо – не оставить Китаю никаких шансов затмить США в гонке ИИ. Теперь на место встает и недавний экономический план OpenAI, и осенние питчи Альтмана в Вашингтоне. Акции Oracle уже улетели вверх, про Nvidia даже думать страшно. Мы с вами наблюдаем начало чего-то большого

Сразу несколько источников сообщают о том, что с минуты на минуту Трамп сделает заявление о многомиллиардных инвестициях в ИИ Reuters пишут о 500 миллиардах долларов, Financial Times о 100 миллиардах. Сам Трамп выступит через пару минут. Ждем

Мы?

Там, кажется, Anthropic наконец-то скоро выйдет из спячки CEO стартапа Дарио Амодеи дал интервью Wall Street Journal и пообещал, что в ближайшем будущем Anthropic подарит нам новые более умные модели, а также улучшенную память для Claude и голосовой режим. Также прозвучали слова о том, что к 2026 стартап запустит кластер размером 1 млн GPU (ничего такого никогда ранее Anthropic не заявляли). AGI, кстати, как и ранее, Амодеи прогнозирует к 2027. Полностью интервью можно посмотреть здесь, длится всего 35 минут

Приглашаем на открытый урок «Инструменты обратного тестирования торговых стратегий» от Otus Рассмотрим базовую методику и рассмотрим основные библиотеки для проведения обратного тестирования торговых стратегий. ✅ Практика: тест простой торговой стратегии Оставляйте заявку на курс «ML для финансового анализа» и создайте торгового робота для автоматического проведения операций с оценкой уровня риска 👉 Регистрация на урок и подробности: https://otus.pw/7ReY/?erid=2W5zFJAasag #реклама О рекламодателе

Ну и классика:

Итак, как же DeepSeek обучили открытую модель уровня o1? Разбираем тех.отчет по полочкам: 🔷 Первое и самое интересное: сразу после претрейна – RL. Обычно за предобучением следует файнтюнинг вида <вопрос-ответ> на размеченных данных, но здесь сразу воткнули чистое обучение с подкреплением. Базовая модель – DeepSeek-V3-Base. В качестве алгоритма RL традиционно для DeepSeek применяется GRPO, улучшенная версия PPO (очень подробно мы описывали этот алгоритм в нашей большой статье про DeepSeekMath). Отдельно поощряется формат, в котором модель помещает свои рассуждения внутри тегов <think> и </think>. Уже на этом шаге после нескольких тысяч итераций точность на AIME скакнула с 15.6% до 71.0% (вау!). Итого, получается модель, обученная без разметки вообще – DeepSeek-R1-Zero. 🔷 Для DeepSeek-R1 процесс повторяется с небольшой разницей. Для R1-Zero мы использовали rule-based rewards, когда ответы проверяются только самой системой (например с помощью компилляторов), без внешних разметок. И хотя точность таким образом получается приличная, сами ответы читать сложно: в них смешиваются языки, нет форматирования и тд. Поэтому в R1 в процесс обучения все-таки добавили разметку в виде готовых цепочек рассуждений. Данные брали из DeepSeek-R1-Zero и, видимо, o1 и улучшали вручную. На них модель дообучают, а затем их же применяют в RL, прикручивая сюда еще и rejection sampling (то есть отборные ответы прямо во время RL добавляются в обучающую дату). Интересный факт: когда на этапе RL для R1 ввели правило "доля таргетного языка в ответе должна быть больше 0.95", качество немножко просело. 🔷 И, наконец, дистилляция! Тут в качестве базовых моделей брали Qwen и Llama, а учителем выступала R1. Из модельки насемплировали 800,000 примеров, на которых ванильно зафайнтюнили учеников (как работает дистилляция, читайте в нашей статье тут). Тут вообще не использовался RL, но в статье написано, что ученые хотят попробовать его применить. И еще раз ссылка на полный текст: github.com/deepseek-ai/DeepSeek-R1/blob/main/DeepSeek_R1.pdf

❓ Как мощные алгоритмы матричных разложений применяются в рекомендательных системах? Расскажем на открытом уроке «SVD и ALS на службе рекомендательных систем», посвященному курсу Machine Learning. Advanced ✅ Изучим и применим на практике такие методы как SVD и ALS для построения рекомендательных систем 👉 Регистрация и подробности: https://otus.pw/zcP8O/?erid=2W5zFK8hyUL  Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

А это, знакомьтесь, Сэм Альтман по-китайски: CEO DeepSeek Лиан Венфенг Вчера, после релиза R1, он был приглашен на встречу с Ли Цяном, премьер-министром Китая (который является вторым по значимости человеком в Китае после Си Цзиньпина). Если DeepSeek сделали R1 в условиях ограниченных вычислений и средств, представьте, что они могут сделать с субсидиями Китая. Человек года 2025 загружается 🔵

Буквально все сегодня:

/M