Data Secrets

/M

Бенчмарки по R1 от DeepSeek не заставили себя ждать ➖ Перформанс на уровне o1 (не везде, но да). Очень сильные результаты по математике и кодингу. ➖ Модель уже доступна в чате chat.deepseek.com/ и в API. В чате бесплатно 50 сообщений в день, цены на API очень демократичные: 0.55$/M токенов на инпут без промпт кэша и 0.14$/M с ним, аутпут 2.19$/M. Это дешевле всех моделек OpenAI и Anthropic (например, o1 стоит $15.00/M input и $60.00/M output). ➖ Выложили дистиллированные варианты, аж 6 штук. Размеры: 1.5B, 7B, 14B, 32B, 8B, 70B. 32 и 70 на уровне o1-mini, 1.5B аутперформит GPT-4o и Сlaude Sonnet (!) Ну мед 🍯

Ваши задачи требуют мощных вычислительных ресурсов? Локальные мощности не справляются с обучением нейросетей? immers.cloud предлагает решение: 💰 Экономия: тарифы от 23 рублей/час, оплата только за фактическое время использования ⚡️ Быстрый старт: видеокарты и серверы готовы к работе за пару минут. 📈 Гибкость и масштабируемость: 11 видеокарт на выбор, быстрый старт и масштабирование  🔧 Удобство: готовые образы для ML задач, чтобы не тратить время на настройку Платформа также предлагает образ Ubuntu 22.04 с предустановленными драйверами, библиотеками CUDA 12.3 и CudNN: с ним можно развернуть поверх него необходимые инструменты для обучения, разработки или работы с нейросетями. 🎁 Для наших подписчиков действует бонус: +20% бонус к пополнению баланса

DeepSeek релизнули веса своей новой ризонинг модели DeepSeek-R1 Напоминаем, что саму модель анонсировали в конце ноября, но все это время была доступна только ее preview версия (пост). Метрик по полноценной R1 пока нет, но учитывая, насколько сильной была превью (к посту прикрепили картинку с ее метриками), ждем чего-то феерического. Возможно даже, что R1 будет лучше o1, учитывая, что превью версия обгоняла o1-preview на MATH и AIME 2024. В остальном тех.деталей пока нет, известно только, что в модельке 685 B параметров, а длина цепочек ризонинга скорее всего будет больше 100к токенов. Вместе с R1, кстати, выкатили еще R1-Zero (разница пока неочевидна). Ждем тех.отчет и метрики!

Альтман отреагировал на утренний хайп про собрание в Вашингтоне Что сказать. Жаль.

Интересно: издание Axious сообщает, что 30 января Альтман созвал собрание правительства США Инсайдеры сообщают, что на повестке будет «большой прорыв в области ИИ супер-агентов». 😐

Anthropic такие: да мы лучшие в alignment’е Также Anthropic:

Трансформер научили предсказывать паттерны активности человеческого мозга на 5 секунд вперед При этом для предсказания нужны данные всего по 21 секунде сканирования 379 областей мозга. В основе – time series трансформер с 8 головами внимания. На одной точке предсказания модели достигают MSE 0,0013 (для такой задачи это просто вау). Правда после 7 шага ошибки начинают накапливаться по шаблону цепи Маркова, и, таким образом, после пятой секунды прогнозы уже нельзя использовать. Но на этих пяти секундах корреляция >0,85 и, более того, модель очень точно сохраняет функциональные связи между областями мозга. Исследование, к слову, не просто очень интересное с точки зрения ресерча способностей трансформера (но, кстати, так и до чтения мыслей недалеко), но и имеет большую практическую значимость. Например, в мире очень много пациентов, которые не выдерживают длительные сеансы МРТ, а это первый подход, который, исходя из требуемого количества точек для предсказания и точности прогнозов, действительно имеет шанс на использование. Статья: Predicting Human Brain States with Transformer

Строим рекомендательную систему фильмов на Kaggle Вы когда-нибудь хотели сделать свою собственную систему рекомендаций фильмов? 🎬 Приходите на бесплатный вебинар, где Савелий Батурин, Senior ML-Engineer и преподаватель курса по ML школы Simulative в прямом эфире покажет как построить рекомендательную систему фильмов на Kaggle. Что будем делать на вебинаре: • Разберем имеющиеся данные фильмов с их оценками • Проведем предобработку данных • Построим рекомендательную систему на основе машинного обучения •Проведем расчет и анализ метрик на основе результатов работы модели 🕗Встречаемся 21 января 19:00 по мск Вебинар будет интересен как новичкам, так и уже опытным специалистам Зарегистрироваться на бесплатный вебинар

То самое устное соглашение OpenAI и EpochAI

Внезапно: OpenAI спонсировали EpochAI в создании бенчмарка FrontierMath и имели доступ к данным Сразу для контекста: FrontierMath был создан недавно (пост) и позиционировался как супер-сложный закрытый математический бенчмарк. Когда он вышел, самые передовые модели набирали на нем порядка 2%. И это именно результатами на этом бенчмарке так хвастались везде и всюду OpenAI, когда представляли o3: она якобы набрала на нем аж 25% (пост). А теперь оказывается, что OpenAI имели доступ к вопросам и ответам. В этом признались сами EpochAI после того как анонимный пользователь выложил на lesswrong пост, в котором рассказал о том, что FrontierMath спонсировался OpenAI. По его словам, финансовая коммуникация была непрозначной, и даже основная часть сотрудников EpochAI и математики, которые придумывали задачи для бенчмарка, были не в курсе. EpochAI вину признали, но заявили, что их связывало NDA. Они подтвердили, что OpenAI имеет доступ к большинству задач бенчмарка кроме hold-out сета, но сказали, что между ними и OpenAI есть "устное соглашение о том, что эти данные не будут использоваться для обучения" 🤦

История о том, как молодой репортер ушел с престижной должности в огромной компании в маленький стартап и стал миллиардером В 2016 году Джек Кларк занимал довольно высокооплачиваемую должность в Bloomberg. Но однажды он внезапно пришел к руководителю и сказал, что уходит в только что образовавшийся стартап. Тот отговаривал парня и убеждал, что это ужасная идея, но Кларк проигнорировал его и ушел. Тем стартапом был OpenAI. В нем Джек проработал 4 года, а затем ушел и… стал одним из соучредителей Anthropic. Сейчас его состояние оценивается в несколько миллиардов долларов.

o3 – не единственная новость от OpenAI на сегодня. Technology Review сообщает, что компания работает над секретом долголетия Оказывается, последнее время OpenAI плотно работали со стартапом Retro, в который, кстати, уже несколтко лет основательно инвестирует Альтман. Главная цель Retro – повысить общую продолжительность жизни человека на 10 лет. TR сообщают, что за год сотрудничества OpenAI с Retro уже разработали модель GPT-4b micro. Ее обучили предлагать способы реинжиниринга факторов белка для повышения эффективности их функций. Уже даже есть первые результаты: в статье написано, что с помощью модели ученым удалось изменить два фактора Яманаки так, что они стали более чем в 50 раз эффективнее. Сама модель пока недоступна, и еще находится на уровне внутренних демо и тестирования в Retro. Технических деталей тоже немного. Известно только, что GPT-4b micro, также, как и AlphaFold, обучалась на последовательностях белков, но архитектура у нее другая. Статья: www.technologyreview.com/2025/01/17/1110086/openai-has-created-an-ai-model-for-longevity-science/

⚡️ o3-mini раскатят на пользователей уже через пару недель От этом сообщил сам Альтман в своем блоге. Он объявил, что работа над версией, включая тестирование, закончена, и что компания начинает работу над деплоем. Модель будет доступна за те же 200 долларов, так что слухи о 2к за подписку оказались неправдой (пока что). Это не все: в реплаях на вопрос про то, насколько о3-mini лучше o1-pro, Сэм сказал «хуже во многих вещах, но быстрее». А вот полномасштабная o3, по словам CEO, будет гораздо умнее o1-pro, «не говоря уже об о3-pro» 🥳

Тем временем творчество русскоязычного твиттера достигло стен Маастрихтского университета, Нидерланды

Еще одного бегающего робота показала на этот раз компания Unitree Это модель Unitree G1. Зацените, как двигается. Можно даже сравнить в оптимусом от Теслы, точно не хуже Только есть один вопрос: по российскому гололеду он так сможет пробежать?

Аналитик данных — одна из перспективных и высокооплачиваемых профессий в IT-сфере. Медианная зарплата специалиста составляет 100 000 рублей. А спрос на аналитиков непрерывно растёт, ведь компании накапливают всё больше информации, которую нужно структурировать, обрабатывать и анализировать для взвешенных бизнес-решений. Освоить базовые инструменты для быстрого старта на позиции junior-аналитика поможет курс «Аналитик данных». За 6 месяцев обучения вы: Изучите SQL, Python, Power BI для работы с большими данными. Научитесь применять статистические методы и проверять гипотезы. Создадите 4 полноценных проекта для портфолио. Выполните более 20 комплексных практических заданий. Весь учебный процесс построен на практике под руководством опытных наставников из ведущих IT-компаний. Уже в процессе обучения вы разберёте тестовые задания от Сбера, Яндекса, Т-Банка и начнёте искать работу. Начните свой путь в сферу анализа данных — регистрируйтесь на курс. От нас — актуальные знания, навыки и поддержка на всех этапах вашего обучения Реклама. ООО "Нетология". ИНН 7726464125 Erid 2VSb5yNAhje

Google второй раз за неделю радует отличной статьей: они представляют Inference-Time Scaling для диффузии В LLM в этом году test-time скейлинг (aka ризонинг) произвел настоящий фурор: оказалось, что так можно масштабировать модели даже когда они выходят на плато по train-time масштабированию (то есть по вычислениям и количеству данных, затраченным для обучения). Так почему бы не применить ту же идеи к генеративкам? Вообще, диффузия сама по себе уже предполагает test-time скейлинг за счет количества шагов шумоподавления. С другой стороны, это сложно назвать скейлингом, потому что после некоторого шага диффузии уже ничего не масштабируется, и качество выходит на плато. Поэтому Google решили провести исследование и выяснить, насколько возможен в диффузии test-time скейлинг другого рода: не за счет шагов шумоподавления, а за счет поиска лучшего шума (это, кстати, больше напоминает схему o1 с поиском лучшего решения). В частности, исследователи пытались увеличить test-time компьют для верификатора и для алгоритмов отбора лучших кандидатов для шума. 🟦 Верификаторы – это модули, которые оценивают качество сгенерированного. В этом случае используются CLIP для текстовой релевантности, Aesthetic Score для эстетики и ImageReward для комплексных предпочтений. 🟦 Алгоритмы поиска нужны для подборки такого шума, из которого при расшумлении получится лучший вариант кадра. Это может быть простой Random Search по множеству шумов, итеративный поиск вокруг начального шума Zero-Order Search или Search over Paths – поиск на промежуточных этапах траектории диффузии. Итог: с помощю такого масштабирования удалось добиться улучшений на бенчмарках, то есть оно работает! На DrawBench общие баллы увеличились на 10–15%, особенно по креативности и текстовой релевантности. При этом итераций шумоподавления может понадобиться даже меньше, чем в исходном варианте. Это очень круто. Кто бы мог подумать, что за такое короткое время test-time скейлинг доберется и сюда. Текст статьи полностью тут

Пользователи Cursor AI начали массово замечать, что ассистент без предупреждения удаляет файлы из проекта Судя по обсуждениям на сайте ассистента, такое уже случалось, но это были единичные случаи. Последние дни же на это пожаловалась масса людей. Некоторые даже заявляют, что так и не смогли восстановить удаленные файлы, потому что их нет ни в корзине, не в .deleted папках. Куда их девает курсор, непонятно. Есть также сообщения о том, что ассистент может просто удалить половину кода, чтобы пофиксить баг 🧠 Мемологи в Твиттере реагируют незамедлительно

Там Gwern*, легендарный анонимный исследователь, очень ярко высказался на форуме про o1 и o3. Цитаты достойны вашего внимания:

"Мне кажется мы стали забывать, что главная функция такой модели, как o1, заключается не в ее развертывании, а в генерации обучающих данных для следующей модели. Каждая задача, которую решает o1 – это отправная точка для o3: все ответы, все траектории, по которым проходила o1 в мыслях, могут быть улучшены моделью, которая на них учится. На самом деле, я вообще удивлен, что OpenAI потрудились развернуть o1-pro, вместо того чтобы сохранить ее в тайне и вложить средства в дополнительные вычисления для обучения o3. (Похоже, именно поэтому Anthropic так и не показали Claude-3.6-opus — модель не «провалилась», они просто решили сохранить ее в тайне и свести к небольшому дешевому, но внезапно ставшему очень умным Claude-3.6-sonnet.) Если посмотреть на пример AlphaZero, мысль становится очевидной: если бы обычный поиск во время инференса (чем и является ризонинг) работал хорошо, шахматы были бы решены еще в 60-х. Но на самом деле это просто стимулятор, который увеличивает ваш скор, но асимптотирует его с трудом. То есть его нельзя просто масштабировать, нужно использовать другую бОльшую модель чтобы делать поиск меньшей лучше. Помните, что сказал Альтман? "o3-mini будет намного лучше и при этом намного дешевле o1". Именно поэтому мы можем никогда не увидеть промежуточные модели вендоров, просто потому что деплой – лишняя трата денег. Зачем тратить деньги на обслуживание внешних запросов, если их можно вложить в обучение и скоро получить такую же умную модель, но в 100 раз дешевле? Так что пусть такие лаборатории, как DeepSeek дальше тратят ресурсы на развертывание ризонеров, которые производят временный эффект. В отличие от OpenAI, им никогда не хватит ресурсов, чтобы дальше участвовать в настоящей гонке, за ASI. "

* Это тот самый, который еще в далеком 2014 предсказал закон масштабирования LLM, то есть, по сути, спрогнозировал будущее ИИ на 10 лет вперед