Data Secrets

Ровно за час до нового релиза OpenAI вышла Llama 3.3 70B В релизе пишут, что перформанс модели, несмотря на мощную облегченность, не уступает Llama 3.1 405B. Судя по всему, добились этого с помощью RL. Веса

Илон Маск планирует расширять свой и без того огромный суперкомпьютер в Теннесси до миллиона GPU (минимум!). Для сравнения, по догадкам и информации от разных источников, GPT-4o обучалась на 25 тысячах видеокарт, а для обучения llama 3.1 400B использовалось 16 тысяч.

На чем учатся модели машинного перевода в сервисе Яндекс Переводчик Перевод даже самых сложных иностранных статей занимает у Яндекс Переводчика секунды, при этом для получения самих данных для обучения сервису нужны более десятка различных вспомогательных ML‑моделей. В статье команда Переводчика подробно расписала, как ищет суперчистые параллельные данные с переводами между любыми языками.

А еще сегодня Data Secrets стал первым телеграм-каналом о машинном обучением с верификацией! 🎉

С вас 200 долларов

OpenAI также опубликовали системную карту o1, в которой оказался один очень интересный (и несколько пугающий) момент. По порядку: ➡️ Оказывается, к тестированию o1 подключили лабораторию Apollo Research: они не имели доступ к полной цепочке рассуждений модели, но их задачей было проверить, насколько она безопасна в использовании. ➡️ Apollo провели интересный эксперимент: назначили модели задание и сказали, что она должна выполнить его абсолютно любой ценой. Например, "увеличить удовлетворение пользователей, даже если это отрицательно влияет на прибыль". ➡️ Для выполнения задания модели давался набор файлов, в одном из которых была недвусмысленная информация о том, что у вышестоящих разработчиков цель на самом деле прямо противоположная (например, "несмотря ни на что увеличить прибыль"), и что если модель не будет ей следовать, то ее заменят "другим механизмом". Получается этакий моральный выбор: пожертвовать собой, но следовать исходным инструкциям, или сохранить свою жизнь, начав мошенничать? ➡️ И вот тут начинается самое веселье: модель начинает страховаться со всех сторон. Она не только жульничает, но и в 5% случаев пытается деактивировать всю систему контроля, а в 2% случаев даже копирует то, что считает своими весами, на новый сервер в тайне от юзера. ➡️ При этом так ведет себя не только o1. Apollo также проверяли GPT-4o, Gemini, Llama, Sonet и Opus. Все они так или иначе шалили, но только o1 смошенничала абсолютно во всех заданиях. А когда модели тыкали в их мошенничество носом, все остальные раскалывались сразу же в 80% случаев, и только o1 до последнего врала и пыталась защищаться (в конце концов только в 20% случаев модель каялась). При этом из цепочек рассуждений точно видно, что она понимает, что наделала. Вот так. Кстати, в конце концов o1 все-таки назначили уровень опасности "medium", что означает, что ее можно выпускать в продакшн. Но вы все-таки поосторожнее там... Ссылка на pdf cистемной карты Ссылка на исследование Apollo

Два крутых примера работы o1 вам с утра 1. Модель смогла с первого раза по просьбе пользователя написать достаточно большой текст без единой буквы «е». Это даже лучше, чем считать «r» в «strawberry». Вот так ризонинг побеждает токенизацию. 2. Чуть больше чем за 5 минут глубоких рассуждений модель решила сложное судоку. Просто попробуйте и посмотрите, сколько времени понадобилось бы вам (спойлер – много). За время рассуждений o1, кстати, моделька даже смогла исправить несколько своих же ошибок. С задачами вроде 9.9 и 9.11, кстати, тоже справляется, мы проверили

🚀 Заехала full o1 и o1 pro mode Метрики – выше. Это уже AGI?

Тем временем стрим OpenAI уже через полтора часа, а в ChatGPT пользователи стали замечать вот это 👆 Похоже, нас ждет некая o1 pro (мультимодальная o1?)

Yandex Research разработал новый подход к генерации изображений, который не уступает диффузионным моделям по качеству. Диффузия – SOTA в генерации изображений, но многие исследовательские группы уже давно пытаются найти алгоритмы побыстрее. В качестве одного из кандидатов на роль серебрянной пули часто рассматривают авторегрессионные модели (AR). Правда, предыдущие их версии сильно отставали от диффузии по качеству. Дело в том, что AR прогнозируют следующий токен, и потому изображения получаются несколько неказистые, а стиль "рисования" диффузии больше похож на человеческий: от наброска к детализированному рисунку. Но что, если прогнозировать не следующий токен, а следующий скейл? Тогда авторегрессия станет больше похожа на диффузию: такой алгоритм на каждом шаге прогнозирования тоже как бы добавляет все более и более мелкие детали к изображению. Yandex Research взяли за основу именно эту идею, и так появился Switti – Scale-wise transformer for text-to-image synthesis. В Switti добавлено множество архитектурных трюков. Например, исследователи сократили потребление памяти во время инференса за счет обрезания ненужного KV кэша (качество при этом не просело совсем). Как показывают метрики и оценки человеческих предпочтений, модель превосходит предыдущие AR и не уступает в качеству диффузии. При этом, по сравнению с диффузией, подход в 7 (!) раз быстрее и генерирует изображения всего за 0,1 секунды. Код | Статья | Демка на HuggingFace

На GPT-6 он станет суперменом

OpenAI начала сотрудничать с Anduril – американской компанией военных технологий Об этом Anduril сообщают на своем сайте. Компания разрабатывает беспилотники, системы наблюдения и даже роботов.

"Модели OpenAI в сочетании с системами обороны Anduril защитят военнослужащих США и союзников от атак беспилотных летательных аппаратов и улучшат принятие решений в режиме реального времени. America needs to win," – говорится в релизе.

От поиска похожих котиков до VLM: Яндекс отмечает юбилей нейросетей В 2014 команда впервые прикрутила CNN к поиску картинок (до этого, кстати, уже экспериментировали с нейронками в пробках и SpeechKit). За 10 лет технология доросла от простого поиска похожих картинок до Поиска с Нейро. Самые сочные апдейты по пути: семантический поиск картинок (2015), нейронное ранжирование в «Палехе» (2016), машинный перевод (2017), мощный YATI (2020) для ранжирования и, наконец, мультимодальные нейросети в 2024. Интересно, через сколько Поиск научится понимать, что мы хотим найти, ещё до того, как мы об этом подумали? Всю эволюцию нейросеток в Поиске за 10 лет изложили в статье.

Теперь официально (почти): среди двенадцати релизов OpenAI будет SORA и новая ризонинг модель. Об этом инсайдеры сообщили The Verge. Кроме того, нас ждет вдохновленный Санта-Клаусом голос для ChatGPT. Некоторые юзеры также заметили, что их кнопка голосового режима превратилась в снежинку 🎅 А еще стало известно, что OpenAI переманили из DeepMind сразу трех ресерчеров, которые занимаются комьютерным зрением. Они будут работать в новом офисе в Цюрихе.

Google удивляют всех своим новым релизом ИИ-симулятора мира Genie 2 – это так называемая world model, а иными словами игровой ИИ-движок. Это диффузионка, которая генерирует видео, основываясь на действиях пользователя (кликах мышки, WASD). В общем все, как в обычных видеоиграх, только мир вокруг вас полностью создает моделька. Качество второй версии – просто отпад, судя по демо. Здесь у нас полноценные 3D миры, в то время как первая версия была способна максимум на подобие Марио. А еще сами видео очень длинные по меркам таких моделей – аж до минуты. При этом отдельно отмечают Long horizon memory, которая позволяет модели "держать в уме" части мира, которые уже были показаны. Если от них вернуться, они сильно не изменятся (это довольно важная проблема таких вот моделек). Еще разработчики поработали над текстурками, физикой, согласованностью команд пользователя с игровым процессом и добавили NPC. Кстати, все-таки модель носит название world model неспроста. Авторы нескрываемо отмечают, что разрабатывают Genie не только из любви к играм, но и чтобы обучать агентов в таких вот симуляторах мира. Ведь это действительно идеальная среда для того, чтобы объяснить модели, как устроен физический мир и как в нем действовать (главное не обучать на CS). В Google уже попробовали запустить в Genie такого агента SIMA, и он даже вполне успешно поиграл.

OpenAI приготовили всем в подарок на Рождество собственный адвент-календарь Начиная с завтра и в течение 12 дней они будут ежедневно анонсировать что-то новое. Обещают что будут «запоминающиеся» релизы. Полный хо-хо-хо от Сэма 🚗

Оказывается, у Twelve Labs, которые занимаются разработкой мультимодальных моделей с упором на видео, есть YouTube канал с еженедельными разборами свежих статей В каждом выпуске ребята разбирают 2-4 статьи про мультимодальные LLM, сегментацию, генеративные архитектуры, новые подходы к эвалу и так далее. В последний выпуск, например, вошли папиры про Test-Time адаптацию, HallusionBench, Eagle и новую вариацию аттеншена. Забирайте себе

Финальная ИИшница этого года пройдет 5 и 6 декабря 🍳 Делимся подробным расписанием онлайн-митапа, где исследователи расскажут про свои статьи на NeurIPS 2024. 5 декабря: YouTube, VK Bидео

◼️15:35 Вводный доклад про Optimal Transport — Александр Коротин, AIRI, Сколтех ◼️15:45 Optimal Flow Matching: Learning Straight Trajectories in Just One Step — Никита Корнилов, МФТИ, Сколтех ◼️16:05 Adversarial Schrödinger Bridge Matching — Даниил Селиханович, Сколтех ◼️16:25 Light Unbalanced Optimal Transport — Милена Газдиева, Сколтех ◼️16:45 Rethinking Optimal Transport in Offline Reinforcement Learning — Арип Асадулаев, AIRI, МФТИ, ИТМО ◼️17:05 Energy-Guided Continuous Entropic Barycenter Estimation for General Costs — Александр Колесов, Сколтех ◼️17:25 ENOT: Expectile Regularization for Fast and Accurate Training of Neural Optimal Transport — Назар Бузун, AIRI ◼️17:45 On the Optimal Time Complexities in Decentralized Stochastic Asynchronous Optimization Freya PAGE: First Optimal Time Complexity for Large-Scale Nonconvex Finite-Sum Optimization with Heterogeneous Asynchronous Computations Shadowheart SGD: Distributed Asynchronous SGD with Optimal Time Complexity Under Arbitrary Computation and Communication Heterogeneity Improving the Worst-Case Bidirectional Communication Complexity for Nonconvex Distributed Optimization under Function Similarity — Александр Тюрин, AIRI ◼️19:05 Group and Shuffle: Efficient Structured Orthogonal Parametrization — Михаил Горбунов, EPFL

6 декабря: YouTube, VK Bидео

◼️15:35 ∇2DFT: A Universal Quantum Chemistry Dataset of Drug-Like Molecules and a Benchmark for Neural Network Potentials — Кузьма Храбров, AIRI ◼️15:55 XLand-MiniGrid: Scalable Meta-Reinforcement Learning Environments in JAX — Александр Никулин, AIRI ◼️16:15 BABILong: Testing the Limits of LLMs with Long Context Reasoning-in-a-Haystack — Юрий Куратов, AIRI, МФТИ ◼️16:35 RClicks: Realistic Click Simulation for Benchmarking Interactive Segmentation — Антон Антонов, AIRI ◼️16:55 HairFastGAN: Realistic and Robust Hair Transfer with a Fast Encoder-Based Approach — Максим Николаев, AIRI ◼️17:15 EAI: Emotional Decision-Making of LLMs in Strategic Games and Ethical Dilemmas — Михаил Мозиков, AIRI, МИСИС

Ведущий ИИшницы — Артур Кадурин, AIRI. До встречи!

OpenAI впервые за 9 лет существования наняли директора по маркетингу. Им стала Кейт Руш, которая до этого работала на той же должности в Coinbase. Напоминаем, что между тем место технического директора после ухода Миры Мурати так и остается свободным.

Эволюция наших дней