🌟 General Intuition в коллабе с Epic Games сделали мультиплеерную модель мира
Институт General Intuition вместе с французской лабораторией Kyutai и Epic Games представил (
https://mira-wm.com/blog-post/) MIRA, генеративный симулятор, воспроизводящий матчи Rocket League (
https://www.rocketleague.com/play) в формате 2 на 2 в реальном времени.
На входе только история кадров и нажатия клавиш всех четырёх игроков: ни физического движка, ни рендер-движка, ни явных 3D-представлений в инференсе нет.
В отличие от Odyssey, где логика вычислений и рендеринг разведены, MIRA пошла (
https://mira-wm.com/paper) по пути генеративной симуляции в латентном пространстве видео.
В основе - диффузионный трансформер на 5 млрд параметров и отдельный видеокодек-представление на 600 млн.
Вместо автоэнкодера кодек строится поверх замороженного DINOv3-L, и латентное пространство выходит настолько стабильным, что специальные приёмы против дрейфа не понадобились, модель работает из коробки на обычном diffusion forcing (
https://arxiv.org/pdf/2407.01392).
Экраны четырёх игроков MIRA сшивает в единую сетку латентов, чтобы механизмы пространственного внимания работали между ракурсами и держали машины, мяч и события согласованными на всех видах.
Механизм action dropout достраивает поведение машин, для которых команды не пришли, компенсируя пропуски в потоках действий.
Всего на обучение MIRA ушло около 10 тыс часов геймплея, целиком сгенерированных ботами.
🟡 Тесты
Латентный подход бьёт пиксельный на порядок: gFID 10.7 против 81–105 и ARR 0.91 против 0.49–0.61 (ARR измеряет, насколько отданные команды считываются обратно из генерации).
Ключ к стабильности именно в DINOv3-L, без него картинка дрейфует в 1.3–1.7 раза сильнее, а с ним gFID держится ровным вплоть до 5 минут, и на практике роллаут идёт часами без коллапса.
ARR, кстати, совпадает с оценками живых людей (корреляция Пирсона 0.84).
🟡Недостатки
Контекст модели около четырёх секунд, поэтому повторы голов она попросту досочиняет - выглядит правдоподобно, но не совпадает с тем, что было на самом деле.
Часы и счёт плывут на переходах, а за 40 минут игры набегает порядка 80 некомандных бустов и 30 прыжков.
Авторы опубликовали код (
https://github.com/mira-wm/mira) обучения и инференса, а также сет Rocket Science (
https://huggingface.co/datasets/kyutai/rocket-science) из 1000 часов каток в 720p с потоками действий и физическими состояниями.
На одной NVIDIA B200 модель выдаёт 20 FPS при 576p в реальном времени. Потыкать в играбельное демо можно тут. (
https://mira-wm.com/play/?via=game-00)
@ai_machinelearning_big_data
#news #ai #ml
@Python_Community_ru