ВИЗИОНЕР

Google DeepMind выкатили Gemini Robotics 2. С выхода версии 1.5 прошёл почти год и по сегодняшним меркам это уже довольно большой перерыв. Посмотрим, что Google успели сделать за это время. Главное нововведение, VLA-модель теперь управляет всем телом гуманоидного робота, от стоп до пальцев рук, а не только верхней частью корпуса. Руки получили достаточно тонкую моторику с 22 степенями свободы. До идеальной ловкости ещё далеко процент успеха на задачах с несколькими пальцами на уровне 30-40%, но прогресс заметный. Поверх VLA работает оркестратор Gemini Robotics ER 2. Это уже VLM-модель, которая отвечает за более высокий уровень логики: ризонинг, разбиение задач на подзадачи, распознавание объектов, определение их координат и другую «интеллектуальную» работу. В отличие от VLA, она не управляет моторами напрямую. ER 2 тоже серьёзно прокачали. Главная новая возможность - координация сразу нескольких разнотипных роботов при выполнении одной задачи. Кроме того, модель теперь может вмешиваться в работу VLA на любом этапе, что позволяет реализовать полноценную self-correction. В линейке также появилась Gemini Robotics On-Device 2, компактная VLA-модель для локального инференса. Особенность всей серии Gemini Robotics - универсальность. Каждая модель обучается на гетерогенных мультиэмбодимент-датасетах и способна работать с роботами самых разных типов без доработок. А GR2 On-Device выводит эту идею на новый уровень: по словам Google, достаточно нескольких часов и примерно 200 демонстраций, чтобы адаптировать модель под нового робота с собственной кинематикой, с кастомными сенсорами и тд