AR/VR Engineer

👀 QuestSim — новый фреймворк от Meta для управления аватарами в AR/VR QuestSim требует только знания положения и ориентации гарнитуры Quest VR и контроллеров, чтобы создать точное цифровое представление пользователя и смоделировать правдоподобные движения всего тела. Используя прогнозирование ИИ, QuestSim также может моделировать движения частей тела, которые не предоставляют никаких данных от датчиков, например ног или даже рук, если юзер не использует контроллеры. На видео как раз пример 'Headset Only Tracking', и это прям крутая фича. Также есть адаптация к виртуальной среде, но по факту просто добавлен движок физики, выглядит забавно)) AR/VR Designer

🤖 GET3D — новая нейронка от NVIDIA для создания 3D моделей AI исследователи из NVIDIA представили GET3D, новую генеративную модель, способную создавать текстурированные 3D модели со сложной топологией и различными геометрическими деталями. Модель обучена на 2D-изображениях и может генерировать огромное количество разнообразных объектов, но как я понял только в следующих категориях: автомобили, стулья, животных, мотоциклы, человеческие персонажи и здания. На данный момент это лучшее решение, которое я когда либо видел. Кода пока нет, но надеюсь нейронка станет общедоступной в ближайшем будущем. Страница проекта: https://nv-tlabs.github.io/GET3D/ AR/VR Designer

👀 Встречайте BUDDY — железного тестировщика для AR/VR/MR устройств BUDDY имеет встроенный модуль зрения, 3/6 степеней свободы (3DOF/6DOF), что дает возможность протестировать задержку перехода Motion-to-Photon (физическое движение и цифровая визуализация движения в шлеме), стабильность контента и pose-drifting. Все записанные кадры могут быть сохранены для последующего анализа с частотой до 120 Гц (или выше, но с меньшим разрешением/полем обзора). Вот такой вот дартавейдер теперь будет служить для тестирования AR/VR/MR устройств)) Выпьем за кожаных тестировщиков 🍻 AR/VR Designer

Walmart презентовали технологию AI примерки одежды Be Your Own Model будет сначала доступна пользователям приложения Walmart для iOS, а затем для десктопа и веба, а поддержка Android будет доступна в ближайшие недели. Walmarm обещают поддержку для более чем 270 000 товаров различных брендов, которые продаются на их платформе. Также говорят что все будет работать в считанные секунды, с тенями и складками на ткани. Конечно же фича не ноу-хау, но это валмарт) Масштаб огромный, более 120 миллионов юзеров. Кстати, недавно они еще добавили фичу ‘View in your space’ в свое приложение для примерки мебели, писал об этом здесь. AR/VR Designer

👀Polycam - Room Mode Давно слежу за этим приложением и сам им пользуюсь, мне нравится простой UX, облачное хранилище и возможность серфить и просматривать ( в том числе в AR 🙈 ) сканы других пользователей. На днях Polycam выкатили апдейт и добавили Room Mode, используя RoomPlan API от Apple. Теперь вы можете создавать планы помещений в реалтайме с дверями, стенами, окнами и мебелью 😍 Можно экспортировать как mesh, point cloud, LiDAR, или 2D вектор и использовать почти с любым софтом. Доступно на iOS девайсах с LiDAR сенсором и iOS16. Приложение в AppStore: https://apps.apple.com/us/app/polycam-lidar-3d-scanner/id1532482376 AR/VR Designer

👕Реалистичная симуляция одежды, созданная с помощью движка Chaos Physics в UE5 Разработчик Unreal Engine Мэтт Уоркман из Cinematography Database представил несколько real-time симуляций одежды, созданных с помощью ассетов одежды из MetaHuman и их объединения с движком физики Chaos в Unreal Engine 5. Автор выпустил десятки часов образовательного видео контента, отображающего рабочий процесс создания симуляции одежды на канале Cinematography Database. AR/VR Designer

👀 VR помог разделить сиамских близнецов Как-то я пропустил эту новость, но она действительно заслуживает внимания. Трехлетние сиамские близнецы Бернардо и Артур Лима были успешно прооперированы в клинике в Рио-де-Жанейро, однако перед этим команды бразильских и британских врачей в течение нескольких месяцев вели подготовительные работы, используя VR. Они создали VR-проекцию голов малышей на основе компьютерной томографии и магнитно-резонансной томографии. Чтобы провести операцию, хирурги использовали VR-гарнитуры, при чем британские врачи координировали действия бразильских коллег в режиме реального времени, находясь в Лондоне. Обе команды работали сообща и находясь в одной и той же виртуальной операционной. В общей сложности братья перенесли 7 операций. Седьмая операция заняла 27 часов. А общее количество медработников, привлеченных к разделению близнецов, составило 100 человек. Операция прошла успешно ❤️ Теперь им предстоит 6-месячная реабилитация. Все больше кейсов применения VR в медицине и это действительно эффективно. Подробнее в материале BBC: https://www.bbc.com/news/technology-62378452 AR/VR Designer

👀Ремейк La La Land со Stable Diffusion AI энтузиаст Esdrico превратил сцену из фильма La La Land в анимацию с помощью коллаба Deforum Stable Diffusion, используя видео инпут. Prompt: A film still of lalaland, artwork by studio ghibli, makoto shinkai, pixv. Sampling Settings: sampler: euler ancestral, steps: 45, scale: 14, strength: 0.55. AR/VR Designer

Blender плагин для создания низкополигональных копий 3D-моделей Согласно демо-версии, shader-based плагин, который в настоящее время разрабатывается Алексом Хескеттом, сможет генерировать низкополигональные копии любой 3D-модели, позволяя пользователям визуализировать тысячи детализированных 3D-объектов в режиме реального времени. Следить за апдейтами можно в твиттере разработчика. AR/VR Designer

🤖Мета представила модель искусственного интеллекта, которая может декодировать речь из мозга После трех секунд мозговой активности результаты показывают, что эта модель может декодировать из неинвазивных записей активности мозга соответствующие речевые сегменты с точностью до 73% из словаря, включающих 793 слов, т.е. топ-10 слов в английском языке, большую часть которых люди используют ежедневно. Модель глубокого обучения обучается посредством contrastive learning, а затем используется для выравнивания неинвазивных записей мозга и звуков речи. Для этого исследователи используют wave2vec 2.0, модель обучения с открытым исходным кодом, которая помогает определить сложные представления речи в мозге людей, слушающих аудиокниги. Следующий шаг - посмотреть, может ли команда расширить эту модель, чтобы напрямую декодировать речь из мозговой активности без необходимости параллельного прослушивания аудиоклипов. Ежегодно более 69 миллионов человек во всем мире получают травматические повреждения мозга, и многим из них подобные технологии могут помочь вернуться к нормальной жизни. Также подобные исследования от Меты отлично вписываются в их видение будущего, как ни крути, у них хорошее железо и самые популярные VR-устройства. Гонка в разработке нейроинтерфейсов становится все живее, и за этим приятно наблюдать, посмотрим, чем рынок порадует нас в ближайшем будущем. Ссылка на исследование: https://ai.facebook.com/blog/ai-speech-brain-activity/ AR/VR Designer