CGIT_Vines

Я бы, конечно, мог вам показать это и спросить, рендер или фото? А потом показал бы вам вот это. А потом сказал бы, что это мобилки, риалтайм и Unity.

Разработчики из physics lab делают огромную и, на первый взгляд, невидимую работу по улучшениям интерактивных взаимодействий. Рукопожатие - один из древнейших способов показать собеседнику, что у тебя нет оружия, от этого ещё интереснее наблюдать за трансформацией смыслов при переходе в другие формы взаимодействий. Как классно расставлены сокеты, и четко настроена кинематика. Есть, правда, некоторая сложность с восприятием у человека, с которым ты здороваешься, для понимания этого нужна некоторая степень эмпатии. В какой-то момент появится рассинхрон, ведь тянут только виртуальную руку, как раз до этого момента осознания нужно принудительно расцеплять руки.

Очень, конечно, интересно наблюдать, как сетки откусывают часть рынка от классического постпродакшена. Вот они сидят лицом к лицу и обсуждают, сколько нужно скупить топовых видях, чтобы алгоритмы сделали человеческую работу. Хотя результат такой же, но зачастую дешевле. Интересно, что в команде у Марии нет художников, совсем, только программисты. Партнёром озвучили @denissexy. 🤖 Так что, кто в теме или только въезжает, смотреть будет интересно. https://youtu.be/sRUr2bQi2Zs

Оказывается даже нейронки не нужны чтобы помешать некоторым уличным камерам детектить лица

TALLBOYS показали продолжение геймплейного трейлера Millitsioner. Это скорее, конечно, художественный опыт, нежели полноценная игра с глубоким геймплеем, но нарратив, как мне кажется, будет ставить вполне философские вопросы. Общаться с миром теперь можно в том числе посредством голоса. Пока поддерживается только английский язык, сомневаюсь, что будет ещё какой-то. Дата выхода всё ещё не известна.

Исследования возможностей интерфейса через айтрекинг в смешанной реальности. Движения глаз, работающие с движением головы для стабилизации изображения, называются вестибулоокулярным рефлексом. Постоянно мотать башкой - такое себе удовольствие, но если настроить на микродвижения, может быть вполне рабочим вариантом. Эксперименты на Unity и Magicleap.

Эпики наконец-то выпустили плагин для DLSS, правда только обладатели RTX смогут насладиться им в полной мере. Напоминаю, что это нейронная сеть с глубоким обучением, которая использует мощь тензорных ядер NVIDIA RTX для повышения частоты кадров и создания четкой картинки. https://www.unrealengine.com/marketplace/en-US/product/nvidia-dlss

(YOLO) - это современная система обнаружения объектов в реальном времени. В данном примере она тестируется на игровом прототипе в Unity. Виртуальные среды не редко применяются для тестирования систем машинного зрения, но важно, чтобы они были спроектированы для конкретных задач, даже беспилотники сначала проходят пару сотен игровых лет, чтобы быть допущенными к живым испытаниям в реальном мире. По линку можно попробовать запустить свою модель. https://github.com/keijiro/TinyYOLOv2Barracuda

Воу, только посмотрите, - Meta Human для Unreal. Создание персонажей: быстро, дешево и в реальном времени. Остаётся только дождаться открытой беты и посмотреть, насколько гибко можно их настраивать. https://youtu.be/S3F1vZYpH8c

Один из самых больших рисков при заказе одежды в интернете - это покупка обуви. Это самый верный способ промахнуться, к тому же процент возврата по статистике тут самый большой. Но компания ZOZOTOWN нашла довольно изящный способ снизить процент возвратов. Первое - это костюм с маркерами, который в точности передает размеры вашего тела. А второе - приложение для сканирования стоп. После завершения сканирования производится интерактивная 3D-модель с множеством подробных измерений, включая длину, ширину и обхват стопы. Плюс к этим решениям добавляется целая армия виртуальных инфлюенсеров. В общем, если кто-то и понимает в будущем цифрового ритейла, то это японская ZOZOTOWN. https://www.fxguide.com/fxfeatured/digital-humans-in-retail/?utm_source=twitter&utm_medium=Social&utm_campaign=SocialWarfare

Создание лица игрового персонажа посредством мапинга фотографии и морфинга геометрии - такую сетку, говорят, нельзя будет использовать в играх, но для исследований может пригодиться. Предварительно обученная модель прилагается. https://github.com/FuxiCV/MeInGame

Создание анимации персонажей посредством GAN. Для удобства работы есть GUI с возможностью корректировки поз по ключевым точкам. Git https://github.com/tohinz/CharacterGAN Paper https://arxiv.org/pdf/2102.03141.pdf

В конференции через AR приходит рендеринг 3D моделей. Любой из участников посредством сканирования QR кода со своего мобильного телефона или AR гарнитуры может получить доступ к расшаренной трехмерной модели. Поддерживается масштабирование и аннотирование. Immerse 3D работает с Microsoft Teams, Zoom, Google Meet, Webex, BlueJeans, Amazon Chime и другими видео платформами, поддерживающими совместное использование экрана. https://next.reality.news/news/arvizio-brings-ar-collaboration-zoom-meetings-with-immerse-3d-app-for-smartphones-hololens-magic-leap-0384322/

Иногда полезно порыться в старом чулане и откопать 11-летнюю презентацию результата разработок в области машинного зрения и моторики искусственных конечностей. Почему полезно - потому что это даёт пищу для формирования представления о том, что происходит с технологиями, и какой у них вектор развития. Идеи остаются и ждут, пока технологии демократизируются, сканеры и приводы станут легче, более энергоемкими и дешёвыми, и какой-нибудь эффективный менеджер типа Маска или Джобса соберет все части воедино, создавая продукт мирового масштаба. Такую информацию хорошо бы в качестве факультативов показывать начальным классам для формирования правильного выбора профессий в будущем - так, глядишь, и страна изменится. https://youtu.be/dmi_pwhYUvY

Понятно, что любая магия перестает быть таковой, стоит только разобраться, как она работает, ну и конечно, слава оптимизаторам. Действительно впечатляющее видео игры с шикарной аббревиатурой: около 3 миллионов персонажей в кадре, горы трупов, сотни тысяч снарядов и FX. Да, подобное было в прошлой части, но во второй все это улучшили, так что желающим в вишлист https://youtu.be/tMQtRei5r24

Кто давно в канале, помнят, что я писал про Runway. Фотошоп с мразотной моделью монетизации и огромным потенциалом архитектуры самой программы, основанной на модулях разных моделей машинного обучения. В этот раз показывают, как сделать 3 шота с ротоскопом за 10 минут без вот этого ручного геморроя. https://youtu.be/Jo9a73fECXY

Знаю, что немного запоздал с новостью, но не так давно была отсканирована "Девушка с жемчужиной" Яна Вермеера. С одной стороны, у нас появилась технология, которая позволяет сканировать изображения с разрешением в 10 миллиардов пикселей. Нехитрыми манипуляциями мы можем получить максимально фотографически точное трехмерное изображение этой картины, со всеми изломами и трещинами краски, запекшимися волосками кисти, пыли, взорвавшимися пузырьками с воздухом и т.д. И это идеальный вариант для репрезентации работ великих мастеров в виртуальной реальности, - лучше и не придумаешь. Но можно ли считать при такой точности, что мы получаем настоящую цифровую копию? Многие мастера писали картины послойно: краска - это не просто поверхность, это "пирог" из размышлений, кризисов, это путь проб и ошибок, это тоже большая часть истории картины. И вот только в случае добавления сканов подповерхностных слоев мы сможем иметь настоящую цифровую копию. Тут можно попробовать в т.ч. с телефона.

​​Мои любимые Interactive lab, в лице Каксима Козлова и sber ar/vr lab, разрабатывают тулзы для создания риалтайм аватаров и прочих инфлюенсеров. Сейчас им нужен качественный фидбек от пользователей. Ниже прикладываю оригинальное сообщение. Друзья, всем привет! Мы в Sber AR/VR Lab разрабатываем различные инструменты для реалтайм 3д аватаров. Мы хотим узнать что вам нужно для аватаров в разных сценариях применения, может быть липсинк для игровых персонажей, липсинк для CG рендера виртуальных инфлюенсеров и тд. Что сейчас есть? – Возможность получить из аудио дорожки (.wav) готовую анимацию лица – Есть плагин для Unreal/Unity3d/Maya/Blender – Можно выбирать эмоции персонажа – Работает под любой риг в котором есть блендшейпы для ARKit (FACS) Что мы хотим? – Получить от вас обратную связь по качеству работы сервиса на ваших аватарах – Получить от вас идеи по развитию этого сервиса Мы сейчас готовы предоставить бесплатный alpha доступ, пишите на arvrlab@sberbank.ru или в директ и мы отправим вам инструкции к сервису. Ниже пример работы анимации реалтайм нейронки только по одному звуковому файлу, без ручной работы аниматора: (Аватар разработан в Sber Gamification Laboratory)

Художники против AI Corridor Digital, конечно, умеют из максимально унылой части работы в компьютерной графике "ротоскопинга" сделать крутое шоу. Они устроили соревнование между человеческими художниками и обученной нейросетью. Спойлерить не буду - сами посмотрите 🤖 Как они сами говорят, мы стоим на пороге больших изменений, и не только в индустрии VFX. https://youtu.be/fmJ74774RO8

https://vimeo.com/507126722 Если кто помнит, был у меня лет 5 назад проект со шмотками https://vimeo.com/150124407 с тех пор я все хотел попробовать перенести это на реальных людей - то есть чтобы шмотки виртуальные, а модель живая. Из-за завала по "Ложной слепоте" и коммерческих проектов все это шло крайне неторопливо, но вот наконец-то есть какие-то результаты, которые не стыдно показывать. Так как мокап на улице был мне не по карману с моим обычным $0 бюджетом, то пришлось импровизировать. Технически тут съемка с трех камер, потом треккинг положения суставов для каждой из них нейронкой OpenPose. Но она дает относительно нормальный трекинг только в 2d, в пространстве кадра, этого недостаточно ни для стабильного восстановления движения в 3д, не тем более для симуляции взаимодействия тела и одежды. Так что потом у меня работает сетап из примерно бесконечного количества нод в Houdini, который делает триангуляцию всего уже в 3д, чистит результат и привязывает риг. Сами шмотки пока в Marvelous, но я сейчас в процессе создания более веселых вещей на vellum. Забавно, что еще одну нейронную штуку получилось использовать - маски персонажа в композе генерятся вот этой штукой - https://github.com/ZHKKKe/MODNet Model: Jasmine LaRae DP: Tatiana Stolpovskaya