CGIT_Vines

Вот это реально охуенно: данные OpenStreetMap импортируются в Unity с использованием Houdini для создания сред реального времени на основе реальных городов. Все объекты в видео сгенерировано процедурно. Стащено отсюда

Laan Labs выпустили приложение для прошки. Лидар сканер, который не берет с вас деньги за выгрузку меша, которому не нужно облако и регистрация. За это придется заплатить качеством и скоростью)

В общем, я не знаю, что за пацаны, но выглядит просто супер охуенно - это лучший эпитет здесь. У них есть страница на стиме и есть вот такой ролик, судите сами) Игра выйдет в 2022.

Еще один схожий по идее обновленный алгоритм, но уже не для машин. Обычно подобные алгоритмы и люди работают по принципу поиска информации о недостающих кусках в соседних кадрах. Тут несколько иной подход. Какой - читайте в pdf, приложенном к работе. Полное видео Ссылка на работу

Epic заплатит вам $10 000 за обучение виртуал продакшену в UE4. Чтобы подать заявку на участие в программе Unreal Fellowship, вам необходимо не менее пяти лет опыта работы в сфере коммерческого кино и телевидения, развлечений или разработки игр.  Заявки закрываются в понедельник, 27 июля. Обучение будет проходить с 24 августа по 21 сентября 2020 года. https://www.unrealengine.com/en-US/fellowship

Не так часто в играх встретишь оригинальный подход к оружию, но иногда получаются прямо занятные экземпляры, как технически, так и визуально. Unity developer FickleSwimming разработал пушку, которая плавит предметы - выглядит реально круто, я бы с такой побегал, поплавил скалы или небоскребы.

Исследователи из MIT пришли к неутешительному выводу: глубокое обучение приблизилось к ограничению, связанному с вычислительными мощностями. Они проанализировали более 1000 научных публикаций на тему deep learning. Особенное внимание уделили таким применениям технологии как image classification, object detection, question answering, named entity recognition, and machine translation. Для каждой публикации оценили количество вычислительных операций и объем вычислительных мощностей, необходимых для создания модели определенной точности. Оказалось, что даже при значительном увеличении вычислительных мощностей точность современных моделей возрастает незначительно. За последние годы в области машинного обучения случилось много прорывов благодаря новым алгоритмам и доступным вычислительным мощностям. Но теперь этот рецепт, кажется, исчерпал себя. Исследователи предполагают, что для дальнейшего прогресса нужны новые, менее прожорливые алгоритмы, и новые техники глубокого обучения - возможно, еще не открытые. Исследование, статья

Тут довольно интересная схема восстановления сцены. Кто бы мог подумать из рядовых тридешников, что алгоритмы для работы с декомпозитингом изображения придут из автомобильной отрасли? В общем, есть проблема в автономном вождении: когда машина двигается по дороге, у нее нет четкого представления о ситуации на дороге, - для этого нужно полное понимание о трехмерной сцене; этому мешают другие автомобили, которые вносят свои переменные. Алгоритм решает задачу восстановления пространства без этих переменных, т.е., если понятнее, готовит клинплейт окружения. Тут, конечно, участвует, кроме софта, еще куча разнообразных датчиков. Как там, кстати, дела у The Foundry? https://arxiv.org/abs/2007.08854 https://arxiv.org/pdf/2007.08854.pdf

Никогда не был интересен Watchdogs, новая часть не исключение - абсолютно беззубая, особенно что касается арта. Но есть светлое пятно - это синематик, снятый Альберто Миэльго (тот самый чувак, что снял одну из серий "Witness" Love Death and Robots). Он, конечно, заложник своего стиля, но в контексте клипов или синематика это вполне работает. А вот мэйкиноф к нему, который смотреть не менее интересно.

Очередной тренд, вызванный пандемией, – корпоративные дипфейки. Британский холдинг WPP решил не тратить деньги на запись обучающих видеороликов для сотрудников, а вместо этого использовал синтетический контент. Компания сгенерировала виртуальную модель, которая зачитала текст о пользе искусственного интеллекта в маркетинге. Аватар произносит тексты на трех языках и обращается к каждому сотруднику персонально по имени. Создание 20 роликов продолжительностью по 5 минут каждый обошлось WPP в $100 тыс. Бизнес уже пару лет использует дипфейки, но обычно их применяют для продвижения товаров и услуг. Виртуальные блогеры, вроде Лил Микелы, рекламируют одежду, такие площадки, как Taobao, нанимают виртуальных айдолов, а компании, например, Rosebud AI, генерируют ИИ-моделей для интернет-магазинов. Технология уже отработана: в несколько кликов можно поменять этническую принадлежность аватара, добавить улыбку, сменить виртуальную одежду. Недавно российское модельное агентство Areola Models оцифровало 10 своих моделей – виртуальные копии могут участвовать в съемках по всему миру и работать 24 на 7. Интересно, как будут оплачивать труд прототипов. Например, компания Synthesia, которая делала дипфейки для WPP, выплачивает реальным моделям роялти за использование их внешности. Сами разработчики видят в технологии только плюсы: с помощью ИИ можно генерировать разные образы, создавать небинарных персон и выходить за рамки традиционных стандартов красоты. Противники идеи считают, что дипфейки лишают работы представителей меньшинств, которым и так сложно трудоустроиться. Еще один интересный пример применения дипфейков – это “цифровое протезирование”, при котором лица реальных людей заменяют лицами волонтеров. Такую технологию использовали создатели документального фильма Welcome to Chechnya, чтобы сохранить анонимность героев. Разработчик технологии Райан Лэйни недавно основал компанию Teus Media – она будет создавать “цифровую вуаль” для героев репортажей и документалок, которые хотят оставаться анонимными. Большинство компаний, которые официально зарабатывают на дипфейках, стараются продумать собственный этический кодекс. Так, Synthesia обещает не использовать чужие образы без разрешения и не создавать сатирических видео с политиками и звездами. А Rosebud AI выступает против фальшивых новостей.

Ещё одна крутая тема, тоже вывалилась совсем недавно, теперь уже для нижней части тела. Я знаю, вы просили, и вот оно - теперь можно собрать худо-бедно персонажника, как Франкенштейна: голова отсюда, тело оттуда, и вот он цифровой аватар. Теперь осталось дождаться единого решения, чтобы не плясать с бубном. Естественно, ещё не тестчена. Где найти время на все эти ништяки? Я в растерянности. Офсайт https://youtu.be/jpkuDujQd8w

Ух вот это прям круто! Epic выпустили приложение Live Link Face для захвата лица в реальном времени. Причем приложение позволяет вести запись с нескольких камер параллельно. Самое забавное, что я пару дней назад разговаривал со знакомым, владельцем студии VP на счет того, что нет готового решения для трека лица от самих эпиков, он мне сказал подожди скоро выпустят, на том и разошлись) В общем пока не тестировал, но постараюсь в ближайшее время. Подробнее Гайды Приложение

Когда немножечко промахнулись с коллизиями

Я всегда был против романтизации в профессии: если вы чем-то хотите заниматься профессионально, то выкиньте всю романтику, связанную с этим - так вы никогда не будете разочарованы тем, чем занимаетесь. Этот фильм, совсем наоборот, о мечтателях, популяризаторах; для людей, которые будут смотреть фильм и мало понимают в предмете. Так что что-то может показаться вам смешным или наивным. Но в любом случае, фильм по теме, пока только первая часть. https://www.youtube.com/post/UgwRhC4tE-PXF9QKA8Z4AaABCQ

Как работала система рига по настройке эмоций в TLOU2. Что интересно, липсинк был настроен на произношение разных языков. Также система запускалась в рантайме и блендилась в зависимости от сердцебиения игрока или полученных ранений. https://vimeo.com/434495096

Нейронный суперсемплер от Facebook Lab. Ну вы догадываетесь, для чего он нужен будет. Позволяет апсемплить картинку в 16 раз. Это ускорит, по словам лаборатории, просчет кадров без потери качества. Тут правда есть одно но - датасет должен быть заранее обучен на картинке высокого разрешения. Уже представил, как foaveted rendering, анриловский Nanite и вот этот суперсемплер работают вместе. Тут на русском, а тут оригинал.

В общем, вот по какому пути пойдет виртуальная социализация. Facebook раньше экспериментировал с нейронками, чтобы правильно передавать выражение глаз и липсинк для цифровых аватаров, но, т.к. технология молодая, они получали баги, кидающие нас в зловещую долину. Решили, что целесообразнее прикрутить камеры для отслеживания взгляда и ещё одну камеру для снятия движения губ. Вот так просто, дедовским методом - видимо алгоритмы проще, камеры дешевле. Цель всего этого - вывести телеприсутствие на максимальный уровень, чтобы волосы вставали дыбом от зрительного контакта с фотореалистичным цифровым двойником с другого конца света. Зуму и не снилось. https://youtu.be/ETaMzMyKsG0

Дисней безостановочно старается найти новые пути создания и удешевления процесса производства цифровой графики. В этот раз они предлагают посмотреть на новый метод разработки цифровых лиц. В основе лежит анатомическая модель, в базе которой большое количество сканов лиц. Тут не получится слепить стремную бабулю из скайрима, потому что модель ограничена человеческой анатомией - когда вы меняете пропорции модели, меняется и форма черепа, что позволяет делать лица более реалистичными. Так же присутствует косвенный контроль семантических признаков, таких как возраст, этническая принадлежность, пол. Это не сдвиг парадигмы, а упрощение создания одного из этапов в создании персонажей - отлично зайдет низкобюджетным студиям или как аддон для игровых движков или пакетов 3D моделирования. https://youtu.be/qeEqQCWbj4Q

Время посмотреть на технические подробности. Обратите внимание, как прописана логика персонажей, как реагируют напарники на мировые координаты игрока. Несмотря на возможные минусы с мотивацией и общей канвой нарратива игры, все же техническая и художественная части просто выше всех похвал.

Я уже много раз тут писал про такую штуку как «нейронный фотошоп» – это когда нейронки обученные на разных наборах данных могут реалистично менять данные на фотографиях – менять время суток, ландшафт, эмоции, ну в общем буквально все, и самое главное, все это делается с помощью пары кликов. Так вот, если раньше это выглядело «так себе», то теперь такой «фотошоп» выглядит ничем не хуже чем обычный фотошоп или какой-то там 3D-рендер. То есть можно уже предположить, что это направление автоматизации сильно скажется на индустрии ретуши и 3D-рендерах каких-то проходных картинок. Посмотрите сами, офигенно же: https://youtu.be/0elW11wRNpg Страница проекта: https://taesung.me/SwappingAutoencoder/ Еще там есть режим «смешивания» стилей разных фотографий, вроде когда мы берем здание в одном стиле, и переделываем в другой, но пока оно выглядит похуже чем этот «нейрофотошоп», но тоже очень перспективно интересно самому поковырять.