VJ SCHOOL

UE 5.4 Neural Rendering — в новой версии Unreal Engine представлен плагин для использования ИИ моделей как Post-processing эффект фильтр.

Все пиксели будут скоро сгенерированы. Не отрендерены: сгенерированы. Jensen Huang, CEO NVIDIA

Подробнее: https://historia.co.jp/archives/40788/

Marionette — аудио-реактивное приложение, на основе StyleGan и StableDiffusion. Сложные процессы, связанные с установкой и настройкой AI инструментов, постепенно интегрируются в удобные приложения. достаточно ввести текстовую подсказку и отрегулировать несколько ползунков, чтобы получить желаемый результат. Автор проекта планирует предоставить общественности полный доступ к этим инструментам.

И в продолжении делюсь фотографиями моих работ с международного фестиваля медиаискусств НУР 2024.

Моя любимая рубрика на канале – интервью. Это возможность лучше узнать 🦋сподвижников🦋, с которыми мы вроде бы и так уже много лет знакомы, и есть общие проекты за плечами, но все всегда на бегу, без возможности вот так поговорить. С удовольствием представляю вам мультимедийного художника Олега Тысячного, также известного как Олег Чомп – автора обучающего YouTube и Telegram канала VJSCHOOL, работающего с генеративной графикой и инструментами на основе AI. Олег – один из тех, благодаря кому я увлеченно сидела в вк-группах по виджеингу много лет назад и находила ответы на свои вопросы. Он также поддержал вечеринку "Интервалы" в далеком 2015 году и сделал для Intervals стрим с лекцией в непростой период пандемии. Совместная работа на проектах с большой долей авантюризма тоже “было”. Я попросила Олега рассказать о том, как развивался его путь в индустрии, о самых сложных и запоминающихся проектах, True Light Crew, NFT, о том, что его интересует сейчас, и почему ему важно делиться опытом. Обо всем этом читайте в карточках. #artists #interview

Вышло интервью со мной для канала MOTYLOK, который ведет Ксюша Чеховская. Ксюша —соосновательница и куратор фестиваля медиаискусства INTERVALS. На YouTube канале выходил подкаст про то, как он устроен изнутри.

Virtual Assistant — вернулся к истории с аватарами (спустя год). Прогресс в каких-то инструментах нереальный, а в некоторых все осталось как и было. Из того что на видео: - память - синтез речи - распознавание речи - активация по ключевому слову - погода + время + в целом все что угодно - компьютерное зрение Сейчас из облачного только LLM, но хочу попробовать заменить на локальную и поработать над качеством речи.

Virtual Assistant — вернулся к истории с аватарами (спустя год). Прогресс в каких-то инструментах нереальный, а в некоторых все осталось как и было. Из того что на видео: - память - синтез речи - распознавание речи - активация по ключевому слову - погода + время + в целом все что угодно - компьютерное зрение Сейчас из облачного только LLM, но хочу попробовать заменить на локальную и поработать над качеством речи.

NVIDIA Copilot — расширение для VS code, разработанное для ускорения и оптимизации процесса программирования. Из очевидных возможностей это объяснение, оптимизация и решение ошибок в коде. Регистрируетесь на платформе NVIDIA, там же получаете ключ API и подключаете через расширение CodeGPT.

NoiseeAi — онлайн сервис, который автоматически создает видеоклипы на основе музыкальных треков. Создаете текст песни в ChatGPT, загружаете его в генератор музыки Suno, результат отправляете в NoiseeAI и получаете музыкальный клип за полчаса.

Real-time Stable Diffusion — два новых метода Yoso и SDXS, позволяющих генерировать изображение только одним шагом, что практически real-time. Если добавить TensorRT, то скорость генерации в теории будет 30+ FPS.

One-step Diffusion DMD — новый метод дистилляции моделей, позволяющий генерировать изображения со скоростью 20 FPS (0.05 sec/img). Подробнее на видео, но код еще не доступен. https://m.youtube.com/watch?list=TLGGlJBiJ80Rt-wyNDAzMjAyNA

FRESCO — генерация coherent (целостных/связанных) видео в Stable Diffusion. Примеры и демо можно посмотреть на Github. Внутри optical flow + ebsynth, который использовались и раньше, но теперь собраны в один инструмент.

AnimateDiff-Lightning — «молниеносная» text-to-video модель от ByteDance. Представлены 1-8 steps checkpoints, ускоряющие генерацию видео в 10 раз. Почитать подробнее на HuggingFace, поиграться с Демо, worfklow для ComfyUI.

Unreal Engine 5.4 Preview — новая версия доступна для скачивания. Из всех изменений очень интересно посмотреть на Motion Design mode, мне кажется это должна быть киллер-фича. На канале у WINBUSH уже есть краткий обзор Cloner, 2D Text tools, Vector file import, Audio Effector инструментов.

Cloner & Effectors — превью инструмента из нового мода Motion Design в Unreal Engine 5.4. Если вы работали например с Cinema4D, то знаете насколько удобен инструмент Cloner - закинул объект, добавил cloner, выставил настройки и дальше уже анимируешь все через Effectors. В Unreal Engine подобного результата можно было добиться через Blueprints, Niagara или сторонни плагины, но решение даже самых простых задач занимало очень много времени.

С интеграцией простой системы клонирования в Unreal Engine, Motion Design артисты получают знакомый пайплайн, который позволяет быстро достигать желаемых результатов.

https://www.youtube.com/watch?v=ZftACL1CCEQ

Й

Depth-Anything TensorRT in TouchDesigner — Real-time определение глубины без использования специальных камер. https://github.com/olegchomp/TDDepthAnything/

Real-time monocular depth estimation — продолжение с Depth Anything. На видео используется самая большая модель с TensorRT ускорением. В предыдущий раз была маленькая модель и без ускорения, а большая модель без ускорения выдает 12 FPS. Также запустил все внутри TouchDesigner без NDI, тем самым получилось синхронизировать генерацию, так как при использовании NDI получаем около секунды задержки.

Справа можно увидеть часть кода, собранный по частям из разных источников и ноткой "и так сойдет", который надо понять как теперь выложить на Github.

Real-time monocular depth estimation — генерация карты глубины с помощью обычной (RGB) камеры с разрешением 1280х720 на скорости 25-30 FPS.

Да-да, никаких Realsense, Kinect и других специальных камер глубины.

Comfy Textures — плагин для автоматической генерации текстур с помощью Stable Diffusion в Unreal Engine. https://github.com/AlexanderDzhoganov/ComfyTextures