VJ SCHOOL

Анализатор BPM — автоматически считаем BPM в Resolume. https://youtu.be/vrkMMczTP1s

Resolume REST API — управление Resolume из веб-браузера с любых устройств. Довольно простой пример, который появился после вопроса в чате про управление с телефона двумя кнопками. Скидываете режиссеру ссылку на сайт и идете обедать.

TDDiffusion API — обновление компонента для генерации изображений в Stable Diffusion (A1111) и TouchDesigner. Постараюсь сделать урок на этой неделе, но если уже хотите потестить, то вот инструкция. https://github.com/olegchomp/TDDiffusionAPI

TDResources — система вызова компонентов через Global OP Shortcut. Доступны такие компоненты как POP-UP MENU, BUTTON POP-UP MENU, POP-UP DIALOG, MOUSE, WEBCLIENT. Например, вы можете делать асинхронные веб-запросы без ноды webclientDAT. Создаете функцию callback и добавляете в нужном месте: op.TDResources.WebClient.Request(callback, url, method *args) https://derivative.ca/UserGuide/TDResources

TouchDesigner's UI — урок про модификацию интерфейса Touchdesigner. Видео показывает как добавить кастомные инструменты в панель меню. https://youtu.be/zzWvnlYdeQM

Super Bowl LVII Halftime Show — немного технической информации о недавнем шоу. Как вам 325 GLP X4 или 4200 Pixmob Nova в этом списке? https://www.livedesignonline.com/content/super-bowl-lvii-halftime-show-lighting-gear-and-credits

Piano co-pilot — концепт "low-res" пианино от 2018 года. Энкодер использует восемь кнопок контролера и преобразует их в 88 клавиш пианино. https://twitter.com/DrJimFan/status/1625167688883646464

Me: AI ассистенты это мощный инструмент для решения различных задач 🤔 Also me: Надо прикрутить модель детектор покемонов и играть в "Что это за Покемон?" 😂

У нас тут комбо из UE5, ChatGPT и Blender в виде плагина для анрила, в котором можно писать запросы и получать ответы, имплементируя их в игровой или любой другой процесс, это уже на ваше усмотрение и фантазию. Автор, правда, ничего лучше не придумал, чтобы попросить описание блендера в 10 словах (кину в комменты). Но стремиться лучше к тому, что в видосе сверху поста. Это правда немного другая история. GIT Video

Продолжение RnD с Metahuman [2] — прикрутил почти все что хотел. Пришлось отказаться от ChatGPT, так как ответа от сервера ждать по 30 секунд каждый раз. Если сравнивать первые итерации, где видео ускорено в 10 раз, а на этом видео риал-тайм, то результат очень даже классный. А если убрать Whisper (распознавание речи), то ответ получается еще быстрее, где-то за 2-3 секунды.

Продолжение RnD с Metahuman — надо конечно уменьшить влияние эмоций, а также сделать idle позы во время ожидания вопроса. Ну и в целом это как-то ускорить, если что видео ускорено x10 в моментах генерации. В целом уходит 15-60 секунд на ответ, сперва ChatGPT, а потом генерация Blendshapes увеличивает время ответа. В теории можно просто сделать движение рта от звука, но с мимикой выглядит гораздо интересней. Есть желание прикрутить чат из телеграмма и сделать трансляцию в канале, можно будет поиграться вживую, что думаете?

Metahuman и TouchDesigner — довольной грубый концепт управления лицевого рига персонажа с помощью OSC команд. Когда доделывал привязку понял что делаю это неправильно и надо переделывать заново 🤦🏻‍♂️

TD Diffusion API — обновление 2.0.0b. Переделал большую часть компонента, о чем и говорит 2429 сохранений проекта. Напишите в комментариях, если есть желание поиграться в бета-тесте.

WIFI Body tracking — нейронная сеть определяет положение тела человека, через фазу и амплитуду WIFI сигнала. Ключевая особенность, помимо того, что это просто неожиданный подход к задаче - доступность технологии и стабильность работы вне зависимости от освещения и аналогичных условий. https://arxiv.org/abs/2301.00250

Project Chronos — Lenovo представили медиа-центр с камерой глубины на CES 2023. Устройство подключается к экрану по HDMI или DP. https://m.youtube.com/watch?v=Fg5oEuXPUYk #hardware

Unreal VDB — обновления плагина для работы с OpenVDB и NanoVDB в Unreal Engine. Из интересного - возможность выводить пасы AOV. https://github.com/eidosmontreal/unreal-vdb/releases/tag/v0.6.3_ue5.1.0

TD_3ds — GitHub с проектами TouchDesigner от медиа-художника xyzuvwopq. Более 100 примеров по работе с SOP контекстом доступных для скачивания. https://github.com/xyzuvwopq/TD_3ds-by-xyzuvwopq #touchdesigner

TD_3ds — GitHub с проектами TouchDesigner от медиа-художника xyzuvwopq. Более 100 примеров по работе с SOP контекстом доступных для скачивания. https://github.com/xyzuvwopq/TD_3ds-by-xyzuvwopq?mibextid=Zxz2cZ

RTX Video Super Resolution - Компания NVIDIA представила аналог ИИ-масштабирования DLSS. Технология улучшения качества изображения потокового видео в браузерах, способная масштабировать потоковое видео с разрешением Full HD до разрешения 4K и при этом улучшать качество оригинала. https://youtu.be/XA-tQpQqD7U