VJ SCHOOL

Artist Style Studies — список из 4387 стилей для промптов SDXL с примерами. https://sdxl.parrotzone.art/

Nicolas Cage is Childish Gambino — пример Deepfake созданного с помощью FaceFusion и Pinokio из предыдущего поста. Самое интересное что на весь процесс ушло 10 мин на Mac m1 max.

Pinokio — браузер, который позволяет автоматически устанавливать, запускать и автоматизировать любые приложения и модели искусственного интеллекта. https://youtu.be/mB_bZC8pMDA?si=LOFrj5HaSAUccaYV

Upside-down — оптическая иллюзия от Alex Carlier, созданная с помощью Stable Diffusion XL модели . Переверните телефон или изображение чтобы увидеть эффект. Если хотите повторить, то вот ссылка на коллаб: https://colab.research.google.com/drive/1rjDQOn11cTHAf3Oeq87Hfl_Vh41NbTl4?usp=sharing

Pulse — инструмент от разработчика Chaser для автоматического определения BPM и синхронизации с Resolume. Цена немного завышена (59 евро со скидкой), но и качественных и актуальных plug&play аналогов особо нет. А также вот урок, как сделать упрощенную версию в Resolume. https://t.me/vjschool/403 https://youtu.be/QTRiEj34FR4?si=VVNy1CjhHl3A-MET

Dash — инструмент для Unreal Engine, ускоряющий и упрощающий процесс создания окружения. Инструмент выглядит, как строка промпта и интуитивный интерфейс, автоматизирующие задачи. https://youtu.be/NVSEN3ND6VU

TouchDesigner 2023.10130 — первая экспериментальная версия в 2023 году от Derivative. Из интересного: - Переход на Python 3.11 и ускорение на 10-60% - Bloom TOP добавляет эффект свечения к ярким фрагментам изображения. - Body Track CHOP трекинг (захват движения) с помощью Nvidia Maxine AR SDK. - Nvidia Upscaler TOP увеличения разрешения с помощью Nvidia Maxine Video Effects SDK. Полный список обновлений: https://derivative.ca/release/202310130/68169

AWS выпустила Deadline 10.3 — бесплатную систему управления рендерфермой. Обновление включает поддержку Movie Render Queue в Unreal Engine 5. https://aws.amazon.com/about-aws/whats-new/2023/08/aws-thinkbox-deadline-10-3/

ControlNet v1.1: A complete guide — гайд по всем препоцессорам и моделям. В двух словах, ControlNet позволяет задать на вход сети-копии скетч, контур картинки, карту глубины, позу и так далее. На выходе получается картинка, сгенерированная в соответствии с заданными параметрами. https://stable-diffusion-art.com/controlnet/

Redshift & Unreal Engine — обновление плагина Cineware by Maxon, в котором добавили поддержку материалов из Redshift. https://www.unrealengine.com/marketplace/en-US/product/cineware-by-maxon

HokuyoUtil — компонент Touchdesigner для работы с лидарами Hokuyo. Главные особенности это удобный интерфейс, трекинг, настройка перспективы, объединение нескольких сенсоров и отправка данных по OSC https://youtu.be/Xxw_gUPUcy8

Вот вам EDGE (генерация танца из музыки) и Stable Diffusion (стилизация видео) на мотив Король и Шут. Возможно это опенинг для анимэ или тик-ток для панк-рок vtuber'a, кажется что-то в этом есть. Очень интересно довести это до какой-то законченной картинки, но на сегодня ваш компьютер можно выключать. )

EDGE — Editable Dance Generation From Music. На вход модели подается аудио-фрагмент, на выходе получает анимированный fbx скелет, такой вот фристайл от ИИ. В описании написано что не должно быть летающих ног, но как-то в результате это не работает. Скидывайте в комментарии название треков/песен, посмотрим, какие танцы получатся )

Небольшой апдейт, на 30 кадров 512х512 получается меньше секунды 🤷🏻‍♂️

TouchDesigner & RIFE — интерполяция между кадрами с помощью машинного обучения. В двух словах с помощью RIFE можно превратить 30 в 60, 120 и более FPS. Единственное что непонятно, RIFE это Real-Time Intermediate Flow Estimation for Video Frame Interpolation, но где здесь real-time я не очень понял. В примере 15 промежуточных изображений занимает около 2-3 секунд. Но в любом случае, теперь надо прикрутить к Stable Diffusion и посмотреть что получится.

Я уже постил эксперименты Олега, вот еще один с сетапом: Touchdesigner + Stable Diffusion + AITemplate. Следующие эксперименты будут с Control Net. Тут Олег рассказывает как собрать такой же сетап. Конфиги и скорость вывода: скорость - 0.7-0.9 sec/image в разрешении 512x512, настройки: 20 steps, 15 cfg, 0.6 denoising strength, and SD 1.5 Ждем в конце концов риалтайм, Vtubing сам себя не запили в конце концов. Олег, спасибо за эксперименты! Для ненавистников Scifi есть версия с аниме)

❤️❤️❤️

Еще немного ускорения до 0.5 и добавил управление денойзом. Старался двигаться медленее, чтобы сохранить цельность картинки.

iKeleton OSC - iOS приложение для захвата движения и отправки по OSC. Можно скачать бесплатно до пятого мая. https://derivative.ca/community-post/asset/download-ikeleton-osc-free-until-may-5/67733

А вот и Delibarate модель, с небольшим feedback в TouchDesigner