VJ SCHOOL

TouchDiffusion-v.0.0.2 — пре-обновление компонента для интерактивной генерации в реальном времени с использованием StreamDiffusion. - Добавлена поддержка смены разрешения картинки. - Добавлена вкладка "About" с контролем версий - Добавлен локальный пайплайн. Подключение к интернету необходимо на подготовке Engine. - Добавлен Alpha параметр. По умолчанию в картинках черный цвет будет прозрачным. (может быть полезно для feedback loop) - Изменение пайплайна на Safetensors формат. Модели должны лежать в папке models/checkpoints - Изменен процесс установки и обновления. Теперь он происходит из самого webui. - Исправлена поддержка sd_turbo модели. - Исправлен неправильный путь к TouchDiffusion папке. Теперь можно двигать патч в любую другую папку. - Исправлен параметр промпта, который не менялся если был в виде expression. Если вы устанавливали компонент до этого момента, то скорее всего придется повторить установку и заново сгенерировать engine для моделей. https://github.com/olegchomp/TouchDiffusion/releases/tag/v.0.0.2

TouchDiffusion benchmarks Модель: SD Turbo Batch size: 1 (количество шагов)

Только что поделитесь результатам с TouchDiffusion на RTX 4090. Генерация на 57-60 FPS.

TouchDiffusion — расширение для TouchDesigner для интерактивной генерации в реальном времени с использованием StreamDiffusion. Ожидается увеличение FPS до x2 по сравнению с оригинальным репозиторием. https://github.com/olegchomp/TouchDiffusion

Продолжение девлога, на видео интерполяция между предыдущим и текущим кадром. Также добавил управление денойзом и промптом в риал-тайме.

StreamV2V — новая diffusion модель от автора StreamDiffusion. Позволяет генерировать целостный (consistence) видео стрим в 20 FPS на A100. Автор обещает добавить такую возможность и в оригинальный StreamDiffusion. StreamV2V код уже доступен на GitHub. https://m.youtube.com/watch?v=N9dx6c8HKBo

Сам спросил, сам отвечаю. CPU на 13% при 40 FPS

GPU-to-GPU на 33-35 FPS. В теории можно еще что-то посмотреть внутри StreamDiffusion, так как даже при таком пайплайне активно используется CPU. По идеи такого быть не должно, так как например в DepthAnything, после всех обновлений CPU практически не используется.

После небольшой оптимизации получилось 30 FPS. Почему-то не получается получить картинку без копирования ее на CPU.

После небольшой оптимизации получилось 30 FPS. Почему-то не получается получить картинку без копирования ее на CPU.

На видео одна из причин почему интересно было это сделать. Генерация картинки происходит только тогда, когда картинка меняется, а значит видеокарта на работает на 100% все время.

На видео одна из причин почему интересно было это сделать. Генерация картинки происходит только тогда, когда картинка меняется, а значит видеокарта на работает на 100% все время.

Получилось 24 FPS (OBS съедает пару кадров). Дальше надо оптимизировать процессинг изображений, убрать GPU-to-CPU-to-GPU и перенести все на GPU-to-GPU.

StreamDiffusion in TD Inference — попытка запустить StableDiffusion с TensorRT ускорением в TouchDesigner, без использования NDI/Spout.

Не уверен что получится что-то рабочее, но почему бы не попробовать.

Важное объявление. Я хочу предупредить вас о людях, которые используют имя моего канала для продажи контента и уроков. Пожалуйста, помните: Все официальные ссылки на мои ресурсы вы можете найти только на моем YouTube канале VJ SCHOOL. Будьте осторожны и не попадайтесь на уловки этих людей! Спасибо за внимание и оставайтесь в безопасности! https://youtu.be/VsD983QlSr0?si=_8rbblBJ55vcCtMw

Unreal Engine balanced framerate — Как выровнять FPS если вы используете Unreal Engine и TouchDesigner/Resolume на одном PC? 1) Editor Prefences - отключаете Use Less CPU when in Background 2) Project Settings - включаете Use Fixed Frame Rate и выставляете максимальный FPS.

Generative AI in Premiere Pro — Adobe внедряет ИИ инструменты в Premier Pro. На видео продемонстрированы детекция и удаления объектов (generative masking & inpaint), генеративное добавление кадров (generative extend), а также интеграция Pika, Sora от OpenAI и Runway AI. https://www.youtube.com/watch?v=6de4akFiNYM

Generative AI in Premiere Pro — Adobe внедряет ИИ инструменты в Premier Pro. На видео продемонстрированы детекция и удаления объектов (generative masking & inpaint), генеративное добавление кадров (generative extend), а также интеграция Pika, Sora от OpenAI и Runway AI. Подробнее: https://www.adobe.com/products/premiere/ai-video-editing.html https://www.youtube.com/watch?v=6de4akFiNYM

TDComfyUI — обновление компонента TouchDesigner для генерации изображение через ComfyUI API. https://github.com/olegchomp/TDComfyUI/releases/tag/v.1.0.4