VJ SCHOOL

TouchDiffusion benchmarks Модель: SD Turbo Batch size: 1 (количество шагов)

Только что поделитесь результатам с TouchDiffusion на RTX 4090. Генерация на 57-60 FPS.

TouchDiffusion — расширение для TouchDesigner для интерактивной генерации в реальном времени с использованием StreamDiffusion. Ожидается увеличение FPS до x2 по сравнению с оригинальным репозиторием. https://github.com/olegchomp/TouchDiffusion

Продолжение девлога, на видео интерполяция между предыдущим и текущим кадром. Также добавил управление денойзом и промптом в риал-тайме.

StreamV2V — новая diffusion модель от автора StreamDiffusion. Позволяет генерировать целостный (consistence) видео стрим в 20 FPS на A100. Автор обещает добавить такую возможность и в оригинальный StreamDiffusion. StreamV2V код уже доступен на GitHub. https://m.youtube.com/watch?v=N9dx6c8HKBo

Сам спросил, сам отвечаю. CPU на 13% при 40 FPS

GPU-to-GPU на 33-35 FPS. В теории можно еще что-то посмотреть внутри StreamDiffusion, так как даже при таком пайплайне активно используется CPU. По идеи такого быть не должно, так как например в DepthAnything, после всех обновлений CPU практически не используется.

После небольшой оптимизации получилось 30 FPS. Почему-то не получается получить картинку без копирования ее на CPU.

После небольшой оптимизации получилось 30 FPS. Почему-то не получается получить картинку без копирования ее на CPU.