VJ SCHOOL

VJ APP - приложение для расширения возможностей Resolume. Ниже список уже разрабатываемых функций, а также будет здорово услышать ваши идеи. Каких расширений вам не хватает и что поможет упростить какие-то задачи? TImer - запуск клипов в определенное время. Скрипт уже доступен для скачивания, но хочется сделать более удобный UI Watcher - автоматическая загрузка файлов из папки в композицию. Пример работы на видео выше. Router - роутинг и логические условия для OSC в Resolume. Например, включить следующую колону, когда доиграет определенный клип. #Resolume

TouchDesigner xformers - пытался прикрутить библиотеку для ускорения и оптимизации Stable Diffusion в TD. <fortochka> В отличии от варианта с Automatic1111 где это решается флагом —xformers, в обычном варианте это продолжительный процесс со сборкой из исходников под каждую систему отдельно. В итоге все запустилось в Conda, а в TD отказалось, потому что (как я это понял) версии Python не совпадают. В TD версия 3.9.5, а для сборки xformers нужна версия 3.10 (на младших версиях выпадает в ошибку). Так что если кто-то соберется делать тоже самое, то видимо придется ждать апдейта TD на новую версию Python. </fortochka> Пойду тогда прикручивать SD к Resolume. #touchdesigner #stablediffusion #ai

Traceback — если вы работали с Python, то конечно знаете про трассировку ошибок. Для меня сегодня было открытие, что можно с помощью модуля traceback записывать их и отправлять например через сокет и смотреть почему что-то не работает. Это очень удобно когда скрипт принимает много аргументов и каждый раз их прописывать и пытаться каким-то образом дебажить код.

TDDiffusion API v.1.0.7 - обновление компонента генерации изображений из Stable Diffusion в TouchDesigner. Многое что сделано из списка задач, но главное это img2img генерация! Напишите в комментариях, если есть желание поиграться в бета-тесте.

Depth2Image — создание текстур в Stable Diffusion с помощью Depth модели. TouchDesigner geometry - > Depth2Image -> TouchDesigner texture. #touchdesigner #stablediffusion #tddiffusionapi

Кто-то уже пробовал поиграться? Были какие-то сложности при установке? Cделал на Github список задач для следующий версий: - img2img генерация - Выбор модели Stable Diffusion - Контроль версий - Интерполяция между seed - Сохранение шагов генерации

⚡️NerfStudio: Простая библиотека для создания NeRF-ов и с охеренным web-GUI Если хотите покрутить нерф, но не знаете с чего начать, либо просто хотите поиграться с фотками и реконструировать 3Д сцену, то эта библиотека для вас. Для запуска не требуется глубокого понимания того, как работает нейронный рендеринг. Нужно просто обработать фотки в COLMAP и запустить скрипт. На видео – примеры работы либы. 🔥Реализованные методы: - Nerfacto: кастомный нерф, которые включает в себя все последние трюки для лучшего качества и скорости рендеринга. - Базовый NeRF - Instant NGP: быстро тренируем нерф за счёт оптимизации на гриде и рендеринге маленькими MLP сетками. - MipNerf: решает проблему алиасинга при редеринге объекта в разных масштабах. - NerfW: NeRF in the Wild - Semantic NeRF: в 3D рендерятся лейблы семантическоц сегментации вместо текстуры рбъектов. ❱❱ Сайт проекта ❱❱ Web Viewer (нужно соединить с NeRF-ом, который крутится на GPU) сеткой ❱❱ Как использовать свои фото ❱❱ Видео tutorial @ai_newz

TD Diffusion API - генерация изображений из Stable Diffusion в TouchDesigner. https://youtu.be/CqpJ7roRj5Y #touchdesigner #stablediffusion #ai

TD Diffusion API - генерация изображений из Stable Diffusion в TouchDesigner.

То что музыка и математика очень близкие по своей сути сущности все знают (спасибо Гессе), но как же красиво могут звучать фракталы. Добавить немного пост-обработки, и вот тебе очень красивая мелодия на выходе из простой формулы. Автор.

TD Diffusion — имплементация Stable Diffusion в TouchDesigner. Работает в img2img моде на разрешении 512x512, но еще не в риалтайме. txt2img довольно быстро запустился, а с img2img было сложнее. И да, это не SD API, все крутиться в TD, что и видно по зависанию на несколько секунд. #touchdesigner #stablediffusion #ai

Distilled StableDiffusion 2 — анонс модели, позволяющей в 20 раз ускорить генерацию. Если верить твиту, то генерация 50 шагов снизилась с 5.6 до 0.9 секунд! Вполне вероятно, что скоро мы увидим генерацию из нейросети в реальном времени. Ждём релиза и готовимся прикручивать к Touchdesigner. https://twitter.com/emostaque/status/1598131202044866560?s=46&t=jnOS2VFFrrX4rcDZsPVxPw

RealityScan — вышло бесплатное приложение для создания 3D-моделей при помощи камеры смартфона. Приложение было доступно и ранее, но теперь это официальный релиз от Epic Games. https://m.youtube.com/watch?v=fXLOMOWWBJQ

Спасибо всем! К сожалению было очень много технических сложностей и нюансов. Записи стрима не будет, но я постараюсь сделать отдельные уроки по темам которые обсуждали на трансляции.

Ответы на вопросы о мультимедиа-инструментах для медиа-художников — Трансляция началась! https://www.youtube.com/watch?v=pj0mpcHcuk4

Ответы на вопросы о мультимедиа-инструментах для медиа-художников — Обучающий стрим про работу с Resolume, Touchdesigner, Unreal Engine, AI в формате Q&A. Этот формат очень полезен для новичков и помогает ответить на вопросы которые появляются в начале работы с инструментами или рассмотреть индивидуальные задачи, которые не получается реализовать. 06.12 — Вторник Начало — 20:00 Если у вас уже есть интересующий вопрос, можете написать его в комментарии и постараюсь на него ответить на стриме. https://www.youtube.com/watch?v=pj0mpcHcuk4

Future Diffusion (Redshift diffusion) — модель Stable Diffusion обученная на 3D графике в разрешении 768х768. https://huggingface.co/nitrosocke/redshift-diffusion-768 #stablediffusion #ai