VJ SCHOOL

Шаг в сторону видимо отменяется, на видео TouchDiffusion с Canny ControlNet и TensorRT. Dreamshaper8 (SD 1.5), LCM, 512x512, 4 Steps

Разбавляю молчание на канале, новостью о следующем апдейте TouchDiffusion mkII (StreamDiffusion в TouchDesigner). Не скажу что это шаг вперед, скорее в сторону от TensorRT. Выглядит гораздо медленнее, но с поддержкой SDXL, ControlNet, Prompt weights и Lora. На видео выше Dreamshaper8 (SD 1.5), LCM, Canny ControlNet, 4 Steps на скорости 8 FPS, с отдыхающим CPU. Вариант с TensorRT стоит на паузе, после множества попыток добавить ControlNet в StreamDiffusion и получить какие-то рабочие результаты. Отдельно все работает, а вместе нет.

Отвечая на вопрос "Зачем?" — ну как бы OpenSource он такой, какой есть.

TDComfyUI — обновление компонента TouchDesigner для генерации изображение через ComfyUI API. Добавились Callbacks, поддержка удаленных серверов, корректные названия нод и исправлено несколько багов. https://github.com/olegchomp/TDComfyUI/releases/tag/v.1.0.7

ИНТЕРВЬЮ NONOTAK (часть 1)

Наконец-то публикую этот разговор с Ноэми и Таками. Мы встретились сразу после открытия их первой персональной выставки в Лондоне (показывала ее на канале).

Поговорили о многом: я решила, что вопрос об образовании и бэкграунде до начала работы в медиа-арте станет постоянным для моих интервью, не смогла не спросить про Джона Уика и попросила поделиться историями о проектах, которые были на грани. Все подробности в карточках. Интервью на английском, но, думаю, мысли Таками и Ноэми будут близки медиа-арт сообществу, независимо от языка. 💞 Спасибо RJS.studio за помощь с версткой, пока мой планшет «отдыхает» в аэропорту Манчестера. Кстати, персональная выставка Nonotak Eclipse продлится в Лондоне в Lumen Studios до 8 октября. Если соберетесь — дайте знать! 🦋 #interview #artists

Web2Touch — plug&play веб-интерфейс для TouchDesigner. На первый взгляд, может быть как альтернатива TouchOSC. Главное отличие, не требует приложения и открывает интерфейс в веб-браузере на любом устройстве. https://youtu.be/aOgyKX3EaP8

Suno Covers — вышел апдейт с возможностью генерации аудио каверов (ремиксов) по заданному промпту. Suno это генеративная модель (онлайн сервис), с помощью которой можно создавать музыку из текстовых запросов.

В двух словах это img2img audio2audio для музыки, Наверное стоит ожидать наплыв каверов старых и не только хитов в новых интерпретациях. Интересно послушать emo-core варианты современной поп музыки.

Suno Covers — выпустила новый апдейт с возможностью генерации аудио каверов (ремиксов) по заданному промпту. Suno это генеративная модель, с помощью которой можно создавать музыку с помощью текстовых запросов.

Настал момент img2img audio2audio для музыки, Наверное стоит ожидать наплыв каверов, где современные артисты будут перепевать старые хиты, но хотя это и так 70% современной музыки.

touch:waves — интерактивное аудио-визуальное веб приложение. Работает в браузере на PC/MAC, OS/iPadOS 14.5 и Android Chrome. Видео со страницы проекта в соц. сетях. Поиграть самим: https://sascacci.com/

Очень нравятся такие приложения, быстро масштабируется в инсталляцию, которую можно с выставки забрать с собой на телефоне.

ComfyUI-AdvancedLivePortrait — управление лицевой анимацией на фото и видео. Собрано в виде ноды для ComfyUI и устанавливается через Manager.

Скорее всего это видео или похожие, будут во всех AI и Motion пабликах и позиционироваться как очередная секретная super-duper-фича, но все уже есть в открытом доступе 🤷🏻‍♂️

https://github.com/PowerHouseMan/ComfyUI-AdvancedLivePortrait

Spreadbeats — рекламный ролик Spotify получивший множество наград на фестивале Cannes Lions 2024. Интересен он тем что полностью запрограммирован в Excel и занимает всего 10 мб. https://youtu.be/Z_lbVlhO9HE?si=dqvQAtcIoiPmylys

Мы к вам с отличными новостями! Сроки подачи заявок для категорий виджеинг и моушнграфика продлили до 30 августа. Так что участников будет еще больше, а значит и само шоу станет еще масштабнее! Все, кто откладывал участие или не верил, что успеет – теперь у вас нет отговорок 😏 🤩 Напоминаем, что Портал.МЕДИА–АРТ – международный конкурс диджитал-художников, где каждый может проявить себя на грандиозном световом шоу, которое пройдет в Сколково с 5 по 7 сентября и побороться за призовой фонд в 1 400 000 рублей. Подробности и сбор заявок на сайте: https://portalfuture.ru/artmedia/ Вопросы и обсуждение конкурса – в нашем чате в телеграмме: https://t.me/portal_media_art

Приглашаем художников-виджеев и всех, кто связан с цифровой графикой на большой открытый опенкол, посвященный конкурсу "Портал.МЕДИА–АРТ". Принять участие в нем могут цифровые художники, которым предоставится возможность продемонстрировать свои работы на площадке Инновационного центра «Сколково». А победителей конкурса ждет призовой фонд в 1 400 000 рублей! На встрече мы подробно расскажем о правилах участия, погрузим в тематику конкурса, а также ответим на ваши вопросы. Приглашаем как профессиональных, так и начинающих художников. Опенкол пройдет в среду в 15:00 на платформе VK по ссылке: https://vk.com/motiongraphics

AnythingToMidi — собрал забавный концепт превращающий изображение в мелодию. Внутри все довольно просто, получаем описание картинки, генерирует из этого аккорды, преобразовываем в midi и дальше в VST. Пока думаю как это полностью завернуть в TD, но скорее всего будет работать отдельным скриптом, постараюсь его скоро выложить на Github.

Конечно это фантазия LLM и не несет в себе никакого ground truth подтекста.

Прием заявок на международный конкурс виджеинга и моушнграфики «ПОРТАЛ.МЕДИА-АРТ» открыт! Присоединяйтесь к уникальному событию в мире цифрового искусства — конкурсу диджитал-художников со всего мира в рамках специального проекта фестиваля будущего «Портал 2030-2050». Раскройте ваше видение Москвы будущего, в которой будут гармонично сочетаться передовые технологии, инновации и культурное наследие; продемонстрируйте историю открытого и вдохновляющего города, который процветает за счет технологий, разрабатываемых в Инновационном центре «Сколково». На фестивале представят лучшие работы цифровых художников, а самые талантливые виджеи смогут лично продемонстрировать навыки перед многотысячной аудиторией. Конкурс пройдет на площадке Инновационного центра «Сколково», работы победителей будут проецироваться на фасад здания «Гиперкуб». Сроки приема заявок: 🟣Для категории моушнграфика: с 15 июля по 25 августа включительно; 🟣Для категории виджеинг: с 15 июля по 21 августа включительно. Подробности и сбор заявок на сайте фестиваля. По вопросам конкурса обращайтесь на почту: art@portalfuture.ru

ComfyUI GLSL — поддержка OpenGL Shading Language в ComfyUI. Если задаетесь вопросом зачем и почему, то ответ будет — почему бы и нет? А если серьезно, то учитывая количество инструментов и фреймворков подключаемых к ComfyUI и активную поддержку разработчиков, инструмент для генераций картинок уже давно превратился в AI-комбайн, а теперь начинает выходить и за эти рамки. https://github.com/patriciogonzalezvivo/comfyui_glslnodes

Таким темпом, не ComfyUI будет подключаться к TouchDesigner, а запускать TD внутри ComfyUI.

TouchDiffusion Portable — портативная версия, включающая предустановленную и готовую конфигурацию. Проще говоря, скачал и запустил. 1) Качаете и распаковываете архив 2) Запускаете webui.bat 3) Открываете вкладку install & update, нажимаете 'Update dependencies' 4) Готовите модель и настраиваете TouchDesigner по инструкции или по видео-уроку Скачать: https://boosty.to/vjschool/posts/39931cd6-b9c5-4c27-93ff-d7a09b0918c5?share=post_link

TouchDiffusion Portable — портативная версия, включающая предустановленную и готовую конфигурацию. Проще говоря, скачал и запустил. 1) Качаете и распаковываете архив 2) Запускаете webui.bat 3) Открываете вкладку install & update, нажимаете 'Update dependencies' 4) Готовите модель и настраиваете TouchDesigner по инструкции или по видео-уроку Скачать: https://boosty.to/vjschool/posts/39931cd6-b9c5-4c27-93ff-d7a09b0918c5?share=post_link

Depth-Anything & Depth-Anything v2 TensorRT in TouchDesigner — обновление компонента, с поддержкой новой версии. TDDepthAnything — real-time определение глубины без использования специальных камер. https://github.com/olegchomp/TDDepthAnything/

Менторство VJ SCHOOL — Привет! Меня зовут Олег, я автор канала VJ SCHOOL. У меня давно было желание, а теперь появилась и возможность проводить сессии 1 на 1. Если вы заинтересованы, давайте разберёмся во всём. Что значит сессия: Сессией может быть как индивидуальное занятие, где мы разбираем какую-то тему, так и, например, совместная работа над вашим проектом. Строгих ограничений нет, главная задача — поделиться знаниями. Какой формат: Сессия (Google Meets) длится 1,5 часа, но без строгого фиксирования. В подаче информации преобладает практика, поэтому все действия вы выполняете на своём ПК с моим сопровождением и комментариями. Как проходят занятия: Мы обсуждаем заранее интересующую вас тему, после чего я структурирую информацию, и уже предметно проводим занятие. Никакой воды, сразу к делу. Стоимость сессии: На данный момент занятия актуальны только в июле. Цена — 5000 рублей. @olegchomp

TouchDiffusion — видео урок про интерактивную генерацию изображений в реальном времени с использованием StreamDiffusion и TensorRT в TouchDesigner. https://youtu.be/FbbVZ602Z_k?si=pfOL1CYfkxwdlKw-