тоже моушн

свежая китайская моделька I2VGEN-XL теперь доступна в комфи в отличие от SVD не так пафосно и красиво двигает камерой, зато гораздо лучше анимирует объекты в кадре. по скорости генерации тоже немного проигрывает и к сожалению прожорлива до VRAM. в теории лучше держит внешность (у меня пока не получилось, фейлы в комментах) посмотреть как работает можно тут. у меня нормально установилась только на свежую версию комфи гитхаб кастом ноды для I2VGEN-XL гайд на ютубе демо на replicate @тоже_моушн

Ежик в тумане, 2024 Stable Video Diffusion очень неплохо имитирует поведение природных явлений - воды, огня, тумана, облаков. а также вполне четко считывает объем и улавливает предполагаемую динамику в кадре: без особого управления хорошо двигает камеру обычно в 2 случаях из 5 поэтому пайплайн чаще всего выглядит так: закинул картинку и жмешь 2-3 раза на генерацию, выбираешь лучший вариант шевелить объекты не очень любит но иногда умеет. главное не переборщить с таким оживлением, иначе объекты ломаются и к сожалению главное ограничение - всего 25 кадров за раз картинки - mj анимация - SVD 1.1 музыка - suno.ai @тоже_моушн

Houdini + Stable Diffusion Принес годноты для CG-взрослых. Симуляция в Гудини, нейрорендер в Stable Diffusion (Комфи+КонтролНет). В Гудини генерятся частицы, маска и глубина, потом все это забирается в Stable Diffusion и кормится в ControlNet и Animatediff. Вот такой нейрорендер нам нужен! Более того, держите: Подробный тутор, где все это расписано. Канал этого удивительного чувака, который скрещивает 3Д и нейрорендеринг. И клондайк из разных полезных постов для тех, кто в кино и VFX. Enjoy CG-Bros. P.S. Представьте, лукдев теперь это текстовый промпт и выбор чекпойнта (утрирую, конечно).

морфинг с помощью animatediff и ip-adapter выше я уже рекомендовал к просмотру гайды/туториалы от Latent Vision. и это видео не исключение. берем две картинки и анимированную чб маску перехода. твикаем настройки и вуаля - магия работает, морфинг супер плавный и кайфовый но сразу должен расстроить - это снова не морфинг из картинки А в картинку Б. ipadapter не воссоздает оригинальные картинки, но весьма неплохо понимает что на них изображено, считывает стиль, некоторые детали и общий вайб воркфлоу в комментах туториал @тоже_моушн

вдруг вы из Лондона? если так то имеете шанс попасть на классную выставку, которую мы в Силе Света запилили незадолго до нового года: арт инсталляция Hyperfeeling про спектр человеческих чувств для The Balloon Museum для меня это первый опыт создания нейро контента в формате сферы 360. выглядит и работает очень кайфово, хотя и не обошлось без костылей) 360 в статике - изи. но вдруг вам известны способы как генерить анимацию типа дефорума или анимейтдифф - без лор, ассиметричного тайлинга и прочих костылей - сразу со всеми искажениями 360 развертки? вроде несложная задача но до сих пор не попадалось хороших решений @тоже_моушн

в конце прошлого года мы делали предположения про что будет год следующий. много кто считал что после картинок - на очереди конечно же видео и 3д. и видео сетки за год действительно проделали лихой путь от ультра криповых (один, два) до вполне артовых (один, два) и довольно реалистичных результатов (один, два, три, четыре). конечно со своими нейро-артефактами которые с каждой новой моделью выглядят все более естественно и все меньше бросаются в глаза с 3д дело обстоит куда сложнее. уже есть неплохие решения (один, два, три, четыре) но все равно в основном шляпа на выходе внезапно к концу года оказалось что если усилия 3д и видео моделей объединить - можно получить ну очень качественный псевдо 3д результат. не могу перестать удивляться - иллюзия работает почти идеально. запускается это дело конечно же в ComfyUI. воркфлоу положу в комменты. там же дополнительные прикольные результаты это видео от разработчика расширения IP-Adapter для комфи - обязательно к просмотру. чел сооружает похожий сетап и крутит девушку в 3д, сохраняя примерно ее внешность. вообще канал этого парня для меня настоящий исайт, уровень полезной информации зашкаливает гайд о возможностях StableZero123 от Оливио гайд от Матео Latent Vision страничка воркфлоу в дискорде banodoco всех с наступающим и пусть следующий год будет лучше чем этот! всем лучи добра @тоже_моушн

Под конец года многие из нас ощущают пустоту и меланхолию. Еще один год пролетел, как вспышка. Новогоднего настроения всё меньше, мы повзрослели и только воспоминания о "тех самых" зимних каникулах отдаются теплым эхом времени. ⠀ Мы хотим подарить вам немного тепла и пожелать, чтобы даже в самые холодные грядущие годы вы сохраняли его в своих сердцах! https://youtu.be/lyqrS6hkRuo?si=GWDhD1xrEVWd5HgX

Встречайте KeenTools 2023.3: Стабильный GeoTracker for Blender и поддержка Nuke 15.0 / 14.1 Ура, бета-тестирование нашего 3D трекера объектов успешно завершилось! Благодаря вашим бесценным комментариям, GeoTracker теперь отполирован, свеж, светел, и готов к использованию в вашем трекинг-пайплайне. Кое-что новенькое в стабильной версии: — Встроенное текстурирование с возможностью спроецировать текстуру объекта из видео на его 3D модель — Опция Lock View для стабилизации вьюпорта на конкретной модели или точке на ней — Экспорт группы пинов, создающий Empty-объект с координатами нужной точки с трекаемой геометрии Теперь GeoTracker for Blender становится платным продуктом с 15-и дневным триалом. В знак благодарности за вашу помощь, до конца декабря можно приобрести годовую Freelancer подписку с 50% скидкой за первый год. Касаемо других обновлений, в этом релизе мы добавили поддержку Nuke 15.0 и 14.1, а также внесли ряд минорных изменений в наш трекер для AE. Все детали, туториалы, скидки ждут вас здесь!

ComfyUI Stable Diffusion Video ComfyUI теперь поддерживает Stable Diffusion Video и при этом инференс влезает в 8GB VRAM, что позволит генерить даже на T4. Некоторые пояснения к параметрам: — video_frames: количество генерируемых видеокадров. (В зависимости от моделей от 1 до 24) — motion_bucket_id: чем выше число, тем больше движения будет в видео. — fps: чем выше частота кадров, тем менее прерывистым будет видео. — augmentation level: количество шума, добавляемого к начальному изображению. Чем оно выше, тем меньше видео будет похоже на исходное изображение. Увеличьте его для большего движения. — VideoLinearCFGGuidance: этот узел немного улучшает выборку для этих видеомоделей, он линейно масштабирует cfg по разным кадрам. Качество генераций очень нравится, еще бы поддержку ControlNet и Lora, и станет заменой AnimateDiff. Если возникнет ошибка при генерации связанная с xformers, то при запуске добавить параметр: --use-pytorch-cross-attention В комментах скидываю два .json для ComfyUI.

обработка в стейбле потихоньку подбирается к реалтайму. а виной всему LCM, который лихо ускоряет генерацию без потери качества Олег Чомп записал мега полезный гайд о том как используя ComfyUI и Touchdesigner обрабатывать любой видео сигнал на лету я и сам сейчас в работе активно использую патч Олега для комфи, так что рекомендую! оригинальный пост гайд на ютуб lora LCM патч для Тача @тоже_моушн

🕸🎃 чрезвычайно милая и атмосферная хэллоуинская короткометражка от Алексея Лоткова сделано на коленке но при этом профессионально, качественно, с юмором и любовью к делу. по словам автора - на создание ушло 2 дня из инструментов: анимейтдифф для стилизации, стейбл для фонов и окружения, щепотка миксамо и классического композа, синтез голоса в play.ht Алексей Лотков в IG @тоже_моушн

продолжаю пребывать в некотором шоке от далли-3 уровень детализации и качество картинки без тюнов, лор, инпейнтов и тд - зашкаливает и завораживает. особенно в сравнении со стейблом кому интересно, почему так и как новый далли опять всех уделал - вот читабельный саммари от Дмитрий Савостьянов Вещает вчерашней статьи OpenAI @тоже_моушн

ну наконец то! последний месяц я ежедневно проверял не появились ли новые опции в платном аккаунте chatGPT и наконец это свершилось) неделю назад получил возможность спрашивать что изображено на картинке и по запросу describe this image in details получать довольно подробное и размашистое описание деталей, стилистики итд а сегодня добавили опцию генерации dalle-3 и chatGPT свое же пространное описание органично упаковывает в небольшой промпт, по которому генерит вполне приличные картинки сравнивать исходник и результат смысла не вижу так как это разные сетки, разные модели - разное всё. просто чувствую душевный подъем от того что есть теперь такая возможность, этого не хватало картинки в полном качестве положу в комменты @тоже_моушн

помните недавний мой эксперимент с деформацией по optical flow? говорил же что это гибкий пайплайн! Mickmumpitz использовал в качестве исходника движения стандартные визуализации звука и получил на выходе - нейро-винамп, жаль только не реалтаймовый. по ссылке подробный гайд, где показан весь процесс подготовки, настройки и обработки кстати у Mickmumpitz на канале масса годного контента из категории "делаем кино самостоятельно на коленке используя все доступные бесплатные методы" подсмотрено у Psy Eyes видео на ютуб пост в Х мой пост с настройками @тоже_моушн

а вы в курсе что в AnimateDiff больше нет ограничения по хронометражу? сначала в ComfyUI а теперь и в A1111 добавили немного костыльное но работающее решение: AD генерит все так же по 16 кадров, а затем еще 16 с небольшим наложением на предыдущие и так сколько душе угодно. если промпт не сильно динамичный, стыков не будет заметно также AnimateDiff очень неплохо показал себя в задаче стилизации видео (vid2vid)! а с новым контекстным окном обработать можно любой хрон, круто же еще интересное решение - motion lora - модели движения для AD (совсем как в ген2 и пикалабс), довольно простые но их можно комбинировать для получения более сложного движения супер полезная к прочтению статья на civitai о том какие крутые штуки теперь можно творить с AnimateDiff в ComfyUI, да еще и сетапы в подарок animatediff comfyui ext a1111 motion lora civitai guide + setup @тоже_моушн

продолжаю мучать IP-Adapter киллер фича - возможность смешивать пару изображений. из первого контролнетом забираем карту глубины, из второго ай-пи адаптером получаем стиль. а дальше начинается магия. и я хочу еще раз акцентировать - это генерации без промпта! две доступные модели для sd15 справляются чуть по разному. стандартная - чуть хуже схватывает стиль, но за счет своей "подвижности" круто накладывает его на карту глубины. модель с плюсом - старается жестче следовать стилю, менее подвижная, из за этого частенько попадает в неприятности, например рисует девушку поверх кота потому что в стиле был портрет. максимально оценить возможности такого смешивания - можно по двум сравнительным таблицам в комментариях IP-Adapter стилизация видео ай-пи адаптером @тоже_моушн

как насчет стилизации БЕЗ ПРОМПТА? с новым IP-Adapter - запросто! про IP-Adapter говорят что это "лора по одной картинке". он прекрасно работает в последней версии автоматика в расширении контролнет, нужно только скачать модели. есть версия для Comfy и в ней даже чуть больше возможностей! волна хайпа до сих пор незаслуженно обходила IP-Adapter стороной и очень зря, потому что инструмент супер мощный. идеально делает вариации по входящему изображению без промпта. а еще позволяет неплохо смешивать картинки, но про это позже насчет стилизации видео - сразу скажу, пайплай еще очень сырой но точно стоит того чтобы хорошенько в нем покопаться. в анимации выше 2 версии, одна на ip2p, другая на temporalnet. в первой лучше держится стиль но сильнее гуляют формы, во второй лучше консистентность но картинка приобретает hdr эффект. моя локальная карточка не вмещает больше 3 слоев контрола за раз, возможно соединение этих двух подходов даст лучший результат оригинальное видео и референс стиля плюс настройки - все в комментах IP-Adapter project page и github модели для автоматика версия для Comfy @тоже_моушн

кто о чем а мне лишь бы погнуть пространство) но - кайф в том что наконец то удалось нащупать способ доступный каждому пользователю дефорума в автоматике! без дополнительных заморочек с тачем или гудини способ чем то похож на стилизацию, но в отличие от нее мы не видим содержания исходного видео а забираем оттуда только само движение через оптикал флоу. а это дает просто бешеный простор для творчества - можно использовать видео с телефона или готовые футажи или самим чего нибудь нагенерить если умеете в моушн. вероятно способ больше подходит для лэндскейпов или абстракции и арта. но зависит от исходника за настройками айда в комменты, там же видео - источник движения и еще примеры анимации гнем в гудини гнем в таче @тоже_моушн

Новый вид монтажа 🔥 Все что вы видите в этом ролике сгенерировалось за один раз, без склеек, без использования программ для монтажа. 📕 Склейки между кадрами - моя попытка теста QR code ControlNET (который сейчас проживает второй расцвет) в AnimateDiff. 💗 Это успех, теперь приятные эффекты шума, такие важные для некоторых клипов или творческих работ, можно создавать максимально контролируемо. 🐑 То есть AnimateDiff превращается в полноценную продакшн студию у вас в компе, где есть актеры, движения, эффекты, сцены, идеи. 🐈‍⬛ Пока это сложный инструмент, хотя уверен, что вскоре появится сервис, где нужно будет только писать промпт и задавать стили, Лоры и т.д. Не могу не наиграться с AnimateDiff, например эта работа полностью HD, 1920x1080 генерация, 13 секунд. Это сильно впечатляет, хотя и себестоимость таких 13 секунд вышла в 10$. AnimateDiff