тоже моушн

берегите ваши глаза и уши. я навайбкодил видео! Don't Slop Me Babe - мой новый экспериментальный проект. это сатирическое высказывание на происходящее вокруг с отсылками на криповые тренды и реально существующие профили. исходный пайплайн взял из музыкального видео BLISS (советую посмотреть, это очень стильно и красиво) фишка проекта в том что тут нет как такового монтажа. клод написал движок несуществующего сайта и наполнял его галерею картинками и видео файлами учитывая продуманный общий таймлайн. затраты по времени: пару часов на придумывание идеи, поиск вектора и референсов и генерацию аудио. и затем 7 часов активной сессии в обнимку с агентом, накидывая ему комменты и поправляя детали.

довольно интересное ощущение когда промптишь не отдельное видео а целое "поле генераций"

мы живем в эпоху короткого формата. неподготовленному зрителю потребуется 3-4 просмотра чтобы переварить насыщенный деталями сдвг монтаж и оформить его в голове в единый целостный сюжет) пайплайн + музыкальное видео BLISS (твиттер) @тоже_моушн

айда играться со временем и пространством в видео навайбкодил веб-инструмент который превращает видео в объем и дает посмотреть на видео-поток "со стороны". и сбоку и сверху и под любым углом. сама идея не новая. принцип работы подробно объяснил и показал ТехноШаман. а для своей реализации как референс я использовал визуалы Bradley Tangonan https://vsewall.github.io/time-volume/ @тоже_моушн

They Replaced Us интерактивная инсталляция на основе 3DGS в Touchdesigner для мероприятия BYOB в Берлине люблю бросать себе вызовы. впервые замахнулся на создание в одиночку такой сложной задумки. в итоге из пруф оф концепт получился вполне рабочий прототип. попутно испробовал разные инструменты и выбрал наиболее эффективную технологию: 1. генерировал изображение в Nano Banana Pro 2. анимировал в Seedance 2.5 3. позиционировал камеры в RealityScan 4. тренировал сплат в LichtFeld таким образом создал 7 сцен на основе античных и классических мотивов и реальных фрагментов картин и скульптур - в новой обработке. сцены выстроены в сторителлинг - метафорический слепок нынешнего момента - про недостаток живого общения, про нашу связь и близость с ИИ, привязанность к нему и зависимость от него. самостоятельно прицепить интерактив в таче к сплатам у меня бы не вышло. на пару с chatGPT продумали весь сетап от и до. довольно профессионально получается если знаешь что именно хочешь получить и как это называется. сайт проекта @тоже_моушн

вы не ждали а я вернулся. и не с пустыми руками а со старыми добрыми сплатами, с пылу с жару, только из печи. сплаты кстати полностью синтетические: вот оно ничего не было и вот он объект в 3д - крути и двигай, ломай и пересобирай как душе угодно. пусть и прозвучит пафосно но ощущаю как жизнь опять поделилась на до и после. полтора года назад аналогичный эксперимент потерпел неудачу потому что видео модельки плохо справлялись с удержанием геометрии на продолжительном хронометраже. seedance 2 справляется неплохо однако универсального промпта подобрать пока не удалось и похоже что для полноценного bullet time с хорошим набором ракурсов промпт нужно писать индивидуально для каждого конкретного случая. исходный промпт для сиданса позаимствовал здесь @тоже_моушн

колыбельная. опять мрачняк - ну такое настроение мой новый личный фаворит среди опенсорсных видео моделей - LTXVideo+STG. по качеству конечно не Hunyuan, зато работает в 8 раз быстрее и к тому же умеет в img2vid до сих пор до конца не верю что оживлятор картинок подобного уровня теперь доступен локально. все еще не сора и не клинг но уже заметно лучше чем SVD за трек спасибо прекрасному Demien Stoker кастомные ноды ComfyUI-LTXVideo подробней про STG нативная поддержка LTX в свежем комфи workflow img2vid @тоже_моушн

новогодний триллер в духе позднего СССР как напоминание о том что новый год подкрался незаметно автор мрачного гиперреалистичного видео Aleksej Lotkov, ему также помогали Aleksei Olenchenko и Leo Erdman

В этой супер-короткометражке я хотел обыграть западный имидж СССР и нестандартный нарратив. Стиль под пленку 80-ых помог скрыть пару косяков и разгуляться воображению. Использовали самые новые/передовые тулзы по типу Flux 1.1 pro ultra и Sora (процентов 20 анимации - сора), ну и все, что есть из видеогенераторов.

оригинальное видео в inst @тоже_моушн

Ну что, друзья? Встречайте FaceTracker for Blender (Beta) Наше фирменное решение для трекинга лиц теперь доступно каждому прямо в Blender. Сгенерировать 3D модель лица по кадрам из видео, потрекать мимику, омолодить или состарить, добавить тату, 3D эффект или симуляцию — все это теперь легко сделать, не закрывая Blender! Что вас ждёт: – Быстрый и точный трекинг головы и мимики – Встроенный FaceBuilder для создания на ходу моделей лица – Генерация текстур лица: анимированной или смешанной по выбранным кадрам – Экспорт FACS блендшейпов – Интеграция во внешние пайплайны И многое другое! Скачать FaceTracker for Blender FaceTracker сейчас в открытой бете, а значит доступен бесплатно для всех. Важно: FaceTracker трекает головы только в FaceBuilder-топологии. Чтобы каждый мог опробовать все возможности FaceTracker, мы сбросили нашу триалку FaceBuilder для всех вне зависимости, использовали ли вы его раньше или нет! Качайте, пробуйте и делитесь результатами!

если вам тоже было интересно как затанцевать макароны, держите воркфлоу для комфи а также свежий пошаговый видео туториал магия происходит конечно же благодаря ip-adapter и qrcode-monster controlnet. а за хорошую скорость генерации отвечает lcm моделька. все необходимые ссылки есть в туториале workflow на civitai туториал ig автора воркфлоу @тоже_моушн

признаюсь, я не большой любитель аудио генераций. немного баловался с suno но вау эффекта не получил однако с этим треком ситуация ровно наоборот - полное попадание в мои персональные музыкальные мурашки и желание слушать его на репите. автор - мой хороший друг, исполнитель - udio. не представляю как у Саши получилось так лихо укротить сетку и так сочно передать вайбы и звучание электронной музыки 2010х. некоторые "семплы" просто бомбические. лайк тому кто расслышит воинственный клич Зены королевы воинов а еще это хороший повод протестить keyframes в dream machine. фича классная но полный рандом трек оригинальный пост @тоже_моушн

В Казани стартовал международный фестиваль медиаискусства NUR. На нем представлена инсталляция EYE, созданная в коллаборации четырех независимых хужодников из SILA SVETA: Ilia Balakin, EGO, Vsevolod Taran и Alexander Karelin. Искать инсталляцию нужно во дворе «Национального музея», ее центральный элемент — сцена-ракушка — превращена в око искусственного интеллекта. Зрачок перед сценой олицетворяет ИИ, который с помощью нейронных сетей в real-time по-своему интерпретирует и человека, и пространство вокруг него. Все происходящее выводится на экран, позволяя каждому посетителю увидеть, как современные технологии могут изменять наше восприятие мира. Участие в NUR и других медиафестивалях — это возможность для команды достать из заметок и воплотить в жизнь крутые и вдохновляющие идеи, которые приходили в процессе поиска креативных решений на коммерческих и RnD-проектах. Скоро поделимся комментариями создателей EYE и фото с места событий.

Очень мало толковых каналов по AI, где автор сам реально шарит. ЭЙАЙ НЬЮЗ — уникальный канал в этом плане. Автор канала — Артем, Staff Research Scientist в элитной лабе по генеративному AI, Meta GenAI в Цюрихе. Он защитил PhD в лабе, откуда вышел Stable Diffusion, и опубликовал 15+ статей на топовых конфах. Да как он ещё успевает вести канал? Артем пишет о нейронках, добавляя свое критическое мнение, а также травит байки о работе AI ресерчера в Meta. Несколько интересных постов: — Артем рассказал о новой модели Imagine Flash для риалтайм генерации картинок, которую он и его команда обучили – на днях был громкий релиз от Мета. — Пост про модель для генерации стикеров, которую Артем лично оптимизировал. Моделька уже крутится в Инсте и Whatsup в проде. — Пост про то как он приделывал ноги Аватарам в метаверсе. — Еще, недавно Артем писал о том, как он запромоутился до Staff Research Scientist (это очень серьезная должность в ресерче). И если вы хотите лучше разбираться в теме AI, рекомендую вам подписаться (я и сам подписан): @ai_newz

очень милый и визуально приятный кейс - ручная анимация цветных шейпов в бесплатной рисовалке Tagtool на айпаде с дальнейшей реалтайм обработкой в TouchDesigner с помощью StreamDiffusion это дело рук VJ Suave - дуэта медиахудожников из Бразилии. подробней про проект можно почитать у Demien Stoker StreamDiffusion - это ну очень быстрый txt2img: запросто выдает 15 fps на 4090 в разрешении 512. и это реально выглядит как реалтайм! туториал для желающих повторить у себя автор компонента StreamDiffusion для тача DotSimulate уже прикрутил к нему ControlNet но предположу что это повлияет на fps негативно, нужно тестить. кстати есть еще бесплатная альтернатива от Олега Чомпа inst VJ Suave Tagtool app пост Demien Stoker patreon DotSimulate туториал на ютуб github StreamDiffusion StreamDiffusion-NDI by Oleg Chomp @тоже_моушн

Pain - Push the pusher (Ai animation official music video) Directed by: Dmitry Alekseev Written and created: Dmitry Alekseev & Sergey Kozlov Tools: Midjourney x Photoshop x After Effects x Premiere Pro Character Voices: Elevenlabs WATCH FULL VIDEO ON YOUTUBE

ура, вышел плагин Gaussian Splatting для After Effects от irrealix это значит что ply файлы сплатов созданные в LumaAI, Postshot, Scaniverse, Polycam или Nerfstudio теперь можно импортировать в афтер и встраивать в привычный пайплайн. благо количество добавленных в плагин плюшек, эффектов и настроек это позволяет для тех кто не готов платить - можете протестить бесплатный плагин от Postshot но он не умеет и трети от того что заложено в новом плагине, на который кстати действует скидка до 26 апреля @тоже_моушн

небольшой тизер-анонс двух долгожданных инструментов для 3DGS. видео выше сделано с их помощью. первый - плагин для AE. чтобы импортировать сплаты в афтер, использовать по классике параллельно с текстом и любыми 3д слоями, а еще лихо навешивать на сплаты различные эффекты. считанные часы до релиза! второй - аддон для Блендера. позволяет "запечь" 3д сцену - со всеми материалами и освещением в формат ply, чтобы дальше отправить это в AE, Unity, UE, Touchdesigner или вообще встроить на сайт. аддон пока дорабатывается но уже показал хорошие результаты. кстати черепушку из видео можно покрутить по этой ссылке (к сожалению смартфоны пока не тянут). а готовый сплат ищи в комментах @тоже_моушн

давненько не брал я в руки сплатов) а если честно то особо и не погружался в эту тему глубоко. чтобы исправить это недоразумение, вашему вниманию: внезапный обзор на бесплатные гауссиановы сплаты Scaniverse приложение для iOS, обучается быстро, заметно нагревает айфон, на экранчике выглядит красиво но для продакшна не годится LumaAI в представлении не нуждается, работает с телефонов и в браузере, выдает стабильно хороший результат, заложены всякие полезные плюшки Jawset Postshot работает локально, любит железо помощнее, обучается небыстро, зато красивый результат. демо видео а еще при установке Postshot спрашивает, не хотите ли плагин для афтера чтобы крутить свои сплаты как взрослый) лично не тестировал, но по секрету скажу что в скором времени нас ожидает гораздо более фаршированный плагин 3DGS для афтера, не переключайтесь безобразие что до сих пор нет нормального импорта сплатов в блендер! есть плагин для рендера на сайклс но камон, это не реалтайм а если хотите реалтайм - вот вам ассет для Touchdesinger. если чуть поиграться, можно добиться эффектов как на видео @тоже_моушн

AnimateDiff Lightning в 10 раз быстрее оригинального AnimateDiff. Инструкции по использованию в ComfyUI прилагаются #text2video

совсем не новость но грех не поделиться один из самых крутых и визуально интересных проектов над которыми поработал в прошлом году - показ BOSS в Милане. командой Силы Света мы разрабатывали его визуальную концепцию: что то типа офиса будущего с прозрачными экранами, нейро-интерфейсами и силиконовыми роботами, все такое smooth and sleek был проделан настоящий глубокий ресерч - куча обученных лор, генеративная инфографика, стилизация реальных футажей мрт, бешеные эксперименты со временем и пространством в тач дизайнере, ранние тесты animatediff etc. и помимо нейронок конечно много качественного 3д получилось по моему очень насыщенно, красиво и достойно официальное видео показа видео Сила Света @тоже_моушн

хорошему дружескому проекту нужно помочь с тестированием их продукта: Nim — новый проект на просторах вселенной AI, которому чуть больше месяца. Сейчас ребята активно исследуют генеративные модели и находятся в поиске профессиональных фото/видео креаторов, которые помогут им в креативном тестировании платформы в рамках оплачиваемой Creative Partner Program. Ребята предоставляют ранний доступ к их генеративной платформе и платят почасовую ставку за генерации. Подать заявку на участие.

Вот держите гибридный пайплайн от генерации 3D-модели персонажа, до рига, анимации и нейрорендера. Без всякого ретопа, текстурирования и шейдинга. Берется Luma AI для того чтобы сгенерить десяток вариантов 3Д-персонажа по текстовому промпту. Получается довольно обмылочный персонаж в духе PS1 с кривой топологией и кашей вместо головы и рук. Дальше он тащится в Mixamo и там на него тупо кидается авториг. А потом и анимация в духе Hadouken! Дальше превью анимации с этим болваном кормится в КонтролНет, чтобы достать оттуда позу и объем с глубиной - для дальнейшего нейрорендеринга с помощью AnimateDiff. Ну то есть идея такая - генерим низкокачественного болвана персонажа с помощью ИИ, кладем болт на топологию и качественный риг, просто одеваем его в скелет и наваливаем нужную нам анимацию (пусть с заломами и косяками на сгибах). На этапе нейрорендеринга все эти косяки сгладятся в процессе переноса стиля из промпта или картинки. Одна засада - надо знать Mixamo, анимацию и вот это ваше дурацкое 3Д. Впрочем нажать кнопку Autorig и потом выбрать из библиотеки анимацию (или сгенерить промптом, или забрать по эклеру из видео с помощью open pose) может любой, даже не знакомый с 3Д. Осталось эти кнопки вструмить внутрь ComfyUI или A1111 и спрятать подальше эти ацкие настройки ControlNet - вот и будет вам AIMixamo. P.S. Качество ИИ-генерации 3Д настолько плохое, что чувак отдельно потом генерит голову и руки для персонажа и пришивает их к полигональному мешу и начинает все сначала (иначе КонтролНет не хавает уродца). И вот тут уже надо знать 3Д, сорян. Но проблески будущих однокнопочных пайплайнов отчетливо проступают из шума диффузии. P.S.S. Была такая поговорка у продакшенов - "на посте все поправят". Теперь на посте сидят такие: "зачем моделить правильно, на нейрорендеринге все поправится". Короче, расслабляем булки, ИИ все поправит. За вас. Автор обещает полный тутор тут: https://twitter.com/8bit_e/status/1761111050420727895