CGIT_Vines

Кажется, ребята из CSM (Common Sense Machines) начинают понимать, как работает PBR. Выкатили апдейт на свой генератор моделей и текстур, который на практике всё ещё далеко не дотягивает до верха рейтинга, где Hunyuan и Tripo. Но зато текстурки теперь хоть как-то релайтнуты, и с ними можно продолжать работать в Painter.

Наткнулся на интересный проект: PiT. Суть: даём модельке на вход пару визуальных кусочков — например, прическу, крыло и лапу, — а она достраивает из этого полноценного персонажа или предмет. Без текста, без описаний, только визуальные фрагменты. Вместо того чтобы объяснять словами, как ты это видишь, — просто показываешь, а модель понимает контекст и домысливает недостающее. Работает на улучшенном пространстве IP-Adapter+, а сверху можно накинуть LoRA, чтобы менять стили, фоны и сцену. Примеры, подробности и демки тут. Исходников пока нет, но скоро обещают выкатить

Обожаю Азимова, он поднимал вопросы, которые вдохновляли ученых, исследователей, режиссёров и целые поколения. Из этой идеи, я так понимаю, получился роман, а потом и фильм «Двухсотлетний человек». А затем — и философские рассуждения майора Кусанаги на лодке после дайвинга в ночном мегаполисе. Там она неожиданно для себя принимает решение слиться с ИИ. Я оставил английский звук, потому что так звучит атмосфернее. Ру перевод закину в комменты.

Вчера прочитал, что мульт Flow собрал $36 миллионов при затраченных $3.7! В популярности, конечно же, сыграл аспект того, что мульт получил Оскара. Но важно, что сама история и подача сработали за счет свежего подхода. При этом никто не говорил, что там крутые спецэффекты, графика, рендер или что-то подобное. Ребята сами признавались, что в Blender и создании мультов были новичками. Все это дает новое дыхание независимой анимации. И тут мы разобрались, что инструменты не так уж и важны для успеха. Поэтому ИИ с его ускорением процесса производства — не помеха, но и не буст, но точно причина понижения порога входа. История и возможность экспериментировать — вот что будет решать. Большинству в целом было без разницы, что анимация во Flow была странной, мягко говоря, или что шерсть выглядела неестественно, ну и много чего еще. Поэтому какие-то косяки AI, если правильно обернуть их в стиль и держать под надзором хорошего арт-директора, вообще не будут восприниматься как недостаток. Так что будем ждать смелых и дерзких!

Все потому что на вайбе нужно быть!

Пощу осторожно, потому что я со своей паранойей уже никому не доверяю. Чувак собрал GUI для общения с Gemini. На вход дает модель с готовой UV-разверткой и просит перерисовать текстуры. Давайте разбираться. Так как нет абсолютно никаких подробностей — ни пайплайна, ни гита — имаджинируем. Как Gemini видит входящую информацию? Если он видит развертку в 2D-виде, я уверен, что он ни черта не понимает, что к нему пришло и как с этим работать. 3D-представления или плоский кадр объекта более привычны для диффузионных моделей. Вероятно, эта надстройка может делать снимки объекта с разных ракурсов и отдавать на регенерацию, как это сделано в Multiview Hunyuan 2. Дальше включаются алгоритмы генерации 3D-модели, и в финале с этой модели происходит репрожект на входящую модель с UV-разверткой. Честно говоря, это тупой и бессмысленный метод, но ничего лучше я не придумал, поэтому склоняюсь к тому, что видео — возможно просто концепт. Я уверен, что в канале есть люди с более системным мышлением, которые могут предложить варианты получше. Пишите в комменты ваши мысли.

А вот и анонс! Сегодня в 19:15 по МСК делаем стрим с одним из наших менторов Сережей Мизинцевым. Напомню, что говорить будем про Hardsurface в геймдеве и про то, как знания по смежным дисциплинам помогают в развитии художника. Залетайте, задавайте вопросы. https://www.youtube.com/live/8eHEhvoSnpg?si=_ymzpUNobIaKY0x8

Kling тут выпустил новый эффект DizzyDizzy, или Microwave эффект, короче кручение на тамбнейле. Удобно в теории, если надо достать дополнительные ракурсы, но есть нюанс. Тестировал на своей любимой палатке, остальное в видео. Есть ощущение, что мне напиздели, понимаешь, напиздюнькали, наебали, сечёшь блять, мне наврали нахуй, мне сказали неправду.

Спалили мозги пацаненку!

Обработка видео и 3D моделей в Runway Тестировала пайплайн обработки 3D видео с помощью Runway. В обработку обычных футажей решила не лезть, с ним мне более-менее все ясно, да и думаю многие достоинства и недостатки обработки фигур будут такими же. Пайплайн с классным использованием Клода я пока не брала (спасибо каналу @CGIT_Vines), мне тридэшные футажи подготовил коллега. Вообще я концентрируюсь на обработке видео и поэтому возможность управления с помощью 3D, созданных в LLM на будущее мне очень улыбается. Кратко: ⁃ 3D видео вытащенное из Blender ⁃ Обработанный в Krea первый кадр из видео ⁃ Текстовый промпт, обработка первого кадра и настройки в Runway (там их немного) Плюсы: ⚠️Жирный хрон, можно сделать одной кнопочкой больше 5 секунд ⚠️Мало кнопочек 💿Выглядит эстетично, никакого моргания ⚠️Работает быстро, много видео в очереди Минусы: 🪩Мало кнопочек — мало управления ✨Малый контроль сюжета даже с обработанным кадром и промптом 🪩Для обработки нужен обработанный первый кадр, а не просто картинка, это занимает время 🪩Никаких фантастических приколов вне промпта — это вам не Deforum 📺Свойственны те же артефакты, что и нынешней версии Runway — мыло, появляющиеся и исчезающие предметы и люди Итого: полезная штука, использовать и экспериментировать хочется. Перспективно полезно и в арте, и в рекламе, и в кино, но мне хочется больше спонтанности.

Andrew Price затестил текущие модели для генерации 3D. Тест не идеальный, так как некоторые игроки не представлены на тестах. Но, тем не менее, это дает представление о текущем положении дел. Главное — помнить, что где-то использовались PRO-версии генераторов, которые, как я подозреваю, просто наваливают больше геометрии, и точность вырастает именно из-за этого. Стоит ли пользоваться или переживать — решать вам.

Tencent апдейтнули Hunyuan3D и предложили сразу две модели: полнофункциональную и урезанную 2mini. В тестах на видео, как обычно, суперпростые модели, поэтому и артефактов почти нет. Я пытался загрузить свою тестовую модель, на которой тестирую генераторы, но демка на Hugging Face ушла в цикл, по всей видимости, и сожрала все доступные кредиты. Так что я бы вас попросил, по возможности, сделать тесты и кинуть в сравнении с Tripo или подобными генераторами. Обе модели доступны для тестов. Hunyuan3D-2mini Hunyuan3D-2mv Отдельное спасибо за multiframe generation. Hunyuan3D-2mv

Кажется, в гонке 3D-генераторов намечается свержение Tripo какой-то небольшой группой китайских ребят с работой Hi3DGen. И что самое крутое он должен быть Open source! Единственное, по чему сейчас можно судить, — это их же сравнительное видео, на котором геометрия выглядит и правда точнее, чем у Tripo, особенно в тех частях, которые не охвачены ракурсами изображения. Как они сами пишут, достигается это за счёт использования метода видео-диффузии, который дорендеривает недостающие ракурсы и, якобы, более консистентен. В видео мы не видели примера с текстурами, но в пэйпере написано hi-resolution textures, что может намекать, что они, как минимум, будут высокого разрешения 🤡. Ну и на этом спасибо. Демо нет пока. Git Paper

Иногда то, что создано для одних условий, не очень-то хорошо играется при других. Хоть и смотрится прикольно. Забавно, что при такой адаптации стало видно, как оптимизировали рендеринг убирая лишние пиксели на облаках. Сделано через 3D NES-эмулятор для Quest 3. Там довольно большая подборка игр: Super Mario Bros, Duck Tales, Mega Man, Contra, Metroid, The Legend of Zelda series, Final Fantasy, Duck Hunt, Dragon Warrior, Batman, Castlevania, Battle Kid, Micro Mages.

Что за сатанинская рекурсия? 2025г. Моделинг выходит на новый уровень. Дальше, что,

create screenshot in substance painter of textured monkey head?

В общем я потестил Geminy 2.0 Flash Experimental. Что могу вынести из полезного для тридешечки. Подходит лучше всего для несложных объектов. Я взял у Ben Bolton его драфт концепт пушки см. на картинке. Попросил промптом

"create 3d model from this sketch"

Получил сначала side view, потом попросил сгенерировать остальные виды. Если у вас платная версия Tripo, то вы можете использовать её для генерации сразу нескольких видов. Только Gemini, конечно же, косячит с консистентностью, но, честно признаться, я думал, что будет хуже. Я также делал разные вариации: с перекраской волос у персонажа — получилось плохо, просил добавлять детали к разным архитектурным элементам — получилось плохо, просил создать 3D-рендер персонажа — получилось плохо. Этот вездесущий пример с Морганом Фрименом удачный, потому что в датасете, видимо, много исходников от персонажников, которые обожают скульптить Фримена. Потому что он такой морщинистый и фактурный чувак. В целом заметил, что Gemini справляется лучше с более популярными вещами, что неудивительно. Тут важно еще сказать, что когда вы пишите

create 3d model of... что-нибудь

это конечно же никакая не 3D модель, это просто перенос стиля. Tripo так же сгалюцинировал создав обойму ближе к дулу автомата, он художник, он так видит. @CGIT_Vines

Возможно, я сейчас запутаю всех ещё больше, но я вернусь к теме вайбкодинга. Я не программист вообще. В общих чертах понимаю какие-то структуры со времён школы, ну и имею какое-то подобие системного мышления — на этом всё. В дефолте я художник, сейчас правда оперирую командами художников и процессами. И хотел бы написать для художников: если вам не 8 лет, то, скорее всего, вам нужно заставлять себя быть на стыке программирования и художки. Если вам это некомфортно и вы забиваете, скорее всего, в какой-то момент на смену придут молодые, более «гибкие» и уже с нативным пониманием того, как настраивать под себя агентов и выполнять работу в 20 раз быстрее. Так всегда бывает, и это хорошо. Мне сегодня с утра понадобился функционал по подсвечиванию вертексов, которые находятся друг в друге, но при этом не сшиты. Стандартные средства Blender для этого не подходят, и я, буквально с белоснежной улыбкой, длинными выгоревшими волосами на сёрфе, через GPT сделал себе скрипт. Правда, внёс пару корректировок — и решил свою проблему. Возможно все же в блендере есть это и я пропустил просто, напишите в комменты. Такого говна на скрипт-сторах будет появляться тоннами. Не бойтесь писать и автоматизировать свою работу — это ваше конкурентное преимущество. У меня таких плагинов уже несколько штук написано под разные задачи. А скрипт я отдам бесплатно. Он не оформлен «по модному» (можете сами дописать под себя). Видосик записал, чтобы было понятно, зачем он вообще. Вдруг кому-то будет полезно. ВОООООТ🤪

А еще можно скормить Gemini Flash 2.0 какую-то картинку – и попросить сделать играбельного 3d персонажа из нее, и она сделает – что ускоряет создание концепции персонажа (потому что оно неплохо креативит), ну и можно даже покадрово поиграть или кнопки понажимать Пара советов: 1. Вот промпт которым можно повторить, вставляем его сюда и выбираем Gemini Flash 2 Exp:

Take attached base64 image object and make a MMORPG 3d game character from it as a new image, make this original object as a playable character IMPORTANT: a new character should be made out of the original attached base64 image object IMPORTANT: created character should follow the main object idea and represent the same domain IMPORTANT: new character should have a style close to the base64 image object IMPORTANT: BEFORE CREATING AN IMAGE DESCRIBE THE SOURCE OBJECT IN PRECISE DETAILS, AND HOW YOU CAN MAKE IT PLAYABLE

2. Сложные объекты модель не сразу помещает в 3D миры, но вы можете ей сказать что она ошиблась и она исправится 3. Температуру лучше держать ~0.3 4. Это очень залипательно оказалось 😮

С моей стороны было бы слишком жестоко оставить предыдущий пост без объяснений, т.к. я вижу, что довольно много людей не уловили мой искромётный юмор. 🏃 Этот пост — отсылка к мемным постам про вайбкодинг и тому, что практически всё можно создать, ничего не понимая и не зная в программировании, чисто на чиле. Для суперпростых задач это действительно может быть так, но в большинстве своём ИИ-системы не способны создавать сложные структуры. Пока. Как этот пост, который как раз был про создание Elden Ring, и который тоже не все поняли в твитере. Проще говоря, я просто слепил два видео: одно от Computer Use, Anthropic, второе — это просто чей-то Speed Level Design в UE. Но также не забывайте, что в какой-то год этот пост перестанет быть шуткой. ИИ пока не может создавать уровни такого качества.