whargarbl

Разберем HiDiffusion бумага https://arxiv.org/pdf/2311.17528 код https://github.com/megvii-research/HiDiffusion Альтернативы: - хайрезфикс - Предложенный Митером Kohya хак - где мы для генерации изображения в высоком разрешении просто генерим в низком - бикубиком апсемплим хакая юнет немношк подороге - работает нестабильно, на разных чекпоинтах разные параметры - ScaleCrafter - модификация юнета https://yingqinghe.github.io/scalecrafter/ которая ведет к мыльным генерациям Тут чувак копнул гораздо глубже. Начнем издалека, с акселерации Покываряв инференс автор обнаружил что бОльшая часть времени идет на блока Up1 и Down1 - просто сжал их в два раза. Но это приводит к потере деталей, и тут - поворот - посредине инференса автор вернул блоки нормального размера - чтобы накинуть деталей Подход выглядит годным. Напомню что есть 2 технологии акселерации: TomeSD и DeedCache. Обе говноедские. Суть обеих мы привратим ваши картинки в кусок мыльного говна - выкинув все детали. Те допустим волшебник кастит заклинание. После акселерации Томе - у вас пропадет дым, огонь и прочее ненжное говно по мнению автора Томе. Останется только волшебник - это ли не праздник? Фиделити скор даже растет по мнению автора томе. Те картинка после ужимания становится лучше. Это флешбечит нас как ЯндексАрт победил стэйблдиффужен. Чтобы победить - надо взять простой кусочек совесткого хозяейственного мыла.. Итак - на 1к аплифт 1.2 раза быстрей, на 4к - аплифт уже в 4 раза - и без потери в качестве Но и это еще не всё. Далее какая то суета с этеншеном (который из олл ю нид) - он его тоже как то тянет через пайплайн инференса - чтобы на начальных шагах не выгребать ненужное говно кот приведет к 2ликим янусам - а на поздних черпать детали ложкой Вобщем и целом 2 кита: - Modified Shifted Window Attention - Resolution-Aware U-Net Итоги: - пизже CLIP (промпт фоллоу) - пизже FID ( композиция/аестетик) - пизже pFID (детали) - быстрее, ебически быстрее на 4096 Бочка дегтя: - такой пайплайн не вшить в модель - пляски с бубном на стороне инференса - всё это конечно работает нестабильно, то на этом разрешении падает то на том - непонятно, всегда ли больше деталей это хорошо - может будут артефакты и насколько в целом универсально Главное: CUDA OUT of Memory - никто не отменял, насколько я понимаю скорость растет - но память то не экономится - Unet то то пожат, то расжат. Те закатываем губу на генерацию в 4к на нищебродских видюхах Ложка мёда: - он там фиксит как не в себя, то тут то там комиты шлет. В диффузерах можно попробовать Автор SDNext Владмандик как всегда прибежал и рапортнул что заимплементил. Я дурачок повелся - поставил его комбайн. Смотрю там ветер. Выяснилось - что заимлементил - это он в дев ветке сделаль; Всё падает 9 раз из 10 - то шейп из инвалид то аут оф мемори - вобщем как всегда в SDNext Итого: Технология выглядит ебически, но пока сырая. Афтар жжот. ЯндексАрт, TomeSD, DeepCache, SdNext - говноеды. PS - хотел прикрепить к посту 200 Мб картинку (ультра хайрез!), но не стал - потому что я милый

Лиды команды супералигмента Илья Суцкевер и Ян Лейк - покинули опенаи Ранее Юдковский сказал - всё это абсолютно бесполезно - и пошел сажать картофель на дачеМаск сразу на марс целится от всей этой суеты. Один Семён полон оптимизма!

Про GPT4o Всеобщий восторг обусловлен 2 причинами: - мы выросли на фильмах типа терминатор 2 про бездушные машины - культурный биас - хьюманити высокомерны. Мы считаем эмоции/творчество каким то признаком высшего интеллекта доступным только нам Что нам показали ранее: - что творчество не есть прерогатива человечества. Чем более творческая задача тем лучше справляются с нею ЛЛМ. Написание текстов, картинки и тп Творчество есть следствие вкуса. Вкус это не какая то уникальная черта интеллекта, вкус можно тренировать и развивать. Чем больше ты интересуешься искусством - тем лучше вкус. Ходишь по выставкам - смотришь картины художников, стили. С ростом насмотренности - улучшается вкус У ЖПТ отличная насмотренность, благодаря энциклопедическим знаниям. Следовательно лучше вкус - выше способность к творчеству. То же и с эмоциями. В датасете в диалогах юзеров и раньше были смайлы: удивление, смех. Те в базовой модели уже было понимание эмоций, модель просто не могла их проявлять. Те вчера нам показали файнтюн на эмоции. Я не к тому что это не «ВАУ». Я к тому, что это не «Супер ВАУ». Проделанная инженерная работа по увеличению скорости инференса вызывает у меня гораздо большее восхищение, чем то, что модель теперь может ляпнуть что она смущена. Вот. Не сложнее чем анимешку в реалистик трансформировать по сути. Изян, если пальцы не пересчитывать.

Быстрей. Дешевле. Человечней.

Итак, сторидуффужен своими руками. Немножко скликбейтил, не совсем тоже самое, потому, что: - дефорум каждый раз будет извлекать эмбединги из предыдущего изображения, тратя бесценные ресурсы/время, можно сделать лучше (но надо кодить) - сторидиффужен это не просто ip adapter, там есть еще немного магии с тем с каких слоев снимать этеншен - байтденс обещает выложить веса модели для консистентной видеогенерации (пока нет) - скорее всего это будет еще один слой контроля а-ля темпоралнет Но. В дефорум уже сейчас можно сделать: - более консистентное лицо - решить проблему с выцветанием цветов при img2img Обоих зайцев можно завалить добавив модель ip-adapter_sdxl_vit-h с препроцессором ip-adapter_clip_sdxl_plus_vith Я ставлю вес 0.65 и применяю степ с 0.7 до 0.8 потому что наркоман люблю красочные/расслабленные генерации Тк Lightning модель на 10 шагов - айпи адаптер применяется только на 7 шаге Модель в ставим в луп фидбек. Генерация замедлится в 2 раза. Это видео собиралось 4 часа вместо 2. Заток какие сиськи краски! В комменты положу настройки. Ну и чтоб два раза не вствать - набрел на стендэлон нормальный тайлед апскейлер с нормальными моделями для нищебродов работающий на ЦПУ https://www.upscayl.org/

Вечером расскажу как превратить Deforum в StoryDiffusion при помощи простой советской…

красивое, психоделично - консистентное https://t.me/taigadivision/123

У-е, фигачу мульт на конкурс, естимейт 3 часа Задание: «Создать красочный музыкальный клип» эээ.. ну.. красочни..?

смотрите чё https://t.me/myfilm48/60