ComfyUI (Flux, ZIT, QWEN)

Посмотрел ролик в ютубе по абстрактному искусству, где объяснялось почему каракули стоят 50 млн. Короткий ответ, что их легко перевозить через границу. В декларации указываешь стоимость в 100 у.е., таможенник глядя на эту размазню охотно поверит в это. Между тем, нейронка уже 4 года как отлично генерируют всякую размазню. Как это превратить в физическую картину — отдельный вопрос. Не буду сейчас расписывать, тема очень большая, давно за ней наблюдаю. Как найду простое решение, я отпишусь. Model ZIT Prompt ZGEKD Abstract composition

Арты для Suno, по умолчанию генерятся по названию трека, и это какая-то дичь. А если у меня поёт девушка в техностиле, то почему бы сгенерировать певицу одетую в техностиль? Благо Суно разрешает менять арт. Вот я их делаю для своих треков. Model ZIT Prompt ultra-realistic cinematic, woman, dress in techno style, European, holding a microphone in one's mouth, image using specific visual elements like dramatic lighting, sharp focus, and high resolution. Clothing to achieve a unique and detailed composition. On the stage, blue light spot

Попытался повторить простой рисунок на ZIT модели и выяснилось, что нужно немного поменять промпт, чтобы добиться нужного результата. Вот промпт.

Female beautiful woman, portrait, line art, simple art drawing on white solid background

Где это нужно? Активно развивается бизнес рисования хлором на майках. Сперва проектором проецируется рисунок на майку, затем мелом обводится контур. А в этих генерациях контур — это главная идея. Минимум рисования, только контур. Затем надевается маска строительная, чтобы не дышать хлором, открывается банка с хлором, макаете туда тоненькую кисточку и приходитесь по прочерченным мелом контуру. Черные майки закупаются партией в Китае по оптовой цене. Иначе невыгодно получается.

Я делаю большой pdf файл и хочу, чтобы на каждой странице был фон. Обычно его делают черно-белым с 15% насыщением от оригинала. Тогда текст виден хорошо. В качестве фона используется абстрактные волны. Документ выглядит серьезнее с таким фоном. Методом проб и ошибок, я подобрал такой промпт. Далее я сделаю его черно-белым в графическом редакторе и повышу прозрачность. Model ZIT Prompt abstract, flowing lines reminiscent of waves with smooth eddies, abstract art, Technological Corporate Style

В попытке создать игру, приходишь к парадоксальному выводу. Нет проблем с программированием, игровые движки берут на себя 80% в решении подобных вопросов. В игровом движке уже имеется такое понимание как коллизия, то есть столкновение объектов и что должно произойти с одним из объектов после столкновения. Вам всего лишь надо мышкой указать на все этим моменты. 20% сложности — это графика. Если не умеешь рисовать сам, то придётся покупать. И вот появление Flux Klein наконец-то решает эту проблему. Я делаю скриншот со спутника. Далее отдаю в Klein и пишу промпт remove icons, any text, roads, replace fields to a forest (удали иконки, любой текст, дороги, поля замени на лес). Переворачиваю для горизонтального вида, делаю это обычным просмоторщиком картинок. Я использую бесплатный Xnview. Светлое море меняю на темное при помощи бесплатного редактора Krita (использовал инструменты пипетка и заливка). Остались два проблемных места — узкие участки побережья между озером и морем. По идее в озере вода пресная, и оттуда игрок будет брать питьевую воду. А если есть узкие участки, то получается вода из моря будет переливаться во время шторма. Тут мне приходит простая идея. Пометить эти участки красным цветом и попросить Klein их заменить на побережье (replace red spots to shore island). Беру эту исправленную картинку и прошу убрать весь лес (replace forest to empty green fields). По мере игры персонаж будет вырубать лес и значит мне нужен пустой остров. Отдельные деревья я вырежу в Krita и нарисую их как отдельные объекты в игровом движке повторив форму после удаления красных участков. Как сделаю игру, я выложу здесь ссылку.

Вышла новая генерилка голоса OmniVoice, знает 600 языков, правильно делает ударения. Чтобы не мучиться с установкой, то лучше скачайте через телеграм бот @AINetSD_bot, там уже всё в одном, портативная версия, запустил и готово. Также в этом интерфейсе можно расставить ударения одной кнопкой. Я сгенерировал речь Трампа на русском языке, я подсунул аудифайл на английском. Часть речи генерируется на английском, вырезаю эти куски в бесплатной программе Audacity. В комментарии будет сгенерированный аудиофайл, послушайте, что получилось.

Вышла новая модель Suno, версия 5.5 И она очень хороша. Например, раньше она не могла петь на русском языке в том стиле, в котором никогда на русском не пели. То есть русский рок по большей части с мужскими голосами и когда вы указывали женский голос, то ломался музыкальный стиль. Теперь же Suno спокойно переносит голос на различные стили без поломки самого стиля. Еще заметил, что композиции стали звучать громче, будто на студии записаны. Инструменты стали лучше слышны, можно теперь разобрать, что играет и как, будто на студии записывали. Прикладываю свои треки. В половине случаев услышите знакомые мелодии, это каверы. Закопирайченную музыку Suno не даёт использовать, но если вы наиграете на гитаре, да еще и криво, что сервис воспримет это как самостийную композицию. Единственное, мне не удаётся добиться хорового пения как беквокал, возможно я промпт неправильный использую.

Flux Schnell по прежнему остается №1 в плане генерации природы в соотношении качества и скорости. Flux Schnell вышел полтора года назад. Я по-прежнему его использую для генераций обоев для телефона и компьютера. Prompt lake, autumn in close, mountains with snow picks in far, best HDR photo, good sharpness, detailed

Держите эксклюзивный опыт. Пошла мода отказываться от маски и писать промпт, что нужно заменить. Ну, типа, так проще. Но вот какая проблема, когда речь о группе людей, то нейронка не может посчитать людей на картинке и меняет сама, что посчитает нужным. То есть у нас есть три человека. Пишешь, замени третьего, а меняет первого. Думаешь, видимо она видит в зеркальном варианте. Пишешь, замени первого, и меняет первого, игнорируя третьего. Как бы промпт не писал, третий персонаж будет игнорироваться. А порой меняет лица сразу двоим. В общем, я пришёл к варианту маски, точно указать, что нужно поменять. И столкнулся с проблемой, модель Klein маску видит, но работает с ней по своему усмотрению. В общем методом проб и ошибок, я нашёл рабочий вариант. Схему приложу в комментарии, просто перетащите картинку в Комфи. Но должен сделать пояснение. Маску надо накладывать на два изображения. Создание маски — это правая клавиша мыши на изображении. Выберете Open in mask editor. Изображение откуда берем, закрашиваем лицо и делаем invert. После сохранения маски, будет только лицо. Это делается для того, что Кляен не заменил картинку на втором изображении. У меня такое многократно случалось. Первое изображение, куда надо вставить, там просто закрашиваем лицо. А теперь самое главное, в промпте ничего не пишем! Второе важное замечание, может с первого раза не сработать, но в половине случаев работает, самое главное, что персонаж который игнорировался в 100%, теперь Кляен по нему работает в 50% случаев. На скринах Джон Кенеди, его жена Жаклин и какой-то мужик, вот давайте его заменим на Конон Варвара.

https://www.stablediffusiontutorials.com/2026/03/flux2-klein-9b-kv.html Пытаюсь попробовать Klein KV, что это такое? Отличие от предшественника в наличии KV-кэша для ускорения мульти-референс редактирования. Он кэширует данные из референсов во время первого этапа денойза, и хранит их у себя вместо того, чтобы получать их каждый раз заново, тем самым устраняя избыточные вычисления в последующих шагах, что даёт ускорение в ~2,5 раза. При этом KV модель заточена генерить в 4 шага. У меня всего 8 гиг видеопамяти, и у меня сваливается с ошибкой нехватки памяти. Я также пробовал gguf модели. Можно в настройках ComfyUI прописать команду, чтобы часть сбрасывало на диск, от этого медленнее будет работать, но по опыту работы с такой настройкой, я знаю, что если потом убрать её, ComfyUI все равно помнит, надо кеш чистить... В общем это не для меня. Владельцы карт 4090 пишут, что на этой модели у них генерация проходит за 1 секунду.

Раскрасил черно-белые фотографии Мерлин Монро при помощи не дистиллированного Klein. Вот что пишет автор о своей модели: «Данная модель представляет собой доработанную версию FLUX.2-klein-9B. По сравнению с официальной моделью она не подвергалась дистилляции, отличается большей четкостью и реалистичностью, а также обладает более точными возможностями редактирования, что позволяет существенно снизить риск «схлопывания деталей» — проблемы, характерной для дистиллированных моделей с недостаточным количеством шагов генерации. Эта модель проста в использовании, демонстрирует хорошую адаптивность к различным параметрам и совместима с LoRA.» Работаю с ней уже не первую неделю и согласен с утверждением автора. Дистиллированный Klein, - это официальный, и там имеются проблемы со схлопыванием деталей, а также порой не копирует объект, а создаёт свой. Для раскрашивания черно-белых фотографий, я подал на вход одну фотографию, а второй слот оставил пустым. Использовал промпт colorize, remove watermarks Так как я брал фотки из фотобанка, где фотография покрыта водяными знаками. Некоторые фотки появились в сети два года назад, это самые ранние фотографии, когда актриса еще не была известной.

Минутка юмора. Потребовалось мне сделать пару свадебных фоток и решил это делать на чекпоинте из предыдущего поста, раз он себя отлично показал в фотореалистичности на 2К. А этот чекпоинт умеет генерировать взрослый контент и поэтому по промпту wedding couple время от времени он мне выдавал тройничок. 😄😂

Checkpiont Z-Image Turbo NSFW [Photorealistic] [ZiT] Prompt ultra-realistic cinematic female European portrait image using specific visual elements like dramatic lighting, sharp focus, and high resolution. Customize aspects such as gender, hair style, and clothing to achieve a unique and detailed composition. Solid background, blue light spot

Рад заметить, что ZIT становится полноценной заменой SDXL. ZIT решает несколько проблем: 1) Не ломаются пальцы и их количество соответствует анатомии 2) Зрачки круглые 3) Нет дубликатов и летающих частей тела на генерации 2К 4) Генерируют быстро даже на картах серии 20 rtx 5) ZIT позволяет делать лоры, которые потом вшиваются в чекпоинты. Протестировал CyberRealistic, вышла вторая версия, но она не бесплатная, поэтому использую предыдущую 1.3 Заметил проблему, что на генерации 2к, у персонажа в полный рост ломаются глаза. Это не сильно заметно, но видно на приближении. Если кто смотрит с телефона и делает зум пальцами, то увидит.

Переустановил ComfyUI и столкнулся с проблемой. Стандартная схема по работе с Klein вдруг стала медленно генерировать совмещения. Распаковал граф, это делается правой клавишей мышки и выяснилось, что теперь по умолчанию стоит 20 шагов и cfg 4. Я поставил 4 шага и cfg 1, как у меня ранее было. Картинка выше генерировалась 1 минуту на моем слабом компе. На ней актриса Хелли Бери и просто случайный голый мужик найденный в поисковике. Закрываю его большим белым квадратом, чтобы не попасть под цензуру телеги. Такая имеется. Смотрите второй скрин. Я установил две картинки и прописал в промпте, что люди стоят вместе. Но если в промпте прописать другое окружение или позу, то Klein обязательно оденет всех раздетых. Оказывается есть специальная лора, которая полностью снимает цензуру [KLEIN 9b] Unchained XXX Подключается просто как обычная лора, третий скрин. В половине случаев мужской член может обрезаться. На этот случай у нас есть вторая лора Klein PP [Uncut Flaccid Penis] Вторая лора подключается к первой, паровозиком. Если кто не пробовал Klein, то рекомендую, схема есть в шаблонах ComfyUI. В этом и преимущество локальных нейронок, что можно генерировать без цензуры.

Оказывается я неправильно использовал Flux Klein с двумя картинками, поэтому он у меня так медленно их совмещал. Шаблон от ComfyUI предлагает две пути в одной схеме. Один путь заглушен, я его активировал и вот когда там даешь картинку, то совмещает очень медленно. Нужно, чтобы было, как у меня на скриншоте. Тогда в течение минуты вы получаете очень качественную генерацию.

Несколько китайских университетов закончили работу над созданием легковесной модели, которую они назвали DeepGen. Она всего на 5 млрд токенов, но при этом умная, как на 20 млрд токенов. Китайцы работали над более правильной архитектурой нейронки. Дело в том, что большинство нейронок при обучении захватывают много «мусора» и помечают его странными токенами. Поэтому была мысль, что профессия будущего — это промпт-инженер. Человек, который знает секретные (мусорные) токены и может добиться от нейронки то, что казалось невозможным. Как мы знаем, китайцы находятся под санкциями и у них нет возможности наращивать оборудование до бесконечности. Китайские ученые пошли по пути улучшения архитектуры при обучении, что позволяет более точно обучать модели на малых мощностях. DeepGen является таким вызовом. Ждем, когда ComfyUI адаптируют и выложат шаблоны под неё. https://deepgenteam.github.io/