У капибары лапки | StableDiffusion: Extensions\Tools\Models\Tokens

#мысливслух #SDXL #арт Полноценная тренировка XL модели, а не мёджи с другими моделями или вшивание лор, как делают некоторые авторы (есть и те, кто гордо называет свою поделку Checkpoint Trained и забывает скрыть метаданные о всех мёрджах) займёт не одну неделю машинного времени на условной 4090. Поэтому странно, что сейчас на civitai столько XL моделей с ярлыком Checkpoint Trained, а новые версии появляются со скоростью горячих пирожков. Провести полноценную тренировку за столь короткий срок не представляется возможным. Но кого это смущает? Почти все авторы стараются добавить больше весов, отвечающих за "фотографичность" людей и напрочь забывают (или забивают?) про природу и окружение. Наверняка забивают и на всё остальное, но сегодня покажу только природу (ссылка на тяжёлый грид из сообщения ниже). Два месяца назад я сомневался в будущем XL моделей только из-за жутчайших бед с анатомией. Может быть это и осилят поправить. Уверенности нет. Но как будут бороться со скудностью исходного датасета XL 1.0 (по некоторым оценкам там чуть больше 1М изображений) и смогут ли корректно добавить недостающее не поломав существующие веса мы вряд ли узнаем. Отсутствие публичного алгоритма тренировки рефайнеров — второй фатальный недостаток XL моделей. Технологически XL спроектирована как два прохода по изображению: одна модель упорядочивает шум, вторая повышает качество. Без дообученных рефайнеров ни одна XL модель сообщества не выдаст хорошие результаты. Просто потому что не сможет. Можно после базовой XL дважды пройтись по изображению 1.5 для вытягивания и улучшения деталей. Но зачем тогда нужна XL?! Сомнений и вопросов стало больше, ответов и хороших XL моделей больше не стало. В сообщении ниже грид на 700+ изображений, сгенерированных на популярных XL моделях. Не смотрите его если не хотите испортить себе вечер. Лучшие кадры из грида уже в этом посте. ____ У капибары лапки • подписаться

#заметки Сортировка моделей по папкам и вложенным папкам внутри \models\Stable-diffusion — самый простой способ сортировки моделей. Поддерживает до 12 (больше не проверял) вложенных папок, пути отображаются корректно. Структуру корректно понимают и автоматик, и комфи. Аналогичным способом сортируются лоры, это ещё удобнее. Папки сортируются по алфавиту. Удобно для размещения часто используемых папок в нужном порядке. Например, перенести папку с инпейнт моделями в самый конец списка, чтобы не тратить время на их поиски. Когда моделей много (у меня 80 штук на ~330 Гб), то сортировки по папкам недостаточно и на помощь приходит второй трюк. Поле с названием модели работает и как строка поиска: стираем название модели и начинаем набирать что-то, чтобы получить все совпадения из доступных каталогов. В комфи интерфейс чуть понятнее и строка для поиска модели уже встроена в ноды загрузчиков моделей. В блоге нет тэга "взлом жизни", все полезные трюки отмечены хэштэгом #заметки. ____ У капибары лапки • подписаться

#расширение Add image number to grid https://github.com/AlUlkesh/sd_grid_add_image_number Крошечное расширение для вывода дополнительной информации в матрицу XYZ. Включить: Settings - Saving images/grids (листать в самый низ страницы) Add the image's number to its picture in the grid Добавляет в каждую ячейку матрицы номер файла, если у вас включена настройка Add number to filename when saving на этой же странице. Add X/Y/Z script info to its picture in the grid — Добавляет в каждую ячейку информацию о параметрах генерации из матрицы. Может быть полезно при генерации очень больших гридов. — Информация о настройках генерации отображается даже в режиме генерации батчем не создавая матрицы. Серьёзный недостаток. Завёл карточку на гитхабе с просьбой разделить настройку на матрицы и обычные батчи. ____ У капибары лапки • подписаться

Сейчас я буду устанавливать все игры фотошопы!!1 В дополнение к постами про миджорней будут (возможно) посты про нейросетевые функции фотошопов.

#ComfyUI #расширение ComfyUI Extensions by Failfa.st https://github.com/failfa-st/failfast-comfyui-extensions Расширение не добавляет новых нод, но значительно повышает удобство работы с ComfyUI. Думаю, что это одно из обязательных расширений. Базовые настройки • Принудительное прилипание нод к сетке. • Отключение скругления углов нод. • Тени для нод. • Изменения размеров шрифта в текстовых нодах (10 по умолчанию). • Динамические цвета нод (все разные, однотипные одним цветом, все серые, по настройкам воркфлоу). • Изменение размеров нескольких выделенных нод. Функции, которые мне понравились • Отображение информации откуда идёт нода Reroute. • ПКМ по изображению — скопировать. • Перекрашивает группу нод в один цвет вместе с подложкой. • Pin/unpin и Freeze/Unfreeze для всех нод. Прочие функции • Изменение размеров нод Reroute (маленький и в точку). • Автоматическое упорядочивание нод (чем-то похоже на стандартный механизм). ___________ У капибары лапки • подписаться

#расширение Depth map library and poser https://github.com/wywywywy/sd-webui-depth-lib Ранее уже рассказывал о расширении Depth Library, которое позволяет более-менее корректно генерировать кисти рук. Depth map library and poser — доработанный форк, совместимый с последними версиями автоматика. Принцип работы редактора: добавляете кисти рук с необходимым расположением пальцев в пространстве и на основе этого генерируете маску глубины (depth mask). При рисовании персонажа через ControlNet в одном юните задаёте скелет (open pose), во втором карты глубины (depth) из этого расширения и если всё сделано правильно — получатся идеальные руки. Аналогично на изображение добавляется текст или геометрические фигуры. Настройки юнитов ControlNet • Depth или Lineart, без препроцессоров, Starting Control Step = 0.1-0.2 (возможно ещё потребуется задать силу юнита), прочие настройки без изменений. • Open Pose с нужным вам скелетом (важно, чтобы он был нарисован без костей пальцев). Особенности расширения • На момент написания обзора сбрасывает положение масок при смене фонового изображения, но восстанавливает при загрузке первоначального изображения. • 39 шаблонов кистей рук, при желании можно скачать подборки с civitai (900 рук, 50 рук, 20 рук) или добавить собственные кисти самостоятельно. • Все шаблоны кистей рук в расширении и на civitai — мужские. Почему нет женских рук, если женских персонажей генерируется больше, чем всего остального вместе взятого — загадка. • Инструмент для добавления текста на изображение. • Инструмент для добавления простейших геометрических фигур. • Отправка маски в один клик в ControlNet. • Экспорт масок в png для дальнейшей работы. ____ У капибары лапки • подписаться

#Midjourney #арт Заметка из цикла "Что интересного есть в Midjourney?", написана исключительно для расширения кругозора.

/describe

Инструмент для генерации промпта (описания) по изображению на мощностях Midjourney. Чем-то похож на стандартный Interrogator в img2img или работу расширения CLIP Interrogator. Предложенные промпты очень похожи на результаты одной из опернсорс моделей. Удачного примера под рукой не оказалось, но /describe без всяких сомнений предлагает мусорные токены, вроде rtx on, windows vista, 32k uhd, etc. Со сгенерированными внутри Midjourney изображениями работает точнее, в некоторых случаях позволяет получить почти идентичное изображение. С рисунками или генерациями других нейросетей справляется хуже, попадает не так уверенно. Позволяет в один клик сгенерировать по любому из четырёх промптов, по всем сразу или проанализировать изображение заново. Обнаруженные в изображении промпты

3d chibi character, anime, girl in red coat, wolf illustration, red wolf, in the style of kaethe butcher, alena aenami, necronomicon illustrations, sandara tang, group zero, dark gray, multilayered realism --ar 81:128

wolf girl, woman in fur coat and monsters, in the style of anime art, red, horror academia, low resolution, dark gray, northwest school, strong use of color --ar 81:128

3d wallpaper wolf lady on red forest with wolves, in the style of necronomicon illustrations, anime, commission for, slender, dark gray, simple, colorful illustrations, comic book-like --ar 81:128

the red walker wallpaper, black wolf, in the style of xiaofei yue, comic/cartoon, magali villeneuve, gothic illustration, naoki urasawa, animals and people, high-keyed palette --ar 81:128

К посту прикреплена моя генерация в Stable Diffusion (промпт на civitai). В комментариях покажу как describe распознаёт и повторяет сгенерированные внутри Midjourney изображения. ____ У капибары лапки • подписаться

#арт #этофиаско Постепенно улучшаю свой воркфлоу для работы c XL моделями. Версия 1.3 почти готова, пора рисовать обложку для civitai. Невнимательность снова подводит меня, и вместо акварельного рисунка получилось фотореалистичное изображение (в некоторых местах особенно реалистичное). Глеб, всё фигня, давай по-новой. ____ У капибары лапки • подписаться

#LoRA Хорошо сбалансированные универсальные параметры для тренировки LoRA. К этому конфигу добавить нечего, могу лишь упомянуть, что train_batch_size (количество потоков, в которых происходит обучение) оказывает значительное влияние на результат. Универсальное значение 2, но в зависимости от видеокарты и задачи 1 или 3-4 могут дать наилучшие результаты. Рекомендую для каждого датасета тренировать две-три лоры с разным батчем и сравнивать результаты.

Вниманию всех, друзья: И новеньких в теме LoRA и стареньких, кого угораздило обновиться с 21.8.7 до 21.8.8 или последней на данный момент 21.8.9 версии, настоятельно рекомендую перекачать конфиг отсюда. Я его адаптировал и под новые и под старые LoRA. Специально для тех, у кого всё прекрасно работает, кто аккуратно всё переносит при обновлении, хочу Вас расстроить, Ваш конфиг сломан. Я сегодня убил 4 часа, чтобы найти виновника. И им оказалась ни старая LoRA, ни новая, ни тестовые пакеты bitsandbytes а промежуточная LoRA, которая коряво переписывает конфиг. Поэтому ещё раз: новый конфиг актуален для всех версий, начиная с последнего упоминания LoRA на канале по сегодня. Количество шагов обучения на папке (100_name) и количество изображений в папке сильно зависит то, что или кого вы тренируете. Базовые параметры для человека сейчас такие: Папка: 60_name Файлов: от 15 до 30 (можно от 12) Dimension 128, Alpha 128 Базовые параметры на стиль: Папка 40_name Файлов: от 7 до 50 Dimension 128, Alpha 128 Базовые параметры на персонажа: Папка 80_name Файлов: от 20 до 100 Dimension 64, Alpha 64 Если у вас что-то не получается, обсуждаем со всеми в соответствующем канале в Discord.

#модель Deliberate 3 (civitai model + civitai inpait) Новое поколение универсальное модели Deliberate, способной одинаково хорошо генерировать и фото, и иллюстрации, и имитировать различные техники рисования. При дообучении использован большой объём изображений Midjourney. Это заметно и по "миджорневости" генераций, и по одному из токенов-активаторов. Объём датасета дообучения и подход к дообучению таков, что результат можно назвать "SD 1.6". Особенности модели • В базовых сценариях может выдавать результаты, схожие с Reliberate 2 и Deliberate 2. • Значительно улучшена работа с noise offset, диапазон от 20 до 92 (обычно модели имеют диапазон 45-55 или 40-50). Можно генерировать очень тёмные или очень светлые изображения без использования лор, вроде LowRA или Lit. • mj, cozy, cinematic — три токена для повышения "эффектности" картинки. Можно использовать независимо друг от друга, можно намазать вместе. • maximum details — токен для повышения детализации изображения. Но его или любые другие токены детализации стоит использовать с осторожностью, модель склонна превращать в кашу мелкие детали. • Рекомендованный универсальный промпт [deformed | disfigured], poorly drawn, [bad : wrong] anatomy, [extra | missing | floating | disconnected] limb, (mutated hands and fingers), blurry • При генерации на семплере Restart апскейл или хайрез стоит делать на DPM++ SDE. • Качество генерации кистей рук и стоп сильно зависит от расстояния до человека. • Проделан немалый объём работы по добавлению NSWF в датасет. Вторая часть обзора с моим мнением о модели и моими рисунками задерживается. Я принимал участие в альфа и бета тестах модели, накопил достаточное количество примеров, но мнение о модели так и не составил. Нужно больше времени на тесты. _______ У капибары лапки • подписаться

Открывать портал в красивый ад? ❤️ — немношк можно 💔 —

#заметки #ComfyUI Переносим модели Stable Diffusion для ComfyUI на другой накопитель Ранее я уже писал как хранить модели SD отдельно от окружения автоматика. В этой заметке рассказу как проделать ту же манипуляцию с моделями для ComfyUI, чтобы использовать папки моделей из автоматика или просто хранить модели на другом накопителе. В корневой папке окружения ComfyUI лежит файл extra_model_paths.yaml.example, который открывается любым текстовым редактором. В строку 6 прописываем путь, по которому находится папка, в которой лежит папка с моделями (так хитро, да). Пример Автоматик установлен в папку E:\sd\stable-diffusion-webui и все модели лежат в папке E:\sd\stable-diffusion-webui\models, то в конфиг для ComfyUI необходимо прописать путь E:\sd\stable-diffusion-webui. После внесения правок необходимо переименовать конфиг, удалить из названия файла .example. Было extra_model_paths.yaml.example, должно стать extra_model_paths.yaml. После этого нажимаем кнопку Refresh в интерфейсе ComfyUI. Все модели будут доступны в нодах лоадеров. _______ У капибары лапки • подписаться

#арт hands behind back или hands in pockets — лучшие способы избежать весёлой работы в инпейнте, если вы рисуете иллюстрации для журнала мод. portrait тоже сгодится. hires.fix отлично улучшает пальцы и анатомию для аниме или иллюстраций, но плохо работает с "фотографиями". Попробовал, но результаты не понравились. Все рисунки — побочный результат одного из проектов (демонстрация фото-стиля). В настоящий журнал мод, увы, не попадут. Поэтому можно схулиганить и обойтись без инпейнта. _______ У капибары лапки • подписаться

извините

Главная проблема автоматика 1.6.0 в том, что оно на тех же настройках генерации и том же оптимизаторе рисует совсем не то, что рисовали предыдущие версии, например 1.5.2. На фоне этого отвал расширений или ошибки в консоли перестают выглядеть проблемой. Две картинки, условия генерации (промпт, сид, модель, размер, пропуск слоёв клипа, etc) идентичны. Отличия только в версии автоматика. Проверял на разных окружениях с разными версиями. Все 1.5.2 рисуют одно, все 1.6.0 рисуют другое. В качестве временного решения рекомендую откатиться на автоматика 1.5.2 (инструкция ниже). _______ У капибары лапки • подписаться

С некоторым запозданием рекомендую не обновлять автоматика до 1.6.0, остаться на 1.5.2, или более ранних версиях, и ждать следующих версий с исправлением проблем, повышением стабильности и патчей для расширений.