Performance artist

Кайфовый гайд по художникам для StableDiffusion. На примере кроликов, очень наглядно. https://clio.so/rabbitsxl #полезное #stabediffusion

Прошлогодний промпт моего концепт-арта для биопанк маски со встроенной регенерацией воздуха в новой модели SDXL 1.0 заиграл новыми красками. Детализация прекрасная: волосы, растения, черты лица. Раньше нужно было постараться, чтобы такое получить. Разрешение теперь минимум 1024 пикселя по короткой стороне – модель тренили на картинках такого размера и всё что будет меньше, сильно кривится. В колабе 1920 по длинной стороне может генерить, но ждать такого результата ты будешь долго. #sdxl #stablediffusion

SDXL 1.0 стабильно заработал Есть в колабе, в DreamStudio и в NightCafe (тут ещё и 10 бесплатных генераций дают). Вчера мы пытались сгенерить с ним в DreamStudio картинку для постера – бегущего корейца средних лет, но ничего не работало. А сегодня норм. И без негативного промпта лицо и руки очень хорошо получаются, детализация тоже достойная. #stablediffusion #sdxl #googlecolab #nightcafe

Сделал: Open Assistant Сюжет: The film tells the story of a man named Jin, a successful businessman living in Seoul, South Korea. Jin seems to have it all - wealth, power, and respect - but he feels empty inside. One day, he receives news that his estranged wife and daughter have gone missing while traveling abroad. Desperate to find them, Jin sets out on a journey across Asia, following clues and piecing together fragments of memories from his past. Along the way, he meets various people who help him uncover hidden truths about himself and his relationships with those closest to him. Through these experiences, Jin rediscovers his own identity and learns how to truly connect with others. In the end, he finds not only his loved ones but also a deeper understanding of what truly matters in life. Варианты названий: "Redemption Road" "Journey Within" "Seoul searching" "Echoes of the Past" "The Long Road Back" Интересно, что дизайнеры не сговариваясь выбрали одно и то же название к этому сюжету. #челенж #постеры #OpenAssistant

Развлечение и практика с LLM-моделями Мы вместе с @avaeyl и нашей новой подругой, дизайнером Со Ён из Пусана, организовали небольшой еженедельный челенж по генерации афиш для нейрофильмов. Я генерю текстовый сюжет фильма и варианты его названия, а девочки генерят картинки и делают шрифтовое оформление постеров. Я использую OpenAssistant или Claude, а дизайнеры – DreamStudio или StableDiffusion в Google.Colab. Сегодня у нас: Cinematic work inspired by Wim Wender's «Paris Texas», but in Seoul. #челенж #постеры #openassistant

Новое авторское право еще ближе https://www.reuters.com/legal/litigation/us-judge-finds-flaws-artists-lawsuit-against-ai-companies-2023-07-19/ Тот самый судебный процесс для компаний, что занимаются генеративными нейросетями. Докопались сначала до StabilityAI, потом до МЖ и ДевиантАрта, за то что они использовали арты реальных художников для обучения датасетов. Тянется уже несколько месяцев. И сегодня интересная подвижка – истцы не смогли доказать, что именно их арт использован в генерациях и нарушены авторские права. То самое правило сходства – если эксперты с достоверностью могут сказать, что произведение не менее чем на 70% (ХЗ как это считают) похоже на оригинал, то это плагиат. Интересно наблюдать, чем дело кончится. Юридическое поле для генераций формируется на наших глазах, это хорошо и полезно. #реальность #юристы

Рабочие странности Когда ты делаешь экстракцию промпта из картинки с ретрофутуристичной машинкой через PEZ Dispenser – ожидаешь получить вариации этой машинки. А на выходе тебя ВНЕЗАПНО ждёт годный промпт для генерации мрачных спален и гостиных в Мегасити. #pezdispenser #stablediffusion

«Клода» выпустили https://claude.ai/chats Ещё одна языковая модель, на этот раз от компании Anthropic. Я ещё в мае пытался попасть к ним в вейтлист, но тогда он был доступен только для крупных компаний, университетов и прочих исследователей. И вот теперь модель выкатили для всех. Клод классный. Видно, что из него делали именно ассистента – общается по-английски очень литературно, со сложными оборотами. Всегда предлагает выяснить контекст, делает саммари больших документов и пдф-ок из присылаемых файлов. Очень хорошо отрабатывает роли - невиданное дело, даже задает наводящие вопросы в конце своего ответа, чтобы лучше войти в образ. Я три часа уже просидел и ещё буду, крайне залипательно. Требует VPN и гуглопочту в другой стране. API нету. Следующий шаг для языковых моделей сделан. Пробуйте, не пропустите. #claude #llm

Является ИИ-генерацией. Часть 3 Просто морской ёж. Очень быстро и красиво, за пару вечеров справился. Сначала я генерил живого ежа, но он оказался слишком скучным – зеленый комок с иголками, похожими на волосы. Я добавил психоделических цветов, живого ежа заменил его скелет. Стало поинтереснее, но всё равно не то. После нескольких прогонов и поиска необычных форм получился круглый кристалл с иголками. Я решил дожать историю со скелетом, поэтому финальная версия распалась на множество разноцветных камушков и растеряла иголки. Это первая генерация из серии, которую мы напечатали и самый популярный принт на мерче и стикерах. #controlnet #stablediffusion #мерчVVO

Является ИИ-генерацией. Часть 2 Капустные приключения. Да, морская капуста есть в датасете Stable Diffusion. Но местная японская от неё отличается. Она янтарно-зелёная пока растёт – и красно-бурая, когда спелая и можно есть. Постоянно лезущую в картинки зелень и пупырки обычной капусты я победил подробным текстовым промптом. Главная проблема пришла в форме листа. Живой он длинный и очень любит перекручиваться в спираль, а такое получить в генерациях нереально. 3 дня, 10 часов и 700 картинок, чтобы это подтвердить. Нам пришлось в марте ехать на берег моря, искать и фотать первые побеги правильной капусты. Но такие референсы для img2img помогли очень слабо, хоть и добавили +300 картинок. В итоге я сдался и попросил нарисовать скетчи для ControlNet-а. Сработало с первого раза. И больше я на проблемные темы сырыми генерациями не замахивался. #stablediffusion #controlnet #процесс

Является ИИ-генерацией. Часть 1 Так, мерч Владивостока. Проект, который сожрал у нас 5 месяцев, с февраля до конца июня. Делался совместно с Vladivostok Design Week. Задачей было сделать красивые вещи, которые можно носить на себе и с собой туристам и гостям города. Почему-то во Владивостоке любая сувенирка выходит убогой: маяк, тигр, чайка, два моста. Плюс уродские транспортные карты – тоже с мостом и чайками. Надо было что-то с этим делать и мы взяли на себя. Главной ошибкой было решить, что мы будем использовать нейросети где только возможно. Типа это добавит проекту модности и шума, ага. Сначала было норм. Настя @avaeyl с помощью GPT-4 выделила несколько черт Владивостока, которые отличают его от других портовых городов. Например, у нас есть целых два месяца в году, когда в городе стоят плотные туманы. Там же выбрали три символа, которые хорошо смотрелись визуально: гребешка, морского ежа и японскую морскую капусту. А потом мне пришло время генерить их в Stable Diffusion... #GPT4 #процесс #мерчVVO

Запустили сайт студии https://strangemagic.studio/ Наконец-то удобно показывать свои проекты. 4 года работаем, как студия, а полагаемся только на сарафанное радио. Непорядок, теперь исправились. Не всё на сайте связано с нейросетями, в основном там графический дизайн. Вообще, за последние три месяца я ещё больше убедился, что генеративные сети с картинками помогают в процессе, а не являются финалом. Тебе придётся или дорисовывать столько, что это уже будет самостоятельное произведение, как в работе с Fat Tiger. Или рисовать всё заново в Иллюстраторе или Синеме4Д – тогда генерация идёт референсом, как с бумажными иллюстрациями. И только Zuma и мерч Владивостока (о нём далее) остаются чисто нейропроектами. #процесс #strangemagic

Ещё один шаг встраивания нейросетей в рабочий процесс. Статья-рекомендация «Как правильно цитировать GPT в научных статьях». Понравился момент, что можно указывать компанию OpenAI как соавтора цитаты. А GPT хоть и чат, поэтому требует кавычек при цитировании, но при этом ещё и алгоритм, которому их не полагается. Читать тут: https://apastyle.apa.org/blog/how-to-cite-chatgpt #chatgpt

Генератор QR-кодов с картинками Стоило мне написать, что у мене не получилось сделать стабильно работающие генерации с QR кодами, как на следующий день подвезли неплохое решение на HugginFace. За основу тут взяли StableDiffusion 2.1, из-за этого пришлось залезть в архивы старых промптов из октября 2022, иначе получалась какая-то каша. Работает стабильно, но приходится очень тонко подгонять баланс между читаемостью кода и приятностью картинки. Не угадал со значениями – и получил просто код с какими-то элементами. Или хорошая картинка – а код отказывается читаться. Нужно долго и кропотливо подбирать эти цифры. Причем с разными промптами приходится всё начинать заново. В галерее рабочие примеры без правок. Портреты надо дотягивать, лица кривые, но это голый SD 2.1, что вы хотели. #qrcode #stablediffusion

Мокапы с новым ControlNet Вместо того, чтобы собирать картинки для примеров по всей сети и подгонять их под задачу, можно сгенерить свои собственные и сделать из них пак для студии. Вот тут мы с @Avaeyl сделали примеры оформления любого мерча для презентации. Как основу, я брал фотографию рандомного чувака из поиска Гугла. С помощью ControlNet Openpose извлекал из фото скелет персонажа и главное – контуры лица с контрольными точками. И затем генерил персонажей под задачу и стилистику в разных моделях StableDiffusion, меняя им облик по своему желанию. Конечно, все эти генерации необходимо в отдельных местах править и что-то им дорисовывать, но такой работы стало сильно меньше, чем было 3 месяца назад. #controlnet #stablediffusion #мерч

QR-коды внутри генераций Дела недельной давности. Я попробовал разобраться с генерацией QR-кодов внутри изображения, но так и не смог получить сколько-нибудь стабильные результаты. Дилемма: или код, которые работает, или приятная картинка. Что-то посередине получить невероятно трудно, да ещё и работает оно через раз. Никакой стабильности. Я потратил на эти эксперименты 10 часов вычислений – и в итоге сдался. Теперь жду специально натрененый на QR-коды ControlNet, подробный пайплайн мне тоже не помешает. #stablediffusion #qr

MusicGen – наконец-то рабочий генератор музыки Плюсы: - ставится на комп, нужно 11 Гб видеопамяти; - генерит что-то осмысленное и длинное. Треки до 1 минуты более-менее слушабельны, в идеале 15-30 секунд; - МОЖНО ДОБАВИТЬ АУДИО-РЕФЕРЕНС! и подогнать генерацию под нужное звучание; - знает необычные стилистики и даёт выделить конкретные инструменты; - Clear sound в промпте сделает звук почище, но не везде; - Инстаграм на такие треки у меня не ругается. Минусы: - чистый звук в ограниченном наборе жанров. Лучше всего справляется с синти и электро, рок и джаз тоже неплохо, остальное как повезёт; - непонятные настройки, первые две по сути друг друга дублируют, у меня так и не получилось понять, в чём разница; - эти же настройки по разному влияют на разные жанры, что сильно запутывает. Надо долго и внимательно подбирать цифры под задачу. Классный инструмент. Качать и ставить отсюда. Если комп не тянет, есть Колаб, но там максимальная длина трека 30 сек. #musicgen

Стендалон приложение Nijijourney Позавчера мне дали доступ к бетке Niji для телефонов. Полностью новый интерфейс, промпты можно писать без /imagine, теперь так называется обычная вкладка с текстом. Удивило, что в поддерживает ещё три языка – кроме английского появились японский, корейский и китайский. Но главное, что тут я вижу следующий этап развития – постепенный отход от Дискорда. В продвинутых настройках теперь можно будет выбирать не только движок Niji, но и Midjourney. Буду тестить, насколько это удобно, так то мне и Дискорд на телефоне не особо мешал. #nijijourney #midjourney

Анимация персонажа в нейросетях Вместе с @kyoukobu я сделал вот такого психоклоуна по заданию от видеостудии, которая очень хочет работать с Netflix. Мы тестируем возможности вставки в 3D-фильм небольших кусочков генераций из GEN-1. Сначала на основе небольшого ТЗ от студии мы сделали варианты персонажей в Midjourney. Затем нарезали 4 секундные кусочки видео с жонглерами из YouTube. И наконец смешали эти видео с картинками MJ в GEN-1. Полученным роликам сделали реверс для удлинения хроно и сшили в один. В примерах ролик, картинки и видео рефы. #video2video #gen1 #midjourney

Синематик сцены в стиле Акиры Куросавы Прорабатываю пайплайн по созданию раскадровок для фильмов. #midjourney