Мишин Лернинг 🇺🇦🇮🇱

🫐🍝🍓 Андрей Карпаты, уставляй от Тесла, запилил Stable Diffusion Video Андрей Карпаты, как и ваш покорный слуга, получил доступ к весам Стебля Диффузии еще до того, как про стебель что-то было известно. Дело в том, что Андрей устал от Теслы, и заявил что хочет пилить опенсорс. Сказано — сделано! Встречайте Stable Diffusion Video , основанный на коде Andrej Karpathy. Как оно работает? На самом деле достаточно просто. Берётся несколько текстовых описаний, и затем CLIP text embedding’и интерполируются. При заданном seed можно получить относительно гладкую (все же не StyleGAN 3) анимацию. Самое кайфовое, что можно уже начать генерить анимацию в гугл колабе! 🫐 code 🍓 colab

🚀 Про <ЭТО> или как генерить <Это>, если <Это> не включили в претрейн 👉 Добовление новых объектов и концептов через p-tuning стало возможно в Стебле Диффузии! Давайте представим ситуацию: — Вы обучили огромную Text2Image модель на 1B данных — Она умеет очень много, но время идет вперед и выходит фильм или игра, персонажей которого сеть не знает, так как на момент тренировки этих данных в интернете просто не было Сеть <это> не умеет, а генерировать <это> нужно... Что делать? 1) Дообучить модель добавив в датасет новые данные. Можно! Не не ради же одного объекта, персонажа или концепта.. Слишком жирно будет.. 2) Зафайнтюнить на новых данных. Хм, и потетрять генерализацию? 3) Добвить новый сымсл в знания модели, не трогая саму модель, какбы добавив концепт в ее словарь! А вот это то, что нужно! Ресерчеры из Университета Тель-Авива и NVIDIA рашили это через старый добрый p-tuning. Работа получила имя An Image is Worth One Word (привет, VIT). Взяв ~5 картинок они пустили градиенты — Через 1000 шагов, тихо на денойзинге — Через юнет и кросс-аттеншен — Через языковой трансформер — Прямо на эмбеддинг слой, так где находится токин с <этим> Смотри картинку к посту. По факту это обыкновенный p-tuning, адаптированный под Imagen/Glide/LatenDiffusion модели. Сегодня ребята адпатиорвали моделб под Стебель! Так что если вы хотели генерить стеблем <Это> Доступны 2 колаба: для p-tuning'а моедли и для инференса! Вот такая игрушечная машинка у меня вышла! 📇 project 📄 paper 💻 code 🔮 train colab 👁 inference colab

🔮 Стебель Диффузии v1.5 доступен всем в DreamStudio Улечшения в сравнении с v1.4: — Большая насмотренность эстетическими изображениями — Лучшая сходимость: артефакты VAE/GAN f8 декодера не так манифестируют — Более качественные лица — Более целостная картинка — Более детальный бэкграунд 👉 200 генераций в DreamStudio бесплатно 🤖 Мишин Лернинг

Внезапно нейролав стал фотостоком и пора делать поиск 🫠 Такими темпами на следующей неделе будет миллион сгенерированных картинок С момента последнего апдейта: - Появилась рисовалка скетча с ПК - Новая категория Sci-Fi (идеально если вы космодрочер как я) - Новая категория Anything: если вы профессиональный промпт инженер, welcome Играться тут: https://neural.love/ai-art-generator

❗️OpenAI начало обучать GPT-4. Обучение будет закончено через пару месяцев Сказать больше не могу, чтобы не подставлять.. Но что стоит знать: — Огромное количество параметров (больше миллиарда) — MoE парадигма, PaLM-like — Стоимость обучения ~ $.e6 — Text, audio-vqvae, image-vqvae (возможно и видео) токены в одном потоке — SOTA в огромном количестве задач! Особенно значимые результаты в мультимодальном домене. — Релизное окно: Декабрь-Февраль p.s.: откуда инфа? .., оттуда @мишин лернинг

🎨 OpenAI внедрили в DALL·E 2 "Outpainting" Только что пришло письмо от OpenAI, где говорится, что из-за опенсорса stable diffusion они решили внедрить Outpainting, про который я подробно писал весной, в интерфейс DALL-E 2. Outpainting позволяет генерировать изображений любого размера. Но в отличие от гибкого разрешения в диффузионных UNet'ах с вниманием, Outpainting предполагает пошаговую генерацию со всеми своими плюсам и минусами. Outpainting — это продолжение генерации изображения за его первоначальными границами. Outpainting добавляет визуальные элементы в том же стиле или развивая генерацию в новых направлениях, основываясь на текстовом описании. По сути это позволяет начать ваше полотно в одном стиле а закончить в другом, уточнять элементы и менять их! 📇 blog post 🥑 API DALL-E 2

👉 ERNIE-VILG: UNIFIED GENERATIVE PRE-TRAINING FOR BIDIRECTIONAL VISION-LANGUAGE GENERATION Может ли одна сеть решать две задачи: — Text2Image и — Image2Text Ответ да, конечно может. И самое начало 2022 года это подтвердило. В одно и тоже время, независимо, появились три подобные архитектуры. Субъективно скажу, что что тренировать их end2end не стоит, если есть желание выбить SOTA в двух задачах одновременно. А вот как претрейн — очень даже неплохо. Имхо подход идеально ложиться на файнтюн для множества задач! Кстати сегодня стало доступно демо, так что можете сгенерировать своего "астронавта на коне на марсе с эйфелевой башней", не забудьте только перевести в гугле ваш запрос на китайский.. 📄 paper 🤗 online demo

⚜️ Выкатили пару платных фичу в наш Curated AI art generator ⚜️ Я не удержался и сделал глуповатый анонс фичи «RE-MIX» в стиле будто мы пафосный дом моды нейронок. Если коротко, то может работать в двух режимах: 🔹 Перепридумать текущую картинку на входе, поместив ее в какую-то категорию генератора – для этого можно загрузить картинку, но не вводить текст 🔹 Изменить картинку в соответствии с текстом и категорией которую вы выбрали А еще появился «HD mode», фича которая добавляет много секси деталей в арт который генерируется (пример).  В общем, играться тут: https://neural.love/ai-art-generator P.S. Бесплатные фичи все так же остались как и были P.P.S. Усы мои, да

🤖 OpenAI только что опустили цены на свои модели: Невидимая рука рынка или вполне осязаемая рука Эмада из Stability.AI? Сижу, дебажу и вдруг прилетает письмо от OpenAI: "Мы рады сообщить, что снижаем цену за токен для наших стандартных моделей GPT-3 моделей для инференса" — GPT-3 Davinci 175B c $0.06 до $0.02 за 1000 токенов — GPT-3 Curie 13B c $0.006 до $0.002 за 1000 токенов Типа в 3 раза дешевле стали старшие GPT-3 модели.. ПроДалли 2 конечно ни единго слова. Захожу значит на сайт, посмотреть цену токенов Дали, а там: "Сорян, пока токены купить нельзя, магазин закрыт, ушла на 15 мин, приходите позже" Ну и как это понимать?

✨ Нейросеть "Стебель Диффузии" доступна каждому 👉 Веса и модель 🔮 Оптимизированный нотбук / колаб со всеми плюшками

🔮 Остался один час

💙💛 Перший Український Чат CG/Motion/3D Дизайнерів 👉 Запрошую до чату CG Motion UA Рекомендация от Нейроэстетики — только по-любви!

👁 Открыта Beta Dream Studio — Стебель Диффузии в каждый дом! 🧧 DreamStudio — доступен каждому! 200 генераций при регистрации! Проект будет развиваться в нечто большее: выбор сети, контролируемые параметры, инпеинтинг, галлерея. Со временем будут проявлять новые фичи! 👉 https://beta.dreamstudio.ai Мишин Лернинг ✖️ Нейроэстетика

Андрей Карпати (ex Tesla AI) выложил новую лекцию «!!!! Итак, я записал (новую!) 2h25m лекцию "The spelled-out intro to neural networks and backpropagation: building micrograd". Это кульминация примерно 8 лет навязчивых мыслей о том, как лучше объяснить нейронные сети и обратное распространение. Если вы знаете Python, смутно помните, как проходили производные в средней школе, посмотрите это видео и к концу не поймете обратное распространение и суть нейронных сетей, тогда я съем ботинок :D» Смотреть

🔮 Покидать своего старого музула?

📸 DreamStudio — photoshop будущего начинается здесь Встречайте DreamStudio! Инструмент, который позволит, выбрать нейросеть для генерации. Все в одном месте! Уже сейчас доступен Stable Diffusion, а скоро вас ждёт сюрприз. Проект будет развиваться в нечто большее: выбор сети,контролируемые параметры, инпеинтинг, галлерея. Со временем будут проявлять новые фичи! Я бы очень хотел: апскейлер и редактор лиц. ✨ Проект станет доступен скоро! 📰 И ещё одни хорошие новости. Веса Stable Diffusion будут доступны в начале следующей недели! Готовим ваши colab’ы, так как huggingface уже все подготовил для релиза! 🤗 pip install diffusers p.s.: музыка к видео моя Что думаешь про инструмент? Какие фичи хотелось бы видеть в интерфейсе? Мишин Лернинг ✖️ Нейроэстетика

Намечается официальный колаб Stable Diffusion https://colab.research.google.com/github/huggingface/notebooks/blob/main/diffusers/stable_diffusion.ipynb 😈 “Diffusers” 😈 - это новый фреймворк для диффузионных моделей, где будет поддерживаться SOTA, единые пайплайны/методы и удобная зоология. Аналогично “Transformers”. CompVis, Huggingface, StabilityAI P.S. отдельная благодарность и уважение авторам за их работу ❤️ этот релиз - нереально большой вклад для человечества @shonenkovAI

Официально