Prompt Engineering - ChatGPT | Gemini, Midjourney, Stable Diffusion, Sora

Дайджест: 📹 ВИДЕО + АРТ 🎨 Hyper SDXL: ускоренная версия SDXL, которая генерит в годном качестве с 1 шага. Envision3D: 3D генератор c неплохими мешами и кушает всего 12 ГБ видюхи. ClarityAI: апскейлер картинок, повышающий чёткость и детализацию. Демо. PlayCanvas: этот быстрый и лёгкий игровой движок на Java Script добавил поддержку WebGPU. Neurogen: в обновлении FaceFusion v 2.5 генерим дипфейки с липсинком и красим видео. Adobe: обновили Firefly до V3 в фотошопе и InDesign. Теперь можно генерить картинки в нужном стиле на основе рефа, менять фон, делать апскейл. Urban Architect: генерация городских сцен в 3D с помощью нерфов. Orillusion: игровой движок для рендера игр прямо в браузере через WebGPU обновился до v 0.7.2. MindBridge: получаем картинку из мыслей с помощью фМРТ. В отличии от других методов, здесь реконструируются изображения множества объектов с помощью одной модели. PhysDreamer: ваяем интерактив с объектами на видео. То, что гугл так и не довёл до релиза. Looking Glass: теперь можно использовать кастомных аватаров в голограммах. Классификация визуала с вебки в реальном времени внутри браузера через WebGPU. Крутим вертим снимки с рентгена. 🎸 ЗВУК 🎸 Micro MusicGen Jungle: а вот и первая весточка локальных микромоделей затюненых генерить определённый музыкальный стиль (как я и говорил), в данном случае jungle. Качество пока не очень, но только пока. У автора за 8 секунд генерится десяток 10-секундных фрагментов. MyShell: выпустили OpenVoice V2. Клонируем голос на основе короткого семпла и генерим на разных языках и акцентах. Похоже на MeloTTS, но там нельзя прикладывать реф целевого голоса. Лицензия на свободное коммерческое использование. Напеваем мелодию и генерим семпл. seewav: визуализатор для любого аудио. 🤖 ЧАТЫ 🤖 Вокруг ламы 3: * Инструмент для файнтюна ламы. * Dolphin-2.9-llama3-8b: неотцензуренная версия маленькой ламы 8B. * Мелкая лама 3 с контекстом 32К. Microsoft: выкатили маленькую, но способную языковую модель Phi 3 mini, с контекстным окном от 4К до 128К (можно скармливать книжки). Есть варик запустить в локально в LM Studio или Ollama. Или онлайн в Hugging.chat Snowflake: крупная LLM с 408B параметров, из которых 17 активных и 128 (!) экспертов. На видюху не влезет. Apple: релизнули серию языковых моделей OpenELM в размерах от 270M до 3B, натренированных на ~1,8Т токенов. Отличаются эффективностью использования параметров по слоям. (спс @JohnDoe171) Qwen 1.5: LLM размером 110B, можно початиться. PyTorch: в версии v 2.3 улучшенный параллелизм и другие ништяки. HuggingFace: выпустили Idefics2, визуальную языковую модель (VLM) для чата по картинкам и докам. MiniGemini: подборка VLM, с отличным пониманием картинок для получения ответов по ним. Демо Maestro: фреймворк для оркестровки AI-агентов с помощью локальных моделей вроде ламы 3 или закрытых как Claude или GPT-4. Коллекция MLX версий разных языковых моделей для маков. Qdrant: в версии V 1.9 этой векторной база данных для AI улучшения в скорости восстановления нод и не только. Исследования: * Multi-Head MoE — делим токены данных на подтокены и скармливаем разным экспертам, повышая их активацию. * Adam Maj разработал с нуля дизайн GPU и приложил пошаговые логи своих действий. Его Твиттер. * Сравнение производительности WebGPU против Vulkan. 💬 Делайте выжимки из доков и чатьтесь по ним с помощью Claude

VoiceCraft: генератор речи на основе короткого голосового семпла. Как и XTTS или HierSpeech++ или MeloTTS отлично воспроизводит целевой вокальный тембр, но помимо этого позволяет редактировать отдельные слова в сказанном. Под капотом генератор речи в размерах от 330М до 830М параметров. Самая большая версия 830 Enhanced в демо на хаггинге работает шустро, посему пробовать мелкие смысла не много. Зато они могут пригодиться на локальном запуске, если крупняк на видюху не влезет. Для распознавания речи используется Whisper или его улучшенный вариант WhisperX, на выбор. Размер модели тоже можно выбрать: чем больше, тем лучше качество обработки на выходе. Существенной разницы в скорости между ними не заметил. Скармливать можно только записи на английском длиной до 16 секунд. 1) Жмём Load Models 2) Закидываем исходный голос 3) Переводим его в текст кнопкой Transcribe 4) Делаем правки, если в распознавании были ошибки и жмём Align 5) Есть режим замены конкретных слов (Edit), и генерации (TTS или LongTTS). В режиме Edit выбираем начало и конец фразы, которую хотим заменить, или в TTS просто пишем то, что нужно сгенерить. 6) жмём Run и забираем справа измененный голосовой семпл PS: теперь слово — воробей Демо Демо (колаб) Демо (Replicate) Гитхаб

Постигаем сингулярность Чуваки из Infinite-Realities (я писал о них ранее) довели свою систему создания 3D/4D сцен из сплатов до коммерческого состояния. Можно запечатлеть всё: от сложных динамичных кадров для кино, так и моменты с семьёй. В полученной сцене можно свободно управлять камерой, а детализация на высочайшем уровне. Всё воспроизводится в реальном времени в 30 fps на стороннем движке, работающем в виртуальной среде с частотой 120 fps. Женим теперь это всё с голографическими дисплеями Looking Glass и киберпанк официально прибыл. Видео в хайрезе на Vimeo Сайт

👩‍🎨 Создаём стильный принт для футболки на лето. Подсказка выполняет сразу 2 функции: с одной стороны изображения генерит принт, а с другой — его же, но уже на футболке. 👀 Подойдет для Dall-e, Midjourney и Ideogram. Prompt: Image with two sections. On the left side, show a vibrant graphic design featuring the slogan ["SHOOT FOR THE STARS!"] with a stylized basketball going through a hoop, stars bursting out, and dynamic lines, all designed to evoke a sense of sportsmanship and dreams. The design should use tall, impactful letters with a mix of orange and blue hues. On the right side, display the same graphic design printed on a t-shirt. The t-shirt should be shown in a realistic manner as if placed on a mannequin, allowing the design to wrap naturally with the fabric. The background should be a clean, contrasting white to make the colors stand out

👩‍🎨 Создаём стильный принт для футболки на лето. Подсказка выполняет сразу 2 функции: с одной стороны изображения генерит принт, а с другой — его же, но уже на футболке. 👀 Подойдет для Dall-e, Midjourney и Ideogram. Prompt: Image with two sections. On the left side, show a vibrant graphic design featuring the slogan ["SHOOT FOR THE STARS!"] with a stylized basketball going through a hoop, stars bursting out, and dynamic lines, all designed to evoke a sense of sportsmanship and dreams. The design should use tall, impactful letters with a mix of orange and blue hues. On the right side, display the same graphic design printed on a t-shirt. The t-shirt should be shown in a realistic manner as if placed on a mannequin, allowing the design to wrap naturally with the fabric. The background should be a clean, contrasting white to make the colors stand out

🔥 LLaMa 3 конкретно ворвалась на лидерборд ChatBot Arena и уже бьет все существующие опенсорсные модели (даже Command R+, про Мистрали я вообще молчу). И не только! Если брать запросы на английском языке, то LLaMa-3-70B-instruct уже рвет даже Claude 3 Opus и уступает только ChatGPT-4. Голосов еще не много (чуть больше тысячи), но некие выводы уже сделать можно. Напоминаю, что это модель всего на 70B параметров. Почитать, что такое ChatBot Arena можно тут. @ai_newz

Если устали от шквала метрик и хотите сами оценить интеллектуальные способности свежеиспеченной LLAMA 3, а заодно проверить все модели от LLAMA 2 70B до LLAMA 3 70B, можете воспроследовать вот сюда: https://llama3.replicate.dev/ Работает архибыстро.

👨‍💻 Я уже не пишу сюда когда очередная опенсорсная модель бьет все метрики и приближается к GPT4, потому что этот рейтинг меняется буквально каждую неделю (и вы быстро устанете от моих восторгов), но одна новая модель мне сильно понравилась — она подойдет для программистов и тех кто учится: CodeQwen1.5-7B-Chat (gguf) Модель небольшая, всего 7B параметров, но она сейчас находится на втором месте по качеству генерации кода среди всех опенсорсных моделей. CodeQwen1.5-7B все еще хуже GPT4, но она: 1) Классно пишет код для небольших задач, этот код можно с ней же дебажить; 2) Работает на любом тостере; 3) Поддерживает 32K контекстного окна (то есть вы можете как часть промпта скармливать свой код и с ней его анализировать); 4) Очень быстрая из-за того что маленькая; 5) Поддерживает все эти прелести опенсорсных моделей, такие как негативный промпт, Lora и тп. Если вы давно хотели поставить что-то локальное, а ChatGPT вам нельзя использовать из-за корпоративной политики, очень рекомендую рассмотреть. В Видео CodeQwen1.5 сначала пишет код для HTML страницы с эффектом из матрицы (скорость реальная на моем ноуте), а во втором видео — эффект и код, что получился. P.S. Маленькие модели наиболее подвержены правильному промптингу, поэтому делюсь своим промптом агента программиста и негативным промптом который вы можете передать с --cfg-negative-prompt (негативный промпт не обязателен, но помгает улучшить качество — насколько, я не замерял пока что). P.P.S. Запуская я все классически тут — llama.cpp 👩‍💻👩‍💻👩‍💻

Microsoft показал нейронку 🏺VASA: Даете ей на вход фото и аудио дорожку, а на выходе получаете слишком реалистичное видео, которое в очередной раз перепугает половину интернета ☕️ Кода пока нет, больше примеров тут: https://www.microsoft.com/en-us/research/project/vasa-1/

ZeST: метод для смены материала на объекте по реф картинке. Может работать с несколькими вещами в кадре и вносить изменения с учётом освещения. Сначала используются адаптеры для извлечения представления о материале из изображения. Затем оно с помощью инпейтинга переносится на целевой объект, используя карты глубины для геометрии и оттенки серого для освещенности. Метод схож с B-LoRA и InstantStyle. Под капотом IP-Adapter и SDXL. Демо (Replicate) Демо (colab) Сайт Гитхаб