Нейросети и Блендер

OpenAI начали тренировать свою следующую по уровню модель – GPT5 они пока ее не называют, но официально подтвердили что тренят:

OpenAI has recently begun training its next frontier model and we anticipate the resulting systems to bring us to the next level of capabilities on our path to AGI

Через полгода будет у нас что-то по уровню на голову выше текущих моделей 🤌

🍎 Очень качественная работа с использованием AnimateDiff и ControlNet, IPAdapter и After Effects для масок. IPAdapter в сочетание с несколькими ControlNet отлично переносит текстуру с объекта на руку. COMFYUI pipeline от авторов 🎥 Авторы: @aleksejlotkov & @thesibilev

Переносим ComfyUI в телеграм бота Ожидая трансляцию OpenAI с апдейтами, хочется рассказать про еще рандомные тесты im-a-good-gpt2-chatbot: Благодаря im-a-good-gpt2-chatbot понял как запихнуть ComfyUI, Gradio или Automatic внутрь бота, и работать прям из Телеграм с телефона. 🐈‍⬛ Из плохих вещей: — Вам все еще нужно запустить GPU сервер в colab, runpod, вашего компа с доступом в инет — Дизайн чуть адаптирован под телефон, но бывают трудности 🐈‍⬛ Из неожиданных плюсов: — Теперь можно генерить в любимых UI для нейронок через тг и телефон со всеми своими лорами и чекпоинтами, которые вы собирали годами — Можно шарить ссылку друзьям и вместе генерить, генерации автоматически попадают в очередь, или вы хотите сразу 5 разных пайпланов тестить с разных устройств. Конечно я понимаю, что идеально переписывать все под формат телеграмма, чтобы это был готовый продукт. Но если вам нужно дешево и сердито, то вот ссылка на Colab. Нужно только заменить API ключ бота ТГ и подставить ссылку публичную, которую выдаст ComfyUI, Automatic или Gradio. ☺️ Мне почему-то возможность менять ноды в ComfyUI сидя в лесу невероятно нравится. Еще немного лет и может с новым gpt адаптирую Блендер под Тг бота.

im-a-good-gpt2-chatbot появился в сравнительной части chat.lmsys.org chat.lmsys.org — сейчас арена для теста лучших LLM, и арт вроде должен быть далеко от этого. Но я недавно узнал у Сиолошной про im-a-good-gpt2-chatbot, говорят это проделки OpenAI. В общем я решил использовать старые промпты для P5JS (Помните был такой Генарт? Когда с помощью кода создают красоту) И im-a-good-gpt2-chatbot показал невероятное понимание как создать, анимировать и даже визуализировать объекты. В моем случае я попросил создать симуляцию столкновения двух нейтронных звезд и примерно рассчитать масштаб черной дыры и визуально показать ее. Очень хорошо видеть в сравнение со второй рандомной(Qwen и gemini-1.5-pro-api-0409-preview) моделью, как im-a-good-gpt2-chatbot превосходит другие модели и выдает рабочий, сложный код. Пока я прошу перевести код в Blender API(что он тоже прекрасно делает) поглядите на симуляцию столкновения двух нейтронных звезд одинакового размера. А Денис успел раньше игру запилить. P.S. Модель хорошо сгенерировала svg вариант текстового сторис для инсты и даже запилила полноценный код с использования controlnet и кастомных моделей в diffusers. Это очень мощно.

Midjourney тестирует свой сайт

If you've made >1000 images on Midjourney you can now help us alpha-test our image creation website at http://alpha.midjourney.com. Design and features will rapidly change for a while and as things mature we will expand access. Desktop is the focus for now, but mobile is coming too.

LINK Из особенностей —cref —sref и картинка на вход теперь прописывается не командой, а включением иконок. Вторая картинка Урок по использованию привычных функций, но в сайте от MJ.

Вышел Steerable Motion 1.4 Steerable Motion - это продвинутая интерполяцию между вашими входными картинками. Теперь более управляемый, детальный и плавный! 🥳 Если вы любили интерполяцию с GAN архитектурой, то теперь эти перетекания доступны с вашими входными картинками в том порядке, в котором вы сами хотите. Да ещё и в качестве от HD до 4K в зависимости от мощности GPU. 💎 Так же поддерживает неограниченное количество картинок на вход для интерполяции. При этом при 100 картинках максимум будет использоваться 12.5 GB видеопамяти. Инструмент создаётся усилиями opensource коммьюнити AnimateDiff и Banodoco. 🔤Тут прям вайбы Vqgan+clip коммьюнити и Deforum🔤 Доступен в ComfyUI И в opensource инструменте для AI анимации Dough

Improving microbial phylogeny with citizen science within a mass-market video game Наконец-то, статья, переплюнувшая статью Google Gemini по количеству контрибьюторов 😅 Если кратко - учёные, исследовавшие днк кишечной микрофлоры, запартнерились с gearbox и встроили в borderlands мини-игру, в которой игроки чинили реальные последовательности ДНК. В итоге в мини-игру поиграло более 4 млн человек, решив 135 миллионов задач. Несложно прикинуть, сколько бы стоила обработка такого объема данных наемными людьми. Вот это я понимаю краудсорсинг. Пейпер

Adobe показал грядущие обновления в Premiere Pro Что самого прорывного обещают добавить в Premiere Pro: — Генеративное расширение — Добавление объектов видео — Удаление объектов из видео — Звук: автоматическую фильтрацию и запикивание текстов (youtube монетизация привет), транскрибацию, разметку звуков на музыку, текст, эффекты и много другое И самое интересное тут в секции сторонние плагины в генеративном расширение видео. Adobe предлагает text2video сразу трех сторонних компаний внутри Premiere Pro: — Pika — Runway иии OpenAI, получается заанонсили Sora в Premiere Pro! АНОНС

Face to All Интересное решение на SDXL и InstantID, которое позволяет быстро трансформировать ваше лицо в разный стили при помощи Lora. В моих вариантах только стиль старых 3D консолей. ☺️ Можно сразу поиграться вот тут — DEMO А если хочется потестить локально, то вот: GITHUB—COMFYUI 🐈‍⬛ Единственный минус InstantID, что он не поддерживает картинки в которых лиц нет, например кадры из мультов. Поэтому я собрал два пайплайна, со своими настройками, оба для ComfyUI: — InstantID, который соблюдает все настройки, как в DEMO — Кастом адаптацию через IPAdapter (И уже можно будет спокойно кидать кадры из мультов и картинки без лиц) Json в комментах. В оба варианта закинул Лору со стилем PlayStation 1, очень понравился этот стиль. Хорошо работает при базовой версии SDXL.

Stable Audio 2 - генерация коммерческой музыки по промпту Самое интересное в модели - это то что её тренировали только на лицензированных данных, так что новому CEO Stability AI будет поспокойнее. Архитектурно это, как и Sora с SD3, Diffusion Transformer, похоже U-Net всё же отправляется на покой. Моделька доступна на сайте, API, как и пейпер обещают позже. Весов нет и вряд-ли будут. А ещё они запустили стрим с непрерывной генерацией музыки, lofi girl напряглась. Сайт (бесплатно дают 10 генераций с новой моделькой в месяц) Блогпост Стрим с вечной музыкой @ai_newz