Нейросети и Блендер

Переносим ComfyUI в телеграм бота Ожидая трансляцию OpenAI с апдейтами, хочется рассказать про еще рандомные тесты im-a-good-gpt2-chatbot: Благодаря im-a-good-gpt2-chatbot понял как запихнуть ComfyUI, Gradio или Automatic внутрь бота, и работать прям из Телеграм с телефона. 🐈‍⬛ Из плохих вещей: — Вам все еще нужно запустить GPU сервер в colab, runpod, вашего компа с доступом в инет — Дизайн чуть адаптирован под телефон, но бывают трудности 🐈‍⬛ Из неожиданных плюсов: — Теперь можно генерить в любимых UI для нейронок через тг и телефон со всеми своими лорами и чекпоинтами, которые вы собирали годами — Можно шарить ссылку друзьям и вместе генерить, генерации автоматически попадают в очередь, или вы хотите сразу 5 разных пайпланов тестить с разных устройств. Конечно я понимаю, что идеально переписывать все под формат телеграмма, чтобы это был готовый продукт. Но если вам нужно дешево и сердито, то вот ссылка на Colab. Нужно только заменить API ключ бота ТГ и подставить ссылку публичную, которую выдаст ComfyUI, Automatic или Gradio. ☺️ Мне почему-то возможность менять ноды в ComfyUI сидя в лесу невероятно нравится. Еще немного лет и может с новым gpt адаптирую Блендер под Тг бота.

im-a-good-gpt2-chatbot появился в сравнительной части chat.lmsys.org chat.lmsys.org — сейчас арена для теста лучших LLM, и арт вроде должен быть далеко от этого. Но я недавно узнал у Сиолошной про im-a-good-gpt2-chatbot, говорят это проделки OpenAI. В общем я решил использовать старые промпты для P5JS (Помните был такой Генарт? Когда с помощью кода создают красоту) И im-a-good-gpt2-chatbot показал невероятное понимание как создать, анимировать и даже визуализировать объекты. В моем случае я попросил создать симуляцию столкновения двух нейтронных звезд и примерно рассчитать масштаб черной дыры и визуально показать ее. Очень хорошо видеть в сравнение со второй рандомной(Qwen и gemini-1.5-pro-api-0409-preview) моделью, как im-a-good-gpt2-chatbot превосходит другие модели и выдает рабочий, сложный код. Пока я прошу перевести код в Blender API(что он тоже прекрасно делает) поглядите на симуляцию столкновения двух нейтронных звезд одинакового размера. А Денис успел раньше игру запилить. P.S. Модель хорошо сгенерировала svg вариант текстового сторис для инсты и даже запилила полноценный код с использования controlnet и кастомных моделей в diffusers. Это очень мощно.

Midjourney тестирует свой сайт

If you've made >1000 images on Midjourney you can now help us alpha-test our image creation website at http://alpha.midjourney.com. Design and features will rapidly change for a while and as things mature we will expand access. Desktop is the focus for now, but mobile is coming too.

LINK Из особенностей —cref —sref и картинка на вход теперь прописывается не командой, а включением иконок. Вторая картинка Урок по использованию привычных функций, но в сайте от MJ.

Вышел Steerable Motion 1.4 Steerable Motion - это продвинутая интерполяцию между вашими входными картинками. Теперь более управляемый, детальный и плавный! 🥳 Если вы любили интерполяцию с GAN архитектурой, то теперь эти перетекания доступны с вашими входными картинками в том порядке, в котором вы сами хотите. Да ещё и в качестве от HD до 4K в зависимости от мощности GPU. 💎 Так же поддерживает неограниченное количество картинок на вход для интерполяции. При этом при 100 картинках максимум будет использоваться 12.5 GB видеопамяти. Инструмент создаётся усилиями opensource коммьюнити AnimateDiff и Banodoco. 🔤Тут прям вайбы Vqgan+clip коммьюнити и Deforum🔤 Доступен в ComfyUI И в opensource инструменте для AI анимации Dough

Improving microbial phylogeny with citizen science within a mass-market video game Наконец-то, статья, переплюнувшая статью Google Gemini по количеству контрибьюторов 😅 Если кратко - учёные, исследовавшие днк кишечной микрофлоры, запартнерились с gearbox и встроили в borderlands мини-игру, в которой игроки чинили реальные последовательности ДНК. В итоге в мини-игру поиграло более 4 млн человек, решив 135 миллионов задач. Несложно прикинуть, сколько бы стоила обработка такого объема данных наемными людьми. Вот это я понимаю краудсорсинг. Пейпер

Adobe показал грядущие обновления в Premiere Pro Что самого прорывного обещают добавить в Premiere Pro: — Генеративное расширение — Добавление объектов видео — Удаление объектов из видео — Звук: автоматическую фильтрацию и запикивание текстов (youtube монетизация привет), транскрибацию, разметку звуков на музыку, текст, эффекты и много другое И самое интересное тут в секции сторонние плагины в генеративном расширение видео. Adobe предлагает text2video сразу трех сторонних компаний внутри Premiere Pro: — Pika — Runway иии OpenAI, получается заанонсили Sora в Premiere Pro! АНОНС

Face to All Интересное решение на SDXL и InstantID, которое позволяет быстро трансформировать ваше лицо в разный стили при помощи Lora. В моих вариантах только стиль старых 3D консолей. ☺️ Можно сразу поиграться вот тут — DEMO А если хочется потестить локально, то вот: GITHUB—COMFYUI 🐈‍⬛ Единственный минус InstantID, что он не поддерживает картинки в которых лиц нет, например кадры из мультов. Поэтому я собрал два пайплайна, со своими настройками, оба для ComfyUI: — InstantID, который соблюдает все настройки, как в DEMO — Кастом адаптацию через IPAdapter (И уже можно будет спокойно кидать кадры из мультов и картинки без лиц) Json в комментах. В оба варианта закинул Лору со стилем PlayStation 1, очень понравился этот стиль. Хорошо работает при базовой версии SDXL.

Stable Audio 2 - генерация коммерческой музыки по промпту Самое интересное в модели - это то что её тренировали только на лицензированных данных, так что новому CEO Stability AI будет поспокойнее. Архитектурно это, как и Sora с SD3, Diffusion Transformer, похоже U-Net всё же отправляется на покой. Моделька доступна на сайте, API, как и пейпер обещают позже. Весов нет и вряд-ли будут. А ещё они запустили стрим с непрерывной генерацией музыки, lofi girl напряглась. Сайт (бесплатно дают 10 генераций с новой моделькой в месяц) Блогпост Стрим с вечной музыкой @ai_newz

Repurposing Diffusion-Based Image Generators for Monocular Depth Estimation Недавно парни из группы Photogrammetry and Remote Sensing (PRS) ETH Zürich выпустили модельку Marigold-LCM для вычисления карты глубины по одному изображению. Тут используют Latent Consistency Model дистилляцию чтобы осуществлять семплинг карты глубины в ОДИН шаг, вместо обычных 10-50. Благодаря этому, теперь можно обрабатывать видео, что показано в тизере. Это еще один пример того, как ускоряют диффузию с помощью дистилляции (был пост про дистилляцию SD3), только тут вместо фоток генерируются depth map. Идея Первая модель Marigold вышла несколько месяцев назад и по сути являлась демонстрацией довольно простой идеи, которую описал мне соавтор статьи, Антон: если современные text-to-image модели способны выдавать фотореалистичные изображения, то они выучили довольно мощный generative prior, который знает проективную геометрию и как выглядят сцены из нашего реального мира. Ну а также из паралелльных миров, включая мемасы, комиксы, и прочую дичь которой занимаются в ComfyUI. А значит, можно брать свежую t2img модель с открытыми весами, минимально допиливать ее на уровне архитектуры чтобы не сильно отойти от натрененных весов, и файнтюнить ее при помощи небольшого набора данных на (почти) любой негенеративный таск. Вычисление карт глубины это как раз такая задача (ее новая, но все еще актуальная), и на ней довольно просто обкатать идею и измерить прогресс. Что с результатами? На деле у ребят получился мощный monocular depth estimation, которым вынесли MIDAS и прочие регрессионные U-Net решения, до сих пор используемые в Гугле, Диснее, и других уважаемых компаниях. Его отличительная особенность в том, что модель файнтюнится на синтетических рендерах комнат из датасета HyperSim, а на практике работает на любых сценах. И все благодаря мощному генеративному прайору Stable Diffusion 2, который являлся отправной точкой для файнтюна модели. Демо (LCM, быстрое) Демо (DDIM, качественное) Сайт Статья Код @ai_newz

Microsoft планирует построить для OpenAI суперкомпьютер за $100 миллиардов (!). Называется Stargate, запустят в 2028, это будет пятой стадией постройкой Microsoft суперкомпьютеров для OpenAI. Третью заканчивают сейчас, четвёртую запустят в 2026 году, а звёздные врата откроют уже в 2028, с планируемым расширением в 2030. Жрать энергии оно будет вплоть до 5 гигаватт, так что питать его скорее всего планируют энергией ядерного синтеза – Microsoft год назад заключила контракт c Helion, компанией в которой у Сэма Альтмана большая доля, на поставку электроэнергии в больших объёмах, и как раз к 2028 году. Большая часть денег уйдёт на чипы, а так как энергию скорее всего организовывает Альтман, то и с чипами может выйти такая история. Со слов Альтмана, для создания superintelligence нам скорее всего понадобится значительный прорыв в энергетике. Проект очень рискован технически – не очень понятно получится ли питать, связывать и охлаждать такое количество чипов, особенно учитывая то что (по слухам) строить это всё будут в пустыне. Под землю что-ли все закопают? Реализация проекта ещё под вопросом и зависит от результатов GPT-5. Что вообще они там собираются тренировать? 😢 @ai_newz