Сергей Марков: машинное обучение, искусство и шитпостинг

🥳 Мы выложили в открытый доступ DPF - наш фреймворк для обработки и фильтрации мультимодальных данных 🥳 С помощью Data Processing Framework мы уже готовим данные для обучения таких моделей как Kandinsky и Kandinsky Video. Репозиторий содержит фильтры для видео, изображений, различных комбинаций этих модальностей, а также удобный интерфейс к ним. И, конечно, буду рад любому контрибьюту в этот фреймворк! 🤗 Полезные ссылки: 👉 Хабр 👉 GitHub

Немного больше генераций

🥳 Сегодня выпустили обновление нашей модели генерации полноценных видео по тексту Kandinsky Video 1.1 🥳 Kandinsky Video 1.1 представляет собой ансамбль моделей, состоящий из трёх ключевых блоков, последовательно реализующих процесс генерации видео. Первый блок фактически является моделью синтеза изображений по текстовым описаниям Kandinsky 3.0 и отвечает за создание первого кадра видео. Второй — отвечает за генерацию ключевых кадров на основе первого кадра и введенного пользователем текста. Из этих кадров и складывается структура сюжета видео. Третий блок реализует генерацию интерполяционных кадров и позволяет достичь плавности движений в финальном видео. В основе второго и третьего блоков также лежит архитектура Kandinsky 3.0. Такой подход значительно повышает общее качество видео, особенно его визуальную составляющую (и на EvalCrafter модель выбивает неплохие скоры 🔥). В силу особенности архитектуры новая версия модели позволяет генерировать видео не только по тексту, но и по начальному изображению, то есть «оживлять» статичную картинку. Теперь также можно контролировать динамику генерируемого видео с помощью специального параметра motion score. Поработали в том числе над датасетом для обучения - сейчас это почти 5 млн пар «текст-видео» после фильтров из разных источников (подробнее расписано в статье на Хабр). И, самое главное, теперь каждый может сгенерировать видео на свой вкус на fusionbrain.ai или в Telegram-боте Kandinsky. Генерация видео длиной 5,5 секунд в разрешении 512x512 и FPS=32 занимает около 1,5 минут. Полезные ссылки: 👉 Хабр 👉 Project Page 👉 GitHub 👉 Hugging Face 👉 Telegram-бот 👉 fusionbrain.ai @dendi_math_ai

Киберпанк, который мы заслужили

«У меня есть потребность простоты и порядка. Дайте мне щей с говядиной, творогу со сливками, осетровой икры, красных перепелов в бруснике, душистого кофею, и я не попрошу ничего более. Но чтобы это было хорошо и свежо. Кажется, ну что проще? А как трудно этого добиться! Поэтому пью водку, закусываю груздями, телятиной и белугой и грущу». Афанасий Фет, из письма Льву Толстому, 1878 год.

Если вы вдруг сейчас на РИФ, то через примерно через полчаса я буду вот тут выступать

https://disk.yandex.ru/d/9B0UTZYV_eSKCw А вот тут разные образы будущего

И ещё пачка