Machinelearning

🌟 Pyramid Attention Broadcast — подход, позволяющий генерировать видео в режиме реального времени PAB — это первый подход к созданию видео на основе диффузионных трансформеров в реальном времени, обеспечивающий качество без потерь и не требующий обучения. PAB оптимизирует работу с механизмом внимания, что позволяет достичь 21.6 FPS с 10.6-кратным ускорением для популярных моделей генерации видео на основе DiT, включая Open-Sora, Open-Sora-Plan и Latte. Поскольку метод PAB не требует дополнительного обучения, он может обеспечить любые будущие модели генерации видео на основе DiT возможностями генерации в режиме реального времени 🟡 Страничка Pyramid Attention Broadcast 🖥 GitHub @ai_machinelearning_big_data

💥 Масштабное обновление получила платформа для работы с исходным кодом GitVerse Глава СберТеха Максим Тятюшев отметил, что разработчики смогут зеркалировать репозитории с GitVerse на другие площадки для резервного копирования и в один клик смогут находить нужный репозиторий и открывать проект в локальной среде разработки. На полях GigaConf 2024 Сбер продемонстрировал как передовые цифровые технологии и решения изменят различные секторы экономики, повышая их эффективность и конкурентоспособность. @ai_machinelearning_big_data

🌟 Text-Animator — метод генерации видео с текстом в кадрах С текстом у генеративных моделей до недавнего времени были большие проблемы, как и с пальцами. Сейчас уже ситуация улучшилась, но только для моделей, создающих изображения. С генерацией текста в видео всё было ещё печальнее, но буквально вчера Tencent и Huawei выкатили Text-Animator — метод, который позволяет создавать видео с текстом в кадрах. 🟡 Страничка Text-Animator 🟡 Arxiv @ai_machinelearning_big_data

🔹 Как усилить технический анализ финансовых рынков методами машинного обучения? Рассмотрим, как современные технологии машинного обучения могут усилить и расширить классические подходы технического анализа на финансовых рынках на открытом уроке от Otus, посвященный курсу «ML для финансового анализа», 3 июля в 20:00. ✅ В течении часа рассмотрим реальные примеры и кейсы, демонстрирующие использование машинного обучения для улучшения торговых стратегий на основе технического анализа. Оставляйте заявку на курс «ML для финансового анализа» и создайте торгового робота для автоматического проведения операций с оценкой уровня риска 👉 Регистрация на урок и подробности: https://otus.pw/BYD9T/?erid=LjN8KPtzA

🌟 Тонкая настройка VLM модели Florence-2 Andres Marafioti с коллегами немного прокачали Florence-2 на датасете DocVQA, и теперь Florence может давать визуальные ответы на вопросы (VQA) Блокнот Colab с пошаговой настройкой Florence-2 ниже 🟡 Fine-tuning Florence-2 🟡 Google Colab 🤗 Hugging Face @ai_machinelearning_big_data

🌟 Быстрый способ переводить экраны любых приложений на русский язык Пользователь Хабра опубликовал рабочий способ переводить на русский экраны приложений на айфоне по одному двойному тапу. Лайфхак сильно упрощает жизнь, когда нужно разобраться в приложениях на других языках. ▪️Статья: https://habr.com/ru/companies/yandex/posts/824706 @ai_machinelearning_big_data

🌟 MG-LLaVA — мультимодальная LLM с продвинутыми возможностями работы с визуальной информацией Буквально только что ребята из Шанхайского университета выкатили MG-LLaVA — MLLM, которая расширяет возможности обработки визуальной информации за счет использования дополнительных компонентов: специальных компонентов, которые отвечают за работу с низким и высоким разрешением. В MG-LLaVA интегрирован дополнительный визуальный энкодер высокого разрешения для захвата мелких деталей, которые затем объединяются с базовыми визуальными признаками с помощью сети Conv-Gate. Обученная исключительно на общедоступных мультимодальных данных, MG-LLaVA демонстрирует отличные результаты. 🟡 Страничка MG-LLaVA 🖥 GitHub @ai_machinelearning_big_data

🌟 Video-Infinity — быстрая генерация длинных видеороликов

conda create -n video_infinity_vc2 python=3.10
conda activate video_infinity_vc2
pip install -r requirements.txt

python inference.py --config examples/config.json

Video-Infinity позволяет быстро генерировать длинные видеоролики с использованием нескольких GPU. Скорость на уровне 2300 кадров за 5 минут, что в 100 раз быстрее, предыдущих методов. 🟡 Страничка Video-Infinity 🖥 GitHub 🟡 Arxiv @ai_machinelearning_big_data

🧬 ESM3 - это новая, мощнейшая мультимодальная генеративная языковая модель для биологии. ESM3 может cмоделировать 500 миллионов лет эволюции для генерации новых белков и молекул. Она представляет собой передовую генеративную модель для биологии, это самый мощный инструмент, который когда-либо применялся для обучения биологической модели, Модель обучена с использованием более 1x1024 FLOPS данных и 98B параметров! Используя модель авторы смоделировали эволюционный процесс и создали новый тип белка GFP (зеленый флуоресцентный белок), отличающийся от всего, что встречается в природе. Это буквально модель для программирования биологии. ▪Почитать подробнее: https://www.evolutionaryscale.ai/blog/esm3-release ▪Статья: https://evolutionaryscale-public.s3.us-east-2.amazonaws.com/research/esm3.pdf @ai_machinelearning_big_data

👁‍🗨 LongVA: Long Context Transfer from Language to Vision Vision модель с длинныи конетекстом , которая: - Может обрабатывать 2000 кадров или 200к токенов - Достигает Sota на VideoMME среди моделей 7B ▪Github: https://github.com/EvolvingLMMs-Lab/LongVA ▪Paper: https://arxiv.org/abs/2406.16852 ▪Project: https://lmms-lab.github.io/posts/longva/ ▪Demo: https://longva-demo.lmms-lab.com/ @ai_machinelearning_big_data

🌟 SEE-2-SOUND — метод генерации сложного пространственного звука на основе изображений и видео — pip install see2sound SEE-2-SOUND — новая разработка университета Торонто, передовой метод генерации пространственного звука из изображений, анимации и видео. Модель состоит из трех основных компонентов: оценка источника звука, генерация звука и пространственная генерация объемного звука. 🟡 Страничка SEE-2-SOUND 🖥 GitHub 🟡 Hugging Face 🟡 Arxiv @ai_machinelearning_big_data

Митап для DS и ML-разработчиков от МТС 4 июля | 18:30 Офлайн в Москве | Онлайн Что будет в программе: — Эксперты из RnD расскажут, как как адаптировать Open Source-модели генеративного ИИ, чтобы с минимальными ресурсами получить приемлемое качество дообучения. — Обсудим, что такое персональные ИИ-решения и как в МТС создавали персональных Аватара и Ассистента. — Узнаем про LLM от экспертов MTS AI. Очных участников ждут нетворкинг и ламповый вечер в пространстве летнего кинотеатра в парке «Музеон». Все желающие смогут присоединиться онлайн. Регистрируйтесь по ссылке.

🗣 MARS 5 TTS: новая модель Модель от компании Camb AI для преобразование текста в речь с открытым исходным кодом с безумным контролем! 🔥 > Поддержка более чем 140 языков > Модели достаточно 5 секундного фрагмента для клонирования голоса и генерации речи для сложных сценариев > Архитектура модели с авторегрессией (750M) + без авторегрессии (450M) > В MARS 5 используется токенизатор BPE для управления знаками препинания, паузами, остановками и т.д. ▪Github: https://github.com/Camb-ai/MARS5-TTS ▪HF: https://huggingface.co/CAMB-AI/MARS5-TTS ▪Colab: https://colab.research.google.com/github/Camb-ai/mars5-tts/blob/master/mars5_demo.ipynb @ai_machinelearning_big_data

🌟 LongRAG — улучшение RAG при помощи LLM с большим контекстом Традиционный RAG работает с небольшими фрагментами документов, т.е. нужно обработать огромное количество таких фрагментов, чтобы найти нужное. В отличие от традиционного, LongRAG работает с большими фрагментами, что значительно улучшает результат. LongRAG полностью использует возможности LLM с большим контекстом для достижения высокой производительности. На графике — сравнение LongRAG с обычным RAG. Синие названия обозначают модели без тонкой настройки, а красные - модели с тонкой настройкой. 🟡 Страничка LongRAG 🟡 Датасет 🖥 GitHub @ai_machinelearning_big_data

В современном мире, где данные – ключевой ресурс, Томский государственный университет (ТГУ) и Skillfactory представляют онлайн-магистратуру по компьютерному зрению и нейронным сетям! Эта программа создана для тех, кто стремится стать экспертом в области искусственного интеллекта и решать сложные инженерные задачи в медицине, экологии и не только. Что вас ждет: - Освоите онлайн Computer Vision и выберите специализацию: AR-технологии, генеративный дизайн, робототехника. - Получите диплом ТГУ и все студенческие льготы. Первый год обучения – от 240 рублей в месяц благодаря господдержке. Программа создана совместно с лидерами отрасли: академический директор – ведущий инженер по машинному обучению в Samokat.tech, а индустриальный партнер – ведущий разработчик IT-решений Rubius, который является лидером в области IT-разработок в России. Для поступления не нужны специализированные знания в машинном обучении или оптике – подготовка включает адаптационные модули по математике и Python. Оставьте заявку сегодня и получите доступ к бесплатным подготовительным курсам и мероприятиям от ТГУ, которые помогут успешно пройти вступительные испытания. Подробности по ссылке ниже – присоединяйтесь к будущему уже сейчас! https://go.skillfactory.ru/0Z6EAg  Реклама. ООО «Скилфэктори» erid: LjN8K3Lt5

🖥 Maestro — это инструмент искусственного интеллекта, который использует возможности передовых нейронных сетей для выполнения ваших задач. Этот Python-скрипт задействует до трех моделей ИИ для решения задач: Мощная связка из GPT-4o, Claude-3.5 и LlaMa 3, работающих вместе для решения ваших задач. Роли моделей следующие: ▫️ ORCHESTRATOR MODEL — управляет всем процессом.Модель принимает ваш промпт, разбивает её на более мелкие задачи и передает их следующей модели. ▫️ SUB AGENT MODEL — выполняет ключевые функции проекта, такие как написание кода, генерация текста и многое другое. ▫️ REFINER MODEL — оптимизирует и улучшает результаты предыдущхи моделей, исправляет ошибки, делает текст более естественным и многое другое. ▪ Github: https://github.com/Doriandarko/maestro @ai_machinelearning_big_data

🌟 mental-diffusion — CLI для быстрой работы со Stable Diffusion

git clone https://github.com/nimadez/mental-diffusion
cd mental-diffusion

sudo apt install python3-pip python3-venv
sh install-venv.sh
sh install-bin.sh

Особенности mental-diffusion: — работает с CPU, с GPU — SD, SDXL — можно загружать веса VAE и LoRA — режимы Txt2Img, Img2Img, Inpaint — есть пакетная генерация изображений, несколько изображений за один запрос — поддерживатся чтение/запись метаданных PNG, автоматическое переименование файлов — есть режим низкого объема VRAM (автоматически при GPU < 4 ГБ) — легкий CLI, написан всего в 300 строк Кстати, промпт для 2 изображения, можно затестить: "AI will bring us back to the age of terminals." 🖥 GitHub @ai_machinelearning_big_data

🌟 MorpheuS — реконструкция поверхности с обзором 360° по монокулярному RGB-D видео MorpheuS — это метод, который может воссоздать 360° поверхности из случайно снятого RGB-D видео. Метод разработан Hengyi Wang и коллегами из Лондонского университета Ненаблюдаемые области пространства достраиваются с помощью диффузионной модели 🟡 Страничка MorpheuS 🟡 Arxiv 🖥 GitHub @ai_machinelearning_big_data

🌟 EvTexture — новый метод апскейлинга видео В методе EvTexture используется отдельный итеративный модуль улучшения текстуры, который позволяет получать информацию о событиях с высоким временным разрешением. Этот модуль позволяет постепенно в несколько итераций уточнять текстуру заданных областей и повышать их разрешение. Быстрый старт с Docker:

docker pull registry.cn-hangzhou.aliyuncs.com/dachunkai/evtexture:latest
cd EvTexture && docker build -t evtexture ./docker
source activate evtexture && cd EvTexture && python setup.py develop

🟡 Страничка EvTexture 🖥 GitHub 🟡 Arxiv @ai_machinelearning_big_data

🌟 ExVideo — техника тюнинга, позволяющая улучшить возможности моделей генерации видео ExVideo позволяет модели генерировать в 5 раз больше кадров, при этом требуется всего 1.5 тыс. часов обучения на GPU на датасете из 40 тыс. видео. В частности при помощи ExVideo была улучшена модель Stable Video Diffusion, для генерации длинных видеороликов до 128 кадров. Код, статья и модель — по ссылкам ниже. 🟡 Страничка ExVideo 🖥 GitHub 🟡 Hugging Face 🟡 Arxiv @ai_machinelearning_big_data