Machinelearning

🌟 Быстрый способ переводить экраны любых приложений на русский язык Пользователь Хабра опубликовал рабочий способ переводить на русский экраны приложений на айфоне по одному двойному тапу. Лайфхак сильно упрощает жизнь, когда нужно разобраться в приложениях на других языках. ▪️Статья: https://habr.com/ru/companies/yandex/posts/824706 @ai_machinelearning_big_data

🌟 MG-LLaVA — мультимодальная LLM с продвинутыми возможностями работы с визуальной информацией Буквально только что ребята из Шанхайского университета выкатили MG-LLaVA — MLLM, которая расширяет возможности обработки визуальной информации за счет использования дополнительных компонентов: специальных компонентов, которые отвечают за работу с низким и высоким разрешением. В MG-LLaVA интегрирован дополнительный визуальный энкодер высокого разрешения для захвата мелких деталей, которые затем объединяются с базовыми визуальными признаками с помощью сети Conv-Gate. Обученная исключительно на общедоступных мультимодальных данных, MG-LLaVA демонстрирует отличные результаты. 🟡 Страничка MG-LLaVA 🖥 GitHub @ai_machinelearning_big_data

🌟 Video-Infinity — быстрая генерация длинных видеороликов

conda create -n video_infinity_vc2 python=3.10
conda activate video_infinity_vc2
pip install -r requirements.txt

python inference.py --config examples/config.json

Video-Infinity позволяет быстро генерировать длинные видеоролики с использованием нескольких GPU. Скорость на уровне 2300 кадров за 5 минут, что в 100 раз быстрее, предыдущих методов. 🟡 Страничка Video-Infinity 🖥 GitHub 🟡 Arxiv @ai_machinelearning_big_data

🧬 ESM3 - это новая, мощнейшая мультимодальная генеративная языковая модель для биологии. ESM3 может cмоделировать 500 миллионов лет эволюции для генерации новых белков и молекул. Она представляет собой передовую генеративную модель для биологии, это самый мощный инструмент, который когда-либо применялся для обучения биологической модели, Модель обучена с использованием более 1x1024 FLOPS данных и 98B параметров! Используя модель авторы смоделировали эволюционный процесс и создали новый тип белка GFP (зеленый флуоресцентный белок), отличающийся от всего, что встречается в природе. Это буквально модель для программирования биологии. ▪Почитать подробнее: https://www.evolutionaryscale.ai/blog/esm3-release ▪Статья: https://evolutionaryscale-public.s3.us-east-2.amazonaws.com/research/esm3.pdf @ai_machinelearning_big_data

👁‍🗨 LongVA: Long Context Transfer from Language to Vision Vision модель с длинныи конетекстом , которая: - Может обрабатывать 2000 кадров или 200к токенов - Достигает Sota на VideoMME среди моделей 7B ▪Github: https://github.com/EvolvingLMMs-Lab/LongVA ▪Paper: https://arxiv.org/abs/2406.16852 ▪Project: https://lmms-lab.github.io/posts/longva/ ▪Demo: https://longva-demo.lmms-lab.com/ @ai_machinelearning_big_data

🌟 SEE-2-SOUND — метод генерации сложного пространственного звука на основе изображений и видео — pip install see2sound SEE-2-SOUND — новая разработка университета Торонто, передовой метод генерации пространственного звука из изображений, анимации и видео. Модель состоит из трех основных компонентов: оценка источника звука, генерация звука и пространственная генерация объемного звука. 🟡 Страничка SEE-2-SOUND 🖥 GitHub 🟡 Hugging Face 🟡 Arxiv @ai_machinelearning_big_data

Митап для DS и ML-разработчиков от МТС 4 июля | 18:30 Офлайн в Москве | Онлайн Что будет в программе: — Эксперты из RnD расскажут, как как адаптировать Open Source-модели генеративного ИИ, чтобы с минимальными ресурсами получить приемлемое качество дообучения. — Обсудим, что такое персональные ИИ-решения и как в МТС создавали персональных Аватара и Ассистента. — Узнаем про LLM от экспертов MTS AI. Очных участников ждут нетворкинг и ламповый вечер в пространстве летнего кинотеатра в парке «Музеон». Все желающие смогут присоединиться онлайн. Регистрируйтесь по ссылке.

🗣 MARS 5 TTS: новая модель Модель от компании Camb AI для преобразование текста в речь с открытым исходным кодом с безумным контролем! 🔥 > Поддержка более чем 140 языков > Модели достаточно 5 секундного фрагмента для клонирования голоса и генерации речи для сложных сценариев > Архитектура модели с авторегрессией (750M) + без авторегрессии (450M) > В MARS 5 используется токенизатор BPE для управления знаками препинания, паузами, остановками и т.д. ▪Github: https://github.com/Camb-ai/MARS5-TTS ▪HF: https://huggingface.co/CAMB-AI/MARS5-TTS ▪Colab: https://colab.research.google.com/github/Camb-ai/mars5-tts/blob/master/mars5_demo.ipynb @ai_machinelearning_big_data

🌟 LongRAG — улучшение RAG при помощи LLM с большим контекстом Традиционный RAG работает с небольшими фрагментами документов, т.е. нужно обработать огромное количество таких фрагментов, чтобы найти нужное. В отличие от традиционного, LongRAG работает с большими фрагментами, что значительно улучшает результат. LongRAG полностью использует возможности LLM с большим контекстом для достижения высокой производительности. На графике — сравнение LongRAG с обычным RAG. Синие названия обозначают модели без тонкой настройки, а красные - модели с тонкой настройкой. 🟡 Страничка LongRAG 🟡 Датасет 🖥 GitHub @ai_machinelearning_big_data

В современном мире, где данные – ключевой ресурс, Томский государственный университет (ТГУ) и Skillfactory представляют онлайн-магистратуру по компьютерному зрению и нейронным сетям! Эта программа создана для тех, кто стремится стать экспертом в области искусственного интеллекта и решать сложные инженерные задачи в медицине, экологии и не только. Что вас ждет: - Освоите онлайн Computer Vision и выберите специализацию: AR-технологии, генеративный дизайн, робототехника. - Получите диплом ТГУ и все студенческие льготы. Первый год обучения – от 240 рублей в месяц благодаря господдержке. Программа создана совместно с лидерами отрасли: академический директор – ведущий инженер по машинному обучению в Samokat.tech, а индустриальный партнер – ведущий разработчик IT-решений Rubius, который является лидером в области IT-разработок в России. Для поступления не нужны специализированные знания в машинном обучении или оптике – подготовка включает адаптационные модули по математике и Python. Оставьте заявку сегодня и получите доступ к бесплатным подготовительным курсам и мероприятиям от ТГУ, которые помогут успешно пройти вступительные испытания. Подробности по ссылке ниже – присоединяйтесь к будущему уже сейчас! https://go.skillfactory.ru/0Z6EAg  Реклама. ООО «Скилфэктори» erid: LjN8K3Lt5

🖥 Maestro — это инструмент искусственного интеллекта, который использует возможности передовых нейронных сетей для выполнения ваших задач. Этот Python-скрипт задействует до трех моделей ИИ для решения задач: Мощная связка из GPT-4o, Claude-3.5 и LlaMa 3, работающих вместе для решения ваших задач. Роли моделей следующие: ▫️ ORCHESTRATOR MODEL — управляет всем процессом.Модель принимает ваш промпт, разбивает её на более мелкие задачи и передает их следующей модели. ▫️ SUB AGENT MODEL — выполняет ключевые функции проекта, такие как написание кода, генерация текста и многое другое. ▫️ REFINER MODEL — оптимизирует и улучшает результаты предыдущхи моделей, исправляет ошибки, делает текст более естественным и многое другое. ▪ Github: https://github.com/Doriandarko/maestro @ai_machinelearning_big_data

🌟 mental-diffusion — CLI для быстрой работы со Stable Diffusion

git clone https://github.com/nimadez/mental-diffusion
cd mental-diffusion

sudo apt install python3-pip python3-venv
sh install-venv.sh
sh install-bin.sh

Особенности mental-diffusion: — работает с CPU, с GPU — SD, SDXL — можно загружать веса VAE и LoRA — режимы Txt2Img, Img2Img, Inpaint — есть пакетная генерация изображений, несколько изображений за один запрос — поддерживатся чтение/запись метаданных PNG, автоматическое переименование файлов — есть режим низкого объема VRAM (автоматически при GPU < 4 ГБ) — легкий CLI, написан всего в 300 строк Кстати, промпт для 2 изображения, можно затестить: "AI will bring us back to the age of terminals." 🖥 GitHub @ai_machinelearning_big_data

🌟 MorpheuS — реконструкция поверхности с обзором 360° по монокулярному RGB-D видео MorpheuS — это метод, который может воссоздать 360° поверхности из случайно снятого RGB-D видео. Метод разработан Hengyi Wang и коллегами из Лондонского университета Ненаблюдаемые области пространства достраиваются с помощью диффузионной модели 🟡 Страничка MorpheuS 🟡 Arxiv 🖥 GitHub @ai_machinelearning_big_data

🌟 EvTexture — новый метод апскейлинга видео В методе EvTexture используется отдельный итеративный модуль улучшения текстуры, который позволяет получать информацию о событиях с высоким временным разрешением. Этот модуль позволяет постепенно в несколько итераций уточнять текстуру заданных областей и повышать их разрешение. Быстрый старт с Docker:

docker pull registry.cn-hangzhou.aliyuncs.com/dachunkai/evtexture:latest
cd EvTexture && docker build -t evtexture ./docker
source activate evtexture && cd EvTexture && python setup.py develop

🟡 Страничка EvTexture 🖥 GitHub 🟡 Arxiv @ai_machinelearning_big_data

🌟 ExVideo — техника тюнинга, позволяющая улучшить возможности моделей генерации видео ExVideo позволяет модели генерировать в 5 раз больше кадров, при этом требуется всего 1.5 тыс. часов обучения на GPU на датасете из 40 тыс. видео. В частности при помощи ExVideo была улучшена модель Stable Video Diffusion, для генерации длинных видеороликов до 128 кадров. Код, статья и модель — по ссылкам ниже. 🟡 Страничка ExVideo 🖥 GitHub 🟡 Hugging Face 🟡 Arxiv @ai_machinelearning_big_data

🌟 Hermes-2-Theta-Llama-3-70B — комбо на основе Hermes 2 Pro и Llama-3 Instruct Hermes-2 Θ (Theta) 70B — это экспериментальная модель, созданная компанией Nous Research в сотрудничестве с Arcee AI (командой, создавшей MergeKit) на основе Hermes 2 Pro и Llama-3 Instruct. Судя по метрикам и ответам, модель получилась неплохой 🤗 Hugging Face @ai_machinelearning_big_data

🌟 Modded-NanoGPT — позволяет добиться качества GPT-2 (124M) при обучении всего на 5B лексем Modded-NanoGPT — это модификация того кода для обучения GPT-2 от Андрея Карпати. Modded-NanoGPT позволяет: — обучать в 2 раза эффективнее (требуется всего 5B лексем вместо 10B для достижения той же точности) — имеет более простой код (446 строк вместо 858) 🖥 GitHub @ai_machinelearning_big_data

🔥Microsoft просто, без громкого анонса (опять!),выпустили новый интересный способ обучения моделей "Instruction Pre-Training, модели и датасеты. При предварительном обучении с нуля модель 500M, обученная на 100B токенах, достигает производительности модели 1B, предварительно обученной на 300B токенах. Доступны: 👀 Датасеты 🦙Llama 3 8B с производительностью, сравнимой с 70B! 🔥 Общие модели + специализированные модели (медицина/финансы) ▪abs: https://arxiv.org/abs/2406.14491 ▪models: https://huggingface.co/instruction-pretrain @ai_machinelearning_big_data

🌟 Локальный голосовой помощник june-va: Ollama + HF transformers + Coqui TTS

git clone https://github.com/mezbaul-h/june.git
cd june
pip install .

june-va — это локальный голосовой помощник, использующий возможности Ollama, Hugging Face transformers (для распознавания речи) и Coqui TTS (для преобразования текста в речь). 🖥 GitHub @ai_machinelearning_big_data

🌟 Modded-NanoGPT — позволяет добиться качества GPT-2 (124M) при обучении всего на 5B лексем Modded-NanoGPT — это модификация того кода для обучения GPT-2 от Андрея Карпати. Modded-NanoGPT позволяет: — обучать в 2 раза эффективнее (требуется всего 5B лексем вместо 10B для достижения той же точности) — имеет более простой код (446 строк вместо 858) 🖥 GitHub @ai_machinelearning_big_data