Generative Ai

За последние несколько недель в канал пришли почти 3000 новых подписчиков 🎉 Специально для вас и конечно, тех ниндзя, кто читает нас давно, мы сделали подборку самых полезных постов по теме AI. Читайте, экономьте десятки часов в неделю и делитесь контентом с друзьями. 1. Отобранная вручную подборка лучших AI-инструментов: сервис для написания SEO-статей (уже внедрили на одном из наших европейских проектов и сгенерировали 500+ крутых статей за 3 недели), анализа звонков отдела продаж, умный каскад нейросетей и многое другое. Все отобрано и протестировано нами вручную; 2. Жирнющий процесс по созданию кликабельных и высококонверсионных креативов с конкретными промптами для GPT и примерами готовых баннеров. Must-have в эпоху, когда креатив определяет больше 80% результата ваших рекламных кампаний; 3. Не хватает рук в команде маркетинга? Тогда чекайте пост-инструкцию о том, как создать AI-маркетолога, который будет трудиться на благо вашей компании. Внутри поста инструкции по написанию писем, оптимизации процесса исследований и многое другое; 4. Про поиск высокооплачиваемой работы в международной (и не только) компании с помощью AI. 5. Как оптимизировать 10+ часов в неделю и делегировать написание отчетов, анализ конкурентов, парсинг данных и другую скучную рутину GPT — в этом посте А уже завтра мы проведем большую онлайн-встречу, где расскажем еще больше того, что накопали за последние недели: - Расскажем, как создавать еще больше креативов/посадочных при помощи ИИ; - Попрактикуемся в создании бота маркетолога; - Разберем еще больше способов оптимизации рутины и искоренения скучных/нудных задач; Успевай занять место (традиционно их 300 шт) по ➡️ этой ссылке (кликабельно) Как обычно будет плотный контент и сессия ответов на ваши вопросы. До встречи!

🌟 LongLLaVA: MMLM, оптимизированная для обработки большого количества изображений. LongLLaVA - мультимодальная модель, предназначена для разработки приложений, требующих понимания длинных видеороликов, изображений высокого разрешения и сложных мультимодальных сценариев. В модели применяется гибридная архитектура из комбинации блоков Mamba и Transformer в соотношении 7:1. Для сжатия визуальных данных применяется метод 2D-пулинга, который снижает вычислительные затраты при сохранении производительности. В процессе обучения применялся трехфазный метод: выравнивание по одному изображению, настройка инструкций по одному изображению и настройка инструкций по нескольким изображениям. Экспериментальные результаты показали, что LongLLaVA превосходит другие модели с открытым исходным кодом по пониманию в длинном контексте, особенно в задачах поиска, подсчета и упорядочивания. ▶️Технические параметры модели: 🟢Parameters: 53B; 🟢Active parameters: 13B; 🟢Numbers of layers: 24; 🟢Mixture of Experts: 16/Top-2 for each token; 🟢Normalization: RMSNorm; 🟢Attention: Grouped Query Attention; 🟢Activation functions: SwiGLU. 📌Лицензирование : MIT License 🟡Arxiv 🟡Модель 🖥Github @ai_machinelearning_big_data #AI #ML #MMLM #LongLLaVA

OpenAI представила новую языковую модель o1, обученную для сложных рассуждений Модель o1 превосходит GPT-4o по различным показателям, включая соревновательное программирование, математические олимпиады и вопросы научного уровня PhD o1 показывает значительные улучшения в задачах, требующих сложных рассуждений, но для мелких задач, где рассуждения не нужны – она не сильно поможет Будет доступна с сегодня для всех пользователей API и платной подписки Вот пост анонс: https://openai.com/index/learning-to-reason-with-llms/

🌟 VEnhancer: Генеративное улучшение синтезированного видео. VEnhancer - генеративная система апсемлинга пространственно-временных характеристик, которая улучшает результаты существующих методов преобразования текста в видео путем добавления большего количества деталей в пространственной области и синтетического детализированного движения во временной области. Он гибко адаптируется к различным коэффициентам апсемплинга в диапазоне 1x~8x. VEnhancer устраняет артефакты и коллизии движения сгенерированных видео, используя диффузионную модель и дообученные модели ControlNet. Несколько дней назад VEnhancer получил обновление: 🟢Поддержка длинных видео (путем разбиения видео на несколько фрагментов с перекрытиями); 🟢Быстрая выборка с 15 шагами без потери качества (путем установки --solver_mode 'fast' в команде скрипта); 🟢Использование временного VAE для уменьшения мерцания. Эксперименты, проведенные во время разработки показывают, что VEnhancer превосходит существующие методы апсемплинга видео и современные методы улучшения синтезированных видео. ⚠️ Для обработки видео в 2K разрешении при fps=>24 требуется около 80 GB VRAM. Использование VEnhancer возможно через CLI, с помощью GradioUI и в виде неофициальной ноды (WIP) для ComfyUI. ▶️Установка:

# Clone repo
git clone https://github.com/Vchitect/VEnhancer.git
cd VEnhancer

# Create environment
conda create -n venhancer python=3.10
conda activate venhancer

# Install requirments:
pip install torch==2.0.1 torchvision==0.15.2 torchaudio==2.0.2
pip install -r requirements.txt

▶️Установка пакета ffmpeg:

sudo apt-get update && apt-get install ffmpeg libsm6 libxext6  -y

▶️Инференс с помощью CLI:

bash run_VEnhancer.sh

▶️Инференс с помощью GradioUI:

python gradio_app.py

🟡Страница проекта 🟡Arxiv 🟡Модель 🟡Demo Video 🖥Github [ Stars: 224 | Issues: 8 | Forks: 13] @ai_machinelearning_big_data #AI #Text2Video #VEnchancer #ML

Гугл украл мою стартап идею: paper to podcast Шучу :) Гугл красавчики и боженьки, ибо сделали продукт, о котором я давно мечтал. Идея проста: загружаешь пейпер — и из него генерируется подкаст с двумя ролями, где один задает вопросы, а второй отвечает. Мне всегда, когда хожу в спортзал или на хайкинг, очень не хватает подкаста именно с анализом новых пейперов. Приятно: идешь по горе и одновременно не отстаешь от стремительного прогресса в ИИ. Доступно тут (нужно подождать немного после регистрации): https://illuminate.google.com/home

🌟 Mini-Omni : Мультимодальная речевая модель. Mini-Omni - open-source MMLM, которая умеет ввод-вывод речи в режиме реального времени. Она построена по предложенному в исследовании методу "Any Model Can Talk", который позволяет добавлять речевые возможности к существующим LLM с минимальными изменениями в их архитектуре. Функциональные возможности модели: 🟢speech-to-speech в реальном времени. Не требуются дополнительные модели ASR или TTS; 🟢генерация текста и аудио одновременно; 🟢потоковое воспроизведение аудио; 🟢пакетное преобразование "speech-to-text" и "speech-to-speech". Mini-Omni основана на LLM Qwen2-0.5B с трансформерной архитектурой, состоящей из 24 блоков и internal dimension 896. Для кодирования речи используется Whisper-small encoder, а для распознавания и синтеза речи добавлены адаптеры ASR, связанные с двухслойной MLP, и ТТS, который добавляет 6 дополнительных трасформерных блоков к существующим у Qwen2. Mini-Omni обучалась на датасетах Libritts, VCTK, Multilingual LibriSpeech, Open-Orca, Moss’s SFT, Alpaca-GPT4 и другие. Общий объем данных составил около 8000 часов речевых данных и 2 миллиона текстовых записей. В бенчмарках Mini-Omn продемонстрировала отличные результаты в задачах распознавания речи, немного уступая Whisper-small и VITA. ▶️Установка:

# Create & activate venv
conda create -n omni python=3.10
conda activate omni

# Clone the Repository
git clone https://github.com/gpt-omni/mini-omni.git
cd mini-omni

# Install required packages
pip install -r requirements.txt

# start server
python3 server.py --ip '0.0.0.0' --port 60808

Запуск с Streamlit UI:

# run streamlit with PyAudio
pip install PyAudio==0.2.14
API_URL=http://0.0.0.0:60808/chat streamlit run webui/omni_streamlit.py

Запуск с Gradio UI:

API_URL=http://0.0.0.0:60808/chat python3 webui/omni_gradio.py

📌Лицензирование : MIT License. 🟡Arxiv 🟡Demo 🟡Модель 🖥Github @ai_machinelearning_big_data #AI #ML #MMLM #Speech2Speech #MiniOmni

Это потрясающе! Новая 🤯 Llama 3 Reflection 70 превосходит, AnthropicAI Claude 3.5 Sonnet и GPT-4o. Reflection Tuning LLM обучена на синтетических структурированных данных, чтобы научиться рассуждать и самокорректироваться. 👀 1️⃣ Алгоритм начинает с вывода своих рассуждений в тегах <thinking>. 2️⃣ Если модель обнаруживает ошибку в своих рассуждениях, она использует теги <reflection> в разделе <thinking>, чтобы сигнализировать об этом и попытаться исправить себя. 3️⃣ Удовлетворившись своими рассуждениями, модель предоставляет окончательный ответ в тегах <output>. Результаты модели: 🏆 89,9% MMLU, 79,7% MATH, 90,1% IFEval > Sonnet 3.5, GPT-4o 🥇 Лучший в мире открытый LLM (на момент выпуска) 🦙 Обучен на базе Llama 3.1 70B Instruct с новыми специальными токенами для <мышления>, <рефлексии>, <вывода> 🚀 405B модель в разработке, ожидается, что это будет лучшая из существующих моделей 🤗 Доступна на HF 📚 Набор данных и отчет об обучении будут готовы на следующей неделе. Модель: https://huggingface.co/mattshumer/Reflection-Llama-3.1-70B @ai_machinelearning_big_data #llama #opensource #llm

🌟 Microsoft Research AutoGen Studio: Low-Code интерфейс для быстрого прототипирования агентов LLM. Microsoft Research обновил AutoGen Studio — Low-Code инструмент для разработчиков , предназначенный для создания, отладки и оценки многоагентных рабочих процессов. AutoGen Studio разработан для повышения доступности среды управления локальным AI, позволяя разработчикам прототипировать и внедрять многоагентные системы без необходимости обширных знаний в области ML. AutoGen Studio это веб-интерфейс и API Python. Он гибкий в использовании и его легко можно интегрировать его в различные среды разработки. Простой и понятный дизайн позволяет быстро собирать многоагентные системы с помощью удобного интерфейса drag-n-drop. AutoGen Studio поддерживает API всех популярных онлайн-провейдеров LLM (OpenAI, Antрropic, Gemini, Groq, Amazon Bedrock, Corehe, MistralAI, TogetherAI ) и локальные бэкэнды : vLLM, Ollama, LM Studio. Возможности : 🟢Создание / настройка агентов (пока поддерживаются 2 рабочих процесса агентов на основе UserProxyAgent и AssistantAgent), изменение их конфигурации (например, навыки, температура, модель, системные сообщения агента, модель и т.д.) и объединение их в рабочие процессы; 🟢Чат с агентами по рабочим процессам и определение для них задач; 🟢Просмотр сообщений агента и выходных файлов в пользовательском интерфейсе после запуска агента; 🟢Поддержка сложных рабочих процессов агентов (например, групповой чат и последовательные рабочие процессы); 🟢Улучшение качества работы пользователей (например, потоковая передача промежуточных ответов LLM, лучшее обобщение ответов агентов и т. д.); 🟢AutoGen Studio использует SQLModel (Pydantic + SQLAlchemy). Это обеспечивает связь между сущностями (навыки, модели, агенты и рабочие процессы связаны через таблицы ассоциаций) и поддерживает несколько диалектов бэкенда базы данных, которые есть в SQLAlchemy (SQLite, PostgreSQL, MySQL, Oracle, Microsoft SQL Server). Roadmap для отслеживания новых функций, решенных проблем и запросов от сообщества разработчиков можно найти в Issues репозитория AutoGen Studio на Github. ⚠️ Примечания от разработчика:

🟠AutoGen Studio не предназначен для использования в качестве готового к продакшену приложения. Это среда прототипирования и разработки процессов и агентов. 🟠AutoGen Studio находится в стадии активной разработки с частыми итерациями коммитов. Документация проекта обновляется синхронно с кодом. 🟠Системные требования к установке: Python 3.10+ и Node.js => 14.15.0.

📌Лицензирование : CC-BY-NC-SA-4.0 License & MIT License 🟡Страница проекта 🟡Документация 🟡Arxiv 🟡Сообщество в Discord 🖥Github [ Stars: 30.2K | Issues: 493 | Forks: 4.4K] @ai_machinelearning_big_data #AI #AgentsWorkflow #MLTool #Microsoft #LLM

Qwen2 joins the multimodal race! 2-VL is a new multimodal LLM and comes in two sizes: 2B for on-device usage and 7B under Apache 2.0! Qwen2 7B VL shows matching performance to GPT-4o mini across different benchmarks! 🧮 Comes in 2 sizes, 2B (2.2B) and 7B (8.3B) using a Vision Encoder 🎥 Can understand videos over 20 minutes for video-based question-answering 🖼️ Qwen2 7B VL around GPT-4o mini performance on VLM Benchmarks 🌍 Multilingual, including most European languages, Japanese, Korean, Arabic, and Vietnamese 📝 Improved OCR and handwritten text extraction 🤗 Available on @huggingface 🔓 Released under Apache 2.0 🔄 Dynamic image resolutions and M-ROPE (Multimodal Rotary Position Embedding) Blog: https://qwenlm.github.io/blog/qwen2-vl/ Models: https://huggingface.co/collections/Qwen/qwen2-vl-66cee7455501d7126940800d @opendatascience

⚡️ CogVideoX: Модель CogVideoX-5B теперь в открытом доступе Tsinghua University (THUDM) выложили в открытый доступ более крупную модель генерации Text-to-Video серии CogVideoX - CogVideoX-5B, которая ранее была доступна только по API. Помимо публикации большей модели, значительно оптимизирована производительность вычислений обеих моделей: CogVideoX-2B и CogVideoX-5B, изменена лицензия у младшей 2B модели на Apache 2.0 License и усовершенствован код в репозитории на Github Теперь вы можете запускать CogVideoX-2B на более ранних GPU, например GTX 1080TI и CogVideoX-5B на современных GPU, таких как RTX 3060. 📌Лицензирование кода : Apache 2.0 License. 📌Лицензирование модели CogVideoX-2B: Apache 2.0 License. 📌Лицензирование модели CogVideoX-5B: CogVideoX License (бесплатно для академических целей, регистрация и получение базовой лицензии - для коммерческой эксплуатации до 1млн. в мес. активных посещений. Свыше 1 млн. в мес. - получение дополнительной лицензии). 🟡Модель 🟡Arxiv 🟡Сообщество в Discord 🟡Demo 🖥Github [ Stars: 5.9K | Issues: 19 | Forks: 543] @ai_machinelearning_big_data #AI #Text2Video #Cogvideo #ML

Подключили новый мощный движок Flux от Blackforest Labs для генерации видео с помощью ИИ! Мы только что выкатили его в общий доступ на неделю, так что заходите и тестируйте 🔥 ⚙️ Flux — это cutting-edge инструмент для генерации фотографии. За счет уникальной архитектуры и интеграции с нашими алгоритмами, мы смогли поднять производительность на новый уровень. Результат? Быстрее, умнее, качественнее. ⚡️ Заходите, тестируйте https://demo.superduperai.co/

А вот и первый IP-Adapter для FLUX.1 [dev] подъехал IP-adapter - это штука, которая позволяет подавать в модель кроме текста еще и референсную картинку. По умолчанию Flux картинку на вход не принимает. Подробнее про устройство IP-Adapter, и как он используется, например, в Midjourney я писал тут. Тут используют openai/clip-vit-large в качестве энкодера изображений и подмешивают эти токены в модифицированный cross-attention. Тренили его на 512x512 в течение 50k шагов и на 1024x1024 в течение 25k шагов. Во время инференса работает и в 512x512 и в 1024x1024. Это только первая версия адаптера, поэтому может быть еще сыровата. Веса на HF Воркфлоу для Comfy UI @ai_newz

🌟 Clapper: Альфа-версия комбайна для визуализации генеративных сценариев. Clapper - это инструмент визуализации историй, разрабатываемый как пет-проект сотрудником Huggingface Julian Bilcke Созданный год назад, Clapper не предназначен для замены традиционных видеоредакторов или AI-редакторов, использующих 3D-сцены в качестве исходного материала. Философия Clapper заключается в том, чтобы каждый мог создавать видео с помощью GenAI-инструментов посредством интерактивного, итеративного и интуитивного процесса, без необходимости использования разных интерфейсов, навыков режиссуры или AI-инженерии. В Clapper вы не редактируете последовательность видео- и аудиофайлов напрямую, а итерируете (с помощью вашего помощника ИИ) свою историю, используя высокоуровневые абстракции, такие как персонажи, места, погода, временной период, стиль и т. д. Конечной целью проекта заявлен полностью режиссерский режим, с которым вы можете просто перевести видео в полноэкранный режим, удобно расположиться в режиссерском кресле (или на диване) и, произнося голосом команды своему AI-ассистенту для создания вашего фильма, насладитесь созданным лично Вами шедевром. ⚠️ Это альфа-версия инструмента, который разрабатывают 3 человека. Не стоит ожидать от этого открытого проекта революционных результатов. Clapper поддерживает интеграцию по API с локальными системами (ComfyUI) и он-лайн сервисами: HuggingFace, Replicate, ComfuICU, FalAI, ModelsLab, OpenAI, Groq, Google, Anthropic, Cohere, MistralAI, StabilityAI, ElevenLabs, KitsAI. Проект написан на TypeScript. Необходимые условия перед установкой: 🟠Git LFS; 🟠Bun; 🟠NVM; 🟢Версия Node - 20.15.1. ▶️Установка и запуск:

# Install the dependencies:
# --include=optional to make 
# sure deps are installed
bun i

# build the app:
npm run build

# Running the web app:
bun run dev
# first time you go to localhost:3000
# Wait around 1 minute, the app will compile

▶️Второй вариант запуска, с Electron (еще в процессе разработки):

cd packages/app
bun run electron:start

# You can also build Clapper:
cd packages/app
bun run electron:make

📌Лицензирование : GPL v3 licenсe. 🟡Сообщество в Discord 🟡Demo 🖥Github [ Stars: 1.5K | Issues: 15 | Forks: 129] @ai_machinelearning_big_data #AI #Storytelling #Clapper #Visialtool

❌ Убираем фон с изображения. BiRefNet — новый инструмент для быстрого удаления фона. Разработчики утверждают, что он на голову лучше конкурентов. Проверить самим можно уже сейчас, бесплатно и без лимитов. • Github • Попробовать #neural #нейросети @aiaiai

📚 Перевод речи в рилтайме. Babelfish — нейросеть на базе OpenAI Whisper, которая быстро и точно распознает речь и переведет её на 200 языков с помощью Meta's NLLB-200. И всё это прямо в браузере. • Попробовать • Github #neural #нейросети @aiaiai

🔥Black Forest Labs: новая лаба, которая будет двигать опенсорс image и видео генерацию! И новая SOTA 12B t2i модель! Ядро команды состоит из авторов Stable Diffusion, которые покинули Stability-ai в марте. Как я и думал, они ушли и создали свою компанию! Парни за эти несколько месяцев обучили text2image модель FLUX.1 на 12 B параметров! Которая на сегодня является SOTA моделью в открытом доступе! По предоставленным бенчам бьет даже MJ6! Кажется, делали FLUX.1 по рецепту SD3, т.к. она имеет очень похожую архитектуру (DiT с двумя стримами - текст и картинка) и также основана на Flow Matching. FLUX.1 вышла в 3 вариантах: 1️⃣ FLUX.1 [pro]: СОТА модель на 12B параметром. Все как надо - хорошая детализация изображений и фледование промпту, разные стили. Доступна только через API: - https://replicate.com/black-forest-labs - https://fal.ai/models/fal-ai/flux-pro (дают даже бесплатно потыкать) 2️⃣FLUX.1 [dev]: Это дистиллированная чезе Guidance Distillation модель FLUX.1 [pro], которая в ~2 раза быстрее оригинала, и выдает почти такое же качество. Демо: - https://fal.ai/models/fal-ai/flux/dev Веса (Non-Commercial License): - https://huggingface.co/black-forest-labs/FLUX.1-dev 3️⃣ FLUX.1 [schnell]: Это быстра версия. По все видимости, это дистиллированная с помощью LADD (пост) модель FLUX.1 [pro], которая работает за малое число шагов (от 1 до 12), но с качеством похуже. Веса (Apache 2.0 License): - https://huggingface.co/black-forest-labs/FLUX.1-schnell Репа с кодом Блогпост Следуюшим шагом парни хотят выпустить SOTA text2video в опенсорс. @ai_newz

🔥Mastering LLMs: Открытый курс по LLM от практиков Я заметил, что очень хорошо разлетелся пост с ноутбуком для файнтюна LLaMa 3.1 в колабе. Поэтому принес вам еще имбовый курс по LLM от практиков для практиков. Он будет актуален для технических специалистов (включая инженеров и DS-ов), которые имеют некоторый опыт работы с LLM, да, я думаю, и для начинающих практиков он тоже хорошо зайдет. Это набор лекций, которые покрывают такие прикладные темы как RAG, файн-тюнинг, промпт-инжиниринг, оценка качества моделей и прочее. Курс уникальный, потому что лекции ведут 25+ разных опытных чуваков из индустрии, которые являются экспертами по соответсвующим темам. Там ребята из Pytorch (Meta), Anthropic, Mistral, Fireworks-ai и других компаний. Курс очень хорошо оформлен. К каждой лекции идут слайды, заметки, дополнительные ресурсы со ссылками и полный транскрипт видео. Минимальные требования, чтобы успешно смотреть курс: - Базовое знакомство с LLM-ками. - Если такого опыт у вас нет, то рекомендуется начать с видео A Hacker’s Guide to LLMs от Джереми Ховарда, а также пройти туториал об Instruction Tuning LlaMa-2. > Ссылка на курс: https://parlance-labs.com/education/ Давайте еще накидаем в комментах другие классные курсы по NLP, которые вы сами смотрели/проходили. #ликбез @ai_newz

⚡️ Встречайте Kolors — диффузионная модель для генерации изображений с упором на фотореализм Kolors — это большая диффузионная модель, опубликованная вчера командой Kuaishou Kolors. Kolors была обучена на миллиардах пар "текст-изображение" и показывает отличные результаты в генерации сложных фотореалистичных изображений. По результатам оценки 50 независимых экспертов, модель Kolors генерирует более реалистчиные и красивые изображения, чем Midjourney-v6, Stable Diffusion 3, DALL-E 3 и другие модели 🟡 Страничка Kolors 🟡 Попробовать 🖥 GitHub @ai_machinelearning_big_data

Демо-версия продукта, уже можно переходить по ссылке и тестить. https://demo.superduperai.co Как это работает? Добавили выбор шаблона: история, стартап, музыкальный клир, образовательное видео, сказки, недвижимость, кастомное видео. Выбираете шаблон, пишите промпт и получаете готовый скрипт с актами и сценами. Если вас не устраивает сценарий, его можно отредактировать прямо на месте. Дальше выбираете длительность готового видео, формат и скорость воспроизведения. Можно загрузить фото и получить героя с вашим лицом. Или фото стиля, и получить видео в этом стиле. Далее запустите процесс генерации видео и получите готовое видео. Пока на этой же странице, поэтому не закрывайте ее. Ждать придется 5-7 минут. 🔗 Попробуйте демо-версию сейчас! Обратную связь не забудьте оставить в комментариях. * Обязательна регистрация на сайте. ** Если хотите сделать несколько видео одновременно, можно просто открыть несколько вкладок, даже в одном браузере и делать нужное количество видео. Go, эксперементировать!