Machinelearning

🌟 DuoAttention: эффективный метод для работы с длинными контекстами в LLM. DuoAttention - метод, который решает проблему LLM при работе с длинными текстами. Эта неэффективность проявляется в большом потреблении памяти и замедлении работы модели. DuoAttention позволяет сократить использование памяти и ускорить обработку длинных текстов без ущерба для точности модели. Он основан на разделении attention heads в LLM на два типа: «Retrieval Heads» и «Streaming Heads»: 🟢 Retrieval Heads - это небольшая часть attention heads, критически важная для обработки длинных контекстов, которым требуется полное внимание ко всем токенам. 🟢 Streaming Heads, напротив, составляют большинство attention heads и фокусируются преимущественно на последних токенах и так называемых "точках притяжения" внимания (attention sinks). DuoAttention использует эту дихотомию, применяя полный KV-кэш только к Retrieval Heads, а для Streaming Heads использует облегченный KV-кэш постоянной длины, который хранит только "точки притяжения" и последние токены. Проведенные эксперименты показывают, что DuoAttention может снижать использование памяти до 2,55 раз для моделей MHA и 1,67 для моделей GQA, а также ускоряет декодирование в 2,18 раз для моделей MHA и 1,50 для моделей GQA. В сочетании с квантованием DuoAttention позволяет модели Llama-3-8B декодировать текст с длиной контекста 3,3 млн. токенов на одном GPU A100, это примерно 6,4-кратное увеличение емкости по сравнению со стандартным развертыванием FP16 с полным вниманием. ▶️ Модели, которые поддерживают инференс с патчем DuoAttention: 🟢Llama-2-7B-32K-Instruct; 🟢Llama-3-8B-Instruct-Gradient-1048k; 🟢Llama-3-8B-Instruct-Gradient-4194k; 🟠Mistral-7B-Instruct-v0.2; 🟠Mistral-7B-Instruct-v0.3; 🟠Meta-Llama-3.1-8B-Instruct. ▶️ Установка окружения для запуска инференса с DuoAttention :

conda create -yn duo_demo python=3.10
conda activate duo_demo

# Install DuoAttention
pip install -e .

conda install -y git
conda install -y nvidia/label/cuda-12.4.0::cuda-toolkit
conda install -y nvidia::cuda-cudart-dev

# Install QServe
git clone git@github.com:mit-han-lab/qserve.git
cd qserve
pip install -e .
pip install ninja packaging
pip install flash-attn==2.4.1 --no-build-isolation
cd kernels
python setup.py install

# Install FlashInfer
pip install flashinfer -i https://flashinfer.ai/whl/cu121/torch2.3/
pip install tensor_parallel

📌Лицензирование: MIT License. 🟡Arxiv 🖥GitHub @ai_machinelearning_big_data #AI #ML #LLM #DuoAttention #LongContext

🌟 PocketPal AI: локальный запуск LLM на IOS и Android. PocketPal AI - проект Ai-ассистента на базе SLM, которые запускаются локально на iOS и Android без необходимости подключения к Интернету: 🟢PocketPal AI для iOS в App Store 🟢PocketPal AI для Android в Google Play Приложения на обеих платформах позволяет выбирать модели, настраивать параметры инференса (системный промпт, температура, шаблоны чата и BOS), следить за показателями производительности в реальном времени и имеют функцию автоматической выгрузки моделей из памяти устройства, когда приложение в фоновом режиме. Список моделей в приложении (загружаются вручную из меню): 🟠H2O Danube 2 and 3; 🟠Microsoft Phi; 🟠Google Gemma 2; 🟠Qwen. Помимо этих моделей, можно загрузить любую модель в формате GGUF через опцию "Add Local Model" в меню моделей приложения на устройстве. В планах проекта расширение списка поддерживаемых моделей, улучшение функций пользовательского интерфейса и поддержка большего количества версий Android/ ⚠️ Требования для локальная разработки проекта PocketPal: 🟢Xcode для iOS или Android Studio; 🟢Node.js версии 18 или выше; 🟢Yarn; 🟢React Native CLI. ▶️ Локальная установка и запуск для самостоятельной разработки :

# Clone repository
git clone https://github.com/a-ghorbani/pocketpal-ai
cd pocketpal-ai

# Install dependencies
yarn install

# Install dependencies iOS only
cd ios
pod install
cd ..

# Run App via iOS Simulator
yarn ios

# Run App via Android Simulator
yarn android

📌Лицензирование: MIT License. 🖥GitHub @ai_machinelearning_big_data #AI #ML #SLM #iOS #Android

🌟 Mochi 1: открытая text-to-video модель генерации видео. Mochi 1 - модель от компании Genmo для генерации видео на новой архитектуре Asymmetric Diffusion Transformer (AsymmDiT). Mochi 1 была обучена с нуля и получила 10 млрд. параметров. Это самая большая генеративная модель видео, когда-либо выпущенная в открытый доступ. Модель способна генерировать видео с разрешением 480p длительностью до 5,4 секунд со скоростью 30 кадров в секунду. AsymmDiT обрабатывает текстовые запросы используя одну языковую модель T5-XXL. Вместе с Mochi 1 Genmo выпустила в открытый доступ свой видеокодер AsymmVAE, который сжимает видео до 128-кратного размера, с пространственным 8x8 и временным 6x сжатием до 12-канального латентного пространства. Genmo планирует выпустить улучшенную вервию - Mochi 1 HD до конца года, которая будет поддерживать разрешение 720p. ⚠️ Для работы модели требуется не менее 4 GPU H100. ⚠️ В некоторых случаях при экстремальном движении могут возникать незначительные деформации и искажения. ⚠️ Mochi оптимизирована для фотореалистичных стилей, поэтому не очень хорошо работает с анимированным контентом. ▶️ Локальная установка и инференс c Gradio UI или в CLI:

# Clone repo
git clone https://github.com/genmoai/models
cd models

# Install using uv
pip install uv
uv venv .venv
source .venv/bin/activate
uv pip install -e .

# Inference with Gradio UI
python3 -m mochi_preview.gradio_ui --model_dir "<path_to_model_directory>"

# Inference with CLI
python3 -m mochi_preview.infer --prompt "%prompt%" --seed 1710977262 --cfg_scale 4.5 --model_dir "<path_to_model_directory>"

📌Лицензирование: Apache 2.0 license. 🟡Страница проекта 🟡Модель 🟡Demo 🖥GitHub @ai_machinelearning_big_data #AI #ML #Text2Video #AsymmDiT #Mochi1

✔️ Релиз библиотеки Transformers.js v3. Hugging Face выпустила Transformers.js v3, с улучшенной поддержкой WebGPU, новых форматов квантования и 120 поддерживаемых архитектур. WebGPU обеспечивает вычисления на GPU непосредственно в браузере, что делает Transformers.js v3 до 100 раз быстрее по сравнению с WASM. Новые форматы квантования позволяют выбирать уровень точности модели: fp32, fp16, q8 и q4. Среди поддерживаемых архитектур - Phi-3, Gemma, LLaVa, Florence-2 и MusicGen. Transformers.js v3 совместима с Node.js, Deno и Bun, а также доступна на NPM - @huggingface/transformers. huggingface.co ✔️ Британский регулятор начал расследование партнерства Alphabet и Anthropic. Британское управление по конкуренции и рынкам (CMA) начало расследование партнерства Alphabet, материнской компании Google, с Anthropic. Alphabet инвестировала 500 миллионов долларов в Anthropic в 2023 году с обещанием дополнительных 1,5 миллиарда долларов в будущем. CMA изучает, не приведет ли партнерство к ограничению конкуренции на рынке. Регулятор должен принять решение о дальнейших действиях к 19 декабря 2024 года. Alphabet и Anthropic пока не прокомментировали ситуацию. cityam.com ✔️ Fujitsu представила динамический распределитель ресурсов для ИИ-серверов и HPC-систем. Fujitsu разработала программное обеспечение, для оптимизации использования GPU -"Сomputing broker". Computing broker способен перераспределять процессы даже во время их работы, отдавая приоритет задачам с более высокой эффективностью выполнения. В ходе предварительного тестирования Fujitsu удалось достичь увеличения производительности обработки GPU до 2,25 раз. Технология также эффективно управляет памятью, обрабатывая рабочие нагрузки ИИ объемом до 150 ГБ, что примерно в пять раз превышает физическую емкость протестированных GPU. Fujitsu планирует расширить возможности технологии для поддержки нескольких GPU, установленных на нескольких серверах. techspot.com ✔️ CEO OpenAI опроверг сообщение о GPT-5 Orion. В статье The Verge утверждалось, что Orion будет ориентирован на корпоративных клиентов и будет доступен через API. В публикации также говорилось о планах Microsoft разместить Orion в Azure уже в ноябре. Сэм Альтман назвал эту информацию "фейковыми новостями", не уточнив, какие именно детали публикации не соответствуют действительности. OpenAI недавно выпустила модели o1 и o1-mini, но их восприятие было сдержанным из-за высокой стоимости эксплуатации и ограниченных возможностей по сравнению с GPT. venturebeat.com ✔️ В Китае построили дорогу длиной 157 километров без участия людей. 10 беспилотных машин распределяли смесь из утрамбованных камней и песка, а затем нанесли битумное связующее для формирования дорожного полотна. Автономные катки выравнивали поверхность и обеспечивали необходимую твердость. Дроны контролировали ход строительства и проводили топографические измерения, гарантируя соблюдение заданных параметров. Несколько сотрудников удаленно контролировали работу техники. Новая технология позволила выполнить укладку дороги за один проход, исключив необходимость в дополнительных работах. Разработчики алгоритмов проекта отмечают, что роботизированная укладка дороги обеспечивает миллиметровую точность и более высокую скорость по сравнению с традиционными методами. Проект является продолжением скоростной автомагистрали Пекин-Гонконг, общая протяженность которой составляет 664 километра. Построенный участок соединяет Пекин с Хэбэем. xatakaon.com @ai_machinelearning_big_data #news #ai #ml

🌟 Aya Expanse: семейство мультиязычных моделей на 32 и 8 млрд. параметров от CohereForAI. Семейство Aya Expanse - это исследовательский релиз моделей с развитыми мультиязычными возможностями. Aya Expanse - результат объединения семейства моделей Command с итогами годичных исследований Cohere For AI в области арбитража данных, обучения многоязычным предпочтениям, безопасности и техник мерджа моделей. Модели обучены для инференса на 23 языках: арабский, китайский (упрощенный и традиционный), чешский, голландский, английский, французский, немецкий, греческий, иврит, хинди, индонезийский, итальянский, японский, корейский, персидский, польский, португальский, румынский, русский, испанский, турецкий, украинский и вьетнамский. Aya Expanse - авторегрессионые языковые модели на оптимизированной архитектуре трансформеров и контекстом в 128 тыс. токенов у 32b и 8 тыс. токенов у 8В: 🟢Aya Expanse 32B 🟢Aya Expanse 8B Квантованные версии в размерностях от 2-bit до 16-bit в формате GGUF: 🟠Aya Expanse 32B-GGUF 🟠Aya Expanse 8B-GGUF Блокноты на Google Collab от сообщества Cohere For AI: 🟢Инференс ассистента по составлению текстов на разных языках; 🟢Инференс для создания кулинарных рецептов с голосовыми возможностями; 🟢Инференс мультиязычной системы QA для неполных представленных спортивных правил по роллер-дерби ; 🟠Код для SFT-файнтюна Aya Expanse 8B для обучения бенгальскому языку. ▶️Пример инференса Aya Expanse 8B на Transformers :

from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "CohereForAI/aya-expanse-8b"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)

# Format the message with the chat template
messages = [{"role": "user", "content": " %prompt% "}]
input_ids = tokenizer.apply_chat_template(messages, tokenize=True, add_generation_prompt=True, return_tensors="pt")
## <BOS_TOKEN><|START_OF_TURN_TOKEN|><|USER_TOKEN|>%prompt%<|END_OF_TURN_TOKEN|><|START_OF_TURN_TOKEN|><|CHATBOT_TOKEN|>

gen_tokens = model.generate(
    input_ids, 
    max_new_tokens=100, 
    do_sample=True, 
    temperature=0.3,
    )

gen_text = tokenizer.decode(gen_tokens[0])
print(gen_text)

📌Лицензирование: CC-BY-NC License. 🟡Коллекция моделей на HF 🟡Набор GGUF 32B 🟡Набор GGUF 8B 🟡Demo @ai_machinelearning_big_data #AI #ML #LLM #CohereForAI #AyaExpanse

Как обучить и интегрировать ML-модель — расскажут спикеры конференции I’ML — MLOps-конференция от JUG Ru Group — организаторов Joker, JPoint, Heisenbug, HolyJS и других крупных конференций. — 8 ноября онлайн — 10 докладов и онлайн-дискуссии Как измерить полезность модели? Какую развернуть инфраструктуру? Нужно ли строить свою ML-платформу? Найдем ответы на эти вопросы вместе. Сравним стеки AMD и Nvidia, поговорим о RecSys и мультимодальности, процессах и политиках ML-разработки. Также будут доклады про обеспечение качества и безопасности моделей. Выступления будут транслироваться в 4K, записи останутся участникам навсегда, а после докладов вы сможете задать вопросы спикерам. Полная программа — на сайте конференции. Билет на I’ML 2024 Autumn можно купить за счет компании — читайте в статье на VC, почему это выгодно не только вам, но и вашему работодателю. При покупке билета за свой счет («Для частных лиц») используйте промокод для скидки 15% — MACHINELEARNING Реклама. ООО «Джуг Ру Груп». ИНН 7801341446

🌟 Pangea: открытая мультиязычная МLLM для 39 языков и инструктивный датасет . PANGEA - это модель с 7.94 млрд. параметров на архитектуре LLaVA-Next и с Qwen2-7B-Instruct в качестве LLM-основы, которая была обученная на инструктивном датасете PANGEAINS. PANGEA предназначена для "преодоления" культурных и языковых барьеров в задачах визуального понимания в задачах мультимодального чата, создания аннотаций к изображениям, понимания контекста культурных особенностей, обработке многоязычных VQA и рассуждений на разные темы. Инструктивный датасет PANGEAINS состоит из 6 млн. мультимодальных инструкций на 39 языках. Перевод инструкций с английского языка на другие выполнялся с помощью Gemini 1.5 Pro. Оценка PANGEA проводилась с использованием набора тестов PANGEABENCH(14 наборов данных на 47 языках) . PANGEA продемонстрировала значительные улучшения в кросс-лингвистическом и кросс-культурном понимании. Репозиторий PANGEA на Github содержит подробные инструкции и скрипты по установке, тонкой настройке, оценке результатов обучения и примеры разметки данных для файнтюна. 📌Лицензирование: Apache 2.0 License. 🟡Страница проекта 🟡Arxiv 🟡Датасет 🟡Demo 🖥Github @ai_machinelearning_big_data #AI #ML #MMLM #Pangea

Что можно создать с помощью Python? Сервис знакомств, чат-бота с ИИ, систему по поиску данных — почти всё что угодно. Именно за универсальность и простоту разработки компании и профессионалы любят Python. Как освоить этот язык программирования, рассказывают на расширенном курсе Нетологии «Python-разработчик». На нём вы: - Освоите все инструменты и технологии, необходимые для работы. - Научитесь разрабатывать веб-приложения и API, работать с базами данных, настраивать сервера и тестировать код. - Добавите в портфолио 22 проекта, поработаете над реальными кейсами и примете участие в хакатоне. Получите скидку по промокоду PRINT(45) После курса вы сможете стать крепким backend-разработчиком и попасть на стажировку в «Самолёт». А если вдруг решите сменить направление, Python станет надёжной базой для аналитики и машинного обучения. Постройте карьеру в IT Реклама. ООО "Нетология". Erid 2VSb5xSXLSC

✔️ Дания запускает суперкомпьютер с суверенным ИИ для решения научных задач. Дания представила свой суперкомпьютер Gefion, созданный в партнерстве с NVIDIA и оснащенный 1528 GPU NVIDIA H100 Tensor Core. Gefion управляется Датским центром инноваций в области искусственного интеллекта (DCAI) и будет использоваться для исследований в области квантовых вычислений, чистой энергии, биотехнологий и других областях, важных для датского общества и всего мира. Gefion, первый в Дании суперкомпьютер с ИИ, основан на NVIDIA DGX SuperPOD и использует сетевые технологии NVIDIA Quantum-2 InfiniBand. blogs.nvidia.com ✔️ Canva запускает свой генератор изображений Dream Lab. Dream Lab, часть пакета инструментов Canva Magic Studio, использует базовую модель Phoenix от Leonardo.Ai. Новый инструмент позволяет создавать изображения в более чем 15 стилях на основе текстовых запросов. Пользователи могут генерировать изображения с несколькими объектами, фотореалистичные портреты, а также использовать существующие изображения в качестве образцов стиля. Dream Lab дополняет существующий генератор изображений Canva, основанный на Stable Diffusion. gadgets360.com ✔️ Cohere представляет Embed 3, MMLM для поиска, объединяющую текст и изображения. Cohere анонсировала Embed 3, новую MMLM, которая объединяет эмбединги текста и изображений в единое латентное пространство, что позволит предприятиям извлекать информацию из огромных массивов данных разной модальности. Embed 3 поддерживает более 100 языков. Модель доступна на платформе Cohere, Amazon SageMaker, а также через отдел продаж Cohere для частного развертывания в любой облачной среде или локально. cohere.com ✔️ Google DeepMind разработала систему водяных знаков SynthID для идентификации текста, созданного ИИ. Google DeepMind представила SynthID-Text, систему водяных знаков для маркировки текста, сгенерированного ИИ, которая позволяет определить его происхождение без ущерба для качества и скорости генерации текста. Система работает путем незаметного для человека изменения некоторых слов в выводе чат-бота, создавая "статистическую подпись", которую может обнаружить детектор SynthID. SynthID-Text уже интегрирована в чат-бот Google Gemini и доступна разработчикам и компаниям в открытом доступе. Система не является панацеей: значительное редактирование текста или его перефразирование другим чат-ботом может скрыть водяной знак. deepmind.google ✔️ Arm отзывает лицензию у Qualcomm. Arm Holdings plc, разрабатывающая архитектуру процессоров Arm, отзывает лицензию у Qualcomm. Qualcomm получила 60-дневное уведомление об отзыве, что дает компаниям два месяца на достижение соглашения. В противном случае Qualcomm будет вынуждена прекратить производство и продажу своих чипов Arm. Qualcomm считает действия Arm необоснованными и антиконкурентными, утверждая, что обладает широкими правами на использование архитектуры. Судебное заседание состоится в декабре. bloomberg.com @ai_machinelearning_big_data #news #ai #ml

🌟 SHORTCUT MODELS: метод обучение диффузионных моделей генерации в 1 шаг. Shortcut models - метод обучения диффузионных моделей, который позволяет генерировать изображения высокого качества за один или несколько шагов. В основе shortcut models - идея обучать сеть с учетом не только текущего уровня шума, но и желаемого размера шага. Это позволяет модели "перепрыгивать" через этапы генерации. Ключевым преимуществом данного подхода является его простота: shortcut models обучаются за один этап, используя одну сеть, в отличие от других методов ускорения выборки, которые полагаются на сложные схемы обучения с несколькими фазами, сетями или точной настройкой шедулера. В процессе обучения shortcut models используются два типа целей loss function: 🟢flow-matching при малом размере шага (d ≈ 0), аналогично стандартным диффузионным моделям. 🟢self-consistency при больших размерах шага (d > 0), где цель формируется путем конкатенации последовательности из двух шагов размером d/2. Совместная оптимизация этих целей дает возможность модели научиться создавать изображения, сохраняя согласованность при любом размере шага, включая генерацию за один шаг. Метод применим к flow-matching и transformer-based типам моделей и RNN/LSTM-сетям. Эксперименты, проведенные с DiT на наборах данных CelebA-HQ и ImageNet-256, подтверждают эффективность метода. Shortcut models превосходят методы "end-to-end" обучения одношаговых генеративных моделей и конкурируют с двухэтапными методами дистилляции. Практическая реализация shortcut models написана на JAX. Для локального запуска следует установить зависимости conda из файлов environment.yml и requirements.txt репозитория. ⚠️ Код поддерживает --model.sharding fsdp для полностью сегментированного параллелизма данных, если обучение проводится на multi-GPU или TPU. ⚠️ Чекпоинты и FID для тестовых датасетов CelebA и Imagenet доступны на Google-диске. ▶️ Пример запуска обучения на DiT-B с датасетом CelebA :

python train.py --model.hidden_size 768 --model.patch_size 2 --model.depth 12 --model.num_heads 12 --model.mlp_ratio 4 
--dataset_name celebahq256 --fid_stats data/celeba256_fidstats_ours.npz --model.cfg_scale 0 --model.class_dropout_prob 1 --model.num_classes 1 --batch_size 64 --max_steps 410_000 --model.train_type shortcut

🟡Страница проекта 🟡Arxiv 🖥GitHub @ai_machinelearning_big_data #AI #ML #ShortcutModels #Training

🚀 Главные анонсы технологической конференции Cloud․ru На конференции GoCloud Tech провайдер представил значительные обновления своей облачной платформы Cloud․ru Evolution! За последние шесть месяцев количество доступных на платформе сервисов для разработчиков выросло в 1,5 раза: 🌐 Запущена новая зона доступности для отказоустойчивых приложений 🐘 Управляемые базы данных PostgreSQL для развертывания кластеров 📦 Container Apps для запуска контейнеров на основе Docker 💻 Аренда выделенных серверов через личный кабинет: Evolution Bare Metal 🖥️ GPU-виртуальные машины в режиме Preview для высокопроизводительных задач 📊 Новый Managed Trino и Managed Metastore для работы с большими объемами данных Cloud․ru продолжают развивать платформу для ваших pet-проектов и бизнес-задач. ➡️ Протестить новые сервисы.

Улучшенная версия BPR В рекомендациях, как известно, бейзлайн побить обычно сложно, и часто старые добрые модели работают гораздо лучше новых, если уделить достаточно внимания деталям. Так вышло и в этом случае. BPR (Bayesian Personalized Ranking) была изобретена еще в 2012 году, и за 12 лет расплодилось куча ее реализаций: в каждой библиотеке своя, у кого-то работают похуже, у кого-то получше. А у ресерчеров из T-Bank AI Research получилось создать новый золотой стандарт – SOTA версию алгоритма. Ребята пересмотрели и доработали все компоненты BPR, и, учитывая влияние каждого из параметров, пересобрали эффективную реализацию. Для этого, кстати, понадобилось более 200 000 GPU-часов и 15 000 экспериментов 😱 В итоге в некоторых случаях она превзошла другие модели почти на 50% по точности (в частности, популярную реализацию из RecBole). Это не все: модель обошла даже хайповую Mult-VAE от Netflix и оказалась точнее на 10%! Работу, кстати, уже презентовали на ACM RecSys в Италии. Подробное описание модели и результаты экспериментов доступны в статье Revisiting BPR: A Replicability Study of a Common Recommender System Baseline. Исходный код и дополнительные материалы можно найти на GitHub.

🔥 Видео от университета Стэнфорда о создании больших языковых моделей! 💡 Это видео — краткий обзор создания модели, подобной ChatGPT, охватывающий как предварительное обучение модели, так и последующее обучение (SFT/RLHF). В видео рассматриваются общие практики сбора данных, алгоритмы и методы оценки модели. 🕞 Продолжительность: 1:44:30 🔗 Ссылка: *клик* @data_analysis_ml

🔥 Видео от университета Стэнфорда о создании больших языковых моделей! 💡 Это видео — краткий обзор создания модели, подобной ChatGPT, охватывающий как предварительное обучение модели, так и последующее обучение (SFT/RLHF). В видео рассматриваются общие практики сбора данных, алгоритмы и методы оценки модели. 🕞 Продолжительность: 1:44:30 🔗 Ссылка: *клик*

📌 Гайд по распределенному обучению. Репозиторий Github облачного хостинг-провайдера Lambda Labs c исчерпывающим руководством по лучшим практикам распределенного обучения, диагностике часто возникающих ошибок, эффективном использовании доступных ресурсов и приемам логгирования в stdout/stderr и wandb. Вопросы, на которые отвечает это руководство: 🟢Как обновить скрипт обучения/файнтюна на одном GPU для работы на нескольких GPU или нескольких нодах? 🟢Как диагностировать зависания/ошибки, возникающие во время обучения? 🟢Моя модель слишком велика для одного GPU - как мне обучить/настроить ее на кластере? 🟢Как запланировать и запустить обучение на кластере? 🟢Как масштабировать гиперпараметры при увеличении числа воркеров? Руководство состоит из последовательных глав, каждая из которых содержит readme и скрипт train_llm.py. В readme содержатся описания глав, а каждый из обучающих скриптов нацелен на обучение каузальной языковой модели. ▶️ Структура: 🟠Один GPU; 🟠Несколько GPU на одной ноде; 🟠Несколько GPU на нескольких нодах; 🟠Запуск заданий; 🟠Шардинг между GPU (deepspeed); 🟠Шардинг между GPU (FSDP); 🟠Обучение 405B модели; 🟠Диагностика ошибок; 🟠Дополнительные темы (детерминизм, эффективность batch-size и LR, Gradient accumulation и др.). ▶️Локальное использование репозитория:

# Clone repo
git clone https://github.com/LambdaLabsML/distributed-training-guide.git

# Create venv
cd distributed-training-guide
python3 -m venv venv
source venv/bin/activate
python -m pip install -U pip
pip install -U setuptools wheel
pip install -r requirements.txt

📌Лицензирование : MIT License. 🖥GitHub @ai_machinelearning_big_data #AI #ML #LLM #Github #Guide

🌟 Яндекс представил YandexGPT 4 🟢 Две версии модели — YandexGPT 4 Pro и YandexGPT 4 Lite — стали доступны через API в Yandex Cloud. Первым сервисом с новым семейством моделей станет Алиса с опцией «Про». 🟢 Специалисты Яндекса рассказали на Хабре про функции модели и их разработку. Например, YandexGPT 4 Pro в 70% случаев отвечает лучше своей прошлой версии. 🟢 Также команда в 4 раза, до 32 тысяч, увеличила количество токенов, которое YandexGPT 4 Pro может обрабатывать в промте. Это позволило модели лучше работать с длинными сложными запросами и анализировать большие объемы данных. 🟡 Хабр @ai_machinelearning_big_data #AI #ML #LLM

⚡️ FatLlama-1.7T Зачем кому-то создавать FatLlama-1.7T? Серьезно, в чем смысл? Однажды вы просыпаетесь и думаете: "Знаете, что нам нужно? Такая огромная модель, чтобы даже облака занервничали". Это все равно что решить построить ракету только для того, чтобы сгонять в супермаркет. Конечно, это впечатляет, но кто будет ее запускать? Скорее всего, не вы, если только ваш ПК не является нелегальным ядерным реактором. И что же она умеет? Может быть, предсказывать ваши электронные письма еще до того, как вы подумаете их написать, или просто станет очень хорошо находить в сети видео с котами, кто ж знает... Вопрос в том, создаем ли мы эти гигантские модели, потому что можем или потому что нам есть что показать Вселенной? FatLlama-1.7T - это не столько ИИ, сколько "подержите мое пиво, я собираюсь запустить эту штуку". И вот она, FatLlama-1.7T, которая займет ВСЕ место на вашем жестком диске. Забудьте о сохранении семейных фотографий или драгоценном архиве книг, которые вы никогда не прочитаете. Вам же не так уж и нужны были эти жалкие 3 ТБ свободного места, правда? Зато теперь у вас есть цифровой гигант. Квантованные версии? Да не вопрос, удачи с запуском, держитесь там. Даже если каким-то чудом вам удастся запустить FatLlama-1.7T, не спешите расслабляться, ведь вы знаете, что будет дальше, верно? FatLlama 3T. К тому времени, когда вы выработаете максимум энергии и превратите свой дом в центр обработки данных, чтобы запустить свежую FatLlama 3T, я перейду к FatLlama 5.8T, для которой, вероятно, потребуется маленькая галактика в качестве источника энергии. Вызов принят? 😁 🟡Модель 🟡Набор GGUF @ai_machinelearning_big_data #AI #ML #LLM

Поговорим про деньги в IT? Приглашаем опытных IT-специалистов пройти небольшой опрос про зарплаты и бенефиты в технологических компаниях. Это займёт не более 7 минут — а ваше мнение поможет одному крупному российскому работодателю делать актуальные оферы. Пройти опрос можно здесь

✔️ Планы Microsoft в области ИИ: доклад Сатьи Наделлы на саммите по ИИ в Лондоне. Стратегия Microsoft в области ИИ включает Copilot, пользовательский интерфейс, который поддерживает новые рабочие процессы и совместную работу, и Copilot Studio, который позволяет создавать ИИ-агентов с помощью инструментов low-code/no-code. Конфиденциальность данных и безопасность ИИ занимают центральное место в видении Microsoft, направленном на создание надежного ИИ, при этом компания разрабатывает возможности для обеспечения доверия к ИИ и развития безопасной экосистемы. geeky-gadgets.com ✔️ Gemini: голосовой помощник от Google сможет звонить и отправлять сообщения с заблокированного телефона. Новая функция расширит возможности Gemini Live, который уже сейчас может отвечать на вопросы с заблокированного телефона. Для активации функции пользователю нужно будет включить соответствующую настройку в меню Gemini на Android. Просмотр ответов с личной информацией будет доступен только после разблокировки устройства.. techradar.com ✔️ Китайский стартап в области ИИ утверждает, что превзошел GPT-4o. 01AI, основанный специалистом по информатике Кай-Фу Ли, запустил новую модель Yi-Lightning, которая, как утверждается, превосходит GPT-4o-2024-05-13 от OpenAI и Claude 3.5 Sonnet от Anthropic в рейтинге LMSYS. Несмотря на успех Yi-Lightning, 01AI переориентируется на корпоративные решения для китайских компаний из-за трудностей с монетизацией потребительских продуктов. 01AI по-прежнему будет поддерживать свои глобальные приложения - PopAI, Monoland и приложение для поиска на основе ИИ BeaGo. Китайские технологические компании получают поддержку от правительства в продолжающейся битве за лидерство в области ИИ с США. Китайское правительство сделало ИИ национальным приоритетом, стремясь стать мировым лидером в этой области к 2030 году. analyticsindiamag.com ✔️ Asana анонсирует AI Studio: no-code конструктор для разработки и развертывания ИИ-агентов рабочих процессов. В отличие от других инструментов ИИ, которые просто синтезируют информацию и генерируют контент, ИИ-агенты Asana работают как участник команды. Они берут на себя рутинную работу, координируют проекты и организуют работу по критическим рабочим процессам - от приема до планирования, выполнения и отчетности. Рабочие процессs на основе ИИ основаны на Asana Work Graph, который фиксирует критический контекст и исторические связи между всей работой внутри организации - кто, какую работу выполняет, к какому сроку, как и почему. Ранний доступ был запущен 22 октября для уровней Enterprise и Enterprise+, а вскоре появятся годовые подписки для Advanced. aithority.com ✔️ Keras Hub: универсальная библиотека для предобученных моделей. Keras Hub – это новая унифицированная библиотека для предобученных моделей, которая объединяет архитектуры NLP и CV, предоставляя разработчикам доступ к набору моделей в рамках единой платформы Keras. Keras Hub упрощает поиск, использование и публикацию моделей, а также поддерживает функции LoRA, квантования и многоузловое обучение для работы с большими наборами данных. Для начала работы с Keras Hub достаточно установить библиотеку с помощью команды pip install --upgrade keras-hub. Keras Hub предоставляет доступ к моделям: Gemma, PaliGemma и Stable Diffusion 3. Также доступны новые функции для разработчиков KerasCV: встроенная предварительная обработка и функции потерь, доступные через keras.losses.<loss_function>. developers.googleblog.com @ai_machinelearning_big_data #news #ai #ml

🌟 Open-Sora-Plan v1.3.0: воссоздание сервиса генерации text-to-video Sora средствами opensource. Проект Open-Sora-Plan предлагает набор инструментов и моделей для генерации видео на основе текстовых запросов и решения сопутствующих задач: восстановление и улучшение качества видео, интерполяция кадров и уточнение текстовых описаний. ▶️ Ключевые особенности версии 1.3.0: 🟢Улучшенный вариационный автоэнкодер WF-VAE Он использует вейвлет-преобразование для разложения видео на поддиапазоны, захватывая информацию в различных частотных областях. 🟢Skiparse (Skip-Sparse) Attention Методика Skiparse организовывает токены-кандидаты для внимания с помощью двух чередующихся методов пропуска и сбора, сокращая количество операций с плавающей запятой. 🟢Новая стратегия очистки данных Cостоит из анализа семантической схожести кадров, ОСR для обнаружения субтитров, оценки эстетики и качества видео, анализа движения и повторной оценкb движения с учетом субтитров. Стратегия позволила сократить датасет Panda70m до 27% от исходного. 🟢Динамическое разрешение и длительность. Open-Sora-Plan v1.3.0 поддерживает динамическое разрешение и длительность видео, обрабатывая отдельные кадры как изображения. ⚠️ Такое масштабное обновление позволило значительно сократить аппаратные требования инференса и генерировать 93 кадра text-to-video в разрешении 480р на 24 GB VRAM. ▶️ Подробные инструкции по установке, обучению и инференсу в режимах CausalVideoVAE, Prompt Refiner, Text-to-Video, Image-to-Video доступны в репозитории проекта. 📌Лицензирование: MIT License. 🟡Модель 🟡Сообщество в Discord 🟡Техотчет 🖥GitHub @ai_machinelearning_big_data #AI #ML #OpenSora #Text2Video #Image2Video