Machinelearning

⚡️ Новостной дайджест ✔️OpenAI запускает SWE-bench-verified для стандартизации оценки языковых моделей в программировании. OpenAI представила SWE-bench-verified — инициативу для стандартизации и улучшения оценки производительности языковых моделей в задачах по программированию. Этот бенчмарк включает тщательно проверенные задания и решения на разных языках программирования. Он обеспечивает объективную и сопоставимую оценку возможностей моделей в области разработки программного обеспечения. SWE-bench-verified способствует более точному анализу и сравнению моделей. openai.com ✔️ Вышла бета-версия Grok-2 Модель демонстрирует показатели на уровне Claude 3.5 и GPT-4. Уже доступна пользователям X Premium. ✔️Sonova выпустила слуховые аппараты с ИИ, который улучшает звук речи в шумных местах. Sonova представила Phonak Audéo Sphere - слуховой аппарат с искусственным интеллектом и двухчиповой технологией, которая обеспечивает 53-кратное улучшение понимания речи в шумной обстановке. Разработанная в течение многих лет платформа решает главную проблему пользователей слуховых аппаратов - разборчивость речи в шуме - с помощью чипа DEEPSONIC с расширенными возможностями DNN. interestingengineering.com ✔️YouTube тестирует функцию, позволяющую авторам использовать Google Gemini для мозгового штурма идей для видео. Платформа тестирует новую функцию, которая позволит создателям контента использовать Google Gemini для мозгового штурма идей для видео. Этот инструмент будет помогать авторам генерировать темы, планы и даже названия для своих видео на основе трендового контента и предпочтений зрителей. Функция станет частью YouTube Studio. Эта инициатива является частью более широкой стратегии Google по улучшению инструментов авторов с использованием генеративного ИИ. techcrunch.com ✔️Intel собирается поставлять графические процессоры для автомобилей. Intel планирует поставлять дискретные графические процессоры в автомобильную индустрию, начиная с модели Arc A760A. Этот GPU предназначен для интеграции в автомобильные информационно-развлекательные системы, обеспечивая возможность "АААА" игрового опыта прямо в автомобиле. Кроме того, Intel развивает свою платформу для обработки и анализа данных в реальном времени в автомобиле, которой необходимы вычислительные ресурсы. engadget.com ✔️Новая инициатива Linux Foundation направлена на продвижение "необратимых" моделей ИИ с открытым исходным кодом. Linux Foundation запускает инициативу Open Model Initiative (OMI) для продвижения «безотзывных» открытых AI моделей. Основная цель OMI — создание и поддержка генеративных AI моделей с открытым исходным кодом, которые будут доступны без ограничений, включая лицензии без условий удаления и без повторяющихся платежей. Инициатива включает разработку стандартов для совместимости моделей, открытых наборов данных для обучения, и создание тестовой модели с альфа-версией. Это движение направлено на развитие этичных и высококачественных AI решений в рамках сообщества разработчиков. siliconangle.com @ai_machinelearning_big_data #news #ai #ml

🌟 EXAONE-3.0-7.8B-Instruct: языковая модель с открытым исходным кодом c 7,8B параметров от LG, EXAONE-3.0-7.8B-Instruct (EXpert AI for EveryONE) основана на архитектуре Transformers, с длиной контекста в 4096 токенов. Модель использует Rotary Position Embeddings (RoPE) и Grouped Query Attention (GQA), имеет 32 слоя и размер словаря в 102 400 токенов. Поддержка английского и корейского языков реализована с помощью специального токенизатора BBPE (byte-level byte-pair encoding), который дает низкое сжатие для корейского языка по сравнению с существующими аналогами. Процесс обучения строился на двухэтапном режиме. Первый этап состоял из обучения на 6 триллионах токенов для накопления общих знаний , а затем на дополнительных 2 триллионах токенов, ориентированных на более высокие языковые навыки и экспертные знания. Для улучшения способности следовать инструкциям была применена постобработка: контролируемая тонкая настройка и оптимизация прямых предпочтений. В реальных сценариях использования EXAONE 3.0 7,8B продемонстрировала высокие результаты в тесте MT-Bench, который коррелирует с оценками в LMSYS Chatbot Arena. Модель показала точность в математических и code задачах, заняв первое место в большинстве проведенных тестов. ▶️Локальный запуск: Рекомендованная версия transformers>=4.41.0

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained(
    "LGAI-EXAONE/EXAONE-3.0-7.8B-Instruct",
    torch_dtype=torch.bfloat16,
    trust_remote_code=True,
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("LGAI-EXAONE/EXAONE-3.0-7.8B-Instruct")

# Choose your prompt
prompt = "Explain who you are"  # English example
prompt = "너의 소원을 말해봐"   # Korean example

messages = [
    {"role": "system", "content": "You are EXAONE model from LG AI Research, a helpful assistant."},
    {"role": "user", "content": prompt}
]
input_ids = tokenizer.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    return_tensors="pt"
)

output = model.generate(
    input_ids.to("cuda"),
    eos_token_id=tokenizer.eos_token_id,
    max_new_tokens=128
)
print(tokenizer.decode(output[0]))

📌Лицензирование : использование разрешено исключительно в некоммерческих целях. Любое коммерческое использование модели требует отдельной лицензии от правообладателя. 🟡Страница проекта 🟡Arxiv 🟡Модель на HF 🟡Demo 🖥Github [ Stars: 123 | Issues: 0 | Forks: 5] @ai_machinelearning_big_data #AI #LLM #ML #EXAONE #LG

В современном мире, где данные – ключевой ресурс, Томский государственный университет (ТГУ) и Skillfactory представляют онлайн-магистратуру по компьютерному зрению и нейронным сетям! Эта программа создана для тех, кто стремится стать экспертом в области искусственного интеллекта и решать сложные инженерные задачи в медицине, экологии и не только. Что вас ждет: - Освоите онлайн Computer Vision и выберите специализацию: AR-технологии, генеративный дизайн, робототехника. - Получите диплом ТГУ и все студенческие льготы. Первый год обучения – от 240 рублей в месяц благодаря господдержке. Программа создана совместно с лидерами отрасли: академический директор – ведущий инженер по машинному обучению в Samokat.tech, а индустриальный партнер – ведущий разработчик IT-решений Rubius, который является лидером в области IT-разработок в России. Для поступления не нужны специализированные знания в машинном обучении или оптике – подготовка включает адаптационные модули по математике и Python. Оставьте заявку сегодня и получите доступ к бесплатным подготовительным курсам и мероприятиям от ТГУ, которые помогут успешно пройти вступительные испытания. Подробности по ссылке ниже – присоединяйтесь к будущему уже сейчас! https://go.skillfactory.ru/oeSR3w Реклама. ООО «Скилфэктори» erid: LjN8Jvhff

⚡️Falcon Mamba: англоязычная языковая модель на архитектуре Mamba. Falcon Mamba - модель от Technology Innovation Institute (TII, Dubai, UAE), основанная на архитектуре Mamba, которая может обрабатывать последовательности произвольной длины без увеличения памяти хранения. Модель была обучена на ~5500GT данных RefinedWeb, качественных технических данных и экземпляров кода на разных языках программирования из открытых источников. Архитектура модели построена на оригинальной Mamba с добавлением дополнительных слоев нормализации RMS. Такая комбинация придает модели возможность обрабатывать последовательности любой длины без необходимости увеличения потребления памяти, вмещаясь, по сути, на одну А10 24 GB. Falcon Mamba доступна в экосистеме Hugging Face и совместима с большинством API Hugging Face. Модель также поддерживает функцию квантование bitsandbytes, для обеспечения возможности запуска модели на небольших GPU и CPU. Коллекция моделей FalconMamba 7B: 🟢falcon-mamba-7b 🟢falcon-mamba-7b-instruct 🟠falcon-mamba-7b-4bit 🟠falcon-mamba-7b-instruct-4bit 📌Лицензирование : TII Falcon-Mamba License 2.0 🟡Страница проекта 🟡Коллекция моделей на HF 🟡Demo @ai_machinelearning_big_data #AI #Falcon #ML #LLM #Mamba

⚡️Forge UI FLUX Support: Крупное обновление популярного UI для Stable Diffusion. Forge — это платформа на базе Stable Diffusion WebUI (Gradio), цель которой - упрощение разработки функций, оптимизация управления ресурсами, ускорения инференса и изучение экспериментальных функций. Автор и основной разработчик Forge - Lvmin Zhang, создатель проектов : ControlNet, LayerDiffuse, IC-Light, OMOST, Style2Paints, Foocus и др. Главное в обновлении: 🟢поддержка квантованных в nf4/fp4/fp8 модели FLUX dev; 🟢адаптация BitsandBytes для диффузии; 🟢ускорение инференса для всех GPU, включая low-memory и серии 20ХХ; 🟢улучшенный UI интерфейс с возможностью переключения между архитектурами (SD\SDXL\FLUX) С обновлением поддерживаются квантованные модели Flux: 🟠flux1-dev-bnb-nf4 - модель в NF4. Рекомендуется для 30XX/40XX серий GPU NVIDIA; 🟠flux1-dev-fp8 - модель в FP8. Рекомендуется для 10XX/20XX серий GPU NVIDIA. Преимущество NF4 по сравнению с FP8 состоит в том, что FP8 просто преобразует каждый тензор в формат FP8, в то время как NF4 преобразует каждый тензор в комбинацию нескольких тензоров с различными форматами, включая float32, float16, uint8 и int4, для достижения максимально возможного приближения. Таким образом, NF4 значительно быстрее, чем FP8. Например, для GPU с 6 ГБ/8 ГБ VRAM ускорение составляет от 1,3x до 2,5x (pytorch 2.4, cuda 12.4) и от 1,3x до 4x (pytorch 2.1, cuda 12.1). Эти тесты проводились автором на 3070 ti (8 ГБ VRAM). FP8 - 8,3 секунды на итерацию; NF4 - 2,15 секунды на итерацию. Так происходит потому, что NF4 использует собственный bnb.matmul_4bit, а не torch.nn.functional.linear: избегаются преобразования типов и вычисления выполняются с помощью множества низкоуровневых операций CUDA. Чтобы ускорить работу модели FLUX, в Forge добавлен выбор параметров. Если устройство с небольшой видеопамятью, высока вероятность столкнуться с проблемой загрузки модели в видеопамять. Решением является разделение модели на две части: одна часть загружается в видеопамять, а другая - в "swap" локацию - CPU или Shared RAM. Установив максимальный размера VRAM для модели и метод swap (Queue или ASYNC), можно достичь теоретического предела скорости работы для устройства. Корректная настройка параметров может ускорить работу модели на 30%, но требует внимательного подхода. ▶️Локальная установка:

# Open command prompt and run
git clone https://github.com/lllyasviel/stable-diffusion-webui-forge.git
webui-user.bat
# Put downloaded models from HF into models/StableDiffusion

📌Лицензирование : AGPL-3.0 license 🟡Модель Flux-dev-NF4 🟡Модель Flux-dev-FP8 🖥Github [ Stars: 5.8K | Issues: 405 | Forks: 580] @ai_machinelearning_big_data #AI #Forge #ML #FLUX

Какие BI-системы внедряют топ-компании после ухода зарубежных решений? К2Тех Data Lab, центр компетенций по управлению большими данными, совместно с Digital Leader, НОРБИТ, Arenadata и Kept провели исследование текущего состояния рынка BI-решений. По данным исследования, крупные компании все еще используют BI-решения ушедших вендоров, но доля внедрений отечественных решений с 2021 г. по первый квартал 2024 г. резко возросла — с 9% до 68%. Команда провела 29 интервью с представителями топ-600 компаний промышленности, ритейла и финтеха. Исследование раскрывает, нуждается ли российский бизнес в зарубежных решениях, какие проблемы возникают при переходе на отечественные BI-системы и какие ожидания у крупных компаний от развития таких систем.  Ознакомиться с исследованием можно по ссылке. Реклама. Рекламодатель АО "К2 Интеграция" Реклама. АО "К2 ИНТЕГРАЦИЯ". ИНН 7701829110.

🌟Parler-TTS: качественный синтез речи по тексту на английском языке. Parler-TTS - это модели текст-в-речь (TTS), способные генерировать качественную, естественно звучащую речь в заданном стиле (пол, тон, тип речи и т. д.). Все датасеты обучения, предварительная обработка, код обучения и веса выпускаются публично, что даст возможность сообществу строить на нашей работе и разрабатывать свои собственные модифицированные модели TTS. Обе модели обучались на 45 тысячах часов англоязычных аудиокниг. Parler-TTS - это авторегрессионная модель, основанная на трансформерах, которая генерирует аудиотокены в причинно-следственном порядке. Код для инференса Parler-TTS оптимизирован для быстрой генерации благодаря совместимости с SDPA и Flash Attention 2. Архитектура Parler-TTS состоит из трех частей: текстовый кодировщик (Flan-T5), декодер и аудиокодек DAC. Текстовый кодировщик преобразует текст в скрытые состояния, декодер генерирует аудиотокены на основе этих состояний, а аудиокодек восстанавливает аудиосигнал из аудиотокенов. Модели: 🟢Parler-TTS Mini - 880 миллионов параметров 🟢Parler-TTS Large - 2,3 миллиарда параметров Характеристиками речи (пол, темп речи, высота тона и реверберация) можно управлять непосредственно через текстовый промпт. Например: 🟠Добавьте промпт "very clear audio" для создания аудио высокого качества, а "very noisy audio" - для высокого уровня фонового шума; 🟠Пунктуация может использоваться для управления просодией генерации - используйте запятые, чтобы добавить небольшие паузы в речь. ▶️Установка и запуск:

# Clone repository and install dependences:
pip install git+https://github.com/huggingface/parler-tts.git

# Inference with random voice
import torch
from parler_tts import ParlerTTSForConditionalGeneration
from transformers import AutoTokenizer
import soundfile as sf

device = "cuda:0" if torch.cuda.is_available() else "cpu"

model = ParlerTTSForConditionalGeneration.from_pretrained("parler-tts/parler-tts-mini-v1").to(device)
tokenizer = AutoTokenizer.from_pretrained("parler-tts/parler-tts-mini-v1")

prompt = "Hey, how are you doing today?"
description = "A female speaker delivers a slightly expressive and animated speech with a moderate speed and pitch. The recording is of very high quality, with the speaker's voice sounding clear and very close up."

input_ids = tokenizer(description, return_tensors="pt").input_ids.to(device)
prompt_input_ids = tokenizer(prompt, return_tensors="pt").input_ids.to(device)

generation = model.generate(input_ids=input_ids, prompt_input_ids=prompt_input_ids)
audio_arr = generation.cpu().numpy().squeeze()
sf.write("parler_tts_out.wav", audio_arr, model.config.sampling_rate)y

📌Лицензирование : Apache-2.0 license 🟡Модель Parler-TTS Mini 🟡Модель Parler-TTS Large 🟡Arxiv 🟡Demo Video 🟡Google Collab (файнтюн) 🟡Demo 🖥Github [ Stars: 3.4K | Issues: 49 | Forks: 338] @ai_machinelearning_big_data #AI #Parler #ML #TTS

🌟SALSA: Стабильная адаптация линейного поиска Armijo. SALSA (Stable Armijo Line Search Adaptation) — метод, разработанный для оптимизации Learning Rate (LR) во время обучения. Основная концепция метода построена вокруг выполнения линейного поиска для определения наилучшего возможного LR для каждого шага обучения, что дает быструю сходимость и улучшенное обобщение. Чтобы уменьшить вычислительную нагрузку, Salsa предлагает пошаговый миниатюрный линейный поиск. В нем LR постепенно увеличивается с каждым шагом, а критерий линейного поиска постоянно переоценивается. Дополнительно, Salsa включает экспоненциальное сглаживание в процесс линейного поиска и устанавливает два экспоненциальных скользящих средних для скорости обучения. Это помогает стабилизировать оптимизацию и уменьшить нестабильность от мини-пакетирования. Экспериментальные результаты показывают, что Salsa превосходит другие методы оптимизации: 50% сокращение final loss и 1,25 average rank в языковых и графических задачах. Вычислительные издержки Salsa всего на 3% выше, чем у базового LR метода, что можно воспринимать как незначительным увеличением, учитывая показатели производительности. Salsa достаточно универсален, чтобы использоваться с различными оптимизаторами, и особенно эффективен при обучении современных архитектур, которые чувствительны к скорости обучения. ▶️Локальный запуск:

# Clone repository:
git clone https://github.com/TheMody/No-learning-rates-needed-Introducing-SALSA-Stable-Armijo-Line-Search-Adaptation.git

# Create & activate env:
conda env create -f environment.yml
conda activate sls3

# Install dependencies:
pip install pytorch numpy transformers datasets tensorflow-datasets wandb

# NOTE: custom optimizer is in \salsa\SaLSA.py,comparison version are in \salsa\adam_sls.py:
from salsa.SaLSA import SaLSA
self.optimizer = SaLSA(model.parameters())

# NOTE: typical pytorch forward pass needs to be changed to:
def closure(backwards = False):
    y_pred = model(x)
    loss = criterion(y_pred, y)
    if backwards: loss.backward()
    return loss
optimizer.zero_grad()
loss = optimizer.step(closure = closure)

📌Лицензирование :  MIT License 🟡Arxiv 🟡Датасет Cifar-10 🟡Youtube video 🖥Github [ Stars: 11 | Issues: 0 | Forks: 0] @ai_machinelearning_big_data #AI #LLM #ML #Train #SALSA

🌟Qwen2-Audio: Общайтесь с LLM помощью голоса. Qwen2-Audio - аудио-языковых модель, которая способна принимать аудио и текст на вход и генерировать текст на выходе. Предусмотрено два режима взаимодействия: 🟠голосовой чат: пользователи могут использовать голос для передачи инструкций модели без без ввода текста; 🟠аудио-анализ: пользователи могут предоставлять аудиоинформацию (включая речь, звук, музыку) и текстовые инструкции для анализа. Обе опубликованные модели поддерживают 8 языков и диалектов: китайский, английский, кантонский, французский, итальянский, испанский, немецкий и японский: 🟢Qwen2-Audio-7B 🟢Qwen2-Audio-7B-Instruct Инференс на transformers в cli возможен в нескольких режимах: 🟠простой инференс модели Qwen2-Audio; 🟠пакетный инференс (например, несколько текстовых запросов к аудиофайлу); 🟠инференс анализа аудио (в этом режиме доступны и текстовые и аудио-инструкции); 🟠инференс голосового чата. ▶️Локальный запуск с GradioUI:

# Ensure you have latest Hugging face transformers
pip install git+https://github.com/huggingface/transformers

# to build a web UI demoinstall the following packages
pip install -r requirements_web_demo.txt

# run Gradio web UI
python demo/web_demo_audio.py

📌Лицензирование : Apache 2.0 🟡Страница проекта 🟡Коллекция моделей на HF 🟡Arxiv 🟡Сообщество в Discord 🟡Demo 🖥Github [ Stars: 618 | Issues: 7 | Forks: 17] @ai_machinelearning_big_data #AI #LLM #ML #Qwen2

⚡️ FLUX: Поддержка моделей FLUX в наборах скриптов для трейна ХlabsAI и SimpleTuner. ХlabsAI и SimpleTuner опубликовали обновления в своих наборах скриптов, добавив поддержку модели FLUX. ▶️В ХlabsAI доступна тренировка LoRA и ControlNet на Deepspeed: LoRA for FLUX dev

accelerate launch train_flux_lora_deepspeed.py --config "train_configs/test_lora.yaml"

ControlNet for FLUX dev

accelerate launch train_flux_deepspeed_controlnet.py --config "train_configs/test_canny_controlnet.yaml"

В ближайших планах публикация весов ControlNet для FLUX: 🟢OpenPose 🟢Depth 🟢IP-Adapters *️⃣RealismLoRA *️⃣ Canny ControlNet для FLUX *️⃣Воркфлоу с поддержкой LoRA для ComfyUI *️⃣Попробовать LoRA онлайн ▶️SimpleTuner также добавил в пакет скриптов поддержку LoRA for FLUX и скрипт обучения для квантованных моделей FLUX int8, int4, int2, fp8. Рекомендации по ресурсам для LoRA: 🟠Rank-16 LoRA использует чуть больше 40 ГБ VRAM; 🟠GPU AMD и Apple не подходят для обучения Flux. Наблюдения, сделанные автором SimpleTuner в ходе экспериментов: 🟠Для обучение под Schnell нужно больше времени для тренировки, результаты пока не очень; 🟠LoRA, обученная на dev отлично работает и на Schnell; 🟠Мердж 50/50 моделей dev и Schnell работает, на этом мердже можно тренировать LoRA`s; 🟠Квантованные версии FLUX позволяют использовать оптимизаторы - Prodigy, Adafactor, Dadaptation, AdamW, и AdamW8Bit; 🟠Квантование fp8 выполняется медленнее, чем int8, и может иметь худший результат из-за использования e4m3fn в Quanto; 🟠Плохое качество датасета, слишком высокий LR, неправильный выбор оптимизатора, низкое значение Network при большом датасете, использование нестандартных размеров изображений в датасете - этот все приводит к чудовищным артефактам "квадратной решетки" в результате. 🖥Github ХlabsAI [ Stars: 266 | Issues: 9 | Forks: 12] 🖥Github SimpleTuner [ Stars: 885K | Issues: 13 | Forks: 61] @ai_machinelearning_big_data #AI #FLUX #ML #Train #LoRA

Новостной дайджест ✔️Hugging Face приобретает стартап, чтобы разместить еще больше моделей. Hugging Face приобрела XetHub, платформу для совместной работы над моделями машинного обучения. Цель приобретения - облегчение размещения сотен миллионов моделей. Компания XetHub, основанная бывшими сотрудниками Apple, разработала технологии, которые позволяют масштабировать Git до репозиториев размером в терабайт. О сделке объявил соучредитель Hugging Face Жюльен Шомон, который выразил энтузиазм по поводу приобретения и его потенциального влияния на сообщество разработчиков. forbes.com ✔️Рынок серверов для ИИ достигнет 187 миллиардов долларов в 2024 году. Основными факторами роста являются растущий спрос со стороны крупных облачных провайдеров и улучшение производственных возможностей TSMC, SK hynix, Samsung и Micron. Их усилия помогли сократить дефицит и сократить сроки поставки для флагманского решения NVIDIA H100. Сейчас NVIDIA занимает почти 90% рынка серверов с GPU. Ожидается, что поставки AI серверов вырастут на 41,5% в год в 2024 году и доля AI-серверов составит около 65% от общей стоимости серверного рынка. geeky-gadgets.com ✔️Qwen2-Math занимает первое место по количеству математических моделей. Alibaba Cloud объявила о том, что ее новая модель Qwen2-Math заняла первое место среди математических LLM.  Qwen2-Math предназначен для решения сложных математических задач и обошел в проведенных тестах GPT-4o от OpenAI и Math-Gemini от Google. Qwen2-Math-72B-Instruct набрал 84 % баллов в тесте MATH Benchmark, включающем 12 500 сложных математических задач, справился с контрольными заданиями по математике в начальной школе (96,7 %) и на уровне колледжа (47,8 %). Qwen2-Math выпускается в нескольких наборах параметров - 0,5B, 1,5B, 7B, 14B и 72B. venturebeat.com ✔️AMD выпустила ROCm 6.2; добавлена поддержка FP8 и расширены возможности обучения и инференса для ИИ. Благодаря поддержке FP8, ROCm теперь может эффективно обрабатывать вычисления, потребляя меньше памяти и быстрее обучать модели. В дополнение к поддержке FP8, ROCm 6.2 получил оптимизацию производительности, специально разработанную для рабочих нагрузок ИИ. Обновление также расширяет поддержку более широкого спектра фреймворков машинного обучения, упрощая процесс интеграции и оптимизации моделей ИИ на платформе AMD. community.amd.com ✔️Команда китайских ученых создала первый в мире чипсет для AI, работающий исключительно за счет энергии света. Предыдущее поколение чипов Taichi-I в апреле 2024 года превзошло по энергоэффективности GPU H100 от Nvidia более чем в тысячу раз. Taichi-II, чья модернизация является большим шагом для оптических вычислений, может стать ключевым фактором перехода из теоретической стадии в масштабные экспериментальные применения, а также удовлетворить растущий спрос на вычислительную мощность с низким энергопотреблением. scmp.com

⚡️ ml_mdm: Набор диффузионных моделей Matryoshka от Apple. Matryoshka (MDM) - сквозная структура для синтеза изображений и видео высокого разрешения. Вместо обучения отдельных моделей использован многомасштабный процесс совместной диффузии, в котором модели меньшего масштаба вложены в модели большего масштаба. Такая структура вложенности не только облегчает обмен свойствами между масштабами, но и обеспечивает постепенный рост обучаемой архитектуры. ml_mdm - Python-фреймворк для синтеза изображений и видео c с помощью набора pre-trained моделей Matryoshka. Codebase фреймворка: 🟠ml_mdm.models - реализация core-модели; 🟠ml_mdm.diffusion - диффузионный пайплайн; 🟠ml_mdm.config - подключение конфигурационных классов данных к моделям, конвейерам с помощью simple parsing (надстройка к argparse); 🟠ml_mdm.clis - все инструменты cli проекта. Для тестирования инференса, оценки на датасете CC12M и обучении на собственных наборах изображений представлены 3 pre-trained модели, построенные на архитектурах U-Net и Nested U-Nets, обученные на 50 млн. пар "текст-изображение" с Flickr: 🟢vis_model_64x64; 🟢vis_model_256x256; 🟢vis_model_1024x1024. ▶️Локальный запуск: Зависимости для установки по умолчанию в файле pyproject.toml выбраны таким образом, чтобы можно было установить библиотеку даже на CPU-only систему.

#  Running Test Cases:
> pytest   # will run all test cases - including ones that require a gpu
> pytest  -m "not gpu"  # run test cases that can work with just cpu

# Download the models:
curl https://docs-assets.developer.apple.com/ml-research/models/mdm/flickr64/vis_model.pth --output vis_model_64x64.pth
curl https://docs-assets.developer.apple.com/ml-research/models/mdm/flickr256/vis_model.pth --output vis_model_256x256.pth
curl https://docs-assets.developer.apple.com/ml-research/models/mdm/flickr1024/vis_model.pth --output vis_model_1024x1024.pth

# Launch Web Demo:
torchrun --standalone --nproc_per_node=1  ml_mdm/clis/generate_sample.py --port 19999

⚠️ В Issues репозитория есть обращение о некорректной команде запуска Web Demo. Следите за обновлением тикета и коммитами. 📌Лицензирование :  Apple Inc. 🟡Arxiv 🟡Arxiv 🖥Github [ Stars: 11 | Issues: 0 | Forks: 0] @ai_machinelearning_big_data #AI #Diffusion #ML #Text2Image #Apple

#вакансия #remote #ml #cv #job Lead Machine Learning Engineer (Computer Vision) в Gradient от 1 000 000 ₽ Удаленная работа приветствуется! Мы в Gradient ищем талантливого и опытного ML инженера для создания новых передовых технологий и улучшения текущих пайплайнов обработки фото и видео для приложений Gradient и Persona. Gradient - мобильное приложение для редактирования фото и видео - Самое скачиваемое приложение в мире за месяц в 2019, 2020 годах - Best of 2019 среди приложений по версии Apple Persona - передовой бьюти фото и видео редактор с инновационными технологиями обработки селфи Совокупно наша аудитория составляет больше 100 миллионов пользователей Ваши задачи - Исследовать, разрабатывать и внедрять state-of-the-art технологии в области обработки изображений и видео - Совершенствовать текущие технологии и пайплайны - Следить за новейшими исследованиями и публикациями в ML и computer vision - Оптимизировать модели для работы на сервере и мобильных устройствах - Работать с большим объемом данных в датасетах, совершенствовать подходы по их получению и обработке Требования - Высшее образование в сфере computer science в ведущем технологическом вузе - Опыт работы на senior позиции в топовых фото/видео редакторах, computer vision стартапах или бигтехе от 3 лет - Глубокое понимание текущих SOTA подходов в computer vision и ML (GAN, diffusion, transformers и тд) - Опыт деплоя production-ready моделей на большие аудитории - Идеальное знание Python, Pytorch - Знание основных инструментов и библиотек для обработки изображений и видео (OpenCV, Scikit-Image, FFmpeg и тд) - Обладание отличным математическим бэкграундом - линейная алгебра, теория вероятностей, мат. анализ Будет плюсом: - У вас есть PhD или вы в процессе получения - У вас есть опубликованные статьи или github-репозитории, в которых вы внесли вклад в развитие отрасли - Участие в ведущих конференциях и семинарах по computer vision (CVPR, ICCV, ECCV) Контакт: @axcher

Новостной дайджест ✔️Jimeng AI: сервис от ByteDance для генерации видео запущен на матрикового Китае. ByteDance запустила сервис для генерации видео на основе искусственного интеллекта под названием Jimeng AI, намереваясь конкурировать с Sora от OpenAI и аналогичными продуктами . Разработанное Faceu Technology, которая является частью бизнеса ByteDance Jianying, известного по приложению CapCut, Jimeng AI доступно в Apple App Store для китайских пользователей. Программное обеспечение позволяет пользователям создавать видео и изображения на основе текстовых подсказок. Jimeng AI предлагает планы подписки, начинающиеся от 69 юаней в месяц (примерно 10 USD). О планах вывода сервиса на международный рынок сведений нет. news18.com ✔️LG представляет первую в Южной Корее AI-модель с открытым исходным кодом. LG AI Research представила Exaone 3.0, LLM третьего поколения этой серии. Exaone 3.0 достигла высших мировых рейтингов в бенчмарках реальных сценариев использования, кодированию и математике, превзойдя Llama 3.1 от Meta и Gemma 2 от Google. Модель двуязычна, способна понимать как корейский, так и английский языки и обучена на более чем 60 миллионах параметрах из различных специализированных областей. LG AI Research планирует расширить это до более чем 100 миллионов параметров концу 2024 года. Облегченная версия Exaone 3.0 выпускается как модель с открытым исходным кодом для поддержки исследований и разработок в экосистеме искусственного интеллекта. LG также планирует интегрировать Exaone 3.0 в свои продукты и услуги и изучает возможности глобального партнерства для расширения его применения в реальных отраслях. asianews.network ✔️Mistral AI запустила файнтюн моделей, раннюю версию Agents и SDK для разработки приложений генеративного ИИ. Файнтюн моделей Mistral Large 2 и Codestral (base prompting, few-shot prompting, обучение на своих датасетах) добавлен в платформе La Plateforme. Альфа-версия «Агентов» позволяют создавать роли и рабочие процессы с помощью простых инструкций и примеров для использования в Le Chat или через API. SDK MistralAi 1.0, поддерживает Python и Typescript. Все новинки Mistal доступны только пользователям с платной подпиской в интерфейсе La Plateforme на сайте Mistral. mistral.ai

⚡️Qwen выпустили Qwen2-Math, размером 1.5B, 7B и 72B, превосходящие GPT4o, Claude 3.5 на AIME 24/ AMC 23. 🔥 > 84 (72B), 75 (7B), 69,4 (1,5B) баллов на MATH > > 72B SoTA на MMLU STEM > Лицензия Apache 2.0 для версии 1.5B и 7B, 72B выпущена под лицензией Qianwen > Основана на той же архитектуре, что и Qwen 2 > Интеграция с Transformers! 🤗 ▪Hf ▪Github ▪Tech report ▪Scope @ai_machinelearning_big_data #opensource #Qwen #math

🌟BRAG: Серия Instruct-RAG LLM. BRAG - это серия специализированных языковых моделей, обученных для RAG-задач с текстом, таблицами и в режиме чата. Все модели ориентированы в основном на английский язык, но модели на базе Llama-3.1-8B и Qwen2-1.5b имеют наследованную поддержку мультиязычности. В качестве базовых моделей использованы Qwen2-1.5B, Qwen2-7B-Instruct, Llama-3.1-8B-Instruct и Llama-3-8B-Instruct. Список моделей: 🟢BRAG-Qwen2-7b-v0.1 Instruct | 7B | 128K 🟢BRAG-Llama-3.1-8b-v0.1 Instruct | 8B | 128K 🟢BRAG-Llama-3-8b-v0.1 Instruct | 8B | 8K 🟢BRAG-Qwen2-1.5b-v0.1 Instruct | 1.5B | 32K ▶️Формат промта:

messages = [
    {"role": "system", "content": "You are an assistant who gives helpful, detailed, and polite answers to the user's questions based on the context with appropriate reasoning as required. Indicate when the answer cannot be found in the context."},
    {"role": "user", "content": """Context: <CONTEXT INFORMATION> \n\n <USER QUERY>"""},
]

📌Лицензирование :  Apache-2.0 🟡Страница проекта 🟡Коллекция моделей на HF @ai_machinelearning_big_data #AI #LLM #ML #BRAG #RAG

🖥 Полезные заметки по устранению неполадок в AMD MI300X и других подобных устройствах https://github.com/stas00/ml-engineering/blob/master/compute/accelerator/amd/debug.md А здесь большое руководству по устранению различных неполадок для NVIDIA https://github.com/stas00/ml-engineering/blob/master/compute/accelerator/nvidia/debug.md

Хочешь работать с масштабными цифровыми продуктами? Учись обрабатывать большие данные   MLOps — все более популярный среди компаний способ повышения производительности и создания надежных моделей корпоративного уровня.  ✅ Владение инструментами MLOps открывает новые карьерные горизонты специалистам ML, Data Scientist’ам и Software инженерам.  👉 Вырвись из однотипных задач на ML. Освой продвинутые подходы. Ответьте на 10 вопросов и проверьте, насколько вы готовы к обучению на курсе «MLOps» от OTUS по специальной цене.   Пройти тестирование и узнать подробности:  https://otus.pw/BALs/?erid=LjN8KUECG

⚡️ Mini CPM-V: Семейство MLM для работы с изображениями и видео, в том числе на портативных устройствах. MiniCPM-V новое семейство MLLM. Набор состоит из 3 моделей и их квантованных версий в int4 и GGUF:  MiniCPM-V 2.6: самая производительная модель в серии MiniCPM-V, построена на основе SigLip-400M и Qwen2-7B и имеет 8 миллиардов параметров.  Эта модель улучшена новыми возможностями для понимания нескольких изображений и видео и поддерживает работу в режиме реального времени на сторонних устройствах, таких как iPad.  🟠MiniCPM-V 2.6 (16.2 Gb) 🟠MiniCPM-V 2.6 Int4 (5.95GB) 🟠MiniCPM-V 2.6 GGUFs в 4-bit (4.68GB) и 16-bit (15.2GB) MiniCPM-Llama3-V-2_5:  построена на основе SigLip-400M и Llama3-8B-Instruct и имеет 8 миллиардов параметров.  Модель ориентирована на задачи OCR, производительность, надежность и поддерживает 30 языков. Она способна работать на устройствах с ограниченными ресурсами, например, на смартфоне. 🟠MiniCPM-Llama3-V 2.5 (~17GB) 🟠MiniCPM-Llama3-V 2.5 Int4 (6.16GB) 🟠MiniCPM-Llama3-V 2.5 GGUF от 2-bit до 16-bit (от 3.18Gb до 16.1 соответственно) MiniCPM-V 2: самая легкая модель в серии MiniCPM-V с 2 миллиардами параметров. Она обрабатывает изображения с любым соотношением сторон и разрешением до 1,8 Mpx, например, 1344x1344. 🟠MiniCPM-V 2 ▶️Локальный запуск c GradioUI:

# Clone this repository and navigate to the source folder:
git clone https://github.com/OpenBMB/MiniCPM-V.git
cd MiniCPM-V

# Create conda environment:
conda create -n MiniCPM-V python=3.10 -y
conda activate MiniCPM-V

#Install dependencies.
pip install -r requirements.txt

## For NVIDIA GPUs, run::
python web_demo_2.6.py --device cuda

📌Лицензирование: 🟢код - Apache-2.0; 🟠модели - свободно для любых академических исследований. Коммерция - соблюдение этого соглашения. 🟡Tech Report MiniCPM-Llama3-V 2.5 🟡Коллекция моделей на HF 🟡Demo MiniCPM-V 2.6 🟡Demo MiniCPM-Llama3-V 2.5 🟡Demo MiniCPM-V 2 🖥Github [ Stars: 8.3K | Issues: 27 | Forks: 583] @ai_machinelearning_big_data #AI #MLLM #ML #MiniCPM #MobileVLM

AI помогает бизнесу анализировать большие объемы данных, чтобы принимать обоснованные решения и повышать эффективность процессов. ➡️Сервисы речевой аналитики позволяют распознавать и глубоко анализировать голосовые и текстовые диалоги с помощью технологий машинного обучения и искусственного интеллекта. ✔️22 августа в 11.00 МСК MWS проведет вебинар о сервисе речевой аналитики, который они развернули в своем облаке совместно с UKTECH LAB. ↘️ На вебинаре вы узнаете, как MWS внедрили сервис речевой аналитики для сети клиник «Кремлёвская стоматология». В эфире расскажут: 🔴Что компании уже сегодня получают с помощью речевой аналитики в облаке. 🔴Как AI в облаке помог компании: - на 20% увеличить конверсию из обращений в запись, - на 14% снизить время на постобработку звонков. 🔴Какие облачные решения обеспечивают надёжное хранение и безопасную обработку персональных данных. Приходите на вебинар и задавайте свои вопросы - за лучший вопрос в чате трансляции - будет подарок :) Реклама. Информация о рекламодателе.