Machinelearning

🌟 OLMo 2: Новое поколение полностью открытых языковых моделей. OLMo 2 - серия открытых языковых моделей, созданная для развития науки о языковых моделях . Модели OLMo 2 доступны в вариантах 7B и 13B параметров и обучены на массиве данных объемом 5 трлн. токенов. Они демонстрируют производительность, сопоставимую или превосходящую аналогичные по размеру полностью открытые модели на английских академических тестах. Разработчики OLMo 2 уделили особое внимание стабильности обучения, используя методы RMSNorm, QK-Norm, Z-loss регуляризация и улучшенная инициализация. Обучение проводилось в 2 этапа. На первом этапе модели обучались на датасете OLMo-Mix-1124 (3,9 трлн. токенов). На втором этапе использовался специально подобранный набор данных Dolmino-Mix-1124 (843 млрд. токенов), состоящий из веб-данных, материалов из академических источников, форумов вопросов и ответов, инструкций и математических задачников. Для объединения моделей, обученных на разных подмножествах данных, применялся метод "model souping". Для оценки OLMo 2 была разработана система OLMES (Open Language Modeling Evaluation System) из 20 тестов для измерения способностей модели. OLMo 2 превзошел предыдущую версию OLMo 0424 по всем задачам и показал высокую эффективность по сравнению с другими открытыми моделями. ▶️Набор моделей OLMo 2: 🟢Базовые модели: OLMo-2-1124-7B и OLMo-2-1124-13B 🟠GGUF-версии: OLMo-2-1124-7B-GGUF и OLMo-2-1124-13B-GGUF 🟢Инструктивные версии: OLMo-2-1124-7B-Instruct и OLMo-2-1124-13B-Instruct 🟠DPO-версии: OLMo-2-1124-7B-DPO и OLMo-2-1124-13B-DPO 🟠SFT-версии: OLMo-2-1124-7B-SFT и OLMo-2-1124-13B-SFT 🟠Reward Model - версия OLMo-2-1124-7B-RM ▶️Пример инференса OLMo-2-7B c HF Transformers:

from transformers import AutoModelForCausalLM, AutoTokenizer
olmo = AutoModelForCausalLM.from_pretrained("allenai/OLMo-2-1124-7B")
tokenizer = AutoTokenizer.from_pretrained("allenai/OLMo-2-1124-7B")
message = ["Language modeling is "]
inputs = tokenizer(message, return_tensors='pt', return_token_type_ids=False)
# optional verifying cuda
# inputs = {k: v.to('cuda') for k,v in inputs.items()}
# olmo = olmo.to('cuda')
response = olmo.generate(**inputs, max_new_tokens=100, do_sample=True, top_k=50, top_p=0.95)
print(tokenizer.batch_decode(response, skip_special_tokens=True)[0])

📌Лицензирование: Apache 2.0 License. 🟡Страница проекта 🟡Набор моделей 🟡Demo 🖥GitHub @ai_machinelearning_big_data #AI #ML #LLM #OLMo2

Ищем DL-разработчика в Точку. Мы — финтех-компания, создаём онлайн-банк и более 60 сервисов для предпринимателей, которые делают их жизнь проще. 📍До 450 000 ₽, удалёнка по всему миру Из крутого в Точке — свобода действовать. Никто не будет навязывать методы, трекать время и контролировать каждое действие. Если у тебя есть идеи, что можно улучшить — ты будешь услышан и сможешь влиять на процессы и стек. Работать предстоит в команде RnD, которая занимается экспериментальными ML-проектами. Будешь следить за новыми методами, моделями и инструментами в ML, разворачивать и адаптировать их для задач разных команд Точки. Больше о задачах и требованиях на сайте.

🌟 SmolVLM: набор компактных VLM от HuggingFace - Base, Synthetic и Instruct. SmolVLM - серия компактных VLM с 2 млрд. параметров, отличающихся высокой эффективностью использования памяти и могут быть развернуты на локальных устройствах с ограниченными ресурсами. Архитектура SmolVLM основана на Idefics3, с несколькими отличиями: 🟢В качестве языковой основы используется SmolLM2 1.7B вместо Llama 3.1 8B; 🟢Визуальная информация сжимается в 9 раз с помощью стратегии pixel shuffle, по сравнению с 4-кратным сжатием в Idefics3; 🟢Используются патчи размером 384x384 пикселей, а не 364x364; 🟢Визуальная основа модели изменена на shape-optimized SigLIP с патчами 384x384 пикселей и внутренними патчами 14x14; 🟢Контекстное окно SmolLM2 было расширено до 16 тыс. токенов для поддержки работы с несколькими изображениями. Модель кодирует каждый патч изображения 384x384 в 81 токен, что позволяет ей обрабатывать тестовые запросы и изображения с использованием всего 1.2 тыс. токенов, в то время как Qwen2-VL использует 16 тыс. токенов. Это преимущество приводит к значительно более высокой скорости предварительной обработки (в 3,3-4,5 раза) и генерации (в 7,5-16 раз) по сравнению с Qwen2-VL. Для самостоятельной тонкой настройки SmolVLM можно использовать transformers и TRL. Разработчиками представлен блокнот для файнтюна на VQAv2 с использованием LoRA, QLoRA или полной тонкой настройки. SmolVLM интегрирован с TRL для DPO через CLI. ⚠️ При batch sizes=4 и 8-битной загрузке QLoRA файнтюн потребляет около ~16 GB VRAM 📌Лицензирование:  Apache 2.0 🟡Статья на HF 🟡Набор моделей 🟡Demo @ai_machinelearning_big_data #AI #ML #SmallVLM #Huggingface

🌟 INTELLECT-1: релиз первой модели децентрализованного обучения. PRIME Intellect опубликовала INTELLECT-1 (Instruct + Base), первую языковую модель с 10 млрд. параметров, совместно обученную за 50 суток 30 участниками эксперимента по всему миру. PRIME Intellect использовала собственную платформу PRIME, разработанную для решения главных проблем децентрализованного обучения: ненадежность сети и динамическое управление вычислительными узлами. Платформа использовала сеть из 112 GPU H100 на 3 континентах и ​​достигла коэффициента использования вычислений в 96% при оптимальных условиях. Корпус обучения составлял на 1 трлн. токенов публичных датасетов с процентным соотношением: 55% fineweb-edu, 10% fineweb, 20% Stack V1, 10% dclm-baseline, 5% open-web-math. ▶️Технические характеристики: 🟢Parameters: 10B; 🟢Layers: 42; 🟢Attention Heads: 32; 🟢Hidden Size: 4096; 🟢Context Length: 8192; 🟢Vocabulary Size: 128256. INTELLECT-1 достигла точности 37,5% на тесте MMLU и 72,26% на HellaSwag и превзошла несколько других моделей с открытым исходным кодом в WinoGrande с результатом 65,82%. Хотя эти показатели немного отстают от современных популярных моделей, результаты эксперимента - важнейший шаг к демократизации разработки ИИ и предотвращению консолидации возможностей ИИ в рамках нескольких организаций. ▶️Квантованные в GGUF версии INTELLECT-1_Instruct в разрядностях от 3-bit (5.46 GB) до 8-bit(10.9 GB) от сообщества LM Studio. ▶️Пример инференса на Transformers:

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

torch.set_default_device("cuda")
model = AutoModelForCausalLM.from_pretrained("PrimeIntellect/INTELLECT-1")
tokenizer = AutoTokenizer.from_pretrained("PrimeIntellect/INTELLECT-1")

input_text = "%prompt%"
input_ids = tokenizer.encode(input_text, return_tensors="pt")
output_ids = model.generate(input_ids, max_length=50, num_return_sequences=1)
output_text = tokenizer.decode(output_ids[0], skip_special_tokens=True)

print(output_text)

📌Лицензирование: Apache 2.0 License. 🟡Статья 🟡Набор моделей HF 🟡Набор GGUF версий 🟡Техотчет 🟡Demo 🖥GitHub @ai_machinelearning_big_data #AI #ML #LLM #Decentralizated

Совсем скоро пройдет международная конференция AIJ 2024 с ведущей темой новых горизонтов искусственного интеллекта, в которой примут участие топовые спикеры и технологические компании. И, следуя традициям, Сбер провел ежегодное международное онлайн-соревнование по искусственному интеллекту — AI Journey Contest при при поддержке Института AIRI. Само соревнование прошло более чем насыщенно: в AIJ Contest 2024 участвовали специалисты из 23 стран мира, а количество участников перевалило за 1500. Естественно не стоит забывать и о призовом фонде, который составил 8,5 млн рублей. В приоритете перед участниками соревнования была работа с мультимодальными моделями, анализирующими видео. Сперва FusionBrain 4.0 с условием автоматического анализа видеопоследовательностей с особым акцентом на эмоциональное и социальное взаимодействие. Далее Multiagent A с созданием агентов, способных к оптимальному поведению в условиях социальных дилемм. Суть третьей задачи Embodied AI заключалась в разработке системы управления уже созданным агентом по языковым инструкциям. И на последок, E-com AI Assistant — здесь участники создавали AI-ассистента на основе LLM модели GigaChat, выявляющего потребности потребителя для последующих рекомендаций товаров на маркетплейсах. Победителям осталось совсем немного ждать церемонии награждения — она состоится на международной конференции AI Journey с 11 по 13 декабря. @ai_machinelearning_big_data #news #ai

✔️ Niantic тренирует большую геопространственную модель ИИ на данных Pokémon Go. Niantic, разработчик Pokémon Go, объявила о создании модели ИИ, обученной на миллионах реальных изображений, собранных игроками Pokémon Go и приложения Scaniverse. Алгоритм, получивший название "большая геопространственная модель", обеспечит такое же свободное ориентирование в физическом мире, какое демонстрирует ChatGPT в мире языка. Модель основана на данных "Системы визуального позиционирования" (VPS) Niantic, которая использует более 50 млн. нейросетей с более чем 150 трлн. параметров для определения местоположения телефона с точностью до сантиметра по одному изображению. Niantic планирует использовать новую модель для улучшения дополненной реальности в своих играх и разработки автономных систем и роботов. singularityhub.com ✔️ AMD разрабатывает процессоры на основе стеклянных подложек. AMD получила патент на использование стеклянных оснований при производстве процессоров. Стеклянные основания лучше отводят тепло, меньше теряют сигнал и точнее по размерам, чем традиционные материалы. Это делает их пригодными для высокочастотных задач, таких как 5G и искусственный интеллект. Патент описывает технологию Through Glass Vias (TGV) для создания вертикальных каналов передачи данных и питания внутри стеклянного основания. Также в патенте представлен способ соединения нескольких стеклянных оснований с помощью меди. AMD планирует использовать патент в процессорах Zen и новых GPU, состоящих из нескольких чиплетов. techspot.com ✔️ Китай представил чип "Global Scheduling Ethernet". Китайские компании представили чипы, работающие на базе протокола "Global Scheduling Ethernet" (GSE). Этот протокол предназначен для обработки больших объемов данных и обеспечения высокой скорости передачи, необходимых для искусственного интеллекта и других высокопроизводительных задач. Разработка GSE началась в 2023 году при участии более 50 организаций, включая облачных провайдеров, производителей чипов и вузов. GSE является альтернативой технологии Ultra Ethernet Consortium (UEC), предназначенной для эффективной коммуникации в кластерах высокопроизводительных вычислений и ИИ. Существующая технология Ethernet не подходит для больших рабочих нагрузок, связанных с обучением ИИ, из-за чего в ЦОДах, использующих GPU Nvidia, применяются проприетарные и дорогие технологии прямого соединения - NVLink. GSE нацелена решить эту проблему, предлагая эффективное и доступное решение для высокоскоростных вычислений. tomshardware.com ✔️ Нанофотонные нейронные сети в объективах камер для вычислений. Ученые из Вашингтонского университета разработали нанофотонную нейронную сеть (SVN3), которая встраивается в объективы камер и выполняет вычисления во время съемки, до записи на сенсор. SVN3 использует массив из 50 металлических элементов, оптимизированных для работы с некогерентным светом, которые выполняют параллельные многоканальные свертки со скоростью света без потребления энергии. Для обучения сети используется метод низкоразмерной репараметризации. SVN3 достигает точности классификации изображений 72,76% на наборе данных CIFAR-10 и 48,64% на ImageNet, что сопоставимо с производительностью современных нейронных сетей. SVN3 потребляет значительно меньше энергии, так как более 99% вычислений выполняется оптическим путем. science.org ✔️ Более половины лонгридов в LinkedIn созданы ИИ. Исследование Originality.ai показало, что 54% длинных постов в LinkedIn созданы искусственным интеллектом. В исследовании анализировались 8 795 длинных постов (не менее 100 слов), опубликованных с января 2018 года по октябрь 2024 года. Запуск ChatGPT в 2022 году вызвал резкий рост количества контента, созданного ИИ, увеличившись на 189% с января по февраль 2023 года. После всплеска в феврале 2023 года наблюдается стабилизация, что может указывать на новую норму для контента в LinkedIn. readwrite.com @ai_machinelearning_big_data #news #ai #ml

🌟 Wavehax: нейросетевой вокодер без эффекта наложения частот. Wavehax - нейросетевой вокодер, который синтезирует аудиосигналы без искажений, вызванных наложением частот. Эта проблема часто возникает в моделях, работающих во временной области, где нелинейные операции и слои повышения дискретизации могут привести к наложению высокочастотных компонентов на низкочастотный диапазон. Wavehax работает в частотно-временной области, оценивая комплексные спектрограммы и преобразуя их во временные сигналы с помощью кратковременного преобразования Фурье (STFT). Использование STFT позволяет получать более высокое качество синтезированной речи, особенно при экстраполяции на высокие значения основной частоты (F0). Архитектура Wavehax построена на 2D CNN и специальном гармоническом априоре. Априор представляет собой комплексную спектрограмму, полученную из гармонического сигнала, который помогает модели генерировать высококачественные и согласованные по фазе гармонические компоненты. В экспериментах, проведённых на корпусе японской речи JVS, Wavehax продемонстрировал качество речи, сравнимое с HiFi-GAN V1, при этом значительно сократив количество операций умножения-накопления и параметров модели. Wavehax работает в 4 раза быстрее HiFi-GAN V1 на CPU и устойчив к экстраполяции на высокие значения F0, где эффект наложения частот становится особенно заметным. ▶️ Пример трейна и инференса с датасетом JVS:

# Set up the env
cd wavehax
pip install -e .

# Extract F0 and mel-spectrogram.
wavehax-extract-features audio=data/scp/jvs_all.scp

# Compute statistics of the training data
wavehax-compute-statistics feats=data/scp/train_no_dev.list stats=data/stats/train_no_dev.joblib

# Train the vocoder model
wavehax-train generator=wavehax discriminator=univnet train=wavehax train.train_max_steps=500000 data=jvs out_dir=exp/wavehax

# Inference via generate speech waveforms
wavehax-decode generator=wavehax data=jvs out_dir=exp/wavehax ckpt_steps=500000

🟡Страница проекта 🟡Arxiv 🖥GitHub @ai_machinelearning_big_data #AI #ML #Vocoder #Wavehax

🌟 cuPyNumeric: замена NumPy от NVIDIA. По мере роста объемов данных и сложности вычислений, вычисления на Python и NumPy, основанные на CPU, нуждаются в ускорении для выполнения современных исследований. cuPyNumeric разработана, чтобы стать заменой библиотеки NumPy, предоставляя сообществу Python распределенные и ускоренные вычисления на платформе NVIDIA. cuPyNumeric позволяет масштабировать вычисления без изменения кода проектов с одного CPU до суперкомпьютеров с несколькими GPU и вычислительными нодами. Библиотека построена на Legate, поддерживает родной Python и интерфейс NumPy. cuPyNumeric доступен из conda (версия не ниже 24.1) в legate channel. На системах с GPU пакеты, поддерживающие графические ускорители будут выбраны автоматически во время установки. Пример эффективности cuPyNumeric - обработка 10 ТБ микроизображений многоракурсной микроскопии в виде одного массива NumPy за один день с визуализаций в режиме реального времени. ▶️Установка и тест на примере из репозитория:

# Create new conda env
conda create -n myenv -c conda-forge -c legate cupynumeric

# Test via example from repo
$ legate examples/black_scholes.py
Running black scholes on 10K options...
Elapsed Time: 129.017 ms

📌Лицензирование: Apache 2.0 License. 🟡Статья 🟡Документация 🖥GitHub @ai_machinelearning_big_data #AI #ML #NumPy #NVIDIA #cuPyNumeric

✔️ Amazon разрабатывает собственную GenAi-модель. Amazon готовит к релизу модель генеративного ИИ, способную обрабатывать изображения, видео и текст. LLM под кодовым названием Olympus позволит клиентам искать определенные сцены в видео, например, победный бросок в баскетболе, используя простые текстовые запросы. Разработка Olympus поможет Amazon снизить зависимость от чат-бота Claude, который является популярным предложением на Amazon Web Services (AWS). Amazon может представить Olympus уже на следующей неделе на ежегодной конференции клиентов AWS re:Invent. reuters.com ✔️ Google открывает Ai-кампус в Лондоне. Google запустила образовательную программу AI Campus в Лондоне, чтобы поддержать и разнообразить следующее поколение специалистов в области ИИ. Расположенный в районе Сомерс-Таун, кампус был разработан в сотрудничестве с Camden Council и Camden Learning. Двухлетняя пилотная программа нацелена на обучение местных студентов старших классов основам ИИ, предоставляя им доступ к прикладным ресурсам, наставничеству от экспертов Google и Google DeepMind, а также к реальным проектам, связывающим ИИ с различными областями. Фонд Google.org выделил грант в размере 865 000 фунтов стерлингов на финансирование программ по обучению основам ИИ по всей стране. blog.google ✔️ DyCoke: метод динамического сжатия токенов для повышения эффективности моделей обработки видео. Apple AI/ML совместно с лабораториями нескольких университетов представили DyCoke, метод динамического сжатия токенов в VLM. Метод, работающий без обучения, устраняет временную и пространственную избыточность в процессе анализа входного видео. Метод работает в 2 этапа: слияние временных токенов для консолидации избыточных токенов в соседних кадрах и динамическую обрезку в кеше KV во время декодирования. DyCoke достигает ускорения инференса до 1,5 раз и сокращения использования VRAM в 1,4 раза по сравнению с базовыми моделями. Метод делает VLM более масштабируемыми для реальных приложений без необходимости точной настройки или дополнительного обучения. Код DyCoke пока не опубликован. arxiv.org ✔️ TamGen: ИИ ускоряет разработку лекарств, создавая молекулы с учетом целевого белка. Совместная команда Global Health Drug Discovery Institute и Microsoft Research разработала TamGen, модель генеративного ИИ, которая проектирует новые лекарственные соединения, ориентируясь на конкретные белки-мишени. В отличие от традиционных методов, TamGen не ограничивается анализом существующих соединений, а генерирует новые, химически разнообразные структуры, что позволяет расширить поиск терапевтических решений. Модель обучается на последовательностях символов, представляющих молекулярные структуры, и использует информацию о 3D структуре белка-мишени. TamGen успешно идентифицировал несколько перспективных ингибиторов для протеазы Mycobacterium tuberculosis, а самое эффективное соединение продемонстрировало высокую биоактивность. TamGen также может оптимизировать существующие молекулы, разрабатывая фрагменты с учетом целевого белка, что потенциально позволяет создавать новые соединения на основе известной молекулярной структуры. Код TamGen и веса модели доступны на Github. microsoft.com ✔️ xAI разрабатывает новый чат-бот и модель ИИ для потребительского рынка. xAI Corp работает над созданием потребительского чат-бота, который может быть запущен уже в декабре. Компания обучает новую модель, которая, как ожидается, дебютирует примерно в то же время. xAI надеется, что алгоритм станет «самым мощным ИИ в мире по всем показателям». Новый ИИ станет новым дополнением к флагманской линейке LLM Grok. siliconangle.com @ai_machinelearning_big_data #news #ai #ml

🌟 Методы оценки LLM-моделей Оценивая качество работы генеративной модели, специалисты сталкиваются с рядом трудностей. Классические методы оценки «ума» LLM, которые включают академические бенчмарки, не отражают реальной ценности моделей в бизнес-задачах — способности вести диалог или помогать с брейнштормингом. Существуют специальные бенчмарки (COPA, PIQA, OpenBook, WinoGrande) для проверки «здравого смысла», но все они подвержены искажению результатов из-за возможных протечек данных в процессе обучения. IT-компании, включая Яндекс, создают собственные внутренние бенчмарки под конкретные навыки моделей и реальные бизнес-сценарии использования. Это позволяет оценивать практическую пользу LLM, а не только академические показатели. Есть и альтернативные способы: 🟠Разумность LLM могут оценивать сами пользователи через LMSYS Chatbot Arena. Есть вопрос и два варианта ответа, за один из которых нужно проголосовать. Система работает как шахматный турнир: за выигрыш получаете очки, за проигрыш — теряете. 🟢Экспертная оценка через AI-тренеров, которых отбирают по способности к фактчекингу. Но у этого подхода есть минусы: эксперт достигает предела компетенции, нужна постоянная система контроля качества, работа с людьми сложна и дорога. В Яндексе отмечают, что нет единого «правильного» решения для оценки LLM — необходимо комбинировать разные подходы, постоянно исследовать данные и проверять, насколько модель действительно полезна в реальных задачах. 🔜 Разбор @ai_machinelearning_big_data #AI #ML #LLM

🌟 FastDraft: ускорение инференса LLM с помощью спекулятивного декодирования. Спекулятивное декодирование (или вспомогательная генерация) — это техника, которая ускоряет генерацию токенов при использовании дополнительной, SLM модели-черновика. Техника работает следующим образом: модель-черновик предсказывает следующие K-токенов один за другим авторегрессионным способом, а основная LLM проверяет эти предсказания и исправляет их при необходимости. Процесс проходит по каждому предсказанному токену, и, если обнаруживается разница между SLM-черновиком и LLM, останавливается и сохраняет последний токен, предсказанный основной моделью. Затем SLM-черновик получает последнее предсказание LLM и снова пытается предсказать следующие K-токенов, повторяя цикл. FastDraft — метод для обучения и согласования модели-черновика с любой LLM для использования со спекулятивным декодированием путем тонкой настройки на синтетических датасетах, сгенерированных целевой LLM. Предобученные модели-черновики FastDraft (Llama-3.1-8B-Instruct-FastDraft-150M-int8-ov и Phi-3-mini-FastDraft-50M-int8-ov) до 3 раз эффективнее по сравнению с инференсом одиночной LLM в задачах завершения кода и до 2 раз в задачах обобщения, завершения текста и инструкций. 🟡Набор моделей 🟡Ipynb блокнот 🟡Arxiv @ai_machinelearning_big_data #AI #ML #LLM #Intel #FastDraft

🤖 Выведите свои навыки машинного обучения на продвинутый уровень! Приглашаем вас на открытый вебинар "ML Advanced: все, что вы хотели знать о методах машинного обучения, но боялись спросить", где мы расскажем, как рекомендательные системы, временные ряды, RL и байесовские методы могут изменить вашу карьеру в IT. 👩‍🏫 Спикер: Мария Тихонова — PhD Computer Science, Senior Data Scientist в SberDevices и преподаватель ВШЭ. 📅 Дата: 2 декабря в 18:00 МСК 🎁 Бонус: Участники вебинара получат скидку на обучение на курсе «Machine Learning. Advanced».   👉Записывайтесь на открытый урок по ссылке: здесь ваша ссылка Не упустите возможность поднять свои навыки на новый уровень! 🚀 Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

⚡️ QwQ-32B-Preview: экспериментальная ризонинг-модель от Qwen. QwQ (Qwen with Questions) – экспериментальная исследовательская модель, разработанная Qwen Team с фокусом на развитие способности рассуждения. QwQ отличается любознательностью, подходя к каждой проблеме – будь то математика, программирование или знания о мире – с подлинным удивлением и сомнением. Прежде чем остановиться на каком-либо ответе, модель подвергает сомнению свои собственные предположения, исследуя разные пути рассуждений в поисках более глубокой истины. QwQ-32B-Preview, предварительная версия модели, которая демонстрирует аналитические способности в математике и программировании, показывая топовые результаты в тестах: 🟢65.2% на GPQA (тест на решение научных задач на уровне выпускника); 🟢50.0% на AIME (оценка математических способностей); 🟢90.6% на MATH-500 (тест на понимание математики по различным темам); 🟢50.0% на LiveCodeBench (тест на навыки программирования в реальных сценариях). Архитектура QwQ основана на transformers с использованием RoPE, SwiGLU, RMSNorm и Attention QKV bias. Модель имеет 32.5 млрд. параметров, 64 слоя и 40 attention heads для Q и 8 для KV. Контекст модели - 32 768 токенов. ⚠️ Как у любого эксперимента, у QwQ есть ограничения: 🟠Модель может смешивать языки или переключаться между ними неожиданно, влияя на четкость ответов. 🟠QwQ склонна входить в циклические шаблоны рассуждений, что приводит к длинным ответам без окончательного результата. ⚠️ Сообществом LM Studio опубликованы квантованные версии в формате GGUF в разрядности от 3-bit (17.2 Gb) до 8-bit (34.8 GB), совместимые для запуска в llama.cpp (release b4191) и LM Studio. ▶️Пример инференса на HF Transformers:

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "Qwen/QwQ-32B-Preview"
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)
prompt = "How many r in strawberry."
messages = [
    {"role": "system", "content": "You are a helpful and harmless assistant. You are Qwen developed by Alibaba. You should think step-by-step."},
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(model.device)
generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=512
)
generated_ids = [
    output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
]
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]

📌Лицензирование: Apache 2.0 License. 🟡Страница проекта 🟡Модель 🟡Набор GGUF версий 🟡Demo 🟡Сообщество в Discord @ai_machinelearning_big_data #AI #ML #LLM #QwQ #Qwen

Приглашаем тебя на крутое IT-мероприятие, посвящённое AI и передовым технологиям разработки рекомендательных систем. Регистрируйся, и в день мероприятия мы пришлём тебе ссылку на трансляцию. Или приходи очно, если ты живёшь в одном из городов. Где и когда? 👉 Нижний Новгород, 5 декабря 👉 Санкт-Петербург, 6 декабря Тебя ждут крутейшие доклады, живая дискуссия и новые знания в сфере рекомендательных систем. Количество мест ограничено — успей занять своё и прикоснуться к миру рекомендательных систем! 😉

✔️ Ключевые тенденции генеративного ИИ в розничной торговле 2025 года по версии Amazon. В 2025 году ожидается дальнейшее развитие GenAI в ритейле: виртуальные помощники по покупкам, гиперперсонализация и виртуальные примерочные. Виртуальные помощники помогают покупателям с выбором товаров, используя разговорный поиск. Гиперперсонализация, сочетающая ML с GenAI, создает индивидуальные предложения для покупателя, основываясь на истории покупок, данных о товарах и сторонних данных о клиентах. Виртуальные примерочные позволяют "примерить" товары: одежду или мебель, с помощью моделей ИИ, повышая их уверенность в покупке. aws.amazon.com ✔️ Сценарии популярных сериалов использовались для обучения ИИ. Более 139 000 сценариев фильмов и сериалов, среди которых "Клан Сопрано", "Во все тяжкие", "Симпсоны" и "Твин Пикс", были использованы для обучения моделей ИИ. Датасеты, используемые Apple, Anthropic и Nvidia, содержат сценарии всех фильмов, номинированных на премию "Оскар" с 1950 по 2016 год. В набор данных также входят диалоги, написанные для церемоний вручения премии "Золотой глобус" и "Оскар". Многие сценаристы возмущены тем, что их работы были использованы для обучения ИИ, опасаясь, что это приведет к их замене в будущем. movieweb.com ✔️ Только 28% ЦОД готовы к внедрению ИИ. Omnia Strategy Group (OSG) опубликовала отчет о готовности к ИИ, согласно которому только 28% центров обработки данных готовы к внедрению рабочих нагрузок ИИ и предоставлению соответствующих услуг на высоком уровне производительности. Нехватка GPU и высокопроизводительных CPU, недостаточная мощность электросети и ограниченная внутренняя инфраструктура распределения электроэнергии являются одними из основных препятствий. Также проблемой является недостаточная мощность систем охлаждения, нехватка пространства для внедрения жидкостного охлаждения, а также отсутствие внутренних экспертов по ИИ. Несмотря на эти проблемы, 86% предприятий считают, что ИИ изменит глобальную цифровую инфраструктуру, и многие стремятся внедрить ИИ любыми возможными способами. workwithomnia.com ✔️ Spotify интегрируется с Gemini от Google. Spotify объявила о поддержке расширений Gemini от Google, эта интеграция позволит пользователям искать и воспроизводить музыку с помощью голосовых команд на естественном языке. Расширение доступно для совместимых устройств Android. Gemini может воспроизводить музыку по названию песни, имени исполнителя, альбома, плейлиста или для определенного вида деятельности. Если у пользователя уже подключен другой музыкальный сервис, например, YouTube Music, ему необходимо будет указать голосом или текстом, какой сервис должен использовать Gemini. После этого ИИ-ассистент будет по умолчанию использовать последний выбранный сервис. Интеграция доступна только на английском языке и не работает в Google Messages, веб-приложении Gemini или приложении Gemini для iOS. theverge.com ✔️ Исследователи Knostic обнаружили уязвимости в больших языковых моделях. Knostic Inc., разрабатывающая средства контроля доступа к LLM, выявили новую категорию уязвимостей в LLM, которые могут быть использованы злоумышленниками для обхода защитных механизмов и извлечения конфиденциальной информации. Уязвимости, получившие название #noRAGrets, представляют собой два типа атак, которые способны полностью обойти защитные механизмы модели с помощью атаки вида "race condition-like", затрагивая модели ChatGPT и Microsoft Copilot для Microsoft 365. Race condition-like используют особенности времени выполнения операций внутри системы для манипулирования или обхода цензорных механизмов, вызывая непреднамеренное или несанкционированное поведение. Найденные методы, по словам Knostic, выводят джейлбрейк на новый уровень, используя методы синхронизации, позволяющие атакам полностью обходить защитные механизмы и манипулировать внутренней активностью LLM. siliconangle.com @ai_machinelearning_big_data #news #ai #ml

🌟 🌟 OuteTTS-0.2-500M: обновление ТTS-модели с возможностью клонирования голоса. OuteTTS-0.2-500M - улучшенная версия предыдущей модели синтеза речи, основанная на Qwen-2.5-0.5B и обученная на крупных и более качественных датасетах Emilia-Dataset, LibriTTS-R и Multilingual LibriSpeech. Контекст длиной 4096 токенов обеспечивает ~ 54 секунды генерации звука. Новая версия получила изменения относительно версии 0.1: 🟢Повышенная точность. Модель лучше следует промптам и показывает более высокую согласованность выходных данных по сравнению с предыдущей версией; 🟢Естественная речь. V 0.2 генерирует более естественную и плавную синтезированную речь; 🟢Расширенный словарь. Модель обучена на более чем 5 млрд. токенов аудио; 🟢Клонирование голоса. Улучшены возможности клонирования голоса с большей вариативностью и точностью; 🟢Многоязычная поддержка. Добавлена экспериментальная поддержка китайского, японского и корейского языков. ⚠️ Для инференса GGUF-версии модели необходимо установить llama-cpp-python. ▶️ Установка и пример локального инференса:

# Install from PyPI
pip install outetts

# Interface Usage
import outetts

# Configure the model
model_config = outetts.HFModelConfig_v1(
    model_path="OuteAI/OuteTTS-0.2-500M",
    language="en",  # Supported languages in v0.2: en, zh, ja, ko
)

# Initialize the interface
interface = outetts.InterfaceHF(model_version="0.2", cfg=model_config)

# Optional: Create a speaker profile (use a 10-15 second audio clip)
speaker = interface.create_speaker(
audio_path="path/to/audio/file",
transcript="Transcription of the audio file."
)

# Optional: Load speaker from default presets
interface.print_default_speakers()
speaker = interface.load_default_speaker(name="male_1")

output = interface.generate(
    text="%Prompt Text%%.",
    temperature=0.1,
    repetition_penalty=1.1,
    max_length=4096,

# Optional: Use a speaker profile
    speaker=speaker,
)

# Save the synthesized speech to a file
output.save("output.wav")

📌Лицензирование кода : Apache 2.0 License. 📌Лицензирование модели: CC-BY-NC-4.0 License. 🟡Страница проекта 🟡Модель 🟡GGUF версия 🟡Demo 🟡Сообщество в Discord 🖥GitHub @ai_machinelearning_big_data #AI #ML #TTS #OuteTTS

🎓Как находить мотивацию для обучения и с лёгкостью усваивать новый материал? Расскажет онлайн-тест Яндекс Образования!🚀 В этом тесте нет неправильных ответов — только возможность найти свой уникальный подход к обучению! 💡 Тест пригодится всем, кто чему-то учится или просто стремится к саморазвитию, — школьникам, студентам, взрослым и не только! Благодаря тесту вы: - получите персональные рекомендации, как адаптировать любые учебные процессы под себя; - узнаете, как эффективнее достигать образовательных целей и вдохновляться новыми знаниями; - сможете точнее подбирать программы обучения и лучше организовывать самостоятельную работу. Готовы открыть новые горизонты в учёбе? Тогда начните проходить тест прямо сейчас!

⚡️ NeuZip: метод сжатия весов для обучения и инференса. NeuZip - алгоритм сжатия весов нейронных сетей, разработанный для снижения требований к памяти во время обучения и инференса без ущерба для производительности. В основе NeuZip лежит принцип энтропии чисел с плавающей запятой в нейронных сетях. Веса нейронных сетей концентрируются вокруг нуля, что приводит к низкой энтропии битов экспоненты, а значит, почему бы не сжимать биты экспоненты без потерь с помощью асимметричной системы счисления (ANS)?

ANS — это алгоритм сжатия без потерь, который обеспечивает высокую пропускную способность на параллельных вычислительных устройствах, например, на GPU.

Для обучения используется вариант NeuZip без потерь, который сжимает только биты экспоненты, сохраняя полную точность представления чисел. В процессе обучения веса хранятся в сжатом виде, а декомпрессия происходит послойно, непосредственно перед вычислениями . Это позволяет избежать дублирования памяти и снизить ее пиковое потребление. При этом backpropagation не затрагивается, так как градиенты вычисляются с использованием декомпрессированных весов. Для инференса предлагается вариант NeuZip с потерями, который дополнительно сокращает объем памяти, усекая биты мантиссы. Потеря точности при таком подходе незначительно влияет на производительность. Эффективность сжатия достигается блочной нормализацией, при которой веса нормализуются внутри блоков, а коэффициенты нормализации хранятся с 8-битной точностью. Эксперименты, проведенные на различных архитектурах (GPT, Llama, T5) и задачах (языковое моделирование, генерация SQL), подтвердили эффективность NeuZip. В частности, при обучении модели Llama-3 8B удалось сократить потребление памяти с 31 ГБ до менее 16 ГБ без изменения динамики обучения. В задачах инференса NeuZip демонстрирует достижение >50% сокращения памяти при сохранении практически идентичной производительности по сравнению с QLoRA и современными методами квантования. ⚠️ Код экспериментов из пейпера в задачах обучения и инференса с Neuzip доступен в /examples репозитория проекта на Github. ▶️Установка и использование:

# Install from PyPI
pip install neuzip

# Use Neuzip for Pytorch model
model: torch.nn.Module = # your model
+ manager = neuzip.Manager()
+ model = manager.convert(model)

🟡Arxiv 🖥GitHub @ai_machinelearning_big_data #AI #ML #LLM #NeuZip

🔥17 декабря в 20.00 мск приглашаем на открытый урок "Алгоритмы с подкреплением в стохастических играх" курса Reinforcement Learning, на котором: - Вспомним о теории игр и равновесии Нэша; - Поговорим о том какие алгоритмы обучения с подкреплением применимы к стохастическим играм; - Реализуем один из них в коде и обучим наших агентов взаимодействовать друг с другом. Участники вебинара получат ноутбук с кодом практического примера реализации алгоритма и поймут как запустить его в игровой среде. 👉Регистрация: https://clck.ru/3Eozij?erid=LjN8KG7Vq  Встречаемся в преддверии старта курса «Reinforcement Learning» в OTUS. Обучение позволит применять алгоритмы RL для решения разнообразных задач в реальном мире, включая игровую индустрию, робототехнику, управление энергетическими системами и управление финансовым портфелем. Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

🌟 Hymba-1.5B: Базовая и инструктивная модели от NVIDIA. Hymba-1.5B-Base имеет embedding size 1600, 25 attention heads, MLP 5504, 32 слоя, 16 состояний SSM, 3 слоя полного внимания, остальные - внимания со скользящим окном. В отличие от стандартного трансформера, каждый слой внимания в Hymba имеет гибридную комбинацию стандартных attention heads и Mamba heads в параллельном исполнении. Hymba использует технологии Grouped-Query Attention (GQA) и Rotary Position Embeddings (RoPE). Hymba обучалась на 1.5 трлн токенах в 2 этапа предварительного обучения и 3 этапами посттренининга. Hymba-1.5B-Instruct - файнтон Hymba-1.5B-Base на комбинации открытых наборов данных инструкций и собранных собственными силами синтетических датасетов. Эта модель настраивалась с помощью SFT и DPO и способна как в математические рассуждения и вызов функций, так и в ролевые сценарии. ⚠️ В Hymba-1.5B-Instruct используется кастомный шаблон промпта, который был интегрирован в токенизатор и может быть применен с помощью tokenizer.apply_chat_template. ▶️Пример инференса Hymba-1.5B-Base:

from transformers import LlamaTokenizer, AutoModelForCausalLM, AutoTokenizer, AutoModel
import torch

# Load the tokenizer and model
repo_name = "nvidia/Hymba-1.5B-Base"

tokenizer = AutoTokenizer.from_pretrained(repo_name, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(repo_name, trust_remote_code=True)
model = model.cuda().to(torch.bfloat16)

# Chat with Hymba
prompt = input()
inputs = tokenizer(prompt, return_tensors="pt").to('cuda')
outputs = model.generate(**inputs, max_length=64, do_sample=False, temperature=0.7, use_cache=True)
response = tokenizer.decode(outputs[0][inputs['input_ids'].shape[1]:], skip_special_tokens=True)

print(f"Model response: {response}")

📌 Лицензирование: NVIDIA Open Model License Agreement 🟡Набор моделей на HF @ai_machinelearning_big_data #AI #ML #SLM #Hymba #Nvidia