Machinelearning

🌟 Нейросеть YandexART научилась восстанавливать архивные видеозаписи и кинохронику Возможности нейросети были протестированы на материалах «Мосфильма» и Российского государственного архива кинофотодокументов при подготовке сериала «Игры» об Олимпиаде-80. YandexART улучшила качество изображения и восстановила некоторые утраченные детали, включая элементы одежды, архитектуры и транспортных средств. Разработчики Яндекса научили модель не «галлюцинировать». Благодаря поэтапному обучению на материалах низкого качества, YandexART превращает размытые и сильно сжатые кадры в контент с высокой детализацией объектов и текстур. @ai_machinelearning_big_data

Соберём ансамбль — вместе веселее! Приглашаем на открытый урок, где вы узнаете как усилить свои модели объединяя их сильные стороны.  🔹Расскажем в чем заключается "сила толпы" и когда оправдано ее использование 🔹Покажем методы объединения моделей в ансамбли, которые помогут добиться лучших результатов без существенного усложнения моделей ✅ Практика: Вместе построим ансамбль моделей для задачи классификации. Урок приурочен курсу «Machine Learning» от Otus. По окончанию обучение получите диплом государственного образца. 👉 Регистрация и подробности: https://otus.pw/crz4/?erid=LjN8K8M8T

⚡️ Zamba2-2.7B: небольшая гибридная языковая модель на Mamba. Zamba2-2.7B - это гибридная модель, состоящая из блоков пространства состояний (state-space) и трансформеров. Она сохраняет качество инференса модели 3-4В плотности, требуя при этом вычислительных ресурсов на уровне модели плотностью 1-2B. Такие характеристики были получены за счет использования блоков Mamba2, чередования блоков внимания в схеме "А-В-А-В" и применения LoRA projector для каждого общего MLP-блока. Zamba2-2.7B использует токенизатор Mistral v0.1 и была предварительно обучена на 3T токенов текста и кода, полученных из открытых источников, включая датасет Zyda. По завершению обучения, модель была подвергнута дополнительной фазе агрессивного снижения скорости обучения на смеси из 100B высококачественных токенов. Согласно заверению создателей, Zamba2-2.7B достигает лучших результатов среди моделей аналогичного масштаба, таких как Gemma2-2.7B, StableLM-3B, OpenELM-3B и Phi2-2.7B. ⚠️ Внимание: 🟠модель не имеет встроенной модерации и не подвергалась дополнительному цензурированию; 🟠модель не была дообучена для выполнения инструкций или выполнений функций чата, поэтому не стоит ожидать хороших результатов от нее в этих задачах; 🟠не рекомендуется использовать модель без поддержки Mamba, поскольку это приведет к значительному увеличению задержки и использования памяти. Эксплуатация модели доступна с использованием Zyphra's fork of transformers или с помощью кода из репозитория разработчиков модели. ▶️Локальный запуск :

# Сlone and install
git clone https://github.com/Zyphra/Zamba2.git
cd Zamba2
pip install -e

# Install core mamba dependencies
pip install -U mamba-ssm causal-conv1d

# Inference
from mamba_model import MambaModel
from mamba_config import MambaConfig
import torch
from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("Zyphra/Zamba2-2.7B")
input_text = 'A funny prompt would be '
input_ids = tokenizer(input_text, return_tensors="pt").to("cuda")["input_ids"].transpose(0,1)
model = MambaModel.from_pretrained(model_name = "Zyphra/Zamba2-2.7B").cuda().half()
tokens_to_generate = 20
model.eval()
with torch.no_grad():
    for _ in range(tokens_to_generate):
        out = model(input_ids)
        out_last = out[:, -1]
        idx = torch.argmax(out_last)[None, None]
        input_ids = torch.cat((input_ids, idx), dim=0)
input_ids = input_ids.transpose(0, 1)[0]
print(repr(tokenizer.decode(input_ids.cpu().numpy().tolist())))

📌Лицензирование : Apache 2.0 license 🟡Страница проекта 🟡Arxiv 🟡Модель на HF 🖥Github [ Stars: 10 | Issues: 0 | Forks: 0] @ai_machinelearning_big_data #AI #ML #SLM #Mamba

🌟 Сетка — соцсеть от hh ru, которая помогает ИТ, диджитал и креативному коммьюнити расширять сеть нужных знакомств Что вы сможете с Сеткой? 👉 например, получить обратную связь на свой проект или резюме, как на примере на скрине 👉 развиваться внутри сильного комьюнити и вдохновляться опытом топовых экспертов 👉 найти партнёров для side-проектов и коллаб, быть в курсе новостей индустрии 👉 делиться своими кейсами и стать заметнее в индустрии Важное преимущество соцсети — сетки. Это автоматически сгенерированные группы людей с общим опытом работы. С их помощью можно заводить новые профессиональные контакты и поддерживать связь с уже существующими. Благодаря этой фиче у вас будет больше шансов пересечься с теми, кто повлияет на ваш профессиональный путь. Скачать приложение. Пересечёмся в Сетке!

⚡️ Zamba2-2.7B: небольшая гибридная языковая модель на Mamba. Zamba2-2.7B - это гибридная модель, состоящая из блоков пространства состояний (state-space) и трансформеров. Она сохраняет качество инференса модели 3-4В плотности, требуя при этом вычислительных ресурсов на уровне модели плотностью 1-2B. Такие характеристики были получены за счет использования блоков Mamba2, чередования блоков внимания в схеме "А-В-А-В" и применения LoRA projector для каждого общего MLP-блока. Zamba2-2.7B использует токенизатор Mistral v0.1 и была предварительно обучена на 3T токенов текста и кода, полученных из открытых источников, включая датасет Zyda. По завершению обучения, модель была подвергнута дополнительной фазе агрессивного снижения скорости обучения на смеси из 100B высококачественных токенов. Согласно заверению создателей, Zamba2-2.7B достигает лучших результатов среди моделей аналогичного масштаба, таких как Gemma2-2.7B, StableLM-3B, OpenELM-3B и Phi2-2.7B. ⚠️ Внимание: 🟠модель не имеет встроенной модерации и не подвергалась дополнительному цензурированию; 🟠модель не была дообучена для выполнения инструкций или выполнений функций чата, поэтому не стоит ожидать хороших результатов от нее в этих задачах; 🟠не рекомендуется использовать модель без поддержки Mamba, поскольку это приведет к значительному увеличению задержки и использования памяти. Эксплуатация модели доступна с использованием Zyphra's fork of transformers или с помощью кода из репозитория разработчиков модели. ▶️Локальный запуск :

# Сlone and install
git clone https://github.com/Zyphra/Zamba2.git
cd Zamba2
pip install -e

# Install core mamba dependencies
pip install -U mamba-ssm causal-conv1d

# Inference
from mamba_model import MambaModel
from mamba_config import MambaConfig
import torch
from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("Zyphra/Zamba2-2.7B")
input_text = 'A funny prompt would be '
input_ids = tokenizer(input_text, return_tensors="pt").to("cuda")["input_ids"].transpose(0,1)
model = MambaModel.from_pretrained(model_name = "Zyphra/Zamba2-2.7B").cuda().half()
tokens_to_generate = 20
model.eval()
with torch.no_grad():
    for _ in range(tokens_to_generate):
        out = model(input_ids)
        out_last = out[:, -1]
        idx = torch.argmax(out_last)[None, None]
        input_ids = torch.cat((input_ids, idx), dim=0)
input_ids = input_ids.transpose(0, 1)[0]
print(repr(tokenizer.decode(input_ids.cpu().numpy().tolist())))

📌Лицензирование : Apache 2.0 license 🟡Страница проекта 🟡Arxiv 🟡Модель на HF 🖥Github [ Stars: 10 | Issues: 0 | Forks: 0] @ai_machinelearning_big_data #AI #ML #SLM #Mamba

Новостной дайджест ✔️Саморазвивающийся ИИ от Baidu: конец "галлюцинирующих" языковых моделей. Baidu представила "self-reasoning" фреймворк, направленный на повышение надежности и прослеживаемости моделей с расширенным поиском (RALM), позволяя им самостоятельно критически оценивать свои знания и процессы принятия решений. Этот инструмент поможет решить распространенную проблему "галлюцинаций" в ИИ, когда модели уверенно генерируют неверную информацию. Структура self-reasoning состоит из трех ключевых процессов: оценка релевантности, выбор на основе доказательств и анализ траектории. Этот метод позволяет языковой модели различать релевантную информацию, цитировать источники и анализировать свой путь рассуждений, что в конечном итоге улучшает точность и прозрачность его выводов. venturebeat.com ✔️AES запускает первого робота для установки солнечных батарей с искусственным интеллектом. Компания AES Corporation представила "Maximo", первого в мире робота для установки солнечных панелей, оснащенного ИИ. Maximo автоматизирует тяжелые работы, что ускоряет сроки реализации проектов. Ожидается, что Maximo установит панелей примерно на 100 МВт солнечной энергии к 2025 году и поможет в строительстве крупных проектов, таких как 2 ГВт Bellefield в Калифорнии. Maximo использует функции компьютерного зрения для точного размещения панелей, а также технологии непрерывного обучения для повышения своей эффективности. prnewswire.com ✔️Perplexity запускает партнерскую программу для крупных СМИ после обвинений в плагиате. Perplexity запустила программу "Publishers' Program", направленную на разделение рекламных доходов с партнерами после обвинений в плагиате. В числе первых участников программы — Time, Der Spiegel и Fortune. При использовании контента этих издателей в ответах на запросы пользователей, они будут получать долю от рекламных доходов. Запуск программы последовал за обвинениями, когда редакторы Forbes обнаружили, что их платные материалы были использованы в продуктах Perplexity без должного атрибута. theverge.com ✔️Новые AI-инструменты Autodesk ускоряют рабочие процессы 3D в Maya и Flame. На выставке SIGGRAPH 2024 Autodesk представила новые AI-функции для своих 3D-программ Maya и Flame. ML Deformer для Maya позволяет художникам работать с анимацией и визуальными эффектами, обрабатывая сложные системы деформации с использованием машинного обучения. В Flame добавлен ML Timewarp, который генерирует промежуточные кадры между двумя существующими кадрами, оптимизируя процесс редактирования и минимизируя необходимость в переносе файлов между различными инструментами. Autodesk также анонсировала инструмент Flow Generative Scheduling, который ускоряет создание производственных графиков, учитывая переменные, такие как сроки, бюджеты и доступность команды. creativebloq.com ✔️UrbanGPT: Пространственно-временной прогноз для проектирования городской среды. HKU-SUSTech разработали UrbanGPT, языковую модель, предназначенную для планирования городских пространств и решения проблемы точного пространственно-временного прогнозирования в городских условиях с нехваткой данных. UrbanGPT демонстрирует исключительную производительность при прогнозировании по нулевым снимкам, особенно в условиях разреженных данных и в задачах сложного прогнозирования. Pre-trained модель доступна на Huggingface, код проекта опубликован на Github weixin.qq.com

⚡️ Gemma 2 2B: Релиз набора моделей и открытый набор автоэнкодеров к семейству Gemma Спустя месяц после выхода Gemma 2 компания Google расширила набор моделей Gemma, добавив в него следующие новинки: 🟢Gemma-2-2B; 🟢Gemma-2-2b-it; 🟢Gemma-2-2b-pytorch; 🟢Gemma-2-2b-it-pytorch; 🟢Gemma-2-2b-GGUF; 🟢Gemma-2-2b-it-GGUF; 🟢ShieldGemma-2b; 🟢Shieldgemma-9b; 🟢Shieldgemma-27b; 🟠Gemma Scope для всех плотностей семейства Gemma. ✔️Gemma - это семейство легких современных открытых моделей от Google, созданных на основе тех же исследований и технологий, которые использовались при создании моделей Gemini. Это большие языковые модели, работающие только с декодером, доступные на английском языке, с открытыми весами как для предварительно обученных вариантов, так и для вариантов, настроенных по инструкции. В этом релизе представлена версия Gemma 2 с параметрами 2.6B (базовая и instruct, версии GGUF и pytorch), как дополнение к вариантам 9B и 27B. Gemma 2 2B имеет ту же архитектуру, что и другие модели семейства Gemma 2, и использует такие технические возможности, как sliding attention и logit soft-capping. *️⃣Модели Gemma-2-2B можно запускать с помощью библиотеки Transformers и llama.cpp. GGUF-версии совместимы с llama.cpp, Ollama и LM Studio. Gemma 2 2B была оценена на ряде тестов: BBH, IFEval, MATH Hard, GPQA, MuSR и MMLU-Pro. Результаты показали, что Gemma 2 2B превосходит другие модели того же размера в задачах, связанных с знаниями и инструкциями. Кроме того, модель Gemma 2 2B может быть использована для ассистировании генерации текста, что позволит ускорить генерацию текста в 3 раза без потери качества. ✔️ ShieldGemma - это серия моделей модерации безопасного контента, построенных на основе Gemma 2, которые нацелены на несколько категорий цензурирования (включая откровенно сексуальный, опасный контент, ненависть или преследование). Это крупные модели, работающие по принципу "текст в текст", только с декодером, доступные на английском языке, с открытыми весами и в 3 вариантах: с параметрами 2B, 9B и 27B. ShieldGemma предназначена для обнаружения нецензурных запросов к LLM, а также предотвращения таких же ответов от LLM. Краткая инструкция про составлению промпта. Вы можете использовать его в качестве инструмента модерации в публичных развертываниях LLM, независимо от того, какую LLM вы развертываете. ✔️Gemma Scope - это открытый набор sparse autoencoders (SAE), обученных на каждом слое моделей Gemma 2 2B и 9B. SAE - это новая техника, направленная на поиск интерпретируемых направлений в больших языковых моделях. Набор можно рассматривать как своеобразный "микроскоп", помогающий нам разложить внутренние активации модели на основополагающие понятия, подобно тому, как биологи используют микроскопы для изучения отдельных клеток растений и животных. Этот подход был использован при создании Golden Gate Claude, популярной исследовательской демоверсии от Anthropic, которая изучала интерпретируемость и активацию функций в Claude. Поскольку SAE - это инструмент с выученными весами для интерпретации языковых моделей, а не сами языковые модели, их можно запустить с помощью SAELens, популярной библиотеки для обучения, анализа и интерпретации sparse autoencoders . Чтобы узнать больше об использовании, ознакомьтесь с подробным руководством по работе с блокнотом Google Colab. 🟡Страница релиза на HF 🟡Семейство Gemma Scope на HF 🟡Gemma Scope technical report 🟡Семейство Gemma 2 2B на HF 🟡Семейство ShieldGemma на HF @ai_machinelearning_big_data #AI #Gemma2 #ML #LLM #GGUF

🌟 MindSearch: Мультиагентная система веб-поиска под управлением языковой модели MindSearch - фреймворк от InternLM, объединяющий сильные стороны больших языковых моделей (LLM) и поисковых систем для решения задач поиска и агрегации информации в Интернете. Привлекательность фреймворка складывается из способности эффективно управлять контекстом поиска, распределяя когнитивную нагрузку между несколькими агентами, навыком сокращения длины контекста для каждого агента и способностью к построению иерархии поисковых запросов. Архитектура MindSearch состоит из двух частей: 🟢WebPlanner. Этот агент имитирует человеческие рассуждения, декомпозируя запрос пользователя в направленный ациклический граф (DAG). Каждый узел графа представляет собой подвопрос, который может быть решен независимо. WebPlanner динамически строит DAG, генерируя код Python для добавления узлов и связей, тем самым итеративно решет последовательность задач и параллельно выполняет подзадачи. 🟢WebSearcher выполняет иерархический поиск информации для ответа на подвопросы, заданные WebPlanner. Он начинает с генерации нескольких семантически похожих запросов, чтобы расширить область поиска и улучшить запоминание. Затем он выбирает наиболее релевантные веб-страницы для детального прочтения и использует LLM для создания ответа на основе собранной информации. Эксперименты на задачах с закрытыми (GPT) и открытыми (InternLM) языковыми моделями показали эффективность MindSearch. По сравнению с существующими решениями для поиска (ChatGPT-Web и Perplexity Pro), MindSearch генерирует ответы с большей глубиной и широтой. Целевая группа людей-экспертов предпочитали ответы от MindSearch, нежели ответы от Perplexity/ChatGPT или поисковую выдачу классической поисковой системы. Локальная установка может взаимодействовать как с онлайн-сервисами AI (GPT, Claude), так и локально запущенные LLM, с помощью FAST API. Настройка моделей и указание API ключей для онлайн-сервисов Ai производятся в файле models по пути /mindsearch/agent/ В репозитории MindSearch в качестве локального фронтэнда предлагается на выбор UI на Gradio, React или Streamlit. ▶️Локальный запуск на примере локальной LLM InternLM2.5-7b-chat и UI Gradio:

# Dependencies Installation
pip install -r requirements.txt

# Setup FastAPI Server
python -m mindsearch.app --lang en --model_format internlm_server

# Run with Gradio
python frontend/mindsearch_gradio.pyW

📌Лицензирование : Apache 2.0 license 🟡Страница проекта 🟡Arxiv 🟡Demo Video 🟡Demo на китайским языке 🖥Github [ Stars: 61 | Issues: 0 | Forks: 7] @ai_machinelearning_big_data #AI #ML #LLM #AgentSearch

🛢 В мире, где данные — новая нефть, растёт спрос на дата-инженеров. Ведь именно они знают, как такую нефть добывать, обрабатывать и хранить. И пока компании осознают потребность в этих специалистах, конкуренция на рынке низкая, а зарплаты — высокие. Освоить ключевые компетенции дата-инженера поможет онлайн-магистратура Нетологии и НИУ ВШЭ «Инженерия данных». За 2 года вы на практике изучите Python, Java, Scala, Kotlin и SQL, научитесь проектировать пайплайны и обрабатывать данные, работать с системами хранения данных и базами данных в облаке. Программа даёт широкий простор для переквалификации, поэтому после учёбы сможете перейти в MLOps, DevOps или менеджмент. Онлайн-формат позволяет учиться без отрыва от привычной жизни и совмещать занятия с работой. При этом у вас будет отсрочка от армии, льготы на проезд и все остальные бонусы очного обучения. Станьте магистром программной инженерии с дипломом одного из лучших вузов страны и получите веское преимущество при приёме на работу: https://netolo.gy/dlaK Реклама. ООО "Нетология". Erid 2VSb5woGCBz

Lite-Oute-1: семейство компактных base и instruct моделей Oute AI представила в открытом доступе модели на 300М, 150M и 65М параметров в base и instruct вариантах и в GGUF-формате. Список релиза: 🟠Lite-Oute-1-300M Base 🟠Lite-Oute-1-300M-Instruct 🟠Lite-Oute-1-300M Base GGUF 🟠Lite-Oute-1-300M-Instruct GGUF 🟠Lite-Mistral-150M-v2-Instruct 🟠Lite-Mistral-150M-v2-Instruct GGUF 🟠Lite-Oute-1-65M Base 🟠Lite-Oute-1-65M-Instruct 🟠Lite-Oute-1-65M Base GGUF 🟠Lite-Oute-1-65M-Instruct GGUF Lite-Oute-1-300M: "старшая" модель семейства на архитектуре Mistral с 300М параметров и контекстом в 4096 токенов. Эта модель специально разработана в качестве отправной точки для тонкой настройки при выполнении различных задач. Она обеспечивает баланс между компактными размерами и возможностями. Некоторые оценки 0-shot: MMLU - 24.87, Winogrande- 53.35, OpenBookQA - 30.80 Lite-Oute-1-300M Base GGUF: диапазон квантования от FP16 (600 МВ) до Q2_K (176 MB), всего 15 вариаций. Lite-Oute-1-300M-Instruct: instruct-версия 300М Base с теми же параметрами. Модель использует шаблон ChatML. Некоторые оценки 0-shot: MMLU - 24.00, Winogrande- 53.75, OpenBookQA - 32.20 Lite-Oute-1-300M-Instruct GGUF: диапазон квантования от FP16 (600 МВ) до Q2_K(176 MB), всего 15 вариаций. Модель использует шаблон ChatML Lite-Mistral-150M-v2-Instruct: модель на основе архитектуры Mistral, включающая около 157М параметров. Основной целью создания этой модели была разработка компактной и эффективной модели, способной работать на широком спектре устройств, сохраняя при этом разумный уровень функциональности и согласованности для своего небольшого размера. Модель была обучена на ~ 8 миллиардах токенов. Некоторые оценки 0-shot: MMLU - 25.28, Winogrande- 51.78, OpenBookQA - 28.40 ⚠️ Модель чувствительна к используемому шаблону чата, уточните его на странице модели на HF. Lite-Mistral-150M-v2-Instruct GGUF: диапазон квантования от FP16 (314 МВ) до Q2_K (68.5 MB), всего 15 вариаций. ⚠️ Модель чувствительна к используемому шаблону чата, уточните его на странице модели на HF. Lite-Oute-1-65M Base: экспериментальная ультракомпактная базовая модель, построенная на архитектуре LLaMA и содержащая около 65М параметров. Эта модель предназначена в качестве отправной точки для тонкой настройки под узкоспециальные задачи. Из-за своего чрезвычайно малого размера эта модель имеет базовые возможности генерации текста, но испытывает трудности с инструкциями или поддержанием связности тем. Некоторые оценки 0-shot: MMLU - 23.05, Winogrande- 51.70, OpenBookQA - 27.60 Lite-Oute-1-65M Base GGUF: диапазон квантования от FP16 (131 МВ) до Q2_K (31.5 MB), всего 15 вариаций. Lite-Oute-1-65M-Instruct: instruct-версия 65М Base с теми же параметрами. Некоторые оценки 0-shot: MMLU - 23.45, Winogrande- 50.04, OpenBookQA - 28.60. Модель использует шаблон ChatML. Lite-Oute-1-65M-Instruct GGUF: диапазон квантования от FP16 (131 МВ) до Q2_K(31.5 MB), всего 15 вариаций. Модель использует шаблон ChatML 🟡Страница проекта 🟡Все модели на HF @ai_machinelearning_big_data #AI #TinyLM #ML #OuteAI #GGUF

Продолжается отбор научных статей по искусственному интеллекту и машинному обучению для публикации в журнале конференции AI Journey. Конкурс проводят организаторы международной конференции AI Journey. Ключевые работы будут опубликованы в специальном выпуске журнала «Доклады Российской академии наук. Математика, информатика, процессы управления» и его англоязычной версии Doklady Mathematics. Это научное издание выходит на площадках мировых электронных библиотек и индексируется в крупнейших библиографических базах данных научного цитирования. Лучшая статья получит 1 млн рублей, а ее автор – возможность представить свое исследование перед научным сообществом. Не упустите возможность презентовать свои исследования на площадке конференции и побороться за денежное вознаграждение! Прием статей продолжается до 20 августа, успейте подать заявку.

Новостной дайджест ✔️Конкурент Neuralink интегрировал ChatGPT в мозговой имплантат человека. Компания Synchron, конкурирующая с Neuralink, интегрировала ChatGPT от OpenAI в свой имплант с интерфейсом BCI, чтобы помочь людям с параличом легче управлять цифровыми устройствами. BCI Synchron помогает больным с амиотрофическим склерозом предсказывать и предлагать ответы во время общения, которые они могут выбрать с помощью сигналов мозга. Стоимость имплантата Synchron оценивается в 50-100 тысяч долларов при среднем сроке ожидания в 6 месяцев. newsbytesapp.com ✔️CRAM - новая технология памяти, позволяющая снизить потребление энергии при обработке данных ИИ в 1000 раз. Исследователи из Университета Миннесоты разработали новую технологию Computational Random-Access Memory (CRAM) которая способна снизить энергопотребление при обработке данных. В отличие от традиционных решений, где данные перемещаются между памятью и процессором, CRAM позволяет обрабатывать данные непосредственно в ячейках памяти. Это достигается за счет использования высокоплотной и перенастраиваемой спинтронной структуры, встроенной в ячейки памяти. Таким образом, данные не покидают память, что минимизирует задержки отклика и потребление энергии, связанные с передачей информации. tomshardware.com ✔️AMD выпускает Fluid Motion Frames 2 с поддержкой искусственного интеллекта. AMD представила техническое превью Fluid Motion Frames 2 (FMF2) в рамках обновления пакета драйверов Adrenalin. Эта новая версия включает "AI-оптимизированные улучшения", которые обеспечивают более плавную работу и сниженную задержку при генерации кадров. FMF2 теперь совместима с режимами Vulkan и OpenGL, а также поддерживает полноэкранный режим без границ. Fluid Motion Frames 2 доступен для видеокарт Radeon RX 7000 и 700M и совместим с RX 6000. Пользователям доступно для скачивания превью версии 24.20.01.02 на сайте AMD. pcworld.com ✔️Google DeepMind разработали JumpReLU Sparse Autoencoders с рекордной точностью восстановления. Google DeepMind опубликовали исследование, в котором описали новую архитектуру нейронных сетей под названием JumpReLU Sparse Autoencoders (SAEs), которая значительно улучшает восстановление данных. JumpReLU SAEs используют модифицированную активационную функцию JumpReLU, которая устраняет предактивации ниже определенного порога, что позволяет уменьшить количество активных нейронов и улучшить обобщающую способность модели. Это решение решает проблему компромисса между разреженностью и точностью восстановления, обеспечивая высокую эффективность в сравнении с традиционными Gated и TopK SAEs. arxiv.org ✔️NVIDIA анонсирует генеративные AI модели и микросервисы NIM для OpenUSD, ускоряющие разработку цифровых двойников. NVIDIA представила новые генеративные AI модели и микросервисы NIM для Universal Scene Description (OpenUSD), созданные для ускорения разработки приложений в области робототехники и промышленного дизайна. Они позволяют разработчикам генерировать OpenUSD-код, проводить поиск в библиотеках 3D и изображений с использованием естественного языка, а также проверять совместимость файлов с версиями OpenUSD. Микросервисы помогут создать высокоточные виртуальные миры и цифровые двойники, что откроет новые возможности для применения AI в различных отраслях. Среди новых микросервисов, которые будут доступны в ближайшее время, — USD Layout для сборки сцен на основе текстовых подсказок и USD SmartMaterial для применения реалистичных материалов к CAD-объектам. NVIDIA также анонсировала интеграцию OpenUSD с решениями Siemens для поддержки сложных симуляций и визуализации данных в реальном времени. roboticstomorrow.com

Исследователи из команды «Адаптивные агенты» AIRI при участии лаборатории T-Bank AI Research собрали датасет XLand-100B для обучения ИИ самостоятельному принятию решений 🌐 Самый большой open-source датасет для Reinforcement Learning уже доступен для всех ученых и разработчиков и насчитывает 100 миллиардов кортежей — фиксированных наборов данных. Он может пригодиться не только для создания ИИ-систем, которые будет гораздо проще настраивать для решения новых задач без вовлечения узкопрофильных специалистов, но и стать источником полезных синтетических данных. 🔖Подробнее про исследование читайте в новом Хабре научного сотрудника AIRI Александра Никулина, а также в материале ТАСС Наука. Научная статья | GitHub | Канал команды

🌟Adam-mini: облегченная версия оптимизатора Adam. Основная идея Adam-mini заключается в том, что матрица Гессиана нейронных сетей, особенно трансформеров, имеет почти блочно-диагональную структуру. Такая структура подразумевает, что для оптимальной работы различных блоков может потребоваться разная скорость обучения. Adam-mini решает эту проблему, разбивая параметры модели на блоки по наименьшим плотным подблокам в матрице Гессиана. Каждому блоку присваивается одна скорость обучения. Скорость обучения для каждого блока в Adam-mini определяется путем усреднения значений вектора импульса второго порядка Adam (v) в пределах этого блока. Эта методика сокращает количество необходимых LR, что приводит к значительной экономии памяти. Например, на LLM Adam-mini может сократить до 90% LR, по сравнению с Adam, что в итоге экономит использования памяти на 45-50 %. Эффективность Adam-mini была проверена сравнением с показателями AdamW в различных сценариях: Pre-training: на Llama2-7B Adam-mini сокращает использование памяти на 48,04 %, сохраняя при этом сопоставимые с AdamW потери при проверке. SFТ и RLHF: превосходит AdamW в задачах на основе LoRA и RLHF, удерживая низкое значение perplexity. Non-LLM Tasks: в задачах, не связанных с LLM - модели СV, ResNet, диффузионные модели, GCN и GAT демонстрирует сравнимую или лучшую производительность, чем AdamW, при этом используя меньше памяти. Пропускная способность: при предварительном обучении Llama2-7B на 2×A800-80GB Adam-mini показывает производительность на 49,6 % выше, чем AdamW, экономя при этом 33,1 % времени. ▶️Текущая реализация Adam-mini поддерживает популярные фреймворки: 🟢DDP distributed framework; 🟢FSDP distributed framework; 🟢DeepSpeed; 🟢Hugginface Trainer; 🟢Torchtitan. В репозитории проекта представлены примеры кода для SFT и RLHF претрейна LLM: 🟠GPT2 (125M-1.5B), NanoGPT codebase на фреймворке DDP 🟠Llama3-8B, Torchtitan code base на фреймворке FSDP 🟠SFT и RLHF Llama2-7B, ReMax codebase на фреймворке DeepSpeed ▶️Локальный запуск :

# # import from source
git clone https://github.com/zyushun/Adam-mini
cd Adam-mini
pip install -e .

# Then use Adam-mini optimizer as follows
from adam_mini import Adam_mini

optimizer = Adam_mini(
            named_parameters = model.named_parameters(), 
            lr = lr, 
            betas = (beta1,beta2), 
            eps = eps,
            weight_decay = weight_decay, 
            model_sharding = True,
            dim = model_config.dim,
            n_heads = model_config.n_heads,
            n_kv_heads = model_config.n_kv_heads,
            )
# all the hyperparameters, including learning rate (lr), weight_decay, beta1, beta2, eps, its recommend using the same values as for AdamW

🟡Arxiv 🖥Github [ Stars: 226 | Issues: 8 | Forks: 9] @ai_machinelearning_big_data #AI #ML #Adam #Pytorch #Train

⚡️ В России появился аналог LMSYS Chatbot Arena — LLM Arena Платформу выкатил Роман Куцев в коллаборации с экспертами по нейросетям и бывшими разработчиками TrainingData.ru. В отличие от зарубежного бенчмарка, он дает возможность оценить и российские нейросети (YaGPT, GigaChat и другие). В остальном принцип работы максимально схожий: пользователи бесплатно получают доступ к языковым моделям, взамен их просят оценивать ответы нейросетей, на основе которых формируется объективный независимый рейтинг. Сейчас для теста доступна 21 модель. @ai_machinelearning_big_data

Привет, я Ярослав я окончил МФТИ и рассказываю в канале моей студии о хардкорном внедрении AI в корпорациях и производствах) Я не выкладываю новости из мира AI и генерации Миджорни, только суровый ентерпрайз, рассказываем о технических и бизнесовых нюансах. Контент будет интересен разработчикам и продукт-овнерам, которые что-то внедряют у себя. Например, мы рассказываем, как внедряли AI на сталелитейных производставах или как "буше" делали чат-бота на несколько тысяч сотрудников. Подписывайтесь, если интересно реальное внедрение Ai в корпорации: @r77_ai

Новостной дайджест ✔️OpenAI может оказаться на грани банкротства через 12 месяцев, прогнозируя убытки в размере $5 млрд. Несмотря на рост доходов, прогнозируемых до $1,3 млрд. в 2024 году, OpenAI ожидает убытки в размере $5 миллиардов. Это связано с высокими затратами на обучение и эксплуатацию моделей искусственного интеллекта. Финансовое положение OpenAI вызывает беспокойство у аналитиков, учитывая, что компания уже привлекла $11,3 миллиарда инвестиций. Без дополнительного финансирования или значительного увеличения доходов OpenAI может столкнуться с банкротством в течение 12-16 месяцев. theinformation.com ✔️ИИ определяет факторы риска рецидива гепатоцеллюлярной карциномы человека. Опубликованное в AJMC исследование описывает разработку модели искусственного интеллекта, которая точно определяет факторы риска рецидива гепатоцеллюлярной карциномы (ГЦК). Эта модель была создана для улучшения прогнозирования рецидива заболевания у пациентов, уже перенесших лечение. Модель анализирует множество клинических данных и биомаркеров, чтобы выявить ключевые факторы, влияющие на вероятность рецидива ГЦК. В результате, она позволяет врачам более точно оценивать риски и разрабатывать индивидуализированные планы лечения для пациентов и улучшить результаты терапии и выживаемость. ajmc.com ✔️Anthropic работает над синхронизацией папок и функцией цитирования источников. Компания Anthropic работает над новой функцией синхронизации папок для проектов Claude AI. Эта функция даст пользователям автоматически синхронизировать локальные папки с проектами Claude AI, что значительно упростит процесс загрузки и обновления файлов для взаимодействия с Сlaude. Дополнительно, Anthropic анонсировала предварительную версию функции цитирования для Claude AI. Эта функция будет предоставлять точные ссылки на источники информации, используемые при генерации ответов. testingcatalog.com ✔️Нейронная сеть, способная прогнозировать движение тепла в материалах в 1 млн раз быстрее, чем традиционные методы. Команда под руководством инженеров Массачусетского технологического института (MIT) разработали графовую нейронную сеть с виртуальными узлами (VGNN), которая предсказывает PDR (Phonon Dispersion Relation) в 1000 раз быстрее, чем существующие методы искусственного интеллекта, и в 1 миллион раз быстрее, чем традиционные методы. VGNN позволяет быстро оценить дисперсионные соотношения фононов и обеспечивает несколько большую точность при прогнозировании теплоемкости материала, утверждается в исследовании. interestingengineering.com ✔️ZhiSquare представила встраиваемый интеллект, который потенциально сможет расширить AGI на физический мир. Китайская компания ZhiSquare Technology создала фундаментальные технологии, основанные на больших моделях общего восприятия, сквозных операциях обобщения на основе генеративных моделей, и объединения данных из нескольких источников. Четыре ее основополагающие метода заложили основу для разработки AGI- системы общего назначения AI2R Brain. Новая категория интеллектуальных роботов общего назначения Alpha Bot, управляемых AI2R Brain, может точно воспринимать мир в различных сценариях, взаимодействовать естественно, как человек, и выполнять различные задачи. jiqizhixin.com @ai_machinelearning_big_data #news #ai #ml

🌟 Meta-Llama-3.1-405B-Instruct-FP8: FP8-версии Llama-3.1-405B-Instruct со статическим и динамическим методом квантования. Компания Neural Magic представила две квантованные FP8-версии модели Meta's Llama 3.1 405B Instruct: 🟢Meta-Llama-3.1-405B-Instruct-FP8-dynamic 🟢Meta-Llama-3.1-405B-Instruct-FP8 Примененная оптимизация уменьшает количество бит на параметр с 16 до 8, сокращая требования к VRAM примерно на 50 %. FP8-модель может быть развернута помощью одного узла 8xH100 GPU. Процесс квантования применялся исключительно к весам и активациям линейных операторов внутри блоков трансформеров. Использовалось симметричное поканальное квантование, которое включает линейное масштабирование по выходному измерению для отображения представлений FP8 квантованных весов и активаций. Кроме того, активации квантованы динамически на основе каждого токена. Для квантования использовалась библиотека оптимизации LLM Compressor с набором 512 последовательностей UltraChat. Обе FP8 модели сохраняют архитектуру Meta-Llama-3.1 и могут быть запущены на бэкенде vLLM. В бенчмарке OpenLLM версия FP8-dynamic получила средний балл 86,55. Это максимально близко к результату оригинальной модели - 86,63 (99,91%). 🟡Модель FP8-dynamic на HF 🟡Модель FP8 на HF @ai_machinelearning_big_data #AI #ML #LLM #Llama #FP8

🌟 MAR+DiffLoss: Autoregressive Image Generation without Vector Quantization Основная идея метода заключается в применении процедуры диффузии для моделирования вероятностных распределений по токенам. Такой подход исключает традиционную категориальную кросс-энтропийную функцию потерь в пользу функции Diffusion Loss. Так устраняется необходимость в сложных и зачастую несовершенных токенизаторах с дискретными значениями, чувствительных к Gradient Approximation и субоптимальному качеству реконструкции. В прикладной реализации используется сеть денойзинга, небольшая MLP-сеть, которая работает на основе вектора, производимого авторегрессивной моделью. Эта сеть обучена предсказывать распределение для каждого токена через функцию денойзинг-диффузии. В результате MAR+DiffLoss модель может быстро генерировать изображения высокого качества , используя внутренние преимущества скорости моделирования последовательностей. Одним из полученных достижений в ходе исследования стала способность модели генерировать изображения со скоростью менее 0,3 секунды на изображение при достижении впечатляющего показателя Fréchet Inception Distance (FID) менее 2,0 на наборе данных ImageNet. Для тестирования демонстрации метода предлагается настроенный ноутбук для Google Collab. Помимо этого, в репозитории на Github размещены инструкции и код для самостоятельной тренировки моделей и запуску оценочного бенчмарка на датасете ImageNet. ⚠️ Внимание, тренировочный процесс крайне ресурсоемкий. ▶️Pre-trained модели выложены на Dropbox: 🟢MAR-B (280M) 🟢MAR-L (479M) 🟢MAR-H (943M) 📌Лицензирование : MIT license 🟡Arxiv 🟡Результаты бенчмарка 🟡Demo Collab 🖥Github [ Stars: 184 | Issues: 0 | Forks: 7] @ai_machinelearning_big_data #AI #ML #Diffusion #Pytorch

Как писать поддерживаемый, воспроизводимый и повторно используемый код в ML/DS? 🔹Расскажем на открытом уроке «Рефакторинг ML-проекта с точки зрения продуктового кода» что такое хороший код и как его писать, и почему Jupyter мешает нам это делать ✅ Практика: Декомпозиция ML/DS-кода, работа с окружением, управление зависимостями Урок приурочен курсу «MLOps» от Otus. 👉 Регистрация и подробности: https://otus.pw/xhIN/?erid=LjN8KJAfF