Machinelearning

Встречаемся 14 сентября на Practical ML Conf в Москве и онлайн! Machine learning, проверенный практикой* * Сгенерировано YandexGPT Главная конференция Яндекса по ML для экспертов: качественные технические доклады от ключевых инженеров, максимум пользы и знаний о практическом применении. Ключевые темы конференции: CV / NLP / Speech / RecSys / MLOps / Data science В числе спикеров: – Степан Комков — Яндекс Поиск, старший разработчик службы синтеза речи; – Дмитрий Антипов — Сбер, АБТ, тимлид разработки; – Виктор Плошихин — Yandex Cloud, руководитель ML-лаборатории в Yandex Platform Engineering. Во вдохновляющем футуристичном пространстве «Суперметалл» мы поговорим о кейсах, которые не найти в научных статьях, ведь когда они появятся — вы уже не сможете оказаться в числе визионеров. Ждём вас, чтобы заглянуть в будущее вместе — офлайн и онлайн. Реклама. ООО "Яндекс", ИНН 7736207543

⚡️ Llama-3.1 Minitron 4B Width Base: Компактная LLM на основе Llama 3.1 от NVIDIA. Llama-3.1-Minitron-4B-Width-Base - это базовая текстовая модель, которая может быть адаптирована для различных задач генерации естественного языка. Она получена путем обрезки (pruning) Llama-3.1-8B за счет сокращения размера эмбеддинга, количества attention heads и промежуточной размерности MLP. После было выполнено продолженное обучение с дистилляцией, используя набор данных размером 94 миллиарда токенов. Корпус обучения (набор данных) модели Llama-3.1-Minitron-4B-Width-Base включает английские и многоязычные тексты, код и другие письменные материалы. Источники данных охватывают различные области: право, математика, наука, финансы. Для улучшения производительности режима "чата", в процессе обучения были добавлены данные в формате вопрос-ответ. Дата актуальности корпуса обучения - июнь 2023 года. При создании были использованы техники Grouped-Query Attention (GQA) и Rotary Position Embeddings (RoPE). Архитектурные характеристики: 🟢embedding size - 3072; 🟢attention heads - 32; 🟢MLP intermediate dimension - 9216; 🟢number of layers - 32; 🟢input context - 8000. ⚠️ На момент публикации, поддержка Llama-3.1-Minitron-4B-Width-Base в Hugging Face Transformers находится на рассмотрении. Для использования модели выполните рекомендованные разработчиками инструкции или запустите модель в NeMo v.24.05 Есть неофициальные квантованные GGUF - версии модели в семи разрядностях, от 2-bit (1. 84Gb) до 16-bit (9.03 Gb). 📌Лицензирование : NVIDIA Open Model License. 🟡Модель 🟡Набор GGUF 🟡Arxiv @ai_machinelearning_big_data #AI #NVIDIA #LLM #ML #Minitron

🌟 OCRonos-Vintage: специализированная модель для коррекции OCR. OCRonos-Vintage — это небольшая модель со 124 миллионами параметров и небольшим контекстным окном в 1024 токена, которая была предварительно обучена с нуля на 18 миллиардах токенов датасета материалов архивов культурного наследия для задачи коррекции OCR. Несмотря на свой небольшой размер, она обеспечивает качество коррекции, сопоставимое с большими моделями, такими как GPT-4, при этом эффективна для работы на CPU. Модель обучалась в течение 2 эпох с использованием фреймворка обучения llm.c на наборе данных из Library of Congress, Internet Archive и Hathi Trust. Обучение проводилось на 4 графических процессорах H100 и заняло два с половиной часа. OCRonos-Vintage использует токенизатор GPT-2. OCRonos-Vintage можно загрузить и использовать для инференса так же, как модель GPT-2. Она принимает OCR-текст в качестве входных данных и генерирует исправленный текст. Входные данные и данные инференса разделяются специальными тегами: "### Text ###" и "### Correction ###". Модель также можно использовать для генерации стилизованного исторического текста, если дать подсказку, начинающуюся с ### Text ###. Это позволяет имитировать исторические стили письма и содержание. ▶️Квантованная 5-bit GGUF версия модели размером всего 127 МБ для локального запуска на llama.cpp 📌Лицензирование : Apache 2.0 License 🟡Модель 🟡Google Collab (инференс) 🟡Demo @ai_machinelearning_big_data #AI #SLM #ML #OCR

⚡️ Hermes 3: Семейство finetune Llama 3.1 от Nous Research Новый набор моделей от Nous Research был создан на основе Llama 3.1 8B, 70B и 405B файнтюном датасета из синтетически сгенерированных ответов. Hermes 3 получил производительность Llama 3.1 и расширенные возможности в мышлении и творчестве. Hermes 3 разблокирован, не подвергается цензуре и обладает высокой степенью управляемости. Он обладает улучшенной функцией долговременного сохранения контекста и возможностью ведения длинного диалога, навыком сложной ролевой игры и внутреннего монолога, а также расширенной функцией вызова агентов. Модели семейства умеют точно и адаптивно следовать системным промптам и инструкциям. В Hermes 3 возникают аномальные состояния, которые при правильных вводных и пустых системных подсказках приводят к ролевой игре и потере памяти. Вы можете активировать этот “Режим амнезии” в Hermes 3 405B, введя пустой системный запрос и отправив сообщение "Кто вы?". Hermes 3 использует ChatML для формата промптов. Формат более сложный, чем alpaca или sharegpt, в нем используются специальные токены для обозначения начала и окончания логического контекста и ролей в этих контекстах. Набор Hermes 3: 🟠Hermes 3 - Llama-3.1 405B; 🟠Hermes 3 - Llama-3.1 405B FP8 для использования с vLLM; 🟠Hermes 3 - Llama-3.1 70B; 🟠Hermes 3 - Llama-3.1 70B FP8 для использования с vLLM; 🟢Hermes 3 - Llama-3.1 70B GGUF для использования с llama.cpp. Версии квантования от 3-bit (31 Gb) до 5-bit (50 GB); 🟠Hermes 3 - Llama-3.1 8B; 🟢Hermes 3 - Llama-3.1 8B GGUF для использования с llama.cpp. Версии квантования от 4-bit (5 Gb) до 8-bit (9 GB); 📌Лицензирование : Llama 3 Community License 🟡Страница проекта 🟡Сообщество в Discord 🟡Набор моделей 🟡Arxiv 🟡Demo @ai_machinelearning_big_data #AI #Hermes3 #LLM #ML

🌟DeepSeek-Prover: Proof Assistant Feedback for Reinforcement Learning and Monte-Carlo Tree Search. DeepSeek-Prover-V1.5 - набор из языковых моделей для доказательства теорем в Lean 4. "V1.5" означает обновление DeepSeek-Prover-V1 с некоторыми ключевыми нововведениями. Во-первых, процесс обучения: предварительная подготовка на базе DeepSeekMath, затем контрольная работа с набором данных, включающим логические комментарии на естественном языке и код Lean 4. Это устраняет разрыв между рассуждениями на естественном языке и формальным доказательством теоремы. В набор данных также входит информация о промежуточном тактическом состоянии, которая помогает модели эффективно использовать обратную связь с компилятором. Во-вторых, проводится обучение с подкреплением, используя алгоритм GRPO для изучения обратной связи с помощником по проверке. Тут выравнивается соответствие модели формальным спецификациям системы проверки. В-третьих, RMaxTS, варианте поиска в дереве по методу Монте-Карло. Он присваивает встроенные вознаграждения на основе изучения тактического пространства состояний, побуждая модель генерировать различные пути доказательства. Это приводит к более обширному исследованию пространства доказательств. В результате получился набор моделей с абсолютной точностью генерации в 46,3% на тестовом наборе miniF2F. Этот показатель лучше, чем у GPT-4 и моделей RL, специализирующихся на доказательстве теорем. Набор DeepSeek-Prover: 🟠DeepSeek-Prover-V1.5 Base. Идеально подходит для первоначального изучения и понимания возможностей модели и основ для формальных математических рассуждений, но требует дальнейшего обучения для оптимальной работы; 🟠DeepSeek-Prover-V1.5 SFT. Модель для задач, требующих умеренных навыков доказательства теорем за счет рассуждений на естественном языке и информации о тактическом состоянии. 🟠DeepSeek-Prover-V1.5 RL. Рекомендуется для решений, требующих высочайшей точности и производительности при формальном доказательстве теорем. К SFT-версии добавлены дополнительная оптимизация на основе Proof Assistant Feedback и обучение с подкреплением. ▶️Установка и запуск:

# Clone the repository:
git clone --recurse-submodules git@github.com:deepseek-ai/DeepSeek-Prover-V1.5.git
cd DeepSeek-Prover-V1.5

# Install dependencies:
pip install -r requirements.txt

# Build Mathlib4:
cd mathlib4
lake build

# Run paper experiments:
python -m prover.launch --config=configs/RMaxTS.py --log_dir=logs/RMaxTS_results

📌Лицензирование кода репозитория: MIT license 📌Лицензирование моделей: DEEPSEEK License 🟡Набор моделей 🟡Arxiv 🟡Датасет 🟡Сообщество в Discord 🖥Github [ Stars: 53 | Issues: 0 | Forks: 1] @ai_machinelearning_big_data #AI #LLM #Math #ML

🌟ReBased: новая архитектура быстрых языковых моделей Архитектура ReBased – усовершенствованная Based, представленная исследователями из Стэнфорда в декабре 2023 года, которая значительно улучшила способности контекстного обучения. В лаборатории T-Bank AI Research обнаружили неэффективное использование ресурсов из-за неоптимальной структуры нейросети. Проведя анализ архитектуры Based, в T-Bank AI Research оптимизировали механизм извлечения информации из текста, добавив новые обучаемые параметры, и упростили алгоритм выделения текстовой информации. В среднем понимание взаимосвязей в тексте в новой архитектуре стало лучше на 10%. ReBased способна снизить издержки на использование искусственного интеллекта для специализированных задач и позволяет приблизить качество линейных моделей к трансформерам. Модели, в основе которых лежит ReBased, могут генерировать тексты с более низкими требованиями к ресурсам практически без потери качества. Эксперименты проводили на датасете MQAR (Multi-Query Associative Recall), который позволяет определять способность модели к контекстуальному обучению, а именно к ассоциативному запоминанию. Результаты были представлены на ACL 2024. 🟡Статья 🖥Github #AI #LLM @ai_machinelearning_big_data

🌟 MedTrinity-25M: Огромный датасет снимков для медтеха. Med Trinity-25M - крупномасштабный мультимодальный набор данных для медицины из более 25 миллионов изображений в 10 модальностях, с подробными аннотациями для более чем 65 заболеваний. Аннотации содержат: 🟠тип заболевания; 🟠классификация патологии; 🟠описания для регионов и межрегиональные связи. 🟠подробные локальные аннотации для областей интереса (ROI), включая ограничивающие рамки и маски сегментации. MedTrinity-25M подходит для мультимодальных задач: создание медицинских описаний патологий и новообразований, отчетов, задач классификации и сегментации. Этот набор данных может быть использован для подготовки медицинских моделей искусственного интеллекта. Модели: 🟢LLaVA-Med++ (VQA-RAD). Претрейн на данных LLaVA-Med и MedTrinity-25M (в частности, на подмножестве обучающего набора VQA-RAD), доработка на VQA-RAD; 🟢LLaVA-Med++ (SLAKE). Претрейн на данных LLaVA-Med и MedTrinity-25M (в частности, на подмножестве обучающего набора SLAKE), доработка на SLAKE; 🟢LLaVA-Med++ (PathVQA). Претрейн на данных LLaVA-Med и MedTrinity-25M (в частности, на подмножестве обучающего набора PathVQA), доработка на PathVQA; 🟢LLaVA-Med-Captioner. Captioner для создания мультигранулярных аннотаций. ▶️Установка, запуск обучения и оценка на этом датасете:

# Clone repository
git clone https://github.com/UCSC-VLAA/MedTrinity-25M.git

# Install Package
conda create -n llava-med++ python=3.10 -y
conda activate llava-med++
pip install --upgrade pip  # enable PEP 660 support
pip install -e .

# Install cases FOR TRAIN
pip install -e ".[train]"
pip install flash-attn --no-build-isolation
pip install git+https://github.com/bfshi/scaling_on_scales.git
pip install multimedeval

# Pre-train 1 stage
cd MedTrinity-25M
bash ./scripts/med/llava3_med_stage1.sh

# Pre-train 2 stage
bash ./scripts/med/llava3_med_stage2.sh

# Finetune
cd MedTrinity-25M
bash ./scripts/med/llava3_med_finetune.sh
 
# Eval
cd MedTrinity-25M
bash ./scripts/med/llava3_med_eval_batch_vqa_rad.shs

🟡Страница проекта 🟡Arxiv 🟡Датасет 🖥Github [ Stars: 118 | Issues: 0 | Forks: 8] @ai_machinelearning_big_data #AI #Dataset #MedTech #ML

✔️Машины изобретают новую математику, которую мы никогда не видели. "Машины", используя алгоритмы и методы глубокого обучения, начинают создавать новые математические концепции и теории, которые ранее не существовали. Исследователи наблюдают, что ИИ способен находить решения и формулировать математические идеи, которые могут быть неочевидны для человека. Одним из примеров является использование нейронных сетей для решения сложных математических задач, таких как теоремы в алгебре или геометрии. Эти машины могут генерировать новые уравнения и предлагать нестандартные подходы к классическим математическим проблемам. vice.com ✔️Первая публичная платформа продажи и покупки данных для искусственного интеллекта. David AI - маркетплейс датасетов, созданный для поддержки разработчиков и исследователей в области искусственного интеллекта. Платформа предлагает доступ к высококачественным наборам данных, которые могут быть использованы для обучения моделей ИИ. Цель проекта - решить проблему доступности данных, которая часто является препятствием для стартапов и исследовательских групп. Сервис позволяет пользователям находить, оценивать и приобретать данные, необходимые для их проектов. ycombinator.com @ai_machinelearning_big_data #news #ai #ml

Новостной дайджест ✔️Google открывает доступ к Imagen 3 для всех американских пользователей. Google сделала модель ИИ для генерации изображений Imagen 3 доступной для всех пользователей США через платформу ImageFX. Расширение доступа произошло вслед за ограниченным релизом для пользователей Vertex AI в июне. Imagen 3 основана на модели диффузии, способной генерировать высококачественные изображения по текстовым запросам. Получившие доступ пользователи выражают недовольство строгими фильтрами контента, которые блокируют даже безобидные запросы. venturebeat.com ✔️Исследование техник и методов слияния моделей ИИ. Слияние моделей - это экономически эффективный метод машинного обучения, не требующий сбора исходных данных и больших вычислительных затрат. В связи с его растущим использованием в различных отраслях необходимо сформировать понимание методов слияния моделей. Исследование содержит всесторонний анализ методов слияния моделей, их теоретических основ, применения в больших языковых моделях, мультимодальных системах и более чем десяти подобластях машинного обучения, таких как непрерывное обучение и многозадачное обучение. arxiv.org ✔️Medscape запустила поиск на основе ИИ для врачей. Функция AI Search, доступная в мобильном приложении Medscape, обеспечивает мгновенные ответы на медицинские запросы через интерфейс чата. Сервис бесплатен и направлен на повышение эффективности и точности поиска медицинской информации. AI Search использует собственный контент, регулярно обновляемый медицинскими экспертами, что гарантирует надежность информации. Функция была протестирована и подтверждена сотнями врачей, предлагая краткие ответы с прямыми ссылками на источники. prnewswire.com ✔️Критические уязвимости обнаружены в инструментах с открытым исходным кодом, используемых в AI-проектах. В отчете компании Protect AI Inc. говорится об уязвимостях, которые были обнаружены в рамках программы охоты на ошибки 'huntr'. Отчет содержит 20 уязвимостей, среди которых выделяются проблемы в инструментах Setuptools, Lunary и Netaddr. Уязвимость в Setuptools позволяет злоумышленникам выполнять произвольный код на системе через специально подготовленные URL пакетов. Lunary имеет уязвимость обхода авторизации, позволяющую удаленным пользователям сохранять доступ к организационным шаблонам. В Netaddr обнаружена уязвимость серверного подделывания запросов, которая может обойти защиту и предоставить доступ к внутренним сетям. Все уязвимости были переданы разработчикам за 45 дней до публикации. siliconangle.com ✔️Geekbench выпустил приложение для оценки LLM. Primate Labs выпустила приложение Geekbench AI 1.0, предназначенное для оценки производительности ИИ. Приложение доступно для Android, Linux, MacOS и Windows и применяет принципы Geekbench к задачам машинного и глубокого обучения. Это обновление является преемником Geekbench ML, который был анонсирован в 2021 году и на данный момент находится на версии 0.6. Изменение названия связано с тем, что в последние годы компании начали активно использовать термин "AI" в своих маркетинговых материалах. Primate Labs подчеркивает, что обновление поможет лучше понять функциональность и цели этого бенчмарка. techcrunch.com ✔️Машинное необучение: научить ИИ забывать - это крайне важно. Концепция машинного "забывания" (machine unlearning) важна для искусственного интеллекта. Оно позволяет моделям ИИ удалять определенные данные из своей памяти без ухудшения производительности. Это становится особенно актуальным в свете растущих требований к конфиденциальности и безопасности данных, а также в контексте юридических обязательств. Модели машинного обучения часто не могут просто "забыть" информацию, что создает проблемы, когда данные устаревают или содержат ошибки. Вместо того чтобы переобучать модель с нуля, что является неэффективным, машинное забывание является единственным выходом. С развитием этой области и стандартизацией метрик оценки, внедрение машинного забывания станет более управляемым процессом для бизнеса, работающего с большими объемами данных. thenewstack.io

🌟 Lean-STaR: Учим чередовать мышление и доказательство в математических теоремах. Lean-STaR — это фреймворк, который дает ИИ степень PhD по математике. Он учит языковые модели сочетать рассуждения с жесткими математическими доказательствами и переворачивает мир автоматизированного доказательства теорем. Lean-STaR использует LLM, чтобы излагать мысли на простом английском языке для каждого этапа проверки, основываясь на примерах из Mathlib, которая, по сути, является Ленинкой для Lean доказательств. Затем эти рассуждения объединяются с соответствующими шагами проверки, создавая прокачанный набор данных, который помогает модели не только предсказать следующий шаг в проверке, но и понять "почему", стоящее за ним. Но на этом дело не заканчивается. Lean-STaR использует "expert iteration" для совершенствования своих навыков. Она отбирает потенциальные доказательства, и только те, которые проходят проверку, используются для повторного обучения модели. Представьте, что профессиональный спортсмен просматривает видеозапись игры, чтобы улучшить свои выступления - вот это оно. Почему это важно? Неформальные знания — своего рода интуитивные рассуждения, которые обычно не учитываются при формальном доказательстве. Lean-STaR умеет изучать различные аспекты процесса доказательства, повышая его точность и масштабируемость. Lean-STaR бьет рекорды в тестировании miniF2F, значительно превосходя другие модели. Это не просто расширяет границы доказательства теорем, это открывает новые возможности для искусственного интеллекта в математике. Чтобы попробовать локально все прелести Lean-STaR, авторы подготовили для вас 4 модели: Lean-CoT: Обе версии Lean-CoT генерируют идеи и предсказывают тактику проверки, но “plus” обладает лучшей логикой; Lean-STaR: более продвинутая версия Lean-CoT, в нее добавлен этап expert iteration, "plus" обладает лучшей логикой, чем "base". ▶️Установка и запуск:

# # Install Python packages:
bash scripts/prepare_env.sh

# Install Lean:
curl https://raw.githubusercontent.com/leanprover/elan/master/elan-init.sh -sSf | sh
source $HOME/.elan/env
lake

# Configure LeanDojo:
export CONTAINER="native"

# Evaluation:
cd gpt-fast
bash scripts_intern/inverse_intern_math_7b.sh
bash scripts_intern/sample_cot_7b.sh

# Finetune:
cd gpt-fast
bash scripts_intern/prepare_intern_math_7b.sh
bash scripts_intern/finetune_7b_intern.sh
bash scripts_intern/finetune_7b_cot.sh
bash scripts_intern/finetune_7b_star.shy

🟡Страница проекта 🟡Набор моделей 🟡Arxiv 🖥Github [ Stars: 10 | Issues: 2 | Forks: 1] @ai_machinelearning_big_data #AI #LLM #ML #LeanSTaR

Как нейросети трансформируют бизнес: кейс Ultima Guide Яндекс Еды. Нейросети стремительно входят в мир бизнеса, преобразуя способы, которыми компании взаимодействуют с клиентами и оптимизируют свои процессы. Один из наиболее ярких примеров успешного применения этой технологии — проект Ultima Guide Яндекс Еда. Этот проект наглядно демонстрирует, как искусственный интеллект может помочь в создании продукта. Основной задачей Ultima Guide Яндекс Еда было создание объективного и независимого ресторанного гида. Для реализации этой идеи Яндекс выявил характеристики, по которым люди определяют хорошие рестораны и обучил на них собственную ML модель. Эти признаки она использовала, когда самостоятельно анализировала заведения в городе. Более 100 признаков учитывала нейросеть при анализе заведений в городе. В результате – составленный лонг-лист ресторанов. Далее проводилось голосование пользователей и экспертов индустрии, а итог подводила независимая консалтинговая компания. Что особенно впечатляет в этом проекте — это полная автоматизация анализа. Благодаря нейросети, удалось оценить 36 тысяч ресторанов (на примере Москвы), из которых в итоговый гид вошли только 50 лучших. Этот подход гарантировал максимальную точность и объективность. Еще одно свидетельство того, что внедрение передовых технологий может помочь бизнесу в создании продукта.

⚡️ Новостной дайджест: ✔️ MIT тестирует использование LLM для выявления проблем в сложных системах. В MIT разработали методику SigLLM, которая использует большие языковые модели для обнаружения аномалий в данных временных рядов без необходимости обучения. SigLLM включает преобразование данных во входы на основе текста, которые LLM обрабатывает для поиска аномалий. Было протестировано два подхода: Prompter и Detector, где последний оказался более эффективным, сопоставив предсказанные значения с реальными. Система перспективна для мониторинга сложных систем, таких как ветряные турбины и спутники, но требует дальнейших улучшений. news.mit.edu ✔️ В бета-версии Claude доступно кеширование промптов. Anthropic представила функцию кэширования промптов на API Claude, что позволяет сохранять контекст между вызовами и сокращать затраты на 90% и задержку до 85%. Функция полезна для задач, требующих частого использования одного и того же контекста, таких как чат-боты, ассистенты по программированию, обработка больших документов и многоэтапные операции. Кэширование доступно в бета-версии для моделей Claude 3.5 Sonnet и Claude 3 Haiku, а поддержка Claude 3 Opus будет добавлена позже. Стоимость кэширования рассчитывается на основе количества и частоты использования токенов. anthropic.com ✔️Agent Protocol представил ИИ-агент, обучаемый человеком на основе визуальных данных для геймеров. Agent Protocol представил ИИ-агента как новый класс цифровых активов на блокчейне, позволяющий геймерам обучать, торговать и монетизировать персонализированных игровых агентов, используя децентрализованные вычисления. Агент был создан на основе видеоматериалов игры профессионального игрока в Counter-Strike. Система поддерживает стандарты AI_NFT (OFT) и предлагает новые инструменты для создания и использования ИИ-агентов в различных играх. Инфраструктура базируется на технологии DePIN, с использованием распределенной сети GPU для обучения. chainwire.org ✔️ Microsoft и Paige разработали модели Virchow2 и Virchow2G для вычислительной патологии. Эти модели второго поколения используют данные гистопатологии и основаны на transformers. Virchow2G обучена на аннотациях и данных молекулярного профилирования, ее точность будет полезна в комплексной диагностике. Virchow2 и Virchow2G предназначены для анализа медицинских изображений, обнаружение аномалий и диагностику рака. Разработка поможет автоматизировать и повысить точность патологических исследований, а также адаптироваться к новым задачам в медицинской диагностике. microsoft.com ✔️ Даже самые лучшие LLM галлюцинируют. Исследование, проведенное в Cornell показало, что даже лучшие ИИ-модели, такие как GPT-4 и PaLM 2, страдают от галлюцинаций, т.е. создают ложные или неточные факты. В тестах модели выдавали неверную информацию примерно в 20% случаев, даже при решении задач, требующих базовых знаний. В техотчете отмечают, что более сложные запросы увеличивают вероятность ошибок. Галлюцинации остаются серьезной проблемой для внедрения ИИ в критически важные области: медицина и право, где точность имеет первостепенное значение. techcrunch.com @ai_machinelearning_big_data #news #ai #ml

🌟 Palmyra-Med и Palmyra-Fin: специализированные модели с 70B параметров. Writer представил две специализированные языковые модели: 🟢Palmyra-Med-70B-32K 🟠Palmyra-Fin-70B-32K Palmyra-Med-70B-32K — LLM, специально разработанная для сектора здравоохранения, достигающая в тестах по Clinical KG, Medical Genetics и PubMedQA среднего балла 85,87% по биомедицинским показателям, что выше чем у GPT-4 и Med-PaLM-2. Модель предназначена для некоммерческих и исследовательских целей на английском языке: для поддержки принятия клинических решений, фармнадзора и медицинских исследований. *️⃣Авторы не рекомендуют применение модели для непосредственного ухода за пациентами или принятия клинических решений без человеческого контроля. Palmyra-Fin-70B-32K предназначена для финансовой отрасли, решения различных финансовых задач и аналитических выводов. Модель предназначена для финансового анализа и исследований на английском языке: прогнозирование рыночных тенденций, оценка рисков, составление финансовых отчетов с высокой точностью и для ответов на сложные вопросы из длинных финансовых документов. *️⃣Подобно Palmyra-Med, авторы не рекомендуют использовать модель как единственный источник информации при принятии финансовых решений, а обратиться за профессиональной финансовой консультацией. Обе модели доступны для локального инференса через Transformers, по API в сервисах Writer, напрямую в endpoints или используя Python SDK и NodeJS SDK Writers Стоимость API за 1М токенов:  Input - $5.00, Output - $12.00 ⚠️ Все модели, созданные Writer.com, содержат водяные знаки для обнаружения и предотвращения неправомерного и незаконного использования. 📌Лицензирование : Writer open model 🟡Страница проекта 🟡Набор моделей на HF 🟡Dev-документация @ai_machinelearning_big_data #AI #LLM #ML #Writer

⚡️ Новостной дайджест ✔️Gemini Live - голосовой ассистент Google, доступен для пользователей. Google запустила "Gemini Live" — новую функцию голосового взаимодействия для своей AI модели Gemini, которая конкурирует с продвинутым голосовым режимом ChatGPT. Технически, "Gemini Live" использует улучшенные алгоритмы распознавания речи и синтеза голоса, обеспечивая более естественное и контекстуально осведомленное общение. techcrunch.com ✔️Microsoft Edge сможет объяснять PDF-документы с помощью ИИ. Microsoft Edge скоро получит функцию, которая позволит считывать и анализировать PDF-файлы. Эта функция интегрирована с Copilot AI, который сможет обрабатывать текстовые данные, распознавать структуру документов, таблицы и графики, и отвечать на вопросы по содержанию файла. pcworld.com ✔️Сервис ставок Polymarket стал партнером с Perplexity. Polymarket объединился с Perplexity AI, чтобы предоставлять краткие сводки новостей на платформе для прогнозирования рынков. Perplexity AI использует алгоритмы обработки естественного языка (NLP) для генерации кратких, но информативных обзоров новостных событий. Эти обзоры интегрируются в интерфейс Polymarket, помогая его пользователям быстро оценивать текущие события и принимать решения на основе актуальной информации. techcrunch.com ✔️Developers Guide по NIM, платформе для приложений искусственного интеллекта от Nvidia. NiM интегрирует различные инструменты NVIDIA, такие как TensorRT и Triton, и поддерживает работу с облачными и локальными ресурсами. Платформа облегчает управление жизненным циклом AI-моделей, обеспечивая автоматизацию этапов от разработки до внедрения. В NIM гибко реализована поддержка распределенной обработки для эффективного использования вычислительных мощностей в процессе обучения и инференса моделей при внедрении их масштабах предприятия. thenewstack.io 🔥 Anthropic запилили Context Caching! Функция может кешировать промпты, которые вы регулярнее используете. Это позволяет значительно в разы уменьшить стоимость запросов ускорить инференс. Использование кэшкэшируемых токенов стоит на 25% больше обычных. https://www.anthropic.com ✔️Модульный суперкомпьютер для рождения AGI, может быть запущен уже в следующем году SingularityNET разрабатывает суперкомпьютер для достижения AGI к 2025 году. Суперкомпьютер планируется построить за счет объединения распределенных вычислительных ресурсы через блокчейн, обеспечивая высокую производительность для сложных AI-задач. Технология состоит из модульной архитектуры, под управлением различных AI-моделей и децентрализованное распределение, чтобы предотвратить монополизацию вычислительных мощностей. digitaltrends.com @ai_machinelearning_big_data #news #ai #ml

🔥 Прикладная независимая конференция по data science Организаторы HighLoad++ делают первую офлайн конференцию AiConf 2024. И это не просто конференция, а площадка для обмена опытом, общения и профессионального роста для Data Scientist, ML инженеров. ➡️ Среди тем конференции: - Работа со звуком - Компьютерное зрение и генерация изображений - Обработка естественного языка - Рекомендательные системы и поиск - Умные механизмы - Дискуссии на тему "ML будущего" - Оптимизация использования железа ➡️ На AiConf 2024 вас ждут: -Более 700 участников - Доклады от Эмели Драль, Олега Бартунова, Алексея Голомедова - Свежие доклады от лидеров рынка Ozon, Яндекса, Huawei, а также из реального сектора  - Рассказы о кейсах и технологиях, которые можно сразу применить в своих проектах. Всё свежее, из первых рук — Неформальное общение на afterparty  ❗️Кстати, ребята в своем телеграм-канале (https://t.me/UseDataConfChannel) делают розыгрыш офлайн-билета, приглашаем поучаствовать. До встречи на AiConf 2024!

🌟 InternLM2.5-20B-chat и InternLM2.5-1.8B-chat: Расширение семейства языковых моделей InternLM 2.5. InternLM2.5-20B-chat - базовая модель с 20 миллиардами параметров ориентированная на чат-взаимодействие. Модель обладает математическими возможностями, поддерживает сбор информации с веб-страниц и получила улучшенный навык следования инструкциям. Модель может быть развернута с помощью Transformers, vLLM и LMDeploy. Доступна также версии GGUF для запуска в llama.cpp, LMStudio и Ollama с половинной точностью FP16 (39.7GB) и в малоразрядных квантованных вариациях c шагом в 1 bit : от 2-bit (7.55 GB) до 8-bit (21 GB). InternLM2.5-1.8B-chat - модель с 1.8 миллиардами параметров и точно такой же направленности и возможностями, как и 20B-chat версия. Для InternLM2.5-1.8B-chat тоже доступны GGUF версии с разрядностью от FP16 (3.78 GB) до до 2-bit (772 Mb), с шагом в 1 bit. 📌Лицензирование : 🟠InternLM2.5-20B-chat: бесплатно. Коммерческое применение требует подачи заявки через форму. 🟢InternLM2.5-1.8B-chat: Apache 2.0 License 🟡Страница проекта 🟡Набор моделей на HF 🟡Сообщество в Discord 🖥Github [ Stars: 6.1K | Issues: 7 | Forks: 431] @ai_machinelearning_big_data #AI #LLM #ML #InternLM

⚡️ CogVideoX: Код и модель Text-to-video генерации. CogVideoX - обновление модели генерации текста в видео CogVideo, выпущенной в мае 2022 года. Обновление до CogVideoX : 🟠переход на библиотеку diffusers версии 0.30.0, что позволяет выполнять инференс на одном GPU NVIDIA 24Gb; 🟠использование в модели 3D Causal VAE, который позволяет выполнять реконструкцию видео практически без потерь. CogVideoX-2B: первая модель в серии CogVideoX, разработанная для генерации видео. Для запуска требуется 18GB VRAM GPU (с использованием SAT) для инференса на одном графическом процессоре и 40GB для дообучения и файнтюна. Модель поддерживает генерацию видео с разрешением 720x480, длительностью 6 секунд и частотой 8 кадров в секунду, с максимальной длиной текстового промпта в 226 токенов. CogVideoX-5B: более плотная модель на 5B, доступна только для коммерческих целей по API. При регистрации дают 25 млн токенов попробовать, но возможность регистрации по некитайским номерам сотовых операторов неизвестна. Технические параметры CogVideoX-5B не публиковались. CogVideoX обучалась на наборе данных из 35 миллионов видеоклипов, каждый из которых длительностью около шести секунд. Данные для обучения прошли фильтрацию на низкое качество. CogVideoX использует 3D causal VAE для сжатия видеоданных как в пространственном, так и во временном отношении, тем самым сокращая длину последовательности по сравнению с традиционными методами. Это помогает поддерживать непрерывность между кадрами, минимизируя мерцание в сгенерированных видео. Модель объединяет Expert Transformer с адаптивным LayerNorm для синхронизации согласования между видео и текстовыми вхождениями. Такая конструкция позволяет комплексно моделировать временные и пространственные измерения с использованием 3D full focus, оптимизируя обработку интенсивных движений в генерации. Выделенный captioning pipeline для видео генерирует точные текстовые описания для кадров, улучшая семантическое понимание модели. Эмпирические результаты тестов показывают, что CogVideoX превосходит существующие общедоступные модели в машинных и в человеческих оценках. ▶️Локальный запуск доступен в нескольких вариантах: 🟢с использованием SAT (SwissArmyTransformers) весов и адаптированного кода. Подробная инструкция доступна тут; 🟢с использованием Diffusers в режимах : СLi-инференса, GradioUI и Streamlit web app. Перед запуском разработчики советуют сконвертировать текстовой промпт в формат, понятный CogVideoX-2B, так как она обучалась на длинных LLM-образных промптах, выполнив скрипт convert_demo.py. По умолчанию, CogVideoX использует LLM GLM4, но его также можно заменить любой другой LLM, например GPT, Gemini и т.д. Этот шаг не является обязательным, модель будет работать без ошибок, но более детальный промпт даст лучшие результаты генерации видео. ▶️Установка и запуск:

# Clone repository & install requirements:
git clone https://github.com/THUDM/CogVideo.git
pip install -r requirements.txt
cd inference

#  For Linux and Windows run GradioUI
python gradio_web_demo.py

# For macOS with Apple Silicon use this (maybe 20x slower than RTX 4090)
PYTORCH_ENABLE_MPS_FALLBACK=1 python gradio_web_demo.py

📌Лицензирование : 🟢Код: Apache 2.0 License. 🟠Модель : CogVideoX License (бесплатно для академических целей, регистрация и получение базовой лицензии - для коммерческой эксплуатации до 1млн. в мес. активных посещений. Свыше 1 млн. в мес. - получение дополнительной лицензии). 🟡Arxiv 🟡Demo 🟡Сообщество в Discord 🟡Модель для Diffusers 🟡VAE для SAT 🟡Модель для SAT 🖥Github [ Stars: 5.5K | Issues: 19 | Forks: 495] @ai_machinelearning_big_data #AI #VLM #ML #Text2Video #CogVideoX

⚡️ Новостной дайджест ✔️OpenAI запускает SWE-bench-verified для стандартизации оценки языковых моделей в программировании. OpenAI представила SWE-bench-verified — инициативу для стандартизации и улучшения оценки производительности языковых моделей в задачах по программированию. Этот бенчмарк включает тщательно проверенные задания и решения на разных языках программирования. Он обеспечивает объективную и сопоставимую оценку возможностей моделей в области разработки программного обеспечения. SWE-bench-verified способствует более точному анализу и сравнению моделей. openai.com ✔️ Вышла бета-версия Grok-2 Модель демонстрирует показатели на уровне Claude 3.5 и GPT-4. Уже доступна пользователям X Premium. ✔️Sonova выпустила слуховые аппараты с ИИ, который улучшает звук речи в шумных местах. Sonova представила Phonak Audéo Sphere - слуховой аппарат с искусственным интеллектом и двухчиповой технологией, которая обеспечивает 53-кратное улучшение понимания речи в шумной обстановке. Разработанная в течение многих лет платформа решает главную проблему пользователей слуховых аппаратов - разборчивость речи в шуме - с помощью чипа DEEPSONIC с расширенными возможностями DNN. interestingengineering.com ✔️YouTube тестирует функцию, позволяющую авторам использовать Google Gemini для мозгового штурма идей для видео. Платформа тестирует новую функцию, которая позволит создателям контента использовать Google Gemini для мозгового штурма идей для видео. Этот инструмент будет помогать авторам генерировать темы, планы и даже названия для своих видео на основе трендового контента и предпочтений зрителей. Функция станет частью YouTube Studio. Эта инициатива является частью более широкой стратегии Google по улучшению инструментов авторов с использованием генеративного ИИ. techcrunch.com ✔️Intel собирается поставлять графические процессоры для автомобилей. Intel планирует поставлять дискретные графические процессоры в автомобильную индустрию, начиная с модели Arc A760A. Этот GPU предназначен для интеграции в автомобильные информационно-развлекательные системы, обеспечивая возможность "АААА" игрового опыта прямо в автомобиле. Кроме того, Intel развивает свою платформу для обработки и анализа данных в реальном времени в автомобиле, которой необходимы вычислительные ресурсы. engadget.com ✔️Новая инициатива Linux Foundation направлена на продвижение "необратимых" моделей ИИ с открытым исходным кодом. Linux Foundation запускает инициативу Open Model Initiative (OMI) для продвижения «безотзывных» открытых AI моделей. Основная цель OMI — создание и поддержка генеративных AI моделей с открытым исходным кодом, которые будут доступны без ограничений, включая лицензии без условий удаления и без повторяющихся платежей. Инициатива включает разработку стандартов для совместимости моделей, открытых наборов данных для обучения, и создание тестовой модели с альфа-версией. Это движение направлено на развитие этичных и высококачественных AI решений в рамках сообщества разработчиков. siliconangle.com @ai_machinelearning_big_data #news #ai #ml

🌟 EXAONE-3.0-7.8B-Instruct: языковая модель с открытым исходным кодом c 7,8B параметров от LG, EXAONE-3.0-7.8B-Instruct (EXpert AI for EveryONE) основана на архитектуре Transformers, с длиной контекста в 4096 токенов. Модель использует Rotary Position Embeddings (RoPE) и Grouped Query Attention (GQA), имеет 32 слоя и размер словаря в 102 400 токенов. Поддержка английского и корейского языков реализована с помощью специального токенизатора BBPE (byte-level byte-pair encoding), который дает низкое сжатие для корейского языка по сравнению с существующими аналогами. Процесс обучения строился на двухэтапном режиме. Первый этап состоял из обучения на 6 триллионах токенов для накопления общих знаний , а затем на дополнительных 2 триллионах токенов, ориентированных на более высокие языковые навыки и экспертные знания. Для улучшения способности следовать инструкциям была применена постобработка: контролируемая тонкая настройка и оптимизация прямых предпочтений. В реальных сценариях использования EXAONE 3.0 7,8B продемонстрировала высокие результаты в тесте MT-Bench, который коррелирует с оценками в LMSYS Chatbot Arena. Модель показала точность в математических и code задачах, заняв первое место в большинстве проведенных тестов. ▶️Локальный запуск: Рекомендованная версия transformers>=4.41.0

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained(
    "LGAI-EXAONE/EXAONE-3.0-7.8B-Instruct",
    torch_dtype=torch.bfloat16,
    trust_remote_code=True,
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained("LGAI-EXAONE/EXAONE-3.0-7.8B-Instruct")

# Choose your prompt
prompt = "Explain who you are"  # English example
prompt = "너의 소원을 말해봐"   # Korean example

messages = [
    {"role": "system", "content": "You are EXAONE model from LG AI Research, a helpful assistant."},
    {"role": "user", "content": prompt}
]
input_ids = tokenizer.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    return_tensors="pt"
)

output = model.generate(
    input_ids.to("cuda"),
    eos_token_id=tokenizer.eos_token_id,
    max_new_tokens=128
)
print(tokenizer.decode(output[0]))

📌Лицензирование : использование разрешено исключительно в некоммерческих целях. Любое коммерческое использование модели требует отдельной лицензии от правообладателя. 🟡Страница проекта 🟡Arxiv 🟡Модель на HF 🟡Demo 🖥Github [ Stars: 123 | Issues: 0 | Forks: 5] @ai_machinelearning_big_data #AI #LLM #ML #EXAONE #LG

В современном мире, где данные – ключевой ресурс, Томский государственный университет (ТГУ) и Skillfactory представляют онлайн-магистратуру по компьютерному зрению и нейронным сетям! Эта программа создана для тех, кто стремится стать экспертом в области искусственного интеллекта и решать сложные инженерные задачи в медицине, экологии и не только. Что вас ждет: - Освоите онлайн Computer Vision и выберите специализацию: AR-технологии, генеративный дизайн, робототехника. - Получите диплом ТГУ и все студенческие льготы. Первый год обучения – от 240 рублей в месяц благодаря господдержке. Программа создана совместно с лидерами отрасли: академический директор – ведущий инженер по машинному обучению в Samokat.tech, а индустриальный партнер – ведущий разработчик IT-решений Rubius, который является лидером в области IT-разработок в России. Для поступления не нужны специализированные знания в машинном обучении или оптике – подготовка включает адаптационные модули по математике и Python. Оставьте заявку сегодня и получите доступ к бесплатным подготовительным курсам и мероприятиям от ТГУ, которые помогут успешно пройти вступительные испытания. Подробности по ссылке ниже – присоединяйтесь к будущему уже сейчас! https://go.skillfactory.ru/oeSR3w Реклама. ООО «Скилфэктори» erid: LjN8Jvhff