Machinelearning

🌟 OLA-VLM: метод повышения визуального восприятия в MLLM с помощью вспомогательной дистилляции эмбедингов. OLA-VLM - метод, который предлагает дистиллировать знания от визуальных энкодеров в противовес традиционному способу обучения MLLM. В качестве целевых визуальных энкодеров были выбраны модели сегментации, оценки глубины и генерации изображений. На каждом слое LLM обучался проб, который должен прогнозировать выход соответствующего целевого энкодера. Так архитектура OLA-VLM получила предикторы встраивания, которые получают токены из LLM и генерируют предсказания для вычисления потери встраивания. Эта потеря минимизируется вместе с потерей предсказания следующего токена. Для улучшения восприятия целевой информации OLA-VLM использует специальные токены ⟨t⟩, которые добавляются к токенам изображения на входе LLM. Во время фазы настройки MLLM обучается только с использованием потери предсказания следующего токена. При этом специальные токены ⟨t⟩ остаются в входной последовательности, формируя неявную визуальную цепь рассуждений. Эксперименты показали, что OLA-VLM превосходит модели семейства LLaVA-1.5 как по качеству визуальных представлений, так и по эффективности на различных тестах. Методом OLA-VLM были обучены 12 моделей на LLMs Phi3-4K-mini и Llama3-8b с разными базовыми (ViT, CLIP-ConvNeXT) и целевыми (depth, segmentation, generation) энкодерами. Доступны версии PT (Pre-Training) и IFT (Instruction Fine-Tuning). ▶️ Локальная установка и запуск web demo c GrarioUI:

# Clone repo
git clone https://github.com/SHI-Labs/OLA-VLM
cd OLA-VLM

# Create conda env
conda create -n ola_vlm -y
conda activate ola_vlm

# Install dependencies
pip install -e .["demo"]
pip install flash-attn --no-build-isolation
pip install scikit-learn icecream datasets pytorch-fid lpips opencv-python-headless
pip install setuptools==61.0.0
pip install huggingface_hub==0.24.7
pip install transformers==4.41.1

# Run webUI with one of models
CUDA_VISIBLE_DEVICES=0 python demo.py --model-path %path_to_model% --PT-model-path %path_to_model%

📌Лицензирование моделей: Apache 2.0 License. 🟡Страница проекта 🟡Набор моделей 🟡Arxiv 🖥GitHub @ai_machinelearning_big_data #AI #ML #MMLM #OLA-VLM

📎 ML в медицине: дайджест за 8 - 15 декабря 2024 г. ▶️Модели, бенчмарки и датасеты 🔘Модель диагностики хронического заболевания почек. Модель глубокого обучения, которая с высокой точностью диагностирует болезни почек по данным КТ-снимков. 🔘RNAgrail: графовая нейронная сеть и диффузионная модель для предсказания 3D-структуры РНК. Опенсорсный инструмент моделирования и прогнозирования структуры РНК. 🔘LLaSA: Анализ активности пациента по инерционным датчикам с помощью MLLM. Mодель, которая может анализировать данные с датчиков движения и отвечать на вопросы о действиях и активности человека. ▶️Фреймворки и методологии 🔘TOP-Training: целенаправленный метод обучения LLM для извлечения ответов на вопросы в медицинской области. Метод обучения на синтетических данных, адаптированных под конкретную медицинскую задачу. 🔘Hybrid RAG: гибридная архитектура RAG для управления данными. Концепт системы, которая использует MLLM и взаимодействие между клиниками для обмена медицинскими данными, улучшении диагностики и теорию контрактов, которые мотивируют клиники делиться актуальной информацией. 🔘MMedPO: метод повышения точности медицинских VLM. Метод, который учитывает важность медицинской информации при обучении VLM и улучшает точность моделей в медицинских задачах. 🔘GMNA: анализ геномных данных с использованием сети ошибочной классификации. Метод, который сравнивает геномы вирусов SARS-CoV-2 на основе ошибок в их классификации нейронными сетями. Чем чаще модель путает геномы из разных регионов, тем больше у них общего. Этот подход помог увязать генетические различия вирусов с географией и потоками авиаперелетов. 🔘Цифровые отпечатки для обучения ИИ в медицинской визуализации. Способ хранить и передавать знания о том, как обучать ИИ анализировать медицинские изображения, не раскрывая данные. 🔘Прогнозирование посещений отделения неотложной помощи пациентами с диабетом 2 типа с помощью машинного обучения. Применение разных ML-алгоритмов, чтобы спрогнозировать, когда пациенты будут ходить в отделение неотложной помощи. Лучше всего справлялись случайный лес, XGBoost и ансамблевая модель. ▶️Медицинские LLM-приложения 🔘BRAD: цифровой помощник для биоинформатики на основе LLM. Цифровой помощник, который умеет искать и подтягивать информацию из разных источников - статей, баз данных, программных инструментов. 🔘BioResearcher: система автоматизации медицинских исследований. Система с LLM, которая помогает ученым быстро находить нужные статьи, обрабатывать их, планировать эксперименты и даже писать отчеты. ▶️Исследования и обзоры *️⃣T5-модели: преимущества и ограничения в обработке медицинских текстов. Исследование, в котором сравнили разные модели Т5, обученные на медицинских данных, и выяснили, что специализированные клинические модели показывают лучшие результаты на некоторых задачах, но им не хватает гибкости. А модели общего назначения, адаптированные под медицинские задачи, оказываются эффективнее, особенно когда данных мало. *️⃣Автоматизация классификации препаратов для клинических назначений с помощью LLMs. Концепт системы, которая использует LLM для автоматической классификации лекарств по Анатомо-терапевтическо-химической системе. Это упрощает работу медиков и повышает точность распределения препаратов. *️⃣Обзор медицинских наборов данных. Обзор мед. датасетов - текстов, картинок, разговоров врачей и пациентов, которые используются для обучения ИИ-моделей решать медицинские задачи. Есть много интересных и полезных баз данных, но в основном на английском и китайском языках. 🔜 Читать полный дайджест @ai_machinelearning_big_data

🌟 POINTS1.5: VLM от WeChat. POINTS1.5 - усовершенствованная версия VLM POINTS1.0, построенная по принципу LLaVA (визуальный энкодер+LLM) на базе Qwen2.5-7B-Instruct. В отличие от предыдущей версии, где использовался энкодер изображений CLIP, POINTS1.5 использует энкодер NaViT, который позволяет модели обрабатывать изображения различного разрешения без необходимости их разделения. Для повышения качества модели были применены методы фильтрации данных для обучения. Данные, не требующие анализа изображения для ответа на вопрос и содержащие грамматические ошибки, были удалены. Обучение POINTS1.5 выполнялось в два этапа: предварительное обучение и настройка на выполнение визуальных инструкций. На этапе предварительного обучения проектор и LLM обучались совместно. На этапе настройки на выполнение визуальных инструкций использовались специализированные наборы данных, которые обучают модель понимать инструкции, связанные с изображениями. POINTS1.5 была протестирована на бенчмарках MMBench, MMMU, MathVista, HallucinationBench, OCRBench, MMVet, ChartQA, MME, LLaVA-wild, SEEDBench, ScienceQA, MATH-Vision и MathVerse и показала высокие результаты, особенно в задачах, требующих математических навыков. Модели семейства POINTS могут быть запущены в режиме model soup (совместный запуск нескольких моделей, настроенных с разными наборами инструкций для получения итоговой "усредненной" модели) и CATTY (стратегия разбиения изображения большого разрешения на небольшие фрагменты одинакового размера). ▶️Локальная установка и пример инференса с Transformers:

# Clone repo
git clone https://github.com/WePOINTS/WePOINTS.git

# Install required packages
cd WePOINTS
pip install -e .

# Inference example
from transformers import AutoModelForCausalLM, AutoTokenizer
from wepoints.utils.images import Qwen2ImageProcessorForPOINTSV15
import torch
from PIL import Image
import requests
from io import BytesIO


model_path = 'WePOINTS/POINTS-1-5-Qwen-2-5-7B-Chat'
model = AutoModelForCausalLM.from_pretrained(model_path,
                                                 trust_remote_code=True,
                                                 torch_dtype=torch.float16,
                                                 device_map='cuda') 
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
image_processor = Qwen2ImageProcessorForPOINTSV15.from_pretrained(model_path)

image_url = '%link to image%'
response = requests.get(image_url)
image_data = BytesIO(response.content)
pil_image = Image.open(image_data)
pil_image = pil_image.save('image.jpg')
prompt = 'please describe the image in detail'

content = [
        dict(type='image', image='image.jpg'),
        dict(type='text', text=prompt)
    ]
messages = [
        {
            'role': 'user',
            'content': content
        }
    ]
generation_config = {
        'max_new_tokens': 1024,
        'temperature': 0.0,
        'top_p': 0.0,
        'num_beams': 1,
    }
response = model.chat(
    messages,
    tokenizer,
    image_processor,
    generation_config
)
print(response)

📌Лицензирование: Apache 2.0 License. ▪Модель ▪Arxiv ▪GitHub ▪Руководство по Prompt Engineering @ai_machinelearning_big_data #AI #ML #VLM #WePOINTS

📌Онлайн курс "Преобразование Фурье и его приложения" Преобразование Фурье – это математический метод, который широко применяется в науке и технике для анализа сигналов. Этот метод основан на представлении сигнала в виде суммы синусоидальных и косинусоидальных функций разных частот. Анализ Фурье оказал значительное влияние на развитие математики, стимулируя развитие теории обобщенных функций. Применение преобразования Фурье основано на принципе линейности, который позволяет анализировать сложные сигналы путем разложения их на более простые составляющие. Курс «EE 261 Преобразование Фурье и его приложения», предлагаемый онлайн-платформой Stanford Engineering Everywhere Университета Стэнфорда, посвящен изучению преобразования Фурье и его практическому применению. Цель курса – научить студентов применять преобразование Фурье для решения практических задач в различных областях науки и техники. В рамках курса рассматриваются темы: 🟢Ряды Фурье; 🟢Основные свойства преобразования Фурье; 🟢Свертка; 🟢Обобщенные функции; 🟢Дискретизация; 🟢Линейные системы; 🟢Дискретное преобразование Фурье; 🟢Алгоритм быстрого преобразования Фурье; 🟢Двумерное преобразование Фурье. Курс состоит из 30 лекций, дополнительных материалов к ним и предназначен для студентов с разным уровнем подготовки, для тех, кто впервые знакомится с преобразованием Фурье, так и для тех, кто уже изучал его в других курсах. @ai_machinelearning_big_data #AI #ML #FourierTransform #Stanford #Course

✔️ OpenAI представила функцию «Проекты» для ChatGPT. OpenAI анонсировала новую функцию «Проекты» для своего чат-бота ChatGPT. Эта функция позволит пользователям группировать чаты и данные, упрощая использование ChatGPT для конкретных задач. Пользователи смогут объединять в проекты пользовательские данные, разговоры, GPT и простые чаты. Каждый чат в проекте будет иметь доступ ко всей информации внутри него. OpenAI продемонстрировала "Проекты" на седьмом по счету стриме цикла анонсов "12 Days of OpenAI" openai.com ✔️ Anthropic разработала платформу для анализа использования больших языковых моделей. Anthropic создала платформу Clio для изучения особенностей применения больших языковых моделей в реальных условиях. Clio использует LLM для анализа миллионов диалогов, выявляя общие закономерности использования без нарушения конфиденциальности пользователей. Платформа группирует диалоги по схожести, создаёт обобщённые описания тем и определяет возможные нарушения правил использования. В отличие от традиционных методов, Clio не предполагает просмотра диалогов людьми. Anthropic применяет Clio для повышения безопасности Claude. Clio помогает выявлять скоординированные злоупотребления и отслеживать неизвестные угрозы, особенно в важные периоды запуска новых функций. Компания планирует сделать Clio доступной для общественности с целью формирования культуры прозрачности в сфере ИИ. anthropic.com ✔️ NVIDIA QUEEN: алгоритм потоковой передачи видео с произвольной точкой обзора. QUEEN (QUantized Efficient ENcoding) - это новый алгоритм, разработанный NVIDIA для эффективного кодирования и потоковой передачи видео с произвольной точкой обзора. QUEEN использует динамические гауссианы для представления сцены, что позволяет достичь высокого качества изображения при минимальном размере модели. Алгоритм способен сократить размер модели до 0,7 МБ на кадр, обеспечивая при этом быстрое обучение (менее 5 секунд) и высокую скорость рендеринга (около 350 кадров в секунду). QUEEN основан на квантовании и разрежении атрибутов гауссиан и использует адаптивную маскирующую технику для разделения статического и динамического контента. research.nvidia.com ✔️ Microsoft представила новую модель Phi-4. Новая языковая модель Phi-4 от Microsoft Research демонстрирует производительность, сравнимую с гораздо более крупными моделями, используя всего 14 миллиардов параметров. Phi-4 превосходит свою обучающую модель, GPT-4, в ответах на вопросы по науке и технике и демонстрирует особую эффективность в математике: 56,1% правильных ответов на вопросы университетского уровня и 80,4% на задачи из математических олимпиад. Phi-4 уже доступна в рамках ограниченного превью на платформе Azure AI Foundry для исследовательских целей. В открытый доступ Phi-4 будет опубликована на следующей неделе. techcommunity.microsoft.com ✔️ Cadbury борется с искусственным интеллектом, засоряя обучающие данные бессмыслицей. Индийский филиал кондитерской компании Cadbury начал рекламную кампанию под названием «Сделаем ИИ посредственным снова», целью которой является замедлить развитие искусственного интеллекта путем внесения искажений в обучающие данные. Компания создала «первую в мире серверную ферму», генерирующую тысячи синтетических веб-сайтов, заполненных бессмысленным текстом. Цель состоит в том, чтобы «загрязнить» данные, которые модели искусственного интеллекта собирают из Интернета, вызывая ошибки, требующие постоянного вмешательства человека. techspot.com @ai_machinelearning_big_data #news #ai #ml

⚡️ DeepSeek-VL2: релиз набор VL-MoE моделей нового поколения. DeepSeek-VL2 - усовершенствованная серия VLM c Mixture-of-Experts (MoE), которая значительно превосходит DeepSeek-VL.   Модели семейства ориентированы на задачи визуальных ответов на вопросы, оптического распознавания символов, понимания документов/таблиц/схем и визуального обоснования. DeepSeek-VL2 включает три основных модуля: 🟠Визуальный энкодер SigLIP-SO400M-384, который использует динамическую стратегию разбиения изображения на фрагменты. Эта стратегия позволяет эффективно обрабатывать изображения высокого разрешения с различными соотношениями сторон. 🟠VL-адаптер, преобразующий визуальные элементы в формат, понятный языковой модели. Адаптер также добавляет специальные маркеры, чтобы обозначить границы строк, фрагментов и миниатюр. 🟠Языковая модель DeepSeek-MoE с механизмом MLA. MLA повышает эффективность обработки информации, сжимая kv-данные в компактный вектор. Это ускоряет обработку информации и увеличивает пропускную способность. DeepSeek-VL2 обучается в три этапа: на первом этапе обучается MLP-соединитель, который связывает визуальный энкодер с языковой моделью, затем модель обучается на датасете из текста, изображений, аннотаций, QA и данных OCR и, в конце процесса, дообучается с учителем для улучшения ее способности понимать инструкции и вести диалог.   Модельная серия состоит из 3 вариантов c контекстом 4096: 🟢DeepSeek-VL2-Tiny (1B активных параметром и 3.4В общих); 🟢DeepSeek-VL2-Small (2.8B активных параметром и 16.1B общих); 🟢DeepSeek-VL2 (4.5B активных параметром и 27.5B общих). DeepSeek-VL2 была протестирована на задачах DocVQA, ChartQA, InfoVQA, TextVQA, MMBench и показала лучшие результаты по сравнению с другими моделями MoE. DeepSeek-VL2 эффективно использует архитектуру MoE и превосходит другие модели с аналогичным количеством активных параметров. 📌Лицензирование: DeepSeek License. 🟡Набор моделей 🟡Техотчет 🟡Сообщество в Discord 🖥GitHub @ai_machinelearning_big_data #AI #ML #VLM #DeepSeek

✔️ OpenAI расширяет возможности голосового режима ChatGPT. OpenAI представила обновленный голосовой режим ChatGPT, который теперь поддерживает функции демонстрации экрана и распознавания изображений. Благодаря этому ChatGPT может анализировать контекст происходящего на экране смартфона или компьютера и давать более точные инструкции. Русский язык - поддерживается. Обновленный голосовой режим уже доступен в мобильных приложениях для пользователей Team, а также для большинства подписчиков Pro и Plus. В ближайшее время функция станет доступна для европейских пользователей Pro и Plus, а в начале следующего года - для пользователей Enterprise и Edu. openai.com ✔️ Midjourney представила Patchwork, инструмент для создания миров. Patchwork – это бесконечное полотно, поддерживаемое искусственным интеллектом, которое позволяет создавать миры как персонально, так и совместно. С помощью этого инструмента можно развить расплывчатые идеи в полноценные истории, а также создавать необычные визуальные новеллы из изображений и текста. В будущем Midjourney планирует сделать персонажей, миры и другие материалы, созданные в Patchwork, совместимыми с другими приложениями для сторителлинга. Это позволит, например, оживить персонажей в интерактивных сеттингах и редактировать текст истории с помощью новых интерфейсов для творческого письма. updates.midjourney.com ✔️ Fujitsu представила 144-ядерный процессор Monaka для центров обработки данных. Fujitsu представила прототип своего нового процессора Monaka, разработанного на архитектуре Armv9 и предназначенного для использования в центрах обработки данных. Процессор включает 144 ядра, распределенных по четырем 36-ядерным чиплетам, изготовленным по 2-нм техпроцессу TSMC. Чиплеты расположены поверх SRAM-плиток, произведенных по 5-нм техпроцессу, и соединены с ними с помощью гибридной медной связи. Monaka также оснащен контроллером памяти DDR5, интерфейсом PCIe 6.0 с CXL 3.0 для подключения ускорителей. Ожидается, что Monaka будет доступен в 2027 финансовом году. tomshardware.com ✔️ Ученые предлагают создать виртуальные клетки тканей человека с помощью ИИ. Группа исследователей из Стэнфордского университета, Genentech и Chan-Zuckerberg Initiative считают, что современные достижения в области ИИ и большие массивы экспериментальных данных о биологии человека открывают беспрецедентные возможности для моделирования живых клеток. Виртуальная клетка сможет воспроизводить поведение молекул, клеток, а в будущем - тканей и органов человека. Такая модель позволит глубже понять принципы работы здоровых клеток и выявить причины заболеваний. По мнению авторов, успешная виртуальная клетка должна обладать универсальностью, предсказывать функции и поведение клеток, а также позволять проводить эксперименты "in silico" для проверки гипотез. news.stanford.edu ✔️ Гарвардский университет и Google выпустят базу данных из 1 млн. книг для обучения ИИ. База данных включает различные жанры, языки и авторов, включая Диккенса, Данте и Шекспира, которые больше не защищены авторским правом в силу своего возраста. Набор книг создан на основе многолетнего проекта сканирования книг Google Books, и Google будет участвовать в ее распространении. База данных предназначена для того, чтобы "создать равные условия" доступа к массиву данных всем - от исследовательских лабораторий до стартапов в области ИИ, - кто хочет обучать свои LLM. В настоящее время база данных находится на стадии доработки и в скором времени будет доступна для широкого использования. institutionaldatainitiative.org @ai_machinelearning_big_data #news #ai #ml

🌟 MD4: Маскированная диффузия для дискретных данных. Маскированная (или абсорбирующая) диффузия - перспективный подход в генеративном моделировании дискретных данных, предлагающий альтернативу авторегрессионным моделям. MD4 (Masked Discrete Diffusion for Discrete Data) - метод, разработанный в Google DeepMind предлагает упрощенный и обобщенный подход к маскированной диффузии. Структура метода позволяет обучать обобщенные модели маскированной диффузии с гибкими схемами маскировки, зависящими от состояния данных. В основе MD4 лежит «маскирующий» процесс, превращающий исходные данные в состояние «маски» в случайный момент времени. Обращение этого процесса позволяет синтезировать новые данные, сохраняющие распределение обучающей выборки. Математически прямой процесс описывается как марковская последовательность дискретных случайных величин, индексируемых временным параметром от 0 до 1. MD4 продемонстрировал превосходство над диффузионными языковыми моделями по показателю перплексии на наборе данных OpenWebText и значительно обошел существующие дискретные диффузионные модели по качеству пиксельного моделирования изображений, достигая 2,75 бит на измерение для CIFAR-10 и 3,40 бит на измерение для ImageNet 64 × 64. Эти результаты выше, чем показатели авторегрессионных моделей сопоставимого размера (GPT-2, PixelRNN, Gated PixelCNN, PixelCNN++, PixelSNAIL, Image Transformer, Sparse Transformer). Несмотря на все преимущества метода, MD4 склонен к переобучению, что снижает его эффективность для задач с нулевой выборкой по сравнению с более простыми моделями. Прикладная реализация MD4 опубликована в репозитории Google Deepmind, в котором представлена возможность повторить экспериментальное обучение на тексте или изображениях. ⚠️ Batch size зависит от вычислительных ресурсов. Для обучения модели MD4-S с длиной последовательности 1024, 8 GPU A100 могут поддерживать максимальный batch size=128. При запуске на TPU, 8 чипов v5litepod, batch size=32. ▶️Локальная установка и пример обучения на тексте и изображениях:

# Create & activate env
python -m venv md4_venv
source md4_venv/bin/activate

# Install required packages
pip install -r requirements_gpu.txt

# Include a path dir in the Python path
export PYTHONPATH="$PYTHONPATH:~/path/to/md4"

# Prepare openwebtext for training
mkdir data_dir
python prepare_openwebtext_data.py

# Train a MD4-S model over text data
python md4/main.py --config=md4/configs/md4/openwebtext.py --sharded=false --workdir=./expt

# Train a MD4-S model over image data via cifar10
python md4/main.py --config=md4/configs/md4/cifar10.py --sharded=false --workdir=./expt

📌Лицензирование: Apache 2.0 License. 🟡Arxiv 🖥GitHub @ai_machinelearning_big_data #AI #ML #Diffusion #MD4 #GoogleDeepMind

В сфере развития AI-технологий должна быть сформирована коллективная ответственность Об этом заявил в ходе выступления на конференции AI Journey Хаммам Риза, президент Ассоциации промышленных исследований в области искусственного интеллекта в Индонезии (KORIKA). «Искусственный интеллект должен развиваться ответственно. Нужно обеспечить коллективную ответственность, сформулировать цели инноваций и постоянно адаптировать наши решения. Я призываю всех в рамках сотрудничества стран БРИКС сформировать будущее развития искусственного интеллекта. Вместе мы можем достигнуть цели — когда искусственный интеллект служит человеку с уважением к этнокультурному разнообразию и нашему наследию», — объяснил свою позицию Риза. @ai_machinelearning_big_data #news #ai #ml

🌟 Torchcodec: библиотека для декодирования видео в PyTorch. PyTorch представила torchcodec – библиотеку, предназначенную для декодирования видео в тензоры PyTorch. Библиотека разработана для специалистов, работающих с моделями машинного обучения PyTorch, которым требуется обработка видеоданных. Torchcodec обеспечивает декодирование видео в тензоры PyTorch на CPU и GPU CUDA. Библиотека рассматривает видеофайл как последовательность кадров в Python и поддерживает два метода их извлечения: на основе индекса и на основе времени презентации. Декодированные кадры представляют собой тензоры PyTorch, готовые для подачи в модели машинного обучения. Torchcodec поддерживает все кодеки, доступные в FFmpeg и может обрабатывать видео как с постоянной, так и с переменной частотой кадров . Подробная инструкция по установке, использованию классов библиотеки и примеры декодирования доступны в документации Torchcodec. 📌Лицензирование: BSD-3-Clause License. 🟡Статья 🟡Документация 🖥Github @ai_machinelearning_big_data #AI #ML #Pytorch #Torchcodec

✔️ Google открыла доступ к Gemini 2.0 Flash. Gemini 2.0 Flash демонстрирует двукратное увеличение скорости по сравнению с предыдущей версией 1.5 Pro и обладает улучшенными характеристиками в обработке текста, кода, видео и пространственных данных. Модель также поддерживает новые функции: мультимодальный вывод (текст, аудио и изображения) и встроенное использование Google Search. Разработчики могут получить доступ к Gemini 2.0 Flash через API в Google AI Studio и Vertex AI. Обновленная версия Gemini также предоставляет возможность создавать приложения с использованием потоковой передачи аудио и видео в режиме реального времени. developers.googleblog.com ✔️ Apple разрабатывает собственный ИИ-чип. Apple в сотрудничестве с Broadcom разрабатывает собственный серверный чип, оптимизированный для задач искусственного интеллекта. Чип под кодовым названием Baltra, планируется запустить в массовое производство к 2026 году, а для его производства Apple намерена использовать передовой техпроцесс TSMC с обозначением N3P. theinformation.com ✔️ Microsoft запускает Copilot Vision. Microsoft запускает предварительную версию Copilot Vision, инструмента, который позволяет пользователям взаимодействовать с веб-страницами с помощью ИИ. Copilot Vision доступен в браузере Microsoft Edge, сканирует и анализирует содержимое веб-страницы, предоставляя расширенную информацию и помогая в принятии решений. Например, Copilot Vision может помочь спланировать посещение музея, выделив информацию о выставках и экспонатах или упростить онлайн-шопинг, подбирая товары в соответствии с заданными критериями. Copilot Vision активируется только с разрешения пользователя, а данные сеанса удаляются после его завершения. Предварительная версия Copilot Vision доступна ограниченному числу подписчиков Copilot Pro в США и будет работать только с определенным набором веб-сайтов. microsoft.com ✔️ Hugging Face и Entalpic представляют LeMaterial: открытую инициативу для исследований в области материаловедения. Первым этапом проекта стал выпуск набора данных LeMat-Bulk, который объединяет, очищает и стандартизирует данные из авторитетных источников: Materials Project, Alexandria и OQMD. В результате сформирован единый формат данных, включающий 6,7 млн. записей и 7 свойств материалов. LeMat-Bulk содержит древовидную карту элементного состава, расширяющую охват существующих наборов данных, которые фокусируются на конкретных типах материалов. LeMat-Bulk предоставляет пользователям инструменты для изучения и визуализации. В последующих версиях LeMaterial планируется добавление новых наборов данных, инструментов и приложений. huggingface.co ✔️ Google тестирует "универсального агента" ИИ. Google DeepMind расширяет программу тестирования Project Astra и Project Mariner, которые входят в прототип "универсального агента" ИИ. Astra - виртуальный помощник, способный обрабатывать текст, изображения, видео и аудио в режиме реального времени и отвечать на вопросы, касающиеся этих данных. Он "запоминает" предыдущие взаимодействия и может ссылаться на них. Project Mariner - ИИ, способный управлять браузером пользователя и выполнять задачи с помощью расширения Chrome. В настоящее время оба проекта находятся на ранней стадии разработки и доступны ограниченному числу тестировщиков. Astra интегрируется в продукты Google: Search, Lens и Maps. Пока неизвестно, когда эти системы станут доступны широкой публике. theverge.com @ai_machinelearning_big_data #news #ai #ml

🌟 BioNeMo: фреймворк разработки ИИ-моделей для дизайна лекарств. NVIDIA BioNeMo2 Framework - это набор инструментов, библиотек и моделей для вычислительного поиска и разработки лекарственный препаратов. Он ускоряет самые трудоемкие и дорогостоящие этапы создания и адаптации моделей биомолекулярного ИИ, предоставляя оптимизированные модели и инструменты, которые легко интегрируются в вычислительные ресурсы на базе GPU. Фреймворк позволяет создавать, обучать и настраивать модели, его возможности охватывают различные рабочие нагрузки и терапевтические механизмы: генерация молекул, предсказание структуры белка, белок-лиганд и обучение представлениям. Помимо кода пайплайнов, скриптов и утилит, BioNeMo2 Framework содержит: ▶️Предобученные модели: 🟢ESM-2 - предварительно обученный двунаправленный энкодер (BERT-подобный) для аминокислотных последовательностей. BioNeMo2 включает в себя чекпоинты с параметрами 650M и 3B; 🟢Geneformer - модель табличного подсчета, которая генерирует плотное представление sc-RNA клетки путем изучения паттернов коэкспрессии в отдельных клетках. ▶️Датасеты: 🟠CELLxGENE - совокупность общедоступных single-cell наборов данных, собранных в CZI (Chan Zuckerberg Initiative) общим объемом в 24 млн. клеток; 🟠UniProt - база данных кластеризованных наборов белковых последовательностей из UniProtKB, созданная на основе транслированных геномных данных. 📌Лицензирование: Apache 2.0 License. 🟡Страница проекта 🟡Документация 🖥GitHub @ai_machinelearning_big_data #AI #ML #Framework #NVIDIA

Завершился Yandex Cup 2024 — финал международного чемпионата по программированию прошел в Ташкенте. Подобные соревнования компания проводит с 2011 года. Главные изменения в этом году — рекордный призовой фонд в размере 16 млн рублей и разделение участников на три стрима. Среди треков: опытные специалисты, юниоры от 14 до 18 лет и сотрудники Яндекса, которые сражались за титул чемпиона компании. Победу одержали разработчики из России, Беларуси, Японии, США, Великобритании и Португалии. Отдельное внимание компания уделила поддержке ML-направления: количество участников-финалистов увеличилось с 6 до 22, а к изначальной сумме призового фонда добавилось 3,5 млн рублей. Вполне действенный способ замотивировать молодых ребят в сфере. Главной фишкой соревнования стала тематика, вдохновленная культурой и бытом древних цивилизаций. Все задачи чемпионата были посвящены древним изобретениям и историческим личностям: например, на этапе квалификации с помощью кода нужно было настроить систему разгрузки драккаров в порту викингов. Для офлайн-финала также создали отдельное пространство, посвященное трудам Аль-Хорезми — основателя алгебры, который проживал на территории современного Узбекистана.

📌 Пятидневный интенсивный курс по GenAI от Google и Kaggle. Google совместно с Kaggle представили пятидневный интенсивный курс по генеративному искусственному интеллекту, который доступен в формате самостоятельного обучения. Курс, который проходил в прямом эфире с 11 по 15 ноября 2024 года, охватывает базовые технологии и методы генеративного ИИ. Программа включает изучение базовых моделей, инженерии промптов, векторных баз данных и эмбедингов, ИИ-агентов, специализированных моделей для конкретных областей и MLOps для GenAi. Каждый день курса посвящен определенной теме и включает теоретические материалы, практические задания и возможность взаимодействия с экспертами Google. Участники изучат развитие LLM, начиная с трансформеров и заканчивая техниками тонкой настройки и ускорения инференса. Познакомятся с методами инженерии промптов для оптимизации взаимодействия с LLM. В рамках курса будут рассмотрены концепции эмбедингов и векторных баз данных, алгоритмы векторного поиска и научатся создавать ИИ-агентов, понимая их основные компоненты и итеративный процесс разработки. Курс включает создание и применение специализированных LLM: SecLM и Med-PaLM, с комментариями разработчиков. Участники узнают, как адаптировать практики MLOps для генеративного ИИ и использовать инструменты Vertex AI для базовых моделей и приложений генеративного ИИ. В рамках практических занятий на платформе Kaggle участники смогут применить полученные знания, создавая системы вопросов и ответов на основе извлечения информации, нейронные сети классификации и агентные системы заказа. Курс разработан экспертами Google: Анантой Навалгарией, Марком Макдональдом, Пейдж Бейли и другими. ⚠️ Для доступа к коду курса необходимы аккаунты на Kaggle (c верификацией номера телефона), Google Ai Studio (для создания API KEY). 🟡Страница курса 🟡Сообщество в Discord @ai_machinelearning_big_data #AI #ML #LLM #GenAI #Course

🌟 Лучшие открытые LLM на русском языке в мире “Т-Технологии”(в состав входит Т-Банк) представили свои большие языковые модели T-Pro и обновленную T-Lite на платформе Hugging Face: 🟠32 млрд. параметров — у T-Pro; 🟢7 млрд. параметров – у T-Lite. Им удалось обогнать все открытые модели в мире по качеству ответов на русском языке в своих категориях, в том числе проприетарные — T-Pro уступает лишь GPT4-o. Это показали разные бенчмарки, в том числе ruMMLU, Ru Arena Hard, MT Bench и AlpacaEval. ⚠️Модели создаются с использованием технологии продолженного предобучения (Continual Pretraining). Это значит, что уже обученную на больших объемах информации модель достаточно дообучить под конкретные задачи. Также модели T-Lite и T-Pro основаны на базе моделей семейства Qwen-2.5, но показывают более высокое качество на задачах русского языка, чем оригинальные модели. @ai_machinelearning_big_data #AI #ML #LLM #EXAONE #LG

🌟 TGI v3: Новая архитектура ускоренного инференса LLMs. TGI v3 — новая версия архитектуры для обработки естественного языка, разработанная Hugging Face. TGI v3 демонстрирует значительный прирост производительности, особенно при работе с длинными запросами. Улучшения v3: 🟢оптимизированные ядра; 🟢эффективная структура кэширования префиксов; 🟢улучшенное управление вычислительными ресурсами. Flashinfer и flashdecoding — новые ядра быстрой обработки текста. Оптимизированная структура кэширования позволяет быстро находить совпадения даже для очень длинных запросов. TGI v3 оценивалась в реалистичных сценариях на коротких и длинные запросах. Результаты тестов показали, что TGI v3 обрабатывает в 3 раза больше токенов, чем vLLM, а скорость обработки увеличилась в 13 раз для запросов длиной 200K+ токенов. Хотя результаты работы TGI v3 впечатляют, следует учитывать некоторые ограничения: ⚠️ Если в среде не хватает места в kv-кэше, это может привести к конфликту. Чтобы избежать этого эффекта, следует установить ограничение --max-total-tokens. ⚠️ В сценариях, где несколько реплик находятся за одним эндпоинтом рекомендуется использовать балансировку нагрузки на зависимые сеансы, чтобы заставить каждого пользователя отправлять свои запросы на одну и ту же реплику. 🔜 Полная статья с описанием TGI v3 доступна на HF. 🖥 GIthub @ai_machinelearning_big_data #AI #ML #LLM #HuggingFace #TGI

🌟 TGI v3: Новая архитектура ускоренного инференса LLMs. TGI v3 — новая версия архитектуры для обработки естественного языка, разработанная Hugging Face. TGI v3 демонстрирует значительный прирост производительности, особенно при работе с длинными запросами. Улучшения v3: 🟢оптимизированные ядра; 🟢эффективная структура кэширования префиксов; 🟢улучшенное управление вычислительными ресурсами. Flashinfer и flashdecoding — новые ядра быстрой обработки текста. Оптимизированная структура кэширования позволяет быстро находить совпадения даже для очень длинных запросов. TGI v3 оценивалась в реалистичных сценариях на коротких и длинные запросах. Результаты тестов показали, что TGI v3 обрабатывает в 3 раза больше токенов, чем vLLM, а скорость обработки увеличилась в 13 раз для запросов длиной 200K+ токенов. Хотя результаты работы TGI v3 впечатляют, следует учитывать некоторые ограничения: ⚠️ Если в среде не хватает места в kv-кэше, это может привести к конфликту. Чтобы избежать этого эффекта, следует установить ограничение --max-total-tokens. ⚠️ В сценариях, где несколько реплик находятся за одним эндпоинтом рекомендуется использовать балансировку нагрузки на зависимые сеансы, чтобы заставить каждого пользователя отправлять свои запросы на одну и ту же реплику. 🔜 Полная статья с описанием TGI v3 доступна на HF. 🖥 GIthub @ai_machinelearning_big_data #AI #ML #LLM #HuggingFace #TGI

Подводим итоги года с лидерами СУБД Pangolin на ламповом онлайн-митапе Pangolin – СУБД для высоконагруженных систем от СберТеха. Если вы выбираете СУБД для миграции с иностранных решений, то этот митап для вас. Регистрация уже открыта. 17 декабря в 11:00 на открытом вебинаре лидеры продукта расскажут: • О крупных обновлениях в продукте. В частности, о доработках, которые позволили мигрировать на Pangolin самой высоконагруженной системе Сбера. • О том, как команда продукта переоформила сертификат ФСТЭК России • Об обновлениях Platform V Kintsugi – графической платформы для мониторинга и диагностики СУБД • О разработке инструмента для резервного копирования и восстановления данных Приходите, задавайте вопросы и оставляйте заявку на получение тестового дистрибутива. Регистрация

✔️ Проект vLLM присоединился к экосистеме PyTorch. vLLM, движок для запуска LLM, стал частью экосистемы PyTorch. vLLM обеспечивает высокую пропускную способность и эффективное использование памяти при работе с моделями, содержащими сотни миллиардов параметров. vLLM поддерживает аппаратные платформы NVIDIA, AMD, Google Cloud TPU, Intel и AWS. Установить vLLM теперь можно простой командой: pip install vllm. pytorch.org ✔️ OpenAI запускает Canvas для совместной работы с ChatGPT. Canvas предоставляет возможность совместного редактирования текстов и кода в режиме реального времени. Новая функция позволяет пользователям добавлять текст, вносить изменения и давать обратную связь ChatGPT. Интеграция с Python позволяет запускать код непосредственно в Canvas и визуализировать результаты, включая графику. OpenAI также объявила о поддержке Canvas в пользовательских GPT, что позволит расширить их функциональность и адаптировать к конкретным задачам. openai.com ✔️ MIT разработал инструмент для отслеживания источников информации, используемых ИИ. Исследователи из МIT создали ContextCite – инструмент, который отслеживает источники информации, применяемые ИИ при создании текста. ContextCite позволяет пользователям проверять достоверность информации, предоставляемой ИИ, выделяя фрагменты текста, на которых основан ответ. В случае ошибки ContextCite помогает определить источник недостоверных данных и понять логику работы ИИ. Инструмент также способен выявлять «атаки отравления», когда злоумышленники пытаются исказить информацию, вводя ложные данные в источники, используемые ИИ. news.mit.edu ✔️ DIMON: Нейросетевой оператор для решения дифференциальных уравнений в частных производных на различных геометрических областях. Ученые из Университета Джонса Хопкинса разработали новый метод машинного обучения DIMON (Diffeomorphic Mapping Operator Learning), который способен эффективно обучаться и решать дифференциальные уравнения в частных производных (PDE) значительно быстрее, чем суперкомпьютеры. DIMON основан на использовании диффеоморфизмов для преобразования функций, заданных на различных областях, в единую эталонную область. Это позволяет обучить нейросетевой оператор, способный аппроксимировать решение PDE на любой области из семейства диффеоморфных областей. DIMON успешно протестирован на решении уравнения Лапласа и моделировании динамики реакции-диффузии. Он был использован для прогнозирования распространения электрического сигнала в левом желудочке сердца на основе данных 1006 пациентов. DIMON продемонстрировал высокую точность, сократив время прогнозирования с нескольких часов до менее чем одной секунды. nature.com ✔️ Reddit запускает инструмент поиска с ИИ. Инструмент автоматически генерирует ответы на запросы пользователей и предоставляет ссылки на релевантные источники информации. Ключевой особенностью Reddit Answers является использование данных, собранных непосредственно с платформы Reddit, что позволяет находить нужную информацию без обращения к внешним поисковым системам. В настоящее время доступ к Reddit Answers ограничен: им могут воспользоваться только пользователи из США через веб-интерфейс или приложение iOS и только на английском языке. В планах - расширить доступность сервиса для других языков и регионов. На данный момент Reddit Answers находится на стадии тестирования. redditinc.com ✔️ Swift Ventures создает новый индекс для оценки инвестиций в ИИ. Индекс использует систему оценки, основанную на анализе инвестиций в исследования ИИ, количество специалистов по ИИ в штате и доходы от операций, связанных с ИИ. Этот подход позволяет определить, какие компании действительно инвестируют в ИИ, а не просто используют модный термин. Анализ отслеживаемых 90 компаний показал, что только небольшая часть компаний, упомянувших ИИ в своих отчетах, вкладывает значительные средства в развитие этой технологии. venturebeat.com @ai_machinelearning_big_data #news #ai #ml

🌟 DeepSeek-V2.5-1210: файнтюн базовой DeepSeek-V2.5. Файнтюн модели DeepSeek-V2.5 с 236 млрд. параметров с улучшенными показателями в математических вычислениях, программировании, генерации текста и рассуждении. В модели также оптимизированы функции загрузки файлов и обобщения веб-страниц. Точность решения задач с DeepSeek-V2.5-1210 на LiveCodebench выросла с 29,2% до 34,38% относительно родительской DeepSeek-V2.5, в математических тестах MATH-500 с 74.8% до 82.8%. DeepSeek-V2.5-1210 поддерживает function calling и использует обновленный шаблон чата для расширения возможностей модели. ⚠️ Чтобы использовать модель в инференсе с BF16 требуется 8 GPU c 80 GB VRAM каждый. ▶️Пример инференса DeepSeek-V2.5-1210 на Transformers:

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig

model_name = "deepseek-ai/DeepSeek-V2.5-1210"
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
# `max_memory` should be set based on your devices
max_memory = {i: "75GB" for i in range(8)}
# `device_map` cannot be set to `auto`
model = AutoModelForCausalLM.from_pretrained(model_name, trust_remote_code=True, device_map="sequential", torch_dtype=torch.bfloat16, max_memory=max_memory, attn_implementation="eager")
model.generation_config = GenerationConfig.from_pretrained(model_name)
model.generation_config.pad_token_id = model.generation_config.eos_token_id

messages = [
    {"role": "user", "content": "Write a piece of quicksort code in C++"}
]
input_tensor = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt")
outputs = model.generate(input_tensor.to(model.device), max_new_tokens=100)

result = tokenizer.decode(outputs[0][input_tensor.shape[1]:], skip_special_tokens=True)
print(result)

📌Лицензирование: MIT License. 🟡Модель @ai_machinelearning_big_data #AI #ML #LLM #DeepSeek