Machinelearning

🚀rStar-Math от Microsoft - техника, которая позволяет улучшать небольшие модели, такие как Qwen-7B и Phi3-mini, позволяя им работать на уровне OpenAI o1 и выше в решении математических задач. Ключевые моменты: 🔗Пошаговое рассуждение (Monte Carlo Tree Search ): Модель симулирует глубокое мышление, анализируя каждый шаг решения для повышения точности. Проверка решений через код: На каждом шаге генерируется текстовое объяснение и код на Python, который автоматически проверяется, чтобы отсеивать ошибки. Самообучение: Модели улучшают друг друга за счет итеративного обучения в 4 итерации, что значительно повышает их росту производительности на тестах. Обучение на основе предпочтений: Модель вознаграждения процессов (PPM) сравнивает шаги рассуждения, чтобы улучшать их без ручного вмешательства, выбирая лучшие траектории. Большие данные для обучения: Используется 747 000 математических задач с проверенными решениями для тренировки модели. 📊 Результаты: 🤯Точность Qwen2.5-Math-7B на тесте MATH выросла с 58,8% до 90,0%. 🤯🤯Phi3-mini-3.8B улучшилась с 41,4% до 86,4%. 🤯🤯🤯Модель решает 53,3% задач USA Math Olympiad, что соответствует уровню топ-20% среди старшеклассников. Технология сочетает глубокое рассуждение, автоматическую проверку и самообучение для достижения высоких результатов. ◾️GitHub @ai_machinelearning_big_data #rstar #microsoft #mah

🚀 Хотите стать экспертом по машинному обучению в будущем? Тогда не теряйте время и начинайте развивать профильные навыки уже сейчас! Если вам от 13 до 20 лет, вы знаете основы Python и любите математику, у вас есть шанс присоединиться к крутой программе по машинному обучению! Пройти её можно в Яндекс Лицее 🌟 Вас ждут 3 месяца бесплатных онлайн-занятий и лекций от экспертов из индустрии. Все знания вы будете применять на практике, получая реальный опыт: от использования ML‑алгоритмов в компьютерном зрении до построения нейронных сетей 🌐🤖 Набор открыт также на онлайн-программы по веб-разработке на Go и Django, анализу данных, большим данным. Не упустите шанс — подайте заявку до 29 января!

⚡️ IBytedanceTalk только что выпустили UI-TARS модели (+ приложение для ПК / Mac OS) для взаимодействия с интерфейсами. ИИ-агенты, которые объединяют возможности рассуждений и действий в единой vision-language model для комплексной автоматизации задач на вашем пк на уровне человека. 3️⃣ Доступны в 3-х размерах: 2B, 7B и 72B ⭐ Обученные на базе Qwen2-VL с поддержкой SOFT & DPO ⭐ Версия 72B показывает 82,8% на VisualWebBench (опережая GPT-4 и Claude). ✅ SOTA: Достигает самых высоких результатов на 10 +бенчмарках ▪Модели: https://huggingface.co/bytedance-research/UI-TARS-72B-DPO ▪Статья: https://huggingface.co/papers/2501.12326 ▪Code: https://github.com/bytedance/UI-TARS ▪Приложения: https://github.com/bytedance/UI-TARS-desktop https://pic.x.com/pevF7Umtx7 @ai_machinelearning_big_data

🧠Миграция парсера YQL с ANTLR3 на ANTLR4 Выпускник ШАда рассказал, как перевёл парсер YQL с ANTLR3 на ANTLR4. 🔥Почему это важно? Новый парсер открыл возможности для автодополнения, синтаксической подсветки и генерации парсеров на Go, TypeScript и C++. Решение задачи упростило поддержку YDB и расширило его функционал. ⚙️ Ключевые моменты: - Миграция потребовала глубокого изучения работы ANTLR3, ANTLR4 и структуры парсинга в YDB - В процессе пришлось адаптировать систему парсинга, которая использует protobuf для описания синтаксического дерева. В итоге удалось внедрить решение, сохранив стабильность системы. 📌 Читайте подробности о процессе, нюансах ANTLR и реализации парсинга в YQL в статье на Хабре. @ai_machinelearning_big_data

Приглашаем на открытый урок «Инструменты обратного тестирования торговых стратегий» от Otus Рассмотрим базовую методику и рассмотрим основные библиотеки для проведения обратного тестирования торговых стратегий. ✅ Практика: тест простой торговой стратегии Оставляйте заявку на курс «ML для финансового анализа» и создайте торгового робота для автоматического проведения операций с оценкой уровня риска 👉 Регистрация на урок и подробности: https://otus.pw/k6e7/?erid=2W5zFJ4evTJ #реклама О рекламодателе

🌟 Google только что выпустили новую модель Gemini 2.0 Flash Thinking #1 на арене чат-ботов Модель показала наивысший результат, обогнав Gemini-Exp-1206 + 17 очков прироста по сравнению с предыдущей контрольной точкой 1219 - №1 по всем направлениям (генерации кода), за исключением управления стилем. • AIME: 73.3% • GPQA: 74.2% • MMMU: 75.4% Модель доступна в ai-gradio pip install --upgrade "ai-gradio[gemini]" Они так же выпустили Gemini2.0 Pro. https://aistudio.google.com/prompts/new_chat?model=gemini-2.0-flash-thinking-exp-01-21

💵Трамп сегодня ​​представит масштабный план по развитию инфраструктуры ИИ. CBS сообщает, что он включает возвращение проекта Stargate. OpenAI, Softbank и Oracle планируют инвестировать $500 млрд в течение следующих четырех лет. Целью инвестиций является поддержка лидерства США в сфере искусственного интеллекта. Ожидается, что официальный анонс проекта состоится в скором времени. На данный момент Соединённые Штаты удерживают лидирующие позиции благодаря таким компаниям, как OpenAI, Anthropic и Microsoft. Но Китай активно наращивает свои позиции, ежемесячно выпуская новые модели, которые работают не менее эффективно, но с большей скоростью и меньшими затратами. В рамках инициативы Stargate планируется строительство нескольких гигантских дата-центров, причем первый из них будет открыт в штате Техас. Оставшиеся ресурсы будут направлены на создание и обучение новых моделей ИИ. AGI появится раньше, чем мы все ожидаем, а нас ждет настоящая гонка вооружений и ещё более стремительное развитие ИИ. ▪️Новость #ai #news

⚡️Tencent выпустили новую версию модели для генерации 3D из текста и изображения - Hunyuan3D 2.0. Hunyuan3D 2.0 - усовершенствованная система 3D-синтеза и генерации текстурированных 3D-объектов высокого разрешения. Эта система включает в себя два основных компонента: модель генерации формы - Hunyuan3D-DiT и модель синтеза текстуры - Hunyuan3D-Paint. Генеративная модель формы, построена на масштабируемом диффузионном трансформере, она нужна ​​для создания правильной геометрии объекта и отвечает за согласование генерации. Модель синтеза текстур создает карты текстур высокого разрешения для сгенерированных или созданных вручную сеток. Модель превосходит предыдущие модели, как с открытым кодом, так и платные модели по детализации, геометрии, качеству текстур и т. д. ▪ GitHub ▪ HF ▪Demo @ai_machinelearning_big_data #AI #ML #TextTo3D #ImgTo3D #Hunyuan3D #Tencent #3dgenerator

Хочешь обучить нейронку, но не хватает локальных мощностей? На новую видеокарту не хватает денег? Выход есть — аренда!  immers.cloud — это облачный сервис, предоставляющий доступ к мощным видеокартам для самых различных задач. 💰 Экономия: тарифы от 23 руб/час, оплата только за фактическое время использования ⚡️ Быстрый старт: видеокарты и серверы готовы к работе за пару минут 📈 Гибкость и масштабируемость: 11 видеокарт на выбор, быстрый старт и масштабирование  🔧 Удобство: готовые образы для ML задач, чтобы не тратить время на настройку 🎁 Подготовили приятный бонус для тебя: +20% к пополнению баланса

👑 Вчера была выпущена еще одна интересная китайская опенсорс модель ризонинга. Kimi представила Kimi k1.5 - мультимодальную модель, использующую обучение с подкреплением с длинной и короткой цепочкой размышления (CoT). - Контекст 128 тыс. токенов - Согласно их опубликованному отчету, они достигли производительности SOTA в таких тестах, как AIME (77,5), MATH-500 (96,2) и LiveCodeBench (47,3). → Производительность Long-CoT соответствует o1 в нескольких тестах: Math Vista, Codeforces и т.д) - Модель превосходит GPT-4o и Claude Sonnet 3.5 на AIME ⚡️ Технический отчет: https://github.com/MoonshotAI/Kimi-k1.5 #llm #reasoning #ml #Kimi #preview

🧠 DeepSeek обнаружили, что у их новой модели был момент "ага" (озарения), когда она сама для себя разработала продвинутую технику рассуждения. Оказывается, вам просто нужно правильно стимулировать модель. Читой воды обучение с подкреплением (RL) может научить модель думать и рефлексировать. Мы возвращаемся в эпоху AlphaGo: играя в бесчисленные партии Go и максимально увеличивая функцию вознаграждения (выигрыш в игре), используя чистый RL, AlphaGo научился побеждать лучших игроков мира. Похоже это будет эра LLM RL. 📕 Paper

🤗 Hugging Face не так давно выпустила собственную low-code библиотеку для просто создания ИИ- агентов ⚡️ Smolagents - это библиотека на 100% с открытым исходным кодом, которая позволяет запускать мощные агенты, используя всего три строки кода. ↳ Импортируйте необходимые модули. ↳ Выберите агента ↳ Укажите LLM и инструменты, к которым он должен получить доступ. ↳ Запустите агент! Готово! - Поддерживает более 40 LLM - Предоставляет один общий доступ к инструментам HF Hub. - CodeAgent, который создает код и документирует свои действия. Установка:

pip install smolagents

Пример работы:

from smolagents import CodeAgent, DuckDuckGoSearchTool, HfApiModel

agent = CodeAgent(tools=[DuckDuckGoSearchTool()], model=HfApiModel())

agent.run("How many seconds would it take for a leopard at full speed to run through Pont des Arts?")

▪ GitHub ▪Подробнее @ai_machinelearning_big_data #codegen #llm #huggingface #ai #Smolagents

🚨Только что были выпущены веса для новой ризонинг модели DeepSeek-R1. Модель 685B разработана чтобы конкурировать с o1 от OpenAI и построена на архитектуре на DeepSeek V3. Вы можете потестить ее на 8 * H200. Размер примерно ~720GB. UPDATE: эти гигачады выпустили сразу 6 моделей от 1.5B до 70B 🔥 DeepSeek-R1-Distill-Qwen-1.5B превосходит GPT-4o и Claude-3.5-Sonnet в математике, набрав 28,9% у AIMEE и 83,9%, стоимость примерно в 30 раз дешевле, чем o1 и примерно в 5 раз дешевле o1 mini. 🤗HF: https://huggingface.co/deepseek-ai/DeepSeek-R1/tree/main 📌Потестить: https://chat.deepseek.com/sign_in 🖥 GitHub: https://github.com/deepseek-ai/DeepSeek-R1 @ai_machinelearning_big_data #DeepSeek #deepseekv3 #reasoning #ml

❓ Как мощные алгоритмы матричных разложений применяются в рекомендательных системах? Расскажем на открытом уроке «SVD и ALS на службе рекомендательных систем», посвященному курсу Machine Learning. Advanced ✅ Изучим и применим на практике такие методы как SVD и ALS для построения рекомендательных систем 👉 Регистрация и подробности: https://otus.pw/c5hz/?erid=2W5zFK4G1dJ  Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

🖥 OpenAI готова представить сверхпродвинутого ИИ-агента на уровне доктора наук. Запланировал закрытый брифинг для официальных лиц правительства США в Вашингтоне 30 января, на котором выступит Сэм Альтман. - Специалисты в области искусственного интеллекта считают, что грядет большой прорыв в создании суперагентов уровня PHD." ... Журналисты заявляют, что - "Сотрудники OpenAI рассказывали друзьям, что они одновременно и восхищены, и напуганы столь быстрым прогрессом". 📌 Подробнее @ai_machinelearning_big_data #openai #chatgpt #aiagents

🚀Только что выпущено новое семейство моделей генерации кода Salesforce (SFR-Embedding-Code), занявшее 1-е место на бенчмарке CoIR! Модель доступна в в 2-х размерах: 2B, 400M. Основные характеристики: 1️⃣ Модель 2B: Занимает первое место в CoIR. 2️⃣ Модель 400M: демонстрирует лучшие показатели среди моделей на 0,5B параметров. 3️⃣ Поддерживает 12 языков программирования, Python, Java, C++, JavaScript, C# и другие! Пример Запуска:

import torch.nn.functional as F
from transformers import AutoTokenizer, AutoModel

# Each query needs to be accompanied by an corresponding instruction describing the task.
query_instruction_example = "Given Code or Text, retrieval relevant content"
queries = [
    "how to implement quick sort in Python?"
    ]

# No instruction needed for retrieval passages
passages = [
    "def quick_sort(arr):\n    if len(arr) <= 1:\n        return arr\n    pivot = arr[len(arr) // 2]\n    left = [x for x in arr if x < pivot]\n    middle = [x for x in arr if x == pivot]\n    right = [x for x in arr if x > pivot]\n    return quick_sort(left) + middle + quick_sort(right)",
    "def bubble_sort(arr):\n    n = len(arr)\n    for i in range(n):\n        for j in range(0, n-i-1):\n            if arr[j] > arr[j+1]:\n                arr[j], arr[j+1] = arr[j+1], arr[j]\n    return arr"
]

# load model with tokenizer
model = AutoModel.from_pretrained('Salesforce/SFR-Embedding-Code-2B_R', trust_remote_code=True)

# get the embeddings
max_length = 32768
query_embeddings = model.encode_queries(queries, instruction=query_instruction_example, max_length=max_length)
passage_embeddings = model.encode_corpus(passages, max_length=max_length)

# normalize embeddings
query_embeddings = F.normalize(query_embeddings, p=2, dim=1)
passage_embeddings = F.normalize(passage_embeddings, p=2, dim=1)

scores = (query_embeddings @ passage_embeddings.T) * 100
print(scores.tolist())

✅Документация ✅Модель 400M ✅ Модель 2B 📌Лицензирование моделей: CC-BY-NC-SA-4.0 License. #CodeAI #MLResearch #SOTA #OpenScience #code #llm #ml

🖥 Только что Google опубликовали один из лучших официальных гайдов по ИИ-агентам. И его действительно стоит прочитать. В нем содержится все, что вам нужно знать: > Описание агентов, компонентов и когнитивных архитектур. > Разобраны инструменты по работе с агентами: расширения, написании функций и хранилища данных. > Описываются методы обучения для повышения производительности агентов. > Описываются методы создания агентов с использованием LangChain и LangGraph ▪ Читать гайд @ai_machinelearning_big_data #aiagents #ai #llm #ml #machinelearning

⭐️ Самые интересные Open Source AI релизы за неделю - VideoChat2-Flash, мощный MLLM, построенный на базе видеокодера (UMT) и LLM (Qwen). Внутри новая высокоэффективная архитектура модели с исключительной скоростью инференса, которая позволяет кодировать каждый видеокадр всего в 16 токенов, что в 5-10 раз быстрее, чем в предыдущей модели OpenGVLab. Модели представлены в размерах 2B и 7B и разрешении 224 и 448. - BytedanceTalk выпустил модель SA2VA с параметрами 26B. Sa2VA - это MLM, способный отвечать на вопросы, понимать изображения и видео выполнять сегментацию. Модель, сопоставима с SOTA моделями в своем классе Qwen2-VL и InternVL2.5 в QA тестах. - VRC-Bench - это новый бенчмарк для оценки эффективности мультимодальных LLM. - MiniCPM-o 2.6 - это новая мультимодальная модель с 8B параметрами, работающая на edge девайсах. Лучшая в своем классе возможности двуязычной речи с разговором в реальном времени и клонированием голоса. 💬 LLM - MiniMax-Text-01 - новая языковая модель, которая стабильно обходит GPT-4o и Gemini-2 на бенчмарках с длинным контекстом, сохраняя высокие оценки (0.910-0.963) при длине контекста до 4M токенов🤯 - Датасет: Sky-T1-data-17k - это разнообразный набор данных, используемый для обучения Sky-T1-32B - ризонинг модели, которую можно обучить всего за 450 долларов! - Kyutai labs выпустили Helium-1 Preview 2B - многоязычный LLM для edge девайсов и мобильных устройств. - Wayfarer-12B - новая модель генерации текстовой приключенческой ролевой игры от AI Dungeon🧙🏻 - ReaderLM-v2 - это новая модель синтаксического анализа HTML от JinaAI. - Вriaforall выпустила Dria-Agent-a-3B, новую модель генерации кода (для Python), основанную на Qwen2.5. - UnslothAI адаптировали Phi-4 к архитектуре Llama 3.3 сделав, более быструю и экономичную по памяти версию. 👀 Vision - MatchAnything - это новая универсальная модель для сопоставления изображений. - FitDit - это высококачественная модель виртуальной примерочной, основанная на архитектуре DiT. ⭐️ Аудио - OuteTTS-0.3-1B - это новая многоязычная модель преобразования текста в речь с возможностью клонирования голоса и управления эмоциями. 📖 Поиск - Lightblue выпустила новую модель для поиска связи в тексте, основанную на Qwen2.5. LB-reranker-0.5B-v1.0, которая поддерживает более 95 языков - cde-small-v2 - это новая SOTA модель эмбедингов текста небольшого размера. #ml #digest #datasets #opensource #ai #llm #news

⭐️ NVIDIA выпустили AceMath - новый мощный набор математических моделей, предназначенных для решения сложных задач. Флагманская модель AceMath-72B-Instruct выглядит лучше Qwen2.5-Math-72B и превосходит GPT-4o и Claude-3.5 Sonnet в области решения математических задач. В открытом доступе выложили модели обучения, модели вознаграждения, полные наборы датасетов и бенчмарки: 🤗 HF: https://huggingface.co/collections/nvidia/acemath-678917d12f09885479d549fe 📄 Статья: https://arxiv.org/pdf/2412.15084 @ai_machinelearning_big_data #math #nvidia #opensource #llm #ml

📕 Foundations of Large Language Models Эта свежая бесплатная книга (и отлично чтиво на выходные) по LLM, которая только что появилась на arXiv. Более 230 страница! Книга состоит из четырех частей: предварительному обучению, генеративным моделям, промпт-инжинирингу и методам оптимизации LLM. Это хорошее введение в большие языковые модели для разработчиков и студентов. 📌 Читать @ai_machinelearning_big_data #freebook #book #machinelearning #llm #ml