Machinelearning

💵Трамп сегодня ​​представит масштабный план по развитию инфраструктуры ИИ. CBS сообщает, что он включает возвращение проекта Stargate. OpenAI, Softbank и Oracle планируют инвестировать $500 млрд в течение следующих четырех лет. Целью инвестиций является поддержка лидерства США в сфере искусственного интеллекта. Ожидается, что официальный анонс проекта состоится в скором времени. На данный момент Соединённые Штаты удерживают лидирующие позиции благодаря таким компаниям, как OpenAI, Anthropic и Microsoft. Но Китай активно наращивает свои позиции, ежемесячно выпуская новые модели, которые работают не менее эффективно, но с большей скоростью и меньшими затратами. В рамках инициативы Stargate планируется строительство нескольких гигантских дата-центров, причем первый из них будет открыт в штате Техас. Оставшиеся ресурсы будут направлены на создание и обучение новых моделей ИИ. AGI появится раньше, чем мы все ожидаем, а нас ждет настоящая гонка вооружений и ещё более стремительное развитие ИИ. ▪️Новость #ai #news

⚡️Tencent выпустили новую версию модели для генерации 3D из текста и изображения - Hunyuan3D 2.0. Hunyuan3D 2.0 - усовершенствованная система 3D-синтеза и генерации текстурированных 3D-объектов высокого разрешения. Эта система включает в себя два основных компонента: модель генерации формы - Hunyuan3D-DiT и модель синтеза текстуры - Hunyuan3D-Paint. Генеративная модель формы, построена на масштабируемом диффузионном трансформере, она нужна ​​для создания правильной геометрии объекта и отвечает за согласование генерации. Модель синтеза текстур создает карты текстур высокого разрешения для сгенерированных или созданных вручную сеток. Модель превосходит предыдущие модели, как с открытым кодом, так и платные модели по детализации, геометрии, качеству текстур и т. д. ▪ GitHub ▪ HF ▪Demo @ai_machinelearning_big_data #AI #ML #TextTo3D #ImgTo3D #Hunyuan3D #Tencent #3dgenerator

Хочешь обучить нейронку, но не хватает локальных мощностей? На новую видеокарту не хватает денег? Выход есть — аренда!  immers.cloud — это облачный сервис, предоставляющий доступ к мощным видеокартам для самых различных задач. 💰 Экономия: тарифы от 23 руб/час, оплата только за фактическое время использования ⚡️ Быстрый старт: видеокарты и серверы готовы к работе за пару минут 📈 Гибкость и масштабируемость: 11 видеокарт на выбор, быстрый старт и масштабирование  🔧 Удобство: готовые образы для ML задач, чтобы не тратить время на настройку 🎁 Подготовили приятный бонус для тебя: +20% к пополнению баланса

👑 Вчера была выпущена еще одна интересная китайская опенсорс модель ризонинга. Kimi представила Kimi k1.5 - мультимодальную модель, использующую обучение с подкреплением с длинной и короткой цепочкой размышления (CoT). - Контекст 128 тыс. токенов - Согласно их опубликованному отчету, они достигли производительности SOTA в таких тестах, как AIME (77,5), MATH-500 (96,2) и LiveCodeBench (47,3). → Производительность Long-CoT соответствует o1 в нескольких тестах: Math Vista, Codeforces и т.д) - Модель превосходит GPT-4o и Claude Sonnet 3.5 на AIME ⚡️ Технический отчет: https://github.com/MoonshotAI/Kimi-k1.5 #llm #reasoning #ml #Kimi #preview

🧠 DeepSeek обнаружили, что у их новой модели был момент "ага" (озарения), когда она сама для себя разработала продвинутую технику рассуждения. Оказывается, вам просто нужно правильно стимулировать модель. Читой воды обучение с подкреплением (RL) может научить модель думать и рефлексировать. Мы возвращаемся в эпоху AlphaGo: играя в бесчисленные партии Go и максимально увеличивая функцию вознаграждения (выигрыш в игре), используя чистый RL, AlphaGo научился побеждать лучших игроков мира. Похоже это будет эра LLM RL. 📕 Paper

🤗 Hugging Face не так давно выпустила собственную low-code библиотеку для просто создания ИИ- агентов ⚡️ Smolagents - это библиотека на 100% с открытым исходным кодом, которая позволяет запускать мощные агенты, используя всего три строки кода. ↳ Импортируйте необходимые модули. ↳ Выберите агента ↳ Укажите LLM и инструменты, к которым он должен получить доступ. ↳ Запустите агент! Готово! - Поддерживает более 40 LLM - Предоставляет один общий доступ к инструментам HF Hub. - CodeAgent, который создает код и документирует свои действия. Установка:

pip install smolagents

Пример работы:

from smolagents import CodeAgent, DuckDuckGoSearchTool, HfApiModel

agent = CodeAgent(tools=[DuckDuckGoSearchTool()], model=HfApiModel())

agent.run("How many seconds would it take for a leopard at full speed to run through Pont des Arts?")

▪ GitHub ▪Подробнее @ai_machinelearning_big_data #codegen #llm #huggingface #ai #Smolagents

🚨Только что были выпущены веса для новой ризонинг модели DeepSeek-R1. Модель 685B разработана чтобы конкурировать с o1 от OpenAI и построена на архитектуре на DeepSeek V3. Вы можете потестить ее на 8 * H200. Размер примерно ~720GB. UPDATE: эти гигачады выпустили сразу 6 моделей от 1.5B до 70B 🔥 DeepSeek-R1-Distill-Qwen-1.5B превосходит GPT-4o и Claude-3.5-Sonnet в математике, набрав 28,9% у AIMEE и 83,9%, стоимость примерно в 30 раз дешевле, чем o1 и примерно в 5 раз дешевле o1 mini. 🤗HF: https://huggingface.co/deepseek-ai/DeepSeek-R1/tree/main 📌Потестить: https://chat.deepseek.com/sign_in 🖥 GitHub: https://github.com/deepseek-ai/DeepSeek-R1 @ai_machinelearning_big_data #DeepSeek #deepseekv3 #reasoning #ml

❓ Как мощные алгоритмы матричных разложений применяются в рекомендательных системах? Расскажем на открытом уроке «SVD и ALS на службе рекомендательных систем», посвященному курсу Machine Learning. Advanced ✅ Изучим и применим на практике такие методы как SVD и ALS для построения рекомендательных систем 👉 Регистрация и подробности: https://otus.pw/c5hz/?erid=2W5zFK4G1dJ  Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

🖥 OpenAI готова представить сверхпродвинутого ИИ-агента на уровне доктора наук. Запланировал закрытый брифинг для официальных лиц правительства США в Вашингтоне 30 января, на котором выступит Сэм Альтман. - Специалисты в области искусственного интеллекта считают, что грядет большой прорыв в создании суперагентов уровня PHD." ... Журналисты заявляют, что - "Сотрудники OpenAI рассказывали друзьям, что они одновременно и восхищены, и напуганы столь быстрым прогрессом". 📌 Подробнее @ai_machinelearning_big_data #openai #chatgpt #aiagents

🚀Только что выпущено новое семейство моделей генерации кода Salesforce (SFR-Embedding-Code), занявшее 1-е место на бенчмарке CoIR! Модель доступна в в 2-х размерах: 2B, 400M. Основные характеристики: 1️⃣ Модель 2B: Занимает первое место в CoIR. 2️⃣ Модель 400M: демонстрирует лучшие показатели среди моделей на 0,5B параметров. 3️⃣ Поддерживает 12 языков программирования, Python, Java, C++, JavaScript, C# и другие! Пример Запуска:

import torch.nn.functional as F
from transformers import AutoTokenizer, AutoModel

# Each query needs to be accompanied by an corresponding instruction describing the task.
query_instruction_example = "Given Code or Text, retrieval relevant content"
queries = [
    "how to implement quick sort in Python?"
    ]

# No instruction needed for retrieval passages
passages = [
    "def quick_sort(arr):\n    if len(arr) <= 1:\n        return arr\n    pivot = arr[len(arr) // 2]\n    left = [x for x in arr if x < pivot]\n    middle = [x for x in arr if x == pivot]\n    right = [x for x in arr if x > pivot]\n    return quick_sort(left) + middle + quick_sort(right)",
    "def bubble_sort(arr):\n    n = len(arr)\n    for i in range(n):\n        for j in range(0, n-i-1):\n            if arr[j] > arr[j+1]:\n                arr[j], arr[j+1] = arr[j+1], arr[j]\n    return arr"
]

# load model with tokenizer
model = AutoModel.from_pretrained('Salesforce/SFR-Embedding-Code-2B_R', trust_remote_code=True)

# get the embeddings
max_length = 32768
query_embeddings = model.encode_queries(queries, instruction=query_instruction_example, max_length=max_length)
passage_embeddings = model.encode_corpus(passages, max_length=max_length)

# normalize embeddings
query_embeddings = F.normalize(query_embeddings, p=2, dim=1)
passage_embeddings = F.normalize(passage_embeddings, p=2, dim=1)

scores = (query_embeddings @ passage_embeddings.T) * 100
print(scores.tolist())

✅Документация ✅Модель 400M ✅ Модель 2B 📌Лицензирование моделей: CC-BY-NC-SA-4.0 License. #CodeAI #MLResearch #SOTA #OpenScience #code #llm #ml

🖥 Только что Google опубликовали один из лучших официальных гайдов по ИИ-агентам. И его действительно стоит прочитать. В нем содержится все, что вам нужно знать: > Описание агентов, компонентов и когнитивных архитектур. > Разобраны инструменты по работе с агентами: расширения, написании функций и хранилища данных. > Описываются методы обучения для повышения производительности агентов. > Описываются методы создания агентов с использованием LangChain и LangGraph ▪ Читать гайд @ai_machinelearning_big_data #aiagents #ai #llm #ml #machinelearning

⭐️ Самые интересные Open Source AI релизы за неделю - VideoChat2-Flash, мощный MLLM, построенный на базе видеокодера (UMT) и LLM (Qwen). Внутри новая высокоэффективная архитектура модели с исключительной скоростью инференса, которая позволяет кодировать каждый видеокадр всего в 16 токенов, что в 5-10 раз быстрее, чем в предыдущей модели OpenGVLab. Модели представлены в размерах 2B и 7B и разрешении 224 и 448. - BytedanceTalk выпустил модель SA2VA с параметрами 26B. Sa2VA - это MLM, способный отвечать на вопросы, понимать изображения и видео выполнять сегментацию. Модель, сопоставима с SOTA моделями в своем классе Qwen2-VL и InternVL2.5 в QA тестах. - VRC-Bench - это новый бенчмарк для оценки эффективности мультимодальных LLM. - MiniCPM-o 2.6 - это новая мультимодальная модель с 8B параметрами, работающая на edge девайсах. Лучшая в своем классе возможности двуязычной речи с разговором в реальном времени и клонированием голоса. 💬 LLM - MiniMax-Text-01 - новая языковая модель, которая стабильно обходит GPT-4o и Gemini-2 на бенчмарках с длинным контекстом, сохраняя высокие оценки (0.910-0.963) при длине контекста до 4M токенов🤯 - Датасет: Sky-T1-data-17k - это разнообразный набор данных, используемый для обучения Sky-T1-32B - ризонинг модели, которую можно обучить всего за 450 долларов! - Kyutai labs выпустили Helium-1 Preview 2B - многоязычный LLM для edge девайсов и мобильных устройств. - Wayfarer-12B - новая модель генерации текстовой приключенческой ролевой игры от AI Dungeon🧙🏻 - ReaderLM-v2 - это новая модель синтаксического анализа HTML от JinaAI. - Вriaforall выпустила Dria-Agent-a-3B, новую модель генерации кода (для Python), основанную на Qwen2.5. - UnslothAI адаптировали Phi-4 к архитектуре Llama 3.3 сделав, более быструю и экономичную по памяти версию. 👀 Vision - MatchAnything - это новая универсальная модель для сопоставления изображений. - FitDit - это высококачественная модель виртуальной примерочной, основанная на архитектуре DiT. ⭐️ Аудио - OuteTTS-0.3-1B - это новая многоязычная модель преобразования текста в речь с возможностью клонирования голоса и управления эмоциями. 📖 Поиск - Lightblue выпустила новую модель для поиска связи в тексте, основанную на Qwen2.5. LB-reranker-0.5B-v1.0, которая поддерживает более 95 языков - cde-small-v2 - это новая SOTA модель эмбедингов текста небольшого размера. #ml #digest #datasets #opensource #ai #llm #news

⭐️ NVIDIA выпустили AceMath - новый мощный набор математических моделей, предназначенных для решения сложных задач. Флагманская модель AceMath-72B-Instruct выглядит лучше Qwen2.5-Math-72B и превосходит GPT-4o и Claude-3.5 Sonnet в области решения математических задач. В открытом доступе выложили модели обучения, модели вознаграждения, полные наборы датасетов и бенчмарки: 🤗 HF: https://huggingface.co/collections/nvidia/acemath-678917d12f09885479d549fe 📄 Статья: https://arxiv.org/pdf/2412.15084 @ai_machinelearning_big_data #math #nvidia #opensource #llm #ml

📕 Foundations of Large Language Models Эта свежая бесплатная книга (и отлично чтиво на выходные) по LLM, которая только что появилась на arXiv. Более 230 страница! Книга состоит из четырех частей: предварительному обучению, генеративным моделям, промпт-инжинирингу и методам оптимизации LLM. Это хорошее введение в большие языковые модели для разработчиков и студентов. 📌 Читать @ai_machinelearning_big_data #freebook #book #machinelearning #llm #ml

🔥 Awesome MCP Servers — это коллекция ресурсов, посвящённых серверам, использующим протокол Model Context Protocol (MCP)! 💡 MCP — это открытый протокол, который позволяет языковым моделям (LLMs) взаимодействовать с локальными и удалёнными ресурсами через стандартизированные серверные реализации. Репозиторий содержит список готовых к использованию и экспериментальных MCP-серверов, расширяющих возможности LLM за счёт доступа к файлам, базам данных, API, системам управления версиями и другим сервисам. 🖥 Github @machinelearning_ru

🥥 Training Large Language Models to Reason in a Continuous Latent Space Только что был выпущен код для нового подхода в обучении LLM ризонингу - "Coconut"(Chain of Continuous Thought). Coconut позволяет LLM рассуждать более эффективно и результативно, особенно при комплексных задачах планирования. Основная идея алгоритма - это улучшения рассуждений моделей с использованием латентного пространства, вместо выходных лексем При таком подходе - цепочка мыслей генерирует не в виде текстовых токенов, а в виде эмбеддингов, а затем циклично подаются обратно в LLM. В «Coconut» у LLM есть два режима. Языковой режим работает как обычная языковая модель, генерируя текст и латентный режим, который использует скрытые состояния в качестве следующего входного сигнала, обозначенного специальными токенами <bot> и <eot>. Скрытые состояния Coconut работают как дерево поиска, а не как линейная цепочка рассуждений, что позволяет модели исследовать несколько потенциальных путей одновременно. На каждом шаге модель отдает приоритет перспективным узлам, отсекая менее релевантные. Это помогает эффективнее справляться с задачами планирования и логики, по сравнению с традиционным методом работы CoT. Как это работает: 1️⃣ Сначала модели подается промпт, за которым следует специальный токен <bot>, чтобы инициировать скрытое рассуждение. 2️⃣ Последнее скрытое состояние LLM после обработки <bot> используется в качестве первой "непрерывной мысли" 3️⃣ Непрерывная мысль подается обратно в модель как новый вход, генерируя новое скрытое состояние (новую мысль). Это повторяется в течение K итераций → цепочка непрерывных мыслей. 4️⃣ Далее добавляется маркер <eot> после последней непрерывной мысли, чтобы завершить скрытое рассуждение. 5️⃣ Последняя непрерывная мысль и <eot> затем используются для генерации ответа. Такой подход, разумеется, требует большого количества ресурсов при обучении модели. Плюсы такого подхода: 🏅 Превосходит CoT в задачах, где требуется планирования и сложные рассуждения, таких как ProntoQA и ProsQA 📉 Генерирует значительно меньше лексем во время размышлений по сравнению с CoT 🔀 Может выполнять поиск с широким охватом (BFS), кодируя одновременно несколько альтернативных следующих шагов git clone git@github.com:facebookresearch/coconut.git cd coconut ▪Github ▪Paper @ai_machinelearning_big_data #deeplearning #nlp #reasoning #llm #ml

🧬 Крутой проект от Microsoft: MatterGen - новый ИИ, который создает химические материалы на основе промптов. В отличие от традиционных методов скрининга, он генерирует новые материалы, используя диффузионную модель, изменяя такие свойства, как химический состав, механическая прочность или магнитные характеристики. Результат экспериментально подтвержден успешным синтезом материалов. → MatterGen представляет собой переход от традиционных методов проб и ошибок и вычислительного скрининга, напрямую генерируя новые материалы в соответствии с конкретными проектными заданиями, что значительно сокращает время создания и потребность в ресурсах. → Модель построена на основе специализированной диффузионной архитектуры и учитывает 3D-геометрию и наличие материалов, используя обучающий набор из более чем 608 000 стабильных соединений из известных баз данных материалов. → Модель превосходит традиционный скрининг, особенно в неисследованных материалов, что подтверждается ее способностью генерировать стабильные материалы со специфическими свойствами, выходящими за рамки существующих известных материалов. → Экспериментальная проверка подтвердила успешный синтез материала TaCr2O6, в точности совпадающий с предсказаниями модели, продемонстрировав практическую пригодность MatterGen в создании реальных материалов. → Выпущенная под лицензией MIT, модель MatterGen вместе с обучающими наборами данных предоставляет исследователям развивать и расширять этот инновационный подход. 📌 Читать @ai_machinelearning_big_data #microsoft #tech #MatterGen

Аналитик данных — одна из перспективных и высокооплачиваемых профессий в IT-сфере. Медианная зарплата специалиста составляет 100 000 рублей. А спрос на аналитиков непрерывно растёт, ведь компании накапливают всё больше информации, которую нужно структурировать, обрабатывать и анализировать для взвешенных бизнес-решений. Освоить базовые инструменты для быстрого старта на позиции junior-аналитика поможет курс «Аналитик данных». За 6 месяцев обучения вы: Изучите SQL, Python, Power BI для работы с большими данными. Научитесь применять статистические методы и проверять гипотезы. Создадите 4 полноценных проекта для портфолио. Выполните более 20 комплексных практических заданий. Весь учебный процесс построен на практике под руководством опытных наставников из ведущих IT-компаний. Уже в процессе обучения вы разберёте тестовые задания от Сбера, Яндекса, Т-Банка и начнёте искать работу. Начните свой путь в сферу анализа данных — регистрируйтесь на курс. От нас — актуальные знания, навыки и поддержка на всех этапах вашего обучения Реклама. ООО "Нетология". ИНН 7726464125 Erid 2VSb5ybTZwN

🖥 Large Language Model Course Только что был обновлен популярный бесплатный LLM курс. Это пошаговое руководство с полезными ресурсами и ноутбуками, как для новичков, так и для тех, кто уже обладает мл-базой Курс разбит на 3 части: 1️⃣LLM Fundamentals: Блок дает фундаментальные знания по математике, Python и нейронным сетям. 2️⃣ LLM Scientist: В этом блоке упор сделан на внутреннем устройстве LLM и их создание с использованием новейших технологий и фреймворков. 3️⃣ The LLM Engineer: Здесь вы научитесь писать приложений на практике и научитесь развертывать их. ⭐️ 41.4k звезд на Github 📌 Курс #llm #course #opensource #ml

🎄 Встречаемся на Data Ёлке в московском офисе VK! 18 января сообщество Open Data Science совместно с VK проведёт DS-конференцию по итогам 2024 года. Будут доклады о рексистемах, LLM, NLP и разным направлениям ML. А ещё — обсуждение карьерного стрима в DS и разбор лучших решений от участников VK RecSys Challenge. За новогодние костюмы и лучшие вопросы из зала — призы! 🥳 Любители нетворкинга смогут неформально пообщаться на афтепати. 🗓 18 января, 12:00 (сбор гостей с 11:00). 🖥 Онлайн в VK Видео — смотрите трансляцию в сообществе VK Team ВКонтакте. 📍 Москва, БЦ Skylight — Ленинградский проспект, 39, строение 79. На входе надо будет показать подтверждение участия и паспорт. Приглашение придёт на email после регистрации.