Machinelearning

🔥 Awesome MCP Servers — это коллекция ресурсов, посвящённых серверам, использующим протокол Model Context Protocol (MCP)! 💡 MCP — это открытый протокол, который позволяет языковым моделям (LLMs) взаимодействовать с локальными и удалёнными ресурсами через стандартизированные серверные реализации. Репозиторий содержит список готовых к использованию и экспериментальных MCP-серверов, расширяющих возможности LLM за счёт доступа к файлам, базам данных, API, системам управления версиями и другим сервисам. 🖥 Github @machinelearning_ru

🥥 Training Large Language Models to Reason in a Continuous Latent Space Только что был выпущен код для нового подхода в обучении LLM ризонингу - "Coconut"(Chain of Continuous Thought). Coconut позволяет LLM рассуждать более эффективно и результативно, особенно при комплексных задачах планирования. Основная идея алгоритма - это улучшения рассуждений моделей с использованием латентного пространства, вместо выходных лексем При таком подходе - цепочка мыслей генерирует не в виде текстовых токенов, а в виде эмбеддингов, а затем циклично подаются обратно в LLM. В «Coconut» у LLM есть два режима. Языковой режим работает как обычная языковая модель, генерируя текст и латентный режим, который использует скрытые состояния в качестве следующего входного сигнала, обозначенного специальными токенами <bot> и <eot>. Скрытые состояния Coconut работают как дерево поиска, а не как линейная цепочка рассуждений, что позволяет модели исследовать несколько потенциальных путей одновременно. На каждом шаге модель отдает приоритет перспективным узлам, отсекая менее релевантные. Это помогает эффективнее справляться с задачами планирования и логики, по сравнению с традиционным методом работы CoT. Как это работает: 1️⃣ Сначала модели подается промпт, за которым следует специальный токен <bot>, чтобы инициировать скрытое рассуждение. 2️⃣ Последнее скрытое состояние LLM после обработки <bot> используется в качестве первой "непрерывной мысли" 3️⃣ Непрерывная мысль подается обратно в модель как новый вход, генерируя новое скрытое состояние (новую мысль). Это повторяется в течение K итераций → цепочка непрерывных мыслей. 4️⃣ Далее добавляется маркер <eot> после последней непрерывной мысли, чтобы завершить скрытое рассуждение. 5️⃣ Последняя непрерывная мысль и <eot> затем используются для генерации ответа. Такой подход, разумеется, требует большого количества ресурсов при обучении модели. Плюсы такого подхода: 🏅 Превосходит CoT в задачах, где требуется планирования и сложные рассуждения, таких как ProntoQA и ProsQA 📉 Генерирует значительно меньше лексем во время размышлений по сравнению с CoT 🔀 Может выполнять поиск с широким охватом (BFS), кодируя одновременно несколько альтернативных следующих шагов git clone git@github.com:facebookresearch/coconut.git cd coconut ▪Github ▪Paper @ai_machinelearning_big_data #deeplearning #nlp #reasoning #llm #ml

🧬 Крутой проект от Microsoft: MatterGen - новый ИИ, который создает химические материалы на основе промптов. В отличие от традиционных методов скрининга, он генерирует новые материалы, используя диффузионную модель, изменяя такие свойства, как химический состав, механическая прочность или магнитные характеристики. Результат экспериментально подтвержден успешным синтезом материалов. → MatterGen представляет собой переход от традиционных методов проб и ошибок и вычислительного скрининга, напрямую генерируя новые материалы в соответствии с конкретными проектными заданиями, что значительно сокращает время создания и потребность в ресурсах. → Модель построена на основе специализированной диффузионной архитектуры и учитывает 3D-геометрию и наличие материалов, используя обучающий набор из более чем 608 000 стабильных соединений из известных баз данных материалов. → Модель превосходит традиционный скрининг, особенно в неисследованных материалов, что подтверждается ее способностью генерировать стабильные материалы со специфическими свойствами, выходящими за рамки существующих известных материалов. → Экспериментальная проверка подтвердила успешный синтез материала TaCr2O6, в точности совпадающий с предсказаниями модели, продемонстрировав практическую пригодность MatterGen в создании реальных материалов. → Выпущенная под лицензией MIT, модель MatterGen вместе с обучающими наборами данных предоставляет исследователям развивать и расширять этот инновационный подход. 📌 Читать @ai_machinelearning_big_data #microsoft #tech #MatterGen

Аналитик данных — одна из перспективных и высокооплачиваемых профессий в IT-сфере. Медианная зарплата специалиста составляет 100 000 рублей. А спрос на аналитиков непрерывно растёт, ведь компании накапливают всё больше информации, которую нужно структурировать, обрабатывать и анализировать для взвешенных бизнес-решений. Освоить базовые инструменты для быстрого старта на позиции junior-аналитика поможет курс «Аналитик данных». За 6 месяцев обучения вы: Изучите SQL, Python, Power BI для работы с большими данными. Научитесь применять статистические методы и проверять гипотезы. Создадите 4 полноценных проекта для портфолио. Выполните более 20 комплексных практических заданий. Весь учебный процесс построен на практике под руководством опытных наставников из ведущих IT-компаний. Уже в процессе обучения вы разберёте тестовые задания от Сбера, Яндекса, Т-Банка и начнёте искать работу. Начните свой путь в сферу анализа данных — регистрируйтесь на курс. От нас — актуальные знания, навыки и поддержка на всех этапах вашего обучения Реклама. ООО "Нетология". ИНН 7726464125 Erid 2VSb5ybTZwN

🖥 Large Language Model Course Только что был обновлен популярный бесплатный LLM курс. Это пошаговое руководство с полезными ресурсами и ноутбуками, как для новичков, так и для тех, кто уже обладает мл-базой Курс разбит на 3 части: 1️⃣LLM Fundamentals: Блок дает фундаментальные знания по математике, Python и нейронным сетям. 2️⃣ LLM Scientist: В этом блоке упор сделан на внутреннем устройстве LLM и их создание с использованием новейших технологий и фреймворков. 3️⃣ The LLM Engineer: Здесь вы научитесь писать приложений на практике и научитесь развертывать их. ⭐️ 41.4k звезд на Github 📌 Курс #llm #course #opensource #ml

🎄 Встречаемся на Data Ёлке в московском офисе VK! 18 января сообщество Open Data Science совместно с VK проведёт DS-конференцию по итогам 2024 года. Будут доклады о рексистемах, LLM, NLP и разным направлениям ML. А ещё — обсуждение карьерного стрима в DS и разбор лучших решений от участников VK RecSys Challenge. За новогодние костюмы и лучшие вопросы из зала — призы! 🥳 Любители нетворкинга смогут неформально пообщаться на афтепати. 🗓 18 января, 12:00 (сбор гостей с 11:00). 🖥 Онлайн в VK Видео — смотрите трансляцию в сообществе VK Team ВКонтакте. 📍 Москва, БЦ Skylight — Ленинградский проспект, 39, строение 79. На входе надо будет показать подтверждение участия и паспорт. Приглашение придёт на email после регистрации.

🧠 ML DIGEST 💬Выпущена Новая TTS модель OuteTTS 0.3, 1 B и 500M > Zero-shot - клонирование голоса > Многоязычный (en, jp, ko, zh, fr, de) > Обучен 20 000 часам аудиозаписей > Работает от OLMo-1B и Qwen 2.5 0.5B > > Функции контроль скорости речь и эмоций ✅ HF 🤗 Hugging Face выпустили открытый курс по изучению AI-агентов на практике. За прохождение курса можно получить сертификат и самое главное, что при обучении упор идет на практику. Вы погрузитесь в популярные фреймворки агентов, такие как LangChain, LlamaIndex и smolagents. Эти инструменты предоставляют строительные блоки для создания сложных поведений агентов. ✅Записаться можно здесь 🎥 Компания Luma AI только что выпустила #Ray2 - новую модель видео с искусственным интеллектом, которая создает реалистичные видеоролики с естественным и последовательным движением. Поддерживает text-to-video и image-to video. Доступна платно. ✅Подробнее 🎓 Transformer2: Self-adaptive LLMs SakanaAi представили новую структуру самоадаптации моделей, при которой LLM адаптируется для невидимых задач в реальном времени, выборочно корректируя только отдельные компоненты своих весовых матриц. Во время вывода используется система диспетчеризации, которая определяет свойства задачи, а затем использует векторы «экспертов» для конкретной задачи, обученные с помощью reinforcement learning👀 ✅ Статья ✅ GitHub 🧞Omni-RGPT: очередная SOTA MLLM NVIDIA представляли Omni-RGPT, MLLM, для понимания изображений и видео на уровне отдельных объектов и регионов на видео. ✅Статья ✅Проект ⚡️ Bespoke Curator Curator - библиотека с открытым исходным кодом, разработанная для упрощения создания синтетических данных! ✅Github 🌏 Earth View предлагает огромную коллекцию мультиспектральных изображений Земли из нескольких спутниковых источников, включая Satellogic, Sentinel-1, NEON и предстоящий Sentinel-2. ✅HF @ai_machinelearning_big_data #ml #news #digest #machinelearning

🌟Вышла новая InternLM v3! Internal выпустила 3 версию своей маленькой модели и утверждают, что на данный момент это лучшая модель класса 7B. Интересно, что она “обучена всего на 4 триллионах высококачественных токенов” и имеет режим анализа, включенный с помощью системного проспать. 4 - Производительность уровня SoTA, превосходит на бенчмарках Llama3.1-8B и Qwen2.5-7B - Способность к глубоким рассуждениям с использованием системных промптов (подробности в карточке модели) - Обучалась только на токенах высокого качества 4T. 📌 Лицензия: Apache 2.0. 🤗 HF: https://huggingface.co/collections/internlm/internlm3-67875827c377690c01a9131d @ai_machinelearning_big_data #InternLM #opensource #llm #ml #reasoningmodel

🌟Вышла новая InternLM v3! Internal выпустила 3 версию своей маленькой модели и утверждают, что на данный момент это лучшая модель класса 7B. Интересно, что она “обучена всего на 4 триллионах высококачественных токенов” и имеет режим анализа, включенный с помощью системного проспать. 4 - Производительность уровня SoTA, превосходит на бенчмарках Llama3.1-8B и Qwen2.5-7B - Способность к глубоким рассуждениям с использованием системных промптов (подробности в карточке модели) - Обучалась только на токенах высокого качества 4T. 🤗 HF: https://huggingface.co/collections/internlm/internlm3-67875827c377690c01a9131d @ai_machinelearning_big_data #InternLM #opensource #llm #ml #reasoningmodel

erid: 2W5zFGMWVua Приглашаем вас на открытый вебинар: «Как увеличить число обнаружений YOLO?» OTUS.RU ⏰Дата: 20 января в 20:00 мск Спикер: Дмитрий Колесников 📚На вебинаре вы узнаете на практике: +Необходимые нюансы с библиотекой по работе с YOLO моделями +Как увеличивать чисто детекций и инстанс сегментаций с использованием  патчевых подходов инференса +Что нужно для запуска на видеопотоке нейронной сети в базовом и патчевом  режиме +Теорию патчевых методов обработки 🚀В результате вебинара вы научитесь: -Работать с нейронной сетю на изображениях и видео в базовом и патчевом подходе -Автопатчингу и сможете его применить для увеличения числа детекций *а также познакомитесь с библиотекой patched_yolo_infer Участники вебинара получат скидку🎁 на курс «Компьютерное зрение» 👉Регистрируйтесь по ссылке: OTUS.RU Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576 #реклама О рекламодателе

⚡️Вуз со STEM-подходом к обучению стал одним из лучших по качеству набора студентов Эксперты НИУ ВШЭ провели мониторинг более 800 вузов страны. В исследовании сравнивали средний балл ЕГЭ зачисленных на программы бакалавриата и специалитета в 2024 году. Центральный университет замкнул тройку лидеров в категории платного набора, уступив лишь МФТИ и Университету Иннополис. Средний балл платников вуза составил 84,4. В категории общего набора университет занял восьмое место с результатом 84,7 баллов, опередив МГУ имени М.В. Ломоносова. В вузе отметили, что в рамках приема учитывают не только результаты ЕГЭ, но и другие достижения абитуриента. Успешно проявившим себя на конкурсах и олимпиадах Центрального университета выдаются гранты, покрывающие до 100% стоимости обучения, а студентам вуза предоставляет платные стажировки в ведущих компаниях страны. ▪️Читать @ai_machinelearning_big_data #news #ai #ml

📄 ML NEWS 🤖 Microsoft Research только что опубликовали новую версию AutoGen - суперпопулярного фреймворка для работы с агентами с открытым исходным кодом AutoGen v0.4 это переработанный фреймворк, в котором значительно улучшена масштабируемость, добавлена модульность и новая система отладки процессов agentic AI за счет внедрения асинхронной архитектуры, управляемой событиями. ▪ Github 🖥 Google представил архитектуру Titans, которая возможно станет очень важным элементом развития больших языковых моделей (LLM) в 2025 году. Архитектура состоит из 3х типов памяти: - Краткосрочная память – для оперативной обработки данных. - Долгосрочная память – для всей сохранения значимой информации. - Постоянная память – для фиксации важной информации. По заявлениям разработчиков Titans может эффективно обрабатывать контекст превышающим 2 миллионов токенов. ▪Подробнее 🖥 ChatGPT теперь таск-менеджер: ИИ теперь способен инициировать диалог благодаря новой функции Tasks. Ранее он только отвечал на запросы, а теперь способен самостоятельно выполнять задачи. Tasks позволяют пользователям давать ChatGPT задачи с указанием времени выполнения. ▪Подробнее 📱 DeepSeek V3 вышел на айфонах Приложение доступно AppStore бесплатно и работает очень быстро ▪Скачать можно здесь. ⚡️ Выпущена новая открытая модель Omni! MiniCPM-o 2.6 - это новая мультимодальная модель с 8B параметрами, работающая на edge девайсах. - 8B параметров (SigLip-400M + Whisper-300M + ChatTTS-200M + Qwen2.5-7B) - Превосходит GPT-4V в vision задачах с 70. 2 баллами на OpenCompass - Лучшие в своем классе возможности двуязычной речи с разговором в реальном времени и клонированием голоса ▪ Model 👩‍💻 Stable point-aware 3D от Stability AI Свежий инструмент с открытым исходным кодом, который отлично справляется с созданием 3D объектов по одному изображению. ▪Github @ai_machinelearning_big_data #news #ml #digest #Stability #chatgpt #google #microsoft #deepSeek #MiniCPM

🔥 Вышла новая модель MiniMax-01 456B с открытым исходным кодом с контекстом 4M ! 🚀 Функции MiniMax-Text-01 и MiniMax-VL-01 основаны на ультрасовременной архитектуре "Lightning Attention". → В MiniMax-Text-01 реализован гибридный подход, при котором в 7 из каждых 8 слоев используется Lightning Attention, а в одном - SoftMax для улучшения баланса модель. Такая архитектура позволяет эффективно обрабатывать сверхдлинные последовательности. → Версия с открытым исходным кодом включает в себя полный набор весов и API. По цене примерно 0,2 доллара за миллион входных токенов и 1,1 доллара за миллион выходных токенов — вполне конкурентоспособные цены. На тестах модель превосходит платный Deep Seek v3 ! 💥 → В задачах с длинным контекстом MiniMax-Text-01 достиг 100% точности в тесте поиска "Needle-in-a-Haystack" с использованием 4 миллионов токенов, превосходя топовые модели в реальных задачах с использованием искусственного интеллекта. 🖥 Github: https://github.com/MiniMax-AI/MiniMax-01 📑Paper：https://filecdn.minimax.chat/_Arxiv_MiniMax_01_Report.pdf 📖Read more: https://minimaxi.com/en/news/minimax-01-series-2 @ai_machinelearning_big_data #llm #MiniMax #ai #agents #ml #opensource

🔥 Mistral выпустила новую модель, специально разработанную для по Кодина с ИИ. Codestral 25.01 дебютирует на 1-м месте в рейтинге лидеров LMsys Copilot Arena 🔥 Новая версия стала заметно умнее и в разы быстрее благодаря обновлённому токенизатору и усовершенствованной архитектуре. Вы уже можете использовать его бесплатно в Continue (100% открытый исходный код) для VS Code. Размер окна контекста увеличен до 256 тысяч токенов. Чтобы использовать его, просто добавьте плагин Continue в VS Code и выберите Codestral 25.01 в качестве модели. А если вам нужна дополнительная информация, то вот официальный блог Mistral. https://mistral.ai/news/codestral-2501/ @ai_machinelearning_big_data #mistral #llm #ml #Codestral

Приглашаем вас на открытый вебинар: «Технологии за современными LLM» https://otus.pw/FpRA/ ⏰Дата: 20 января в 18:00 мск Спикер: Мария Тихонова 📚На занятии мы обсудим: + Какие современные LLM сегодня используют на практике. + Основные концепции языкового моделирования и продвинутые языковые модели. + Методы и технологии, благодаря которым создатели ChatGPT совершили прорыв. + Что представляет из себя задача языкового моделирования + Языковые модели, которые сегодня лежат в основе всех NLP методов 🔥Результаты урока: - Вы поймете, где применяются методы NLP - Узнаете основные тренды и перспективы развития методов NLP - Узнаете современное состояние области в связи с быстрым развитием LLM Участники открытых уроков получат скидку🎁 на онлайн-курс «NLP / Natural Language Processing» 👉Регистрируйтесь на открытый вебинар по ссылке: https://otus.pw/FpRA/?erid=2W5zFHFJMap Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576 #реклама О рекламодателе

🧠 Helium 1 preview 2b Kyutai labs выпустили Helium-1 Preview, 2B многоязычный LLM для edge девайсов и мобильных устройств. Модель, обучена на 2,5 Т токенов и превосходит Qwen 2.5 1.5B🔥 > Превосходит/сопоставим с Owen 1.5B, Gemma 2B и Llama 3B > обучен на 2.5T токенов с размером контекста 4096 > использует дистилляцию на уровне 7B модели > разработчики планируют добавить больше языков, выпустить полную версию > открытый код 🤗 HF: https://huggingface.co/kyutai/helium-1-preview-2b @ai_machinelearning_big_data #Helium #llm #ml

💰 Stretching Each Dollar: Diffusion Training from Scratch on a Micro-Budget Вышел официальный код и чекпоинты для MicroDiffusion от Sony. Советую прочитать статью, в ней авторы подробно рассказывают о том, как они обучили модель уровня SD1 (MicroDiT) за $1890, используя диффузионный трансформер с MoE и наборы реальных+синтетических данных на 37M. Теперь любой желающий может обучить модель Stable Diffusion v1/v2-уровня с нуля всего за 2,5 дня, используя 8 графических процессоров H100 (стоимостью < $2000) Здесь можно посмотреть конфигурацию обучения для каждого этапа. ▪Paper: https://arxiv.org/abs/2407.15811v1 ▪Github: https://github.com/SonyResearch/micro_diffusion ▪HF: https://huggingface.co/VSehwag24/MicroDiT ▪Dataset: https://github.com/SonyResearch/micro_diffusion/blob/main/micro_diffusion/datasets/README.md @ai_machinelearning_big_data #stablediffusion #guide #sd #ml #sony

🔥 Sky-T1-32B-Preview 32B - 450$ - это все, что вам нужно, чтобы обучить свою собственную O1 🌟 Модель достигает конкурентоспособных результатов в рассуждениях и кодинге, 82.4 в Math500, 86.3 в LiveCode-East по сравнению с QwQ (85.4, 90.7) и o1-preview (81.4, 92.9) 🎓 Это новая O1 - подобная модель с открытым исходным кодом, обученная за < 450$, полностью открытый исходный код, 17K обучающих данных, , модель превосходит Qwen-2.5-32B-Instruct по всем бенчмаркам 💥 🤗HF: https://huggingface.co/NovaSky-AI/Sky-T1-32B-Preview @ai_machinelearning_big_data #llm #ml

🧠 Огромный гайд по по обучению с подкреплением Свежее руководство по обучению с подкреплением, которое очень подробно объясняет всю теорию и детали реализации каждого алгоритма в этой области со множеством примеров и кодом. Наслаждайтесь чтением) 📌 Читать @ai_machinelearning_big_data #ml #reinforcementlearning #rl #guiede

✔ Google Research выпустили новую версию TimesFM-2.0 (jax + pytorch) Это предварительно обученная модель для прогнозирования временных рядов . Новая версия работает в показывает улучшение производительности на 25 %, чем v1.0 на различных бенчмарках, при этом имеет в 4 раза большую максимальную длину контекста. TimesFM-2.0 возглавляет таблицу лидеров GIFT-Eval в метриках вероятностного прогнозирования. ▪Hf ▪Paper ▪Google Research blog ▪GitHub @ai_machinelearning_big_data #google #Timeseriesforecasting #timesFM #прогнозированиевременныхрядов