Machine learning Interview

✔️ Microsoft представила систему Magnetic-One для управления несколькими ИИ-агентами. Magnetic-One - система с открытым исходным кодом, доступная разработчикам, в том числе для коммерческих целей, по специальной лицензии Microsoft. Система основана на агенте-оркестраторе, который управляет 4 другими агентами: Websurfer, FileSurfer, Coder и ComputerTerminal. Websurfer может управлять веб-браузерами на основе Chromium, FileSurfer читает локальные файлы, Coder пишет код, а ComputerTerminal предоставляет консоль для выполнения программ Coder. Оркестратор распределяет задачи между агентами, отслеживает их прогресс и может корректировать план действий при возникновении ошибок. Хотя Magnetic-One был разработан для использования с GPT-4o, он не зависит от конкретной языковой модели. microsoft.com @machinelearning_interview

Вот что ждет в Т-Банке ML-разработчиков, кроме ДМС, крутых офисов и других плюшек: ✔️Актуальный стек. Здесь следят за трендами и быстро внедряют новое. ✔️Улучшения может предложить каждый. Здесь знают, как устроен продукт, и влияют на его развитие. ✔️Прозрачная система роста. Вы всегда будете знать, какие навыки нужно подтянуть и как получить повышение. ✔️Вы окажетесь среди профессионалов, у которых можно многому научиться. А если захотите — можете стать ментором для младших коллег. Больше о вакансиях ML-разработчиков — здесь. Устраивайтесь в Т-Банк на позицию ML-разработчика до 23 декабря 2024 года и получайте приветственный бонус в размере одного оклада.

🔍 picoGPT — это минималистичная реализация GPT-2, созданная с использованием NumPy и содержащая очень компактный код (примерно 40 строк)! 🌟 Проект не предназначен для высокой производительности или обучения, а создан скорее для образовательных или развлекательных целей, чтобы продемонстрировать основные принципы работы GPT-2. 🔐 Лицензия: MIT 🖥 Github @bigdatai

💪 Уже есть опыт работы с хранилищами данных, но хочешь прокачать скилы и открыть новые карьерные горизонты? Тогда скорее залетай на бесплатный ИТ-интенсив в Открытых школах Т1 для аналитиков платформы данных (DWH) — регистрация до 8 ноября! Открытые школы — это возможность усилить свои навыки и получить оффер от одного из лидеров* российского ИТ-рынка — Холдинга Т1. И все это за месяц, онлайн и в удобное вечернее время. Что ты получишь? 🔹Уникальный рыночный опыт и масштабные ИТ-проекты: мы одни из первых, кто внедряет технологии для управления данными. Выпускники школ смогут присоединиться к проекту по созданию новой технологической платформы данных в банковской сфере. 🔹Быстрый рост в ИТ при поддержке экспертов и топовых преподавателей. Карьерные треки для выпускников Открытых школ позволяют быстро расти в профессии в Т1. 🔹Работа в бигтех-компании: ИТ-аккредитация, современный техстек, ДМС, удаленка, крутые офисы, спорт, обучение, митапы, ИТ-конференции, программы признания и развития, а также многое другое от Т1. Более 900 специалистов уже прошли этот путь — теперь твоя очередь! Читай подробности в карточках ☝️ Старт обучения уже 11–12 ноября! Ссылка для подачи заявки. Реклама. ООО «Т1» ИНН: 7720484492. Erid: 2SDnjcEokmZ

✔️ Метод повышения эффективности обучаемых функций близости Читаем разбор статьи Microsoft и Meta про эффективный retrieval с обучаемыми функциями близости. Авторы предлагают Mixture-of-Logits как универсальный аппроксиматор, а также рассказывают о методах его ускорения. В разборе ml-специалисты рассмотрели метод, а также коснулись различий косинусных близостей и обучаемых функций близости. ▪️ Arxiv ▪️ Разбор статьи @machinelearning_interview

⚡️ Tencent Hunyuan Large - 389B (Total) X 52B (Active) - превосходит Llama 3.1 405B, Mistral 8x22B, DeepSeek V2! В настоящее время это самая большая модель MoE на основе транспортеров с открытым исходным кодом, содержащая 389 миллиардов параметров и 52 миллиарда активных параметров. Многоязычный, 128K контекст, использует GQA + CLA для сжатия KV кэша . Выпущены контрольные чекпоинты Pre-train, Instruct & FP8 на Hugging Face Hub! https://huggingface.co/OuteAI/OuteTTS-0.1-350M @machinelearning_interview

🌟 Run:ai Model Streamer - ускорение загрузки LLM. Run:ai Model Streamer – Python SDK, разработанный для оптимизации загрузки моделей машинного обучения. Он поддерживает загрузку моделей в различных форматах (.pt, .h5, .safetensors и др.) из сетевых файловых систем, хранилищ S3 и локальных дисков. Особенность Streamer - использование многопоточности для параллельной загрузки тензоров из файла в выделенный буфер оперативной памяти. Каждый тензор идентифицируется уникальным ключом, который впоследствии используется приложением для загрузки тензора в память GPU. Это дает возможность загружать тензоры в память GPU одновременно с чтением других тензоров из хранилища в оперативную память, минимизируя время простоя GPU. Streamer использует высокопроизводительный слой на C++, а Python API обеспечивает удобную интеграцию Streamer в существующие проекты, например, для автомасштабируемых серверов инференса, где минимизация времени простоя GPU критически важна. Тест производительности Run:ai Model Streamer выполнялся на NVIDIA A10G с моделью Llama-3-8B (15 GB) и сравнивался с загрузчиками SafeTensors от Hugging Face и Tensorizer от CoreWeave. При использовании локальных SSD, Run:ai Model Streamer достигал максимальной пропускной способности SSD (1 ГБ/с для GP3 и 2 ГБ/с для IO2), сокращая время загрузки модели в 6 раз по сравнению с SafeTensors Loader. На Amazon S3 Run:ai Model Streamer загружал модель за 4.88 секунды, значительно превосходя Tensorizer (37.36 секунд). ⚠️ Streamer поддерживает только приложения PyTorch. ⚠️ Размер буфера оперативной памяти регулируется параметром RUNAI_STREAMER_MEMORY_LIMIT ▶️ Пример запуска с локального диска:

# Install streamer from pip
pip install runai-model-streamer

# Load the tensors to the buffer and stream to the GPU
from runai_model_streamer import SafetensorsStreamer

file_path = "/path/to/file.safetensors"

with SafetensorsStreamer() as streamer:
    streamer.stream_file(file_path)
    for name, tensor in streamer.get_tensors():
        tensor.to('CUDA:0')

📌Лицензирование: Apache 2.0 License. 🟡Бенчмарки в блоге RunAI 🟡Документация 🖥GitHub @ai_machinelearning_big_data #AI #ML #LLM #RunAI #ModelStramer

💡 Обновление YandexGPT 4: рост качества ответов, длинный контекст, пошаговые рассуждения Новое семейство моделей уже доступно через API в Yandex Cloud. Две версии — Pro и Lite — предлагают более точные ответы, работают с расширенным контекстом и лучше обрабатывают длинные тексты. Алиса с опцией «Про» станет первым сервисом с YandexGPT 4. Алексей Долотов, руководитель продуктов ML в Yandex Cloud, и Андрей Бут, руководитель команды YandexGPT Alignment рассказали в новой статье на Хабре про обучение YandexGPT 4 и ее отличия от предыдущих версий.

✔️ Яндекс объявил победителей Yandex ML Prize 2024. В этом году награда была вручена учёным за выдающиеся достижения в области машинного обучения. Рассказываем о нескольких из 14 лауреатов. Артём Лыков и его команда из Сколтеха первые в мире представили универсальную когнитивную систему для роботов. В числе его разработок и робот-собака, который понимает человеческую речь и может ориентироваться в пространстве. Это может стать основой для «роя умных роботов», способных автономно выполнять задачи в строительстве, геологоразведке и астрофизике. Николай Никитин из ИТМО работает над автоматическим машинным обучением и генеративным дизайном. Его команда создала экосистему методов для задач AI for science, что помогает в оптимизации создания моделей ИИ и их адаптации к различным научным и прикладным задачам. Елена Тутубалина из Казанского федерального университета фокусируется на обработке естественного языка и генеративных моделях. Её исследования в области доверенных методов ИИ могут повысить эффективность разработки новых лекарств. Кроме денежной премии, лауреаты получат доступ к Яндекс 360 и грант на использование Yandex Cloud. Эти ресурсы помогут развивать их проекты и вносить вклад в будущее ИИ. @machinelearning_interview

📖 Полезный репозиторий с курсами от компании Anthropic! 💡 Это — полезные материалы, которые обучают основам работы с языковой моделью Claude и включают курсы по основам API, интерактивному обучению инженерии промптов, применению промптов в реальных сценариях, их оценке и интеграции инструментов 🖥 Github #курс #machinelearning #claude @machinelearning_interview

Как оценить стоимость облачных решений? Как перенести свои процессы обучения моделей в облачную среду? 🔹Расскажем на открытом уроке «Облачная инфраструктура для ML инженера на базе Yandex Cloud» на открытом уроке в Otus. Рассмотрим базовые компоненты облачной инфраструктуры, которые часто используются в машинном обучении - хранилища данных, виртуальные машины и базы данных. ✅ Практика: Создадим все необходимые компоненты в облаке Yandex Cloud, подключимся к ним, запустим конвейер машинного обучения и сохраним обученную модель в облачном S3 хранилище. Урок приурочен курсу «MLOps» от Otus. 👉 Регистрация и подробности: https://otus.pw/TZ97/?erid=LjN8KWzcw #реклама О рекламодателе

🖥 Хотите попрактиковаться с SQL задачами? Тогда этот тренажёр идеально вам подойдет! Он будет полезен тем, кто уже имеет базовые теоретические знания, готовится к собеседованию или просто хочет освежить свои навыки работы с синтаксисом. Вот что мне особенно понравилось: — Все задания направлены на практическое применение знаний. Они приближены к реальным задачам и охватывают популярные вопросы с собеседований. — Очень удобно работать с таблицами и составлять запросы. — Задания распределены по темам и уровням сложности, а также предусмотрены полезные подсказки. Сохраняйте, чтобы не потерять! 👍 📌 Cсылка #sql #practice

Как нужно укомплектовать команду ML для решения задачи? 🔹Расскажем на открытом уроке «Структура и построение ML команды» про композицию ML команды, различные роли в ней и их зоны ответственности ✅ Поговорим о том, зачем нужны ролы Data Scientist, Data Analyst, BI Analyst, ML Engineer, Data Engineer. Как организовать работу команды и взаимодействие внутри нее. Урок приурочен новому курсу «ML Team Lead» от Otus. 👉 Регистрация и подробности: https://otus.pw/AHir/?erid=LjN8KRxKZ #реклама О рекламодателе

📖 LLM-Agent-Paper-List — репозиторий, в котором собраны статьи по теме агентов на основе больших языковых моделей (LLM)! Статьи разделены на категории, такие как архитектуры агентов, автономные LLM-агенты, обучение с подкреплением (RL), методы обработки естественного языка, мультимодальные подходы и инструменты для разработки LLM-агентов 🖥 Github @data_analysis_ml

LMM-модели развиваются семимильными шагами. Во многом стоит отдать должное компаниям, которые прокачивают отрасль сами. Вышла новость о том, что призовой фонд международного чемпионата по программированию Yandex Cup увеличился c 12,5 до 16 млн рублей. Дополнительные деньги разделят между финалистами в направлении машинного обучения. Их число тоже увеличится: с 6 до 22 человек. @machinelearning_interview

⚡️ Ruadapt-Qwen2.5-3B-instruct_v4: Адаптированная к русскому языку с помощью LEP Qwen2.5. НИВЦ МГУ разработал RuAdaptQwen-3B – адаптированную версию модели Qwen2.5_3B. Ключевой элемент адаптации - Learned Embedding Propagation (LEP) . Это метод, позволяющий эффективно интегрировать улучшенную токенизацию в существующие инструктивные модели. Вместо полной замены токенизатора, LEP корректирует эмбединги, чтобы обеспечить лучшую совместимость с слоями модели. Новый токенизатор, используемый в RuAdaptQwen-3B, учитывает специфику русского языка, сохраняя при этом высокую производительность на английском. Это позволило ускорить инференс русскоязычного текста до 60%. Оценка в бенчмарке Ru-Arena-General принесла RuAdaptQwen-3B 66 баллов, она превзошла большинство моделей с 7-8 млрд. параметров. ⚠️ Квантованных версий пока нет. 🟡Модель на HF @ai_machinelearning_big_data #AI #ML #LLM #MSU #RuQwen

🔥 app-ideas — коллекция идей для приложений, которые помогут разработчикам улучшить навыки программирования! 🌟 Проекты охватывают различные уровни сложности — от новичков до продвинутых — и содержат требования к функционалу, что помогает практиковать реализацию реальных приложений 🔐 Лицензия: MIT 🖥 Github freecourses

🧬 GEMCODE: Генеративный метод для разработки сокристаллов с улучшенной таблетируемостью. GEMCODE - это конвейер, разработанный специалистами Ивановского государственного химико-технологического университета, для ускоренной разработки действующих веществ лекарственных средств, позволяющий быстро генерировать уникальные и валидные химические структуры коформеров с высокой вероятностью образования сокристаллов и целевыми профилями таблетируемости. GEMCODE основан на гибридизации генеративных моделей и эволюционной оптимизации, что позволяет проводить более широкий поиск в целевом химическом пространстве. Для обучения моделей использовался набор данных, состоящий из 1,75 млн. химических структур из базы данных ChEMBL, и специализированный набор данных, содержащий 4227 уникальных структур коформеров. Для прогнозирования механических свойств сгенерированных молекул была использована библиотека GOLEM и разработанные модели ML. GEMCODE состоит из четырех основных компонентов: 1) Генерация кандидатов коформеров: Обученные генеративные модели (GAN, T-VAE, T-CVAE) создают SMILES-представления структур, подобных коформерам. 2) Прогнозирование механических свойств: Сгенерированные молекулы и терапевтические соединения подаются в обученные ML-модели, которые предсказывают механические свойства потенциальных сокристаллов. 3) Эволюционная оптимизация: Эволюционный алгоритм в сочетании с ML- моделями улучшает профили таблетируемости сгенерированных коформеров. 4) Ранжирование по вероятности образования сокристаллов: GNN оценивает и ранжирует пары лекарств и коформеров в соответствии с вероятностью образования сокристаллов. Для оценки вероятности образования сокристаллов применялась предварительно обученная GNN CCGNet. Эксперименты показали, что: T-CVAE генерирует наибольшее количество кандидатов коформеров с целевыми свойствами таблетируемости (5,63%). Эволюционная оптимизация значительно повышает вероятность того, что коформеры будут обладать желаемыми механическими свойствами. GEMCODE успешно обнаружил экспериментально подтвержденные коформеры для никорандила, ривароксабана и парацетамола, а также предсказал новые потенциальные коформеры для никорандила. ▪Arxiv ▪Github @machinelearning_interview

❓Узнайте как построить модель финансового рынка, создать и обучить торгового агента с использованием специализированного фреймворка на открытом уроке в Otus Моделировать финансовый рынок непростая задача, а когда мы хотим обучить торгового агента для эффективной работы, она становится непосильной для одного человека На открытом уроке «Построение торгового агента на базе алгоритмов обучения с подкреплением» рассмотрим свободно распространяемые фреймворки для моделирования финансового рынка ✅ Сосредоточимся на финансовой стратегии, а детали реализации алгоритма фреймворк возьмет на себя  Регистрация на урок 👇 https://otus.pw/SGIJ/?erid=LjN8K65Fm #реклама О рекламодателе

🔥 Bee Agent Framework — фреймворк для создания масштабируемых агентных приложений с использованием моделей глубокого обучения. Он поддерживает работу с моделями, такими как Llama, и позволяет создавать агентов, оснащенных инструментами для поиска и анализа данных, интеграции с API и другими функциями 🌟 Фреймворк предлагает возможности для логирования, трассировки, управления памятью и безопасного выполнения кода, а также включает готовый UI для взаимодействия пользователей с агентом 🖥 Github @machinelearning_interview