Machine learning Interview

Разбираем тестовое задание на позицию Junior Аналитика в Самокат Чтобы найти работу, мало пройти курс и сделать классное резюме. На практике, чтобы выделиться на собеседовании, нужно понимать, что лежит под капотом каждого инструмента, а не следовать конкретному заученному алгоритму. Чтобы попрактиковаться в этом, приходите на бесплатный вебинар, где будем решать типичные задачи на SQL, которые дают на собеседованиях аналитикам на основании данных из Самоката. Что будет на вебинаре: - Проведем аналитику заказов и клиентов с помощью SQL - Разберем фишки кода на SQL: CASE в агрегациях, удобная фильтрация и другие - Построим мини-дашборд продаж в Metabase Вебинар проведет Андрон Алексанян, CEO Simulative 🕗Встречаемся 12 ноября в 19:00 🎁Обязательно приходите смотреть вебинар в прямом эфире - в лайве будут дарить подарки, которые сильно бустанут старт карьеры в аналитике! Зарегистрироваться на бесплатный вебинар

🔘GSCo: совместное использование LLM общего назначения и экспертных моделей в медицинской визуализации. GSCo (Generalist-Specialist Collaboration) - система, которая использует преимущества моделей общего назначения (GFM) и экспертных моделей для повышения точности анализа медицинских изображений. В процессе создания GFM была разработана MedDr – самая большая на данный момент модель общего назначения с открытым исходным кодом для медицины. MedDr обучалась на наборе данных из 2 млн. пар "изображение - текст" различных медицинских модальностей. Параллельно были созданы небольшие экмпертные модели для конкретных задач. На этапе совместного инференса используются два механизма: MoED (Mixture-of-Expert Diagnosis) и RAD (Retrieval-Augmented Diagnosis). MoED использует прогнозы экспертных моделей как справочную информацию, а RAD применяет их для поиска похожих случаев. Результаты MoED и RAD объединяются и предоставляются MedDr в качестве контекстной информации. Чтобы оценить MedDr и GSCo был создан датасет из 28 наборов данных и 250 000 тестовых изображений из 10 медицинских модальностей. Результаты экспериментов показали, что MedDr превосходит другие GFM в решении многих задач медицинской визуализации. GSCo демонстрирует высокую производительность по сравнению как с GFM, так и со специализированными моделями, особенно в задачах диагностики заболеваний вне области обучения. 📌 Читать полностью @machinelearning_interview

Разбираем основные принципы работы AutoML на открытом уроке «AutoML и подбор гипер-параметров» от Otus 🔹В эфире проговорим про основные концепции, преимущества и недостатки AutoML Рассмотрим разные способы подбора гиперпарамеров, их плюсы и минусы ✅ Практика на примере популярных библиотек pycaret и hyperopt. Получите базовые навыки работы с инструментами для автоматизации подбора моделей и гиперпараметров 👉 Регистрация и подробности: https://otus.pw/6kvy/?erid=LjN8KKuaR #реклама О рекламодателе

💡 cognitive-load — это репозиторий, посвящённый снижению когнитивной нагрузки в программировании. В нём собраны лучшие практики и рекомендации, как упрощать восприятие кода и интерфейсов, чтобы они стали более понятными и удобными для работы. 🌟 Основная цель — уменьшить усилия, которые требуется приложить для понимания и использования программного обеспечения, что способствует повышению продуктивности и улучшению пользовательского опыта. 🔐 Лицензия: CC-BY-4.0 🖥 Github @machinelearning_interview

🔉 Hertz-dev 8.5 B Hertz-dev - это мощная модель для работы с аудио с открытым исходным кодом. Hertz-dev создан на основе 20 миллионов уникальных часов высококачественных аудиоданных. Hertz-dev - это базовая модель, без тонкой настройки, RLHF. Ее можно настроить практически для любой задачи моделирования звука, от трансляции в реальном времени до классификации аудио. Поддерживает: преобразование речи в текст, перевод, классификация, распознавание речи, преобразование текста в речь и многое другое! 📌 Ссылка @machinelearning_interview

✔️ Microsoft представила систему Magnetic-One для управления несколькими ИИ-агентами. Magnetic-One - система с открытым исходным кодом, доступная разработчикам, в том числе для коммерческих целей, по специальной лицензии Microsoft. Система основана на агенте-оркестраторе, который управляет 4 другими агентами: Websurfer, FileSurfer, Coder и ComputerTerminal. Websurfer может управлять веб-браузерами на основе Chromium, FileSurfer читает локальные файлы, Coder пишет код, а ComputerTerminal предоставляет консоль для выполнения программ Coder. Оркестратор распределяет задачи между агентами, отслеживает их прогресс и может корректировать план действий при возникновении ошибок. Хотя Magnetic-One был разработан для использования с GPT-4o, он не зависит от конкретной языковой модели. microsoft.com @machinelearning_interview

Вот что ждет в Т-Банке ML-разработчиков, кроме ДМС, крутых офисов и других плюшек: ✔️Актуальный стек. Здесь следят за трендами и быстро внедряют новое. ✔️Улучшения может предложить каждый. Здесь знают, как устроен продукт, и влияют на его развитие. ✔️Прозрачная система роста. Вы всегда будете знать, какие навыки нужно подтянуть и как получить повышение. ✔️Вы окажетесь среди профессионалов, у которых можно многому научиться. А если захотите — можете стать ментором для младших коллег. Больше о вакансиях ML-разработчиков — здесь. Устраивайтесь в Т-Банк на позицию ML-разработчика до 23 декабря 2024 года и получайте приветственный бонус в размере одного оклада.

🔍 picoGPT — это минималистичная реализация GPT-2, созданная с использованием NumPy и содержащая очень компактный код (примерно 40 строк)! 🌟 Проект не предназначен для высокой производительности или обучения, а создан скорее для образовательных или развлекательных целей, чтобы продемонстрировать основные принципы работы GPT-2. 🔐 Лицензия: MIT 🖥 Github @bigdatai

💪 Уже есть опыт работы с хранилищами данных, но хочешь прокачать скилы и открыть новые карьерные горизонты? Тогда скорее залетай на бесплатный ИТ-интенсив в Открытых школах Т1 для аналитиков платформы данных (DWH) — регистрация до 8 ноября! Открытые школы — это возможность усилить свои навыки и получить оффер от одного из лидеров* российского ИТ-рынка — Холдинга Т1. И все это за месяц, онлайн и в удобное вечернее время. Что ты получишь? 🔹Уникальный рыночный опыт и масштабные ИТ-проекты: мы одни из первых, кто внедряет технологии для управления данными. Выпускники школ смогут присоединиться к проекту по созданию новой технологической платформы данных в банковской сфере. 🔹Быстрый рост в ИТ при поддержке экспертов и топовых преподавателей. Карьерные треки для выпускников Открытых школ позволяют быстро расти в профессии в Т1. 🔹Работа в бигтех-компании: ИТ-аккредитация, современный техстек, ДМС, удаленка, крутые офисы, спорт, обучение, митапы, ИТ-конференции, программы признания и развития, а также многое другое от Т1. Более 900 специалистов уже прошли этот путь — теперь твоя очередь! Читай подробности в карточках ☝️ Старт обучения уже 11–12 ноября! Ссылка для подачи заявки. Реклама. ООО «Т1» ИНН: 7720484492. Erid: 2SDnjcEokmZ

✔️ Метод повышения эффективности обучаемых функций близости Читаем разбор статьи Microsoft и Meta про эффективный retrieval с обучаемыми функциями близости. Авторы предлагают Mixture-of-Logits как универсальный аппроксиматор, а также рассказывают о методах его ускорения. В разборе ml-специалисты рассмотрели метод, а также коснулись различий косинусных близостей и обучаемых функций близости. ▪️ Arxiv ▪️ Разбор статьи @machinelearning_interview

⚡️ Tencent Hunyuan Large - 389B (Total) X 52B (Active) - превосходит Llama 3.1 405B, Mistral 8x22B, DeepSeek V2! В настоящее время это самая большая модель MoE на основе транспортеров с открытым исходным кодом, содержащая 389 миллиардов параметров и 52 миллиарда активных параметров. Многоязычный, 128K контекст, использует GQA + CLA для сжатия KV кэша . Выпущены контрольные чекпоинты Pre-train, Instruct & FP8 на Hugging Face Hub! https://huggingface.co/OuteAI/OuteTTS-0.1-350M @machinelearning_interview

🌟 Run:ai Model Streamer - ускорение загрузки LLM. Run:ai Model Streamer – Python SDK, разработанный для оптимизации загрузки моделей машинного обучения. Он поддерживает загрузку моделей в различных форматах (.pt, .h5, .safetensors и др.) из сетевых файловых систем, хранилищ S3 и локальных дисков. Особенность Streamer - использование многопоточности для параллельной загрузки тензоров из файла в выделенный буфер оперативной памяти. Каждый тензор идентифицируется уникальным ключом, который впоследствии используется приложением для загрузки тензора в память GPU. Это дает возможность загружать тензоры в память GPU одновременно с чтением других тензоров из хранилища в оперативную память, минимизируя время простоя GPU. Streamer использует высокопроизводительный слой на C++, а Python API обеспечивает удобную интеграцию Streamer в существующие проекты, например, для автомасштабируемых серверов инференса, где минимизация времени простоя GPU критически важна. Тест производительности Run:ai Model Streamer выполнялся на NVIDIA A10G с моделью Llama-3-8B (15 GB) и сравнивался с загрузчиками SafeTensors от Hugging Face и Tensorizer от CoreWeave. При использовании локальных SSD, Run:ai Model Streamer достигал максимальной пропускной способности SSD (1 ГБ/с для GP3 и 2 ГБ/с для IO2), сокращая время загрузки модели в 6 раз по сравнению с SafeTensors Loader. На Amazon S3 Run:ai Model Streamer загружал модель за 4.88 секунды, значительно превосходя Tensorizer (37.36 секунд). ⚠️ Streamer поддерживает только приложения PyTorch. ⚠️ Размер буфера оперативной памяти регулируется параметром RUNAI_STREAMER_MEMORY_LIMIT ▶️ Пример запуска с локального диска:

# Install streamer from pip
pip install runai-model-streamer

# Load the tensors to the buffer and stream to the GPU
from runai_model_streamer import SafetensorsStreamer

file_path = "/path/to/file.safetensors"

with SafetensorsStreamer() as streamer:
    streamer.stream_file(file_path)
    for name, tensor in streamer.get_tensors():
        tensor.to('CUDA:0')

📌Лицензирование: Apache 2.0 License. 🟡Бенчмарки в блоге RunAI 🟡Документация 🖥GitHub @ai_machinelearning_big_data #AI #ML #LLM #RunAI #ModelStramer

💡 Обновление YandexGPT 4: рост качества ответов, длинный контекст, пошаговые рассуждения Новое семейство моделей уже доступно через API в Yandex Cloud. Две версии — Pro и Lite — предлагают более точные ответы, работают с расширенным контекстом и лучше обрабатывают длинные тексты. Алиса с опцией «Про» станет первым сервисом с YandexGPT 4. Алексей Долотов, руководитель продуктов ML в Yandex Cloud, и Андрей Бут, руководитель команды YandexGPT Alignment рассказали в новой статье на Хабре про обучение YandexGPT 4 и ее отличия от предыдущих версий.

✔️ Яндекс объявил победителей Yandex ML Prize 2024. В этом году награда была вручена учёным за выдающиеся достижения в области машинного обучения. Рассказываем о нескольких из 14 лауреатов. Артём Лыков и его команда из Сколтеха первые в мире представили универсальную когнитивную систему для роботов. В числе его разработок и робот-собака, который понимает человеческую речь и может ориентироваться в пространстве. Это может стать основой для «роя умных роботов», способных автономно выполнять задачи в строительстве, геологоразведке и астрофизике. Николай Никитин из ИТМО работает над автоматическим машинным обучением и генеративным дизайном. Его команда создала экосистему методов для задач AI for science, что помогает в оптимизации создания моделей ИИ и их адаптации к различным научным и прикладным задачам. Елена Тутубалина из Казанского федерального университета фокусируется на обработке естественного языка и генеративных моделях. Её исследования в области доверенных методов ИИ могут повысить эффективность разработки новых лекарств. Кроме денежной премии, лауреаты получат доступ к Яндекс 360 и грант на использование Yandex Cloud. Эти ресурсы помогут развивать их проекты и вносить вклад в будущее ИИ. @machinelearning_interview

📖 Полезный репозиторий с курсами от компании Anthropic! 💡 Это — полезные материалы, которые обучают основам работы с языковой моделью Claude и включают курсы по основам API, интерактивному обучению инженерии промптов, применению промптов в реальных сценариях, их оценке и интеграции инструментов 🖥 Github #курс #machinelearning #claude @machinelearning_interview

Как оценить стоимость облачных решений? Как перенести свои процессы обучения моделей в облачную среду? 🔹Расскажем на открытом уроке «Облачная инфраструктура для ML инженера на базе Yandex Cloud» на открытом уроке в Otus. Рассмотрим базовые компоненты облачной инфраструктуры, которые часто используются в машинном обучении - хранилища данных, виртуальные машины и базы данных. ✅ Практика: Создадим все необходимые компоненты в облаке Yandex Cloud, подключимся к ним, запустим конвейер машинного обучения и сохраним обученную модель в облачном S3 хранилище. Урок приурочен курсу «MLOps» от Otus. 👉 Регистрация и подробности: https://otus.pw/TZ97/?erid=LjN8KWzcw #реклама О рекламодателе

🖥 Хотите попрактиковаться с SQL задачами? Тогда этот тренажёр идеально вам подойдет! Он будет полезен тем, кто уже имеет базовые теоретические знания, готовится к собеседованию или просто хочет освежить свои навыки работы с синтаксисом. Вот что мне особенно понравилось: — Все задания направлены на практическое применение знаний. Они приближены к реальным задачам и охватывают популярные вопросы с собеседований. — Очень удобно работать с таблицами и составлять запросы. — Задания распределены по темам и уровням сложности, а также предусмотрены полезные подсказки. Сохраняйте, чтобы не потерять! 👍 📌 Cсылка #sql #practice

Как нужно укомплектовать команду ML для решения задачи? 🔹Расскажем на открытом уроке «Структура и построение ML команды» про композицию ML команды, различные роли в ней и их зоны ответственности ✅ Поговорим о том, зачем нужны ролы Data Scientist, Data Analyst, BI Analyst, ML Engineer, Data Engineer. Как организовать работу команды и взаимодействие внутри нее. Урок приурочен новому курсу «ML Team Lead» от Otus. 👉 Регистрация и подробности: https://otus.pw/AHir/?erid=LjN8KRxKZ #реклама О рекламодателе

📖 LLM-Agent-Paper-List — репозиторий, в котором собраны статьи по теме агентов на основе больших языковых моделей (LLM)! Статьи разделены на категории, такие как архитектуры агентов, автономные LLM-агенты, обучение с подкреплением (RL), методы обработки естественного языка, мультимодальные подходы и инструменты для разработки LLM-агентов 🖥 Github @data_analysis_ml

LMM-модели развиваются семимильными шагами. Во многом стоит отдать должное компаниям, которые прокачивают отрасль сами. Вышла новость о том, что призовой фонд международного чемпионата по программированию Yandex Cup увеличился c 12,5 до 16 млн рублей. Дополнительные деньги разделят между финалистами в направлении машинного обучения. Их число тоже увеличится: с 6 до 22 человек. @machinelearning_interview