Machine learning Interview

Приглашаем на открытый урок «Применение искусственного интеллекта в диагностике и визуализации медицинских изображений» Познакомимся с современными методами использования ИИ для анализа медицинских изображений, включая рентгеновские снимки, МРТ и КТ на открытом уроке, посвященному курсу «Искусственный интеллект в медицине» ✅ Рассмотрим примеры успешных внедрений и разберем алгоритмы, которые помогают врачам быстрее и точнее ставить диагнозы.  👉 Регистрация и подробности:  https://otus.pw/KUMT/?erid=2W5zFGF4Lac #реклама О рекламодателе

🌟 Distill-Any-Depth: метод оценки глубины сцены по одному изображению. Distill-Any-Depth - метод обучения моделей монокулярной оценки глубины, который сочетает кросс-контекстную дистилляцию и мульти-учительский подход для точного определения расстояния до объектов на RGB-изображении. Он предназначен для обучения моделей (например, DPT, MiDaS или DepthAnythingv2), которые учатся на псевдо-метках, сгенерированных учительскими моделями (Genpercept, DepthAnythingv2). Метод не просто улучшает существующие алгоритмы, но и задает новый стандарт в области определения глубины. Методика может применяться в сфере автономного транспорта и AR-решений. Она может ускорить создание точных 3D-карт для навигации и улучшить реалистичность виртуальных миров за счет детализированного анализа пространства. При этом, обучение CV-моделей с Distill-Any-Depth довольно энергоэффективно — достаточно одной NVIDIA V100. Основа Distill-Any-Depth - кросс-контекстная дистилляция, объединяющая 2 сценария: 🟠Shared-Context Distillation — модель-учитель и модель-ученик обучаются на одинаковых фрагментах изображения. 🟠Local-Global Distillation — модель-учитель анализирует локальные фрагменты, а модель-ученик предсказывает глубину для всего изображения, отвечая за глобальную согласованность сцены. Экспериментальная модель обучалась на 50 тыс. изображений из SA-1B с разрешением 560×560. Использовались псевдо-метки от Genpercept (диффузионная модель) и DepthAnythingv2 (DINOv2). В рамках мульти-учительского подхода на каждой итерации случайно выбирался один учитель. На тестах DIODE и ETH3D метод сократил значение AbsRel на 9.6–20% по сравнению с базовой дистилляцией. Например, при обучении модели-ученика DPT с учителями Genpercept и DepthAnythingv2 AbsRel на ETH3D составил 0.065 против 0.096 у Genpercept. На бенчмарках NYUv2, KITTI, ScanNet модель достигла SOTA: AbsRel 0.043 (NYUv2), 0.070 (KITTI), 0.042 (ScanNet). В сравнении с DepthAnything v2 (AbsRel: 0.045 на NYUv2) и Marigold (0.055) Distill-Any-Depth показал более высокую детализацию и точность относительной глубины. ▶️В открытом доступе 3 модели, обученные с Distill-Any-Depth: 🟢Distill-Any-Depth-Multi-Teacher-Small - 24.8М параметров 🟢Distill-Any-Depth-Multi-Teacher-Base - 95.5М параметров 🟢Distill-Any-Depth-Multi-Teacher-Large - 335.3М параметров ▶️Локальная установка и инференс в Gradio:

# Create Conda env 
conda create -n distill-any-depth -y python=3.10
conda activate distill-any-depth

# Clone Repo
git clone https://github.com/rmurai0610/MASt3R-SLAM.git --recursive
cd MASt3R-SLAM/

# Install dependencies
pip install -r requirements.txt
pip install -e .

# If use hf_hub_download, you can use the following code
checkpoint_path = hf_hub_download(repo_id=f"xingyang1/Distill-Any-Depth", filename=f"large/model.safetensors", repo_type="model")

# Launch Gradio demo 
python app.py

📌Лицензирование: MIT License. 🟡Страница проекта 🟡Arxiv 🟡Набор моделей 🟡Demo 🖥GitHub @ai_machinelearning_big_data #AI #ML #Depth #DIstillAnyDepth

👨‍🎓 Магистратура по ИИ от ИТМО и Napoleon IT набирает студентов на курс «Практическая ML-инженерия: MLOps и разработка проектов» Программа подойдет для тех, кто знает Python, понимает основы машинного обучения и разбирается в принципах работы моделей. Вы научитесь разрабатывать ML-сервисы на Python и создадите собственный AI-сервис. А далее — погрузитесь в MLOps, чтобы вывести проект в продакшен. 👉 В основе обучения — практика. Изучайте MLOps-инструменты — DVC, Airflow, MLflow, ClearML, W&B, FastAPI, PyTest, Docker, GitLab CI, работайте с реальными проектами на реальных данных. 👉 Преподаватели курса — тимлиды команд в сфере ML из ведущих компаний: Ozon Банк, Газпромбанк и других. С экспертами можно советоваться и обсуждать задачи. 👉 Проверка гипотез и способность решать проблемы системно — важные навыки для ML-специалиста. Курс сформирует представление о продукте как о едином целом. Занятия проходят вечером, их удобно совмещать с работой и личной жизнью. Регистрация на курс заканчивается 13 марта. Успейте занять свое место по ссылке. Реклама. Университет ИТМО ИНН:7813045547 erid=2VtzqxcZnke

🖥 GPU Puzzles Набор интерактивных упражнений («паззлов») для обучения программированию под GPU с использованием CUDA. Это целая серия задач, где требуется написать небольшие CUDA-ядра (ядра GPU), реализующие операции вроде сложения с константой (map), поэлементного суммирования (zip), работы с блоками и потоками, свёртки, матричного умножения и других параллельных алгоритмов. Основная цель репозитория – дать начинающим возможность непосредственно попрактиковаться в программировании под GPU, без необходимости погружаться в сложную документацию. Для удобства рекомендуется запускать задания в Google Colab с включённым режимом GPU. Репозиторий лицензирован по MIT, имеет высокую популярность (более 10 тыс звёзд) и является частью серии обучающих проектов (наряду с Tensor Puzzles, Autodiff Puzzles, Triton Puzzles и другими). А здесь реализация задач на C++ ▪ Github ▪ Colab @machinelearning_interview

🔥 MIT обновил свой знаменитый курс 6.S191: Introduction to Deep Learning. Программа охватывает темы NLP, CV, LLM и применение технологий в медицине, предлагая полный цикл обучения – от теории до практических занятий с использованием актуальных версий библиотек. Курс рассчитан даже на новичков: если вы умеете брать производные и перемножать матрицы, все остальное будет разъяснено в процессе. Лекции выходят бесплатно на YouTube и на платформе MIT по понедельникам, первая уже доступна. Все слайды, код и дополнительные материалы можно найти по указанной ссылке. 📌 Свежая лекция: https://youtu.be/alfdI7S6wCY?si=6682DD2LlFwmghew Разбор мл-собеседований @machinelearning_interview

🤗 Обновленный Курс от Hugging Face – Reasoning Course это подробное руководство по развитию навыков логического рассуждения и применения современных подходов для улучшения работы языковых моделей Это интерактивное обучение, посвящённое пониманию и применению методов chain-of-thought (цепочки рассуждений) для генеративных моделей. Курс сочетает теоретические основы с практическими примерами и заданиями. Чем он полезен: - Позволяет глубже понять, как LLM структурируют свои мысли для генерации более точных и обоснованных ответов. - Обучает методикам, которые помогают улучшить рассуждения модели при решении сложных задач. - Содержит практические упражнения и интерактивные ноутбуки, что делает материал доступным как для начинающих, так и для опытных специалистов. Что нового в курсе: Обновлённый контент: В курс добавлены новые примеры, кейсы из реальной практики и последние достижения в области chain-of-thought prompting. Интеграция с экосистемой Hugging Face: Возможность сразу экспериментировать с моделями и инструментами прямо из курса. Если вы хотите улучшить свои навыки работы с языковыми моделями и научиться добиваться более глубокого и логичного генеративного вывода – этот курс для вас! - Зарегистрируйтесь: - Каждую неделю авторы будут выпускать новые материалы и упражнения: - За прохождение выдаются сертификаты. https://huggingface.co/reasoning-course @machinelearning_interview

✔ Разбор задач с собеседований по статистике для Дата Саентистов В современных собеседованиях на позицию Data Scientist кандидатов проверяют не только практические навыки программирования, но и глубокое понимание статистических методов. В данной статье рассмотрены часто встречающиеся задач, которые могут встретиться на интервью. Разберём каждую задачу с теоретической точки зрения, а также продемонстрируем пример кода на Python. 📌 Читать @machinelearning_interview

📍Геоданные и временные ряды в Spark: хаос или порядок? GPS-координаты, карты, временные метки — данные есть, но как с ними работать? Стандартные методы тормозят, запросы громоздкие, аналитика требует вечности. 💡Есть решение. На открытом вебинаре «Обработка геопространственных и временных данных на Spark» 11 марта в 20:00 (мск): - Разберём пространственные данные: координаты, маршруты, карты - Научимся анализировать временные ряды с трендами и предсказаниями - Проанализируем реальные кейсы: GPS-данные, сенсоры IoT, анализ движения 📢 Спикер Вадим Заигрин — опытный разработчик, Data Engineer и Data Scientist. Team Lead команд инженеров данных на разных проектах. Все участники получат скидку на большое обучение «Spark Developer». ➡️ Регистрируйтесь, чтобы не пропустить: https://otus.pw/0511/?erid=2W5zFJ2oTBv Реклама. ООО "ОТУС ОНЛАЙН-ОБРАЗОВАНИЕ". ИНН 9705100963.

🌟 MASt3R-SLAM: детализированный SLAM с априорными данными 3D-реконструкции в реальном времени. MASi3R-SLAM - проект, который умеет строить детальные 3D-карты окружающей среды и отслеживать движение камеры в реальном времени без предварительной калибровки. Система работает даже с изменяющимися во аремени параметрами, например, при зумировании или оптических искажениях. Основа MASi3R-SLAM - алгоритм, использующий модели DUSi3R и MASi3R для восстановления геометрии сцены по 2 изображениям. DUSi3R анализирует пары изображений, предсказывая детальные карты 3D-точек в общей системе координат, а MASi3R дополнительно генерирует дескрипторы для каждого пикселя, повышая точность сопоставления даже при большом смещении кадров. Полученные данные от моделей обрабатывает уникальный алгоритм, который анализирует «карты точек», прогнозируемые нейросетью, и находит соответствия между кадрами за 2 миллисекунды, что в 40 раз быстрее аналогов. В тестировании на наборах TUM RGB-D и EuRoC, показали: MASi3R-SLAM превосходит DROID-SLAM и другие системы по точности траектории (средняя ошибка — 3 см) и детальности 3D-моделей. На сегодняшний день основное ограничение MASi3R-SLAM — скорость декодера из-за его вычислительной нагрузки: полный цикл обработки одного ключевого кадра занимает в среднем 26–27 миллисекунд, что примерно 64% общего времени работы паплайна. Например, при разрешении 512 пикселей по длинной стороне декодер MASi3R тратит до 2 секунд на глобальный поиск соответствий, тогда как алгоритм сопоставления сокращает это время до 2 мс. На выходе создается «бутылочное горлышко», которое ограничивает частоту кадров до 15 FPS. ⚠️ Перед установкой необходимо загрузить модели и установить версию Pytorch, соответствующую установленной версии CUDA. ▶️Локальная установка и примеры запуска для live-режима и видео:

# Create Conda env 
conda create -n mast3r-slam python=3.11
conda activate mast3r-slam

# Clone Repo
git clone https://github.com/rmurai0610/MASt3R-SLAM.git --recursive
cd MASt3R-SLAM/

# Install dependencies
pip install -e thirdparty/mast3r
pip install -e thirdparty/in3d
pip install --no-build-isolation -e .

# Launch Live demo with camera
python main.py --dataset realsense --config config/base.yaml

# Or running on a MP4 video
python main.py --dataset <path/to/video>.mp4 --config config/base.yaml
python main.py --dataset <path/to/folder> --config config/base.yaml

📌Лицензирование: CC-BY-NC-SA-4.0 License. 🟡Страница проекта 🟡Набор моделей 🟡Arxiv 🖥GitHub @ai_machinelearning_big_data #AI #ML #CV #3D #SLAM #Robotics

👨‍🎓 Новый конкурс по анализу данных от Stanford RNA 3D Folding на Kaggle На Kaggle вышло новое соревнование — Stanford RNA 3D Folding, которое с задачей: предсказать трёхмерную конфигурацию РНК-молекул. Почему это важно? РНК играет ключевую роль в регуляции генетической информации, а точное знание её пространственной структуры имеет огромное значение для понимания биологических процессов, разработки новых лекарств и даже борьбы с инфекционными заболеваниями. Несмотря на успехи в предсказании белковых структур (например, благодаря AlphaFold), предсказание 3D-конформации РНК остаётся одной из самых сложных задач в современной молекулярной биологии. Суть соревнования: Участникам предлагается разработать алгоритмы, способные эффективно моделировать и предсказывать трёхмерную структуру РНК, используя предоставленные наборы данных и экспериментальные результаты. В основе задачи лежит необходимость учитывать как вторичную структуру (базовое парование нуклеотидов), так и сложные третичные взаимодействия, которые определяют окончательную форму молекулы. 💰 Призовой фонд: $75,000 Что получает участник? Предсказания 3D-конформаций РНК может значительно ускорить разработку новых терапевтических средств и методов лечения. Успешные модели могут стать фундаментом для дальнейших исследований в генетике, синтезе лекарственных препаратов и изучении сложных биологических процессов. Кроме того, участие в таком соревновании предоставляет уникальную возможность обмена знаниями и сотрудничества с ведущими экспертами в данной области. https://kaggle.com/competitions/stanford-rna-3d-folding

🌟 MatAnyone: модель для выделения по маске людей на видео. MatAnyOne - memory-based модель для видео-маттинга, разработанная для получения стабильных и точных результатов в сценариях реального постпродакшена. В отличие от методов, требующих дополнительного аннотирования, MatAnyOne использует только кадры видео и маску сегментации целевого объекта, определенную на первом кадре. MatAnyOne оперирует регионально-адаптивным слиянием памяти, где области с небольшими изменениями сохраняют данные из предыдущего кадра, а области с большими изменениями больше полагаются на информацию из текущего кадра. Такая техника позволяет MatAnyOne эффективно отслеживать целевой объект, даже в сложных и неоднозначных сценах, сохраняя при этом четкие границы и целые части переднего плана. При создании модели применялась уникальная стратегия обучения, которая опирается на данные сегментации для улучшения стабильности выделения объекта. В отличие от распространенных практик, MatAnyOne использует эти данные непосредственно в той же ветви, что и данные маски. Это достигается путем применения регионально-специфичных потерь: пиксельная потеря для основных областей и улучшенная DDC-потеря для граничных областей. Для обучения был специально создан кастомный набор данных VM800, который вдвое больше, разнообразнее и качественнее, чем VideoMatte240K, что по итогу значительно улучшило надежность обучения объектному выделению на видео. В тестах MatAnyOne показал высокие результаты по сравнению с существующими методами как на синтетических, так и на реальных видео: 🟠На VideoMatte и YouTubeMatte, MatAnyOne - лучшие результаты по MAD (средняя абсолютная разница) и dtSSD (расстояние преобразования формы); 🟢В бенчмарке с реальными видео MatAnyOne достиг MAD 0.18, MSE 0.11 и dtSSD 0.95, что значительно лучше, чем у RVM10 (MAD 1.21, MSE 0.77, dtSSD 1.43) и MaGGIe12 (MAD 1.94, MSE 1.53, dtSSD 1.63. ⚠️ Согласно обсуждению в issues репозитория, MatAnyOne способен работать локально от 4 GB VRAM и выше с видео небольшой длительности. Реальных технических критериев разработчик не опубликовал. ▶️Локальная установка и запуск web-demo на Gradio:

# Clone Repo
git clone https://github.com/pq-yang/MatAnyone
cd MatAnyone

# Create Conda env and install dependencies
conda create -n matanyone python=3.8 -y
conda activate matanyone

pip install -e .

# Install python dependencies for gradio
pip3 install -r hugging_face/requirements.txt

# Launch the demo
python app.py

📌Лицензирование: S-Lab License 1.0. 🟡Страница проекта 🟡Модель 🟡Arxiv 🟡Demo 🖥GitHub @ai_machinelearning_big_data #AI #ML #VideoMatte #MatAnyone

IT_ONE Cup. ML Challenge от IT_ONE и Sk FinTech Hub — создай AI-ассистента, который будет помогать в работе дизайнерам, системным и бизнес-аналитикам. Участвуй онлайн с 12 по 29 апреля и поборись за 1 500 000 рублей. Регистрация открыта до 11 апреля Твоя формула победы: ✅ Разбираешься в машинном обучении. ✅ На ты с NLP и LLM. ✅ Концептуально понимаешь принципы работы веб-приложений.   Также приглашаем Backend и Frontend-разработчиков, системных и бизнес-аналитиков, UI/UX-дизайнеров. Участвуй онлайн соло или командой до 5 человек.  Задачи IT_ONE Cup. ML Challenge: 🔤 Динамические контекстные подсказки для системного аналитика. 🔤 AI-генератор дизайн-макетов по описанию требований. 🔤 Система визуализации BPMN-диаграмм. 4 апреля приходи на митап с экспертами соревнования — задай вопросы и узнай больше о задачах.  Создай AI-ассистента, который облегчит выполнение рабочих задач — регистрируйся на IT_ONE Cup. ML Challenge

✔️ Как можно запустить полноценный Ai проекта за пару часов. 💡 Недавно потребовалось быстро обучить ИИ для автоматической обработки клиентских запросов. Задача состояла в том, чтобы помощник не просто отвечал шаблонно, а умел анализировать тексты, подстраиваться под стиль общения и выдавать осмысленные ответы. У меня уже было несколько проектов, запущенных в облаке Яндекса и во время деплоя обнаружил два инструмента, которые значительно упрощают работу. 🔎 Первый — Dedicated Inference Endpoint в Foundation Models, который позволяет запускать модели (включая популярные опенсорсные LLaMa, Qwen и DeepSeek) на выделенных мощностях. То есть не нужно разбираться в серверах и настройках — всё уже готово, просто подаешь заявку, выбираешь нужную модель и работаешь. Второй инструмент — самостоятельное дообучение методом LoRA, благодаря которому нейросеть можно адаптировать под конкретные задачи бизнеса буквально за 10 минут. Выглядит всё это удобно, особенно если сравнивать с классическим подходом, где нужно отдельно поднимать инфраструктуру, следить за её стабильностью и тратить ресурсы на настройку моделей. В крупных компаниях этим занимаются целые IT-отделы, но если ресурсы ограничены, такие решения упрощают жизнь. Правда, есть и нюансы. Например пока, не все компании готовы хранить свои данные в облаке, хотя сейчас облачные сервисы соответствуют международным стандартам безопасности. Но если речь идёт о быстром тестировании новых моделей, запуске нейросетей без лишних затрат и возможности гибко комбинировать решения — это хороший вариант. Особенно для тех, кто хочет использовать AI в бизнесе, но не готов тратить на это месяцы разработки. 🔗 Записаться на тестирование Foundation Models можно здесь: *клик* 🔗 А здесь можно протестировать обучение с LoRA: *клик*

🔥 Upscayl — это кроссплатформенное приложение с открытым исходным кодом, позволяющее увеличивать изображения с низким разрешением с помощью искусственного интеллекта! Оно работает на Linux, macOS и Windows, поддерживает пакетную обработку, пользовательские модели и оптимизировано для GPU с Vulkan 1.3. 🔐 Лицензия: AGPL-3.0 🖥 Github

Наши друзья из ecom.tech запустили видео-подкаст “AI в действии”. В нем они говорят о свежих новостях в мире DS, о трендах и о том, как наука может найти свое применение в бизнесе. Ведущий подкаста — Петр Лукьянченко, руководитель ML-департамента в eсom.teсh. Уже опубликовали два эпизода: в первом гостем был Алексей Масютин, руководитель Центра Искусственного интеллекта НИУ ВШЭ. Порассуждали о том, как сегодня начинать свой путь в data science, что представляет из себя DS в крупных IT-компаниях и даже успели немного погрузиться в специфику разработки и развития мультимодальных архитектур. Гостем второго выпуска стал Юрий Дорн, руководитель программы AI Masters в Институте ИИ МГУ. В этой части говорили о том, где заканчивается теория и начинается практика в DS. Когда нужно перестать читать книги и начать писать код? Что нужно знать, чтобы быть классным специалистом? А может быть, теория переоценена и нужно сразу идти соревноваться на kaggle? Постарались сформулировать набор советов для тех, кто думает, с какой стороны подступиться к изучению Data Science и как правильно найти учебный материал, подходящий под конкретную ситуацию. Первый эпизод: 🙂 Смотреть 🙂 Слушать Второй эпизод:  🙂 Смотреть 🙂 Слушать Реклама. ООО «Умное пространство», ИНН: 7811554010. Ерид: 2W5zFJ36FGU

✔️ 5 день недели опенсорса: и новый релиз от DeepSeek DeepSeek представили Fife-Flyer File System (3FS) – параллельную файловую систему, способную использовать всю пропускную способность современных SSD и RDMA-сетей. ▶️ Это решение показывает впечатляющие результаты: • 6.6 TiB/s – суммарная скорость чтения в 180-узловом кластере • 3.66 TiB/min – пропускная способность на GraySort в 25-узловом кластере • 40+ GiB/s – пик производительности KVCache lookup на одном клиентском узле Архитектура 3FS дезагрегирована и обеспечивает строгую согласованность, что делает её незаменимой для задач предварительной обработки данных, загрузки датасетов, сохранения контрольных точек и быстрого поиска эмбеддингов во время инференса (V3/R1). Показатели 3FS демонстрируют, что будущее обработки данных лежит в использовании распределенных и дезагрегированных архитектур, где каждая компонента системы работает на максимуме своих возможностей. В дополнение к Fife-Flyer File System, представлен Smallpond – фреймворк для обработки данных на базе этой системы, который помогает ещё больше упростить рабочие процессы с большими объёмами информации. ▪3FS → github.com/deepseek-ai/3FS ▪Smallpond → github.com/deepseek-ai/smallpond @ai_machinelearning_big_data #OpenSourceWee #DeepSeek #Smallpond #3FS #opensource

🔥 Grok3 API — это неофициальная библиотека на языке Python, разработанная для взаимодействия с API модели Grok 3 от компании xAI. Поскольку официального API для Grok 3 пока не существует, этот клиент использует аутентификационные cookies из браузерных сессий для доступа к конечным точкам API. 🔐 Лицензия: MIT 🖥 Github @data_analysis_ml

Авито ищет опытных DS-специалистов — пройдите ускоренный отбор и получите оффер за одни выходные! Вас ждет: — конкурентная зарплата и удаленка по всему миру; — возможность прокачать свой стек – разрабатывать инструменты монетизации, автоматизировать алгоритмы, реализовывать ML-проекты и улучшать пользовательский опыт; — участие в разработке новых продуктов и сильное IT-комьюнити, которое любит опенсорс. Успейте присоединиться к Data Science Weekend Offer до 27 февраля и развивайте крупнейший в мире сервис объявлений: https://u.to/g7sDIg

🔥 AIEBootcamp — это курс по разработке и развертыванию LLM-приложений! 🌟 Курс охватывает промпт-инжинеринг, RAG, агентов, тонкую настройку моделей, а также оценку и мониторинг AI-систем, оптимизацию конвейеров и масштабируемость приложений. 🖥 Github