Machine learning Interview

Привет! Это команда МТС. Мы запустили набор на 3 поток Школы аналитиков данных МТС! Обучение проходит в онлайн-формате и длится 10 месяцев. Преподаватели — эксперты нашего центра Big Data. Вы научитесь писать на Python, прокачаетесь в математике, основах машинного обучения, ML Ops, Spark и прочих вещах, без которых не выйдет работать в Data Science. Также у студентов будет возможность попасть на стажировку в МТС. Ждем тех, кто любит учиться, хочет попасть в комьюнити единомышленников, и, конечно, развиваться в анализе данных и ML. Обучение бесплатное, но места ограничены - чтобы попасть, необходимо подать заявку до 20 октября и выполнить вступительное задание. Старт обучения - 7 ноября! Подробности по ссылке, ждём тебя! Реклама. Информация о рекламодателе.

⁉️ Открытый урок «Методы сегментации в рекомендациях»  🗓 17 октября в 20:00 МСК 🆓 Бесплатно. Урок в рамках старта курса «Рекомендательные системы» от Otus. На вебинаре разберем:  ✔️ как использовать RFM-анализ, методы кластеризации и look-a-like моделирование; ✔️ как применять аналитические и машинные методы для сегментации клиентов; ✔️ примеры практического применения этих методов в реальных задачах. 🔗 Ссылка для регистрации на урок: https://otus.pw/rFTT/ #реклама О рекламодателе

🌟 LeLaN: метод обучения политики навигации для роботов с помощью видео из реальной среды. LeLaN - метод, использующий модели Owl-ViT2 и OpenVLA для маркировки видеоданных из реальной среды с помощью языковых инструкций для навигации по объектам. Политика навигации по объектам, обученная на этих данных, показала высокие результаты в задаче навигации по незнакомым объектам в разных условиях: внутри и снаружи помещений. LeLaN использует аннотации VLM для маркировки видеоданных из различных источников: наборы данных о навигации роботов, видеоролики с экскурсиями с YouTube и данные из носимых видеорегистраторов. Эти аннотации предоставляют инструкции, охватывающие широкий спектр объектов с разной степенью детализации в их описаниях. В процессе обучения политика навигации оптимизируется по трем направлениям: 🟢достижение целевого объекта; 🟢предотвращение столкновений; 🟢плавность скорости. После обучения LeLaN была проведена серия экспериментов из более 1000 испытаний, проведенных в реальных условиях. Результаты показывают, что LeLaN превосходит существующие методы zero-shot политик навигации по способности ориентироваться в различных средах, надежности в условиях нечетких команд, способности следовать за пешеходами и навыке избегать столкновений. Код, предлагаемый в репозитории LeLaN, разбит на две части: обучение модели на собственных данных и локальное развертывание с предварительно обученными моделями LeLaN на роботизированной платформе с NVIDIA Jetson Orin. ▶️Локальная установка и запуск обучения:

# Clone repository:
git clone https://github.com/NHirose/learning-language-navigation.git

# Set up the conda env:
conda env create -f train/train_lelan.yml
conda activate lelan

# Install the lelan packages:
pip install -e train/

# Install the `diffusion_policy` package:
git clone git@github.com:real-stanford/diffusion_policy.git
pip install -e diffusion_policy/

# Training lelan w/o collision avoidance
python train.py -c ./config/lelan.yaml

📌Лицензирование : MIT License. 🟡Страница проекта 🟡Набор моделей 🟡Датасет 🟡Демо видео на Youtube 🖥GitHub @ai_machinelearning_big_data #AI #ML #LLM #Navigation #Robotics

Привет, это Андрей Богомолов. Выпустился c Матфака Вышки, был СТО в ИИ-стартапе NLogic, а сейчас сооснователь в GenAI Lab, и в канале рассказываю, как мы внедряем генеративный ИИ в энтерпрайз Не собираем подборки лучших промптов для контент-плана, но рассказываем о методах оценки точности RAG и нюансах разворачивания open-source LLM в контуре. Делаем контент для разработчиков, продактов и всех, кто планирует или уже внедряет генеративный ИИ в свои процессы. Например, завтра в лайве расскажем, как сделали RAG-бота с интеграцией с БД интернет-магазина для консультации клиентов. Подпишись, чтобы узнать больше про внедрение GenAI: @genailab

2 и 3 декабря 2024 года в Москве, в Кампусе СКОЛКОВО, пройдёт крупнейшая профессиональная конференция для разработчиков высоконагруженных систем — HighLoad++ 2024. В этом году мероприятие соберёт 3 800 участников, будет проведено 170 докладов в 13 залах. На одной площадке пройдут сразу 3 конференции: HighLoad++, GolangConf 2024 и PHP Russia 2024. ✅Доклады и спикеры конференции: https://clck.ru/3DnKYX?erid=LjN8JvJ5f Будем разбираться в архитектуре сложных проектов, обсудим вызовы работы с распределёнными транзакциями, базами данных и системами хранения. Поговорим про оптимизацию производительности с использованием CGo и применение WebAssembly для решения задач веб-разработки. До встречи на HighLoad++ 2024! #реклама О рекламодателе

🖥 Большой плейлист Deep Learning лекций от MIT! 🌟 72 видео 🔗 Ссылка: *клик* #курс #deeplearning #machinelearning #bigdata #ai @machinelearning_interview

🖥 Model Memory Utility — полезная утилита, которая помогает оценить использование памяти различными моделями машинного обучения 🌟 Инструмент предоставляет визуализацию и информацию о том, как загружаются и обрабатываются модели на CPU и GPU, что помогает разработчикам оптимизировать память и производительность своих моделей. Это полезно для выбора наиболее подходящих конфигураций для обучения и развертывания моделей 🔗 Ссылка: *клик* @machinelearning_interview

🤖  Готовы ли вы стать специалистом по персонализации и рекомендациям? Мы разработали профессиональный онлайн-курс «Рекомендательные системы», для специалистов в области ML и DS, которые хотят расширить свои компетенции в области рекомендательных систем. Приходите на открытый урок курса 17 октября в 20:00 мск. Тема: «Методы сегментации в рекомендациях». На уроке разберем: ➡️ как использовать RFM-анализ, методы кластеризации и look-a-like моделирование; ➡️  как применять аналитические и машинные методы для сегментации клиентов; ➡️  примеры практического применения этих методов в реальных задачах. 🔗 Ссылка для регистрации на урок: https://otus.pw/4IpV/ #реклама О рекламодателе

📌 Яндекс добавил в Нейро новую мультимодальную VLM для поиска по картинкам В своей статье на Хабре ML-разработчик Яндекса детально описывает, что представляют собой визуально-текстовые мультимодальные модели. Он аскрывает их архитектуру, состоящую из LLM, картиночного энкодера и адаптера, а также процесс обучения. Кроме того, автор рассказывает про эволюцию Нейро: от предыдущей LLM-версии к новой VLM. Это позволяет понять, как изменился процесс обработки запросов и почему новая версия эффективнее. Интересный инсайд: Яндекс использует instruct-based pretrain с несколькими миллионами семплов и активно работает над interleaved pretrain для дальнейшего улучшения качества модели. ▪️Статья на Хабре @machinelearning_interview

🌟 Малые языковые модели: обзор, измерения и выводы. Исследование, проведенное Университетом Кембриджа, Пекинским университетом почты и телекоммуникаций о малых языковых моделях, опубликованных в открытом доступе в период с 2022-2024 гг. Авторами были проанализированы 59 современных открытых SLM, их архитектуру, используемые наборы данных для обучения и алгоритмы. Целевая группа состояла из моделей с 100M–5B параметрами, построенных на архитектуре декодера-трансформера, которые подходят для устройств от носимых гаджетов до смартфонов и планшетов. Выводы, к которым пришли авторы: Архитектура SLM 🟢Наблюдается переход от Multi-Head Attention (MHA) к Group-Query Attention (GQA) для повышения эффективности. 🟢Gated FFN с активацией SiLU и промежуточным соотношением 2-8 становится все более популярным выбором. 🟢Большинство моделей используют RMS-нормализацию и размер словаря более 50 тыс. токенов. 🟢Инновации в архитектуре пока ограничены. Наборы данных для обучения 🟢The Pile был наиболее часто используемым набором данных, но в последнее время выбор стал более разнообразным, все чаще используются RefinedWeb и RedPajama. 🟢Современные SLM обучаются на значительно большем количестве токенов (обычно >1.5T), чем предполагает закон Chinchilla, что указывает на их «переобучение» для повышения производительности на устройствах с ограниченными ресурсами. Алгоритмы обучения 🟠Чаще используются новые методы: Maximal Update Parameterization (µP), Knowledge Distillation и Two Stage Pre-training Strategy для повышения стабильности обучения и эффективности переноса знаний. Возможности SLM 🟠За период с 2022 по 2024 год SLM показали значительное повышение производительности в разных задачах обработки естественного языка, превзойдя серию LLM LLaMA-7B. 🟠Семейство моделей Phi имеет самые высокие показатели точности, соперничая с LLaMA 3.1 8B. 🟠SLM, обученные на общедоступных датасетах, сокращают разрыв с моделями, обученными на закрытых данных, в задачах, связанных со здравым смыслом. Контекстное обучение 🟢Большинство SLM обладают способностью к контекстному обучению, хотя она зависит от задачи. 🟢Более крупные модели из SLM более восприимчивы к контекстному обучению. Latency и потребление VRAM 🟢Помимо размера модели, на задержку влияет и архитектура: количество слоев, ширина FFN, размер словаря и совместное использование параметров. 🟢Влияние архитектуры модели на скорость вывода более значительно на этапе предварительной обработки (prefill), чем на этапе декодирования. 🟢Использование памяти во время выполнения обычно линейно коррелирует с количеством параметров модели. Влияние квантования и оборудования 🟠Преимущества квантования на этапе декодирования больше, чем на этапе предварительной обработки. 🟠Графические процессоры демонстрируют еще большее преимущество перед центральными процессорами на этапе предварительной обработки. 🟡Arxiv 🖥GitHub @ai_machinelearning_big_data #AI #ML #SLM #Paper #Arxiv

Зачем тестировать торговую стратегию? ✅ Разберемся в теме на практическом уроке  — Тестирование торговых стратегий с помощью инструмента Backtrading Урок посвящен курсу «ML для финансового анализа» по окончанию которого вы создадите торгового робота для автоматического проведения операций с оценкой уровня риска Регистрация на урок 👇 https://otus.pw/l6iq/?erid=LjN8KDqJo #реклама О рекламодателе

📌 Лаконичная шпаргалка по методам энкодинга категориальных признаков @machinelearning_interview

Первый митап от инженеров Т-Банка во Владивостоке! Да, вы все правильно прочитали. Во Владивостоке наша команда будет не первый раз, а вот с комьюнити там встретимся впервые 10 октября в «Фактуре». В программе — три доклада: — расскажут, как устроено хранилище данных в Т-Банке; — поговорят об использовании нейронок в повседневной жизни инженера; — обсудят недостатки и преимущества открытых архитектур синтеза речи. После митапа можно остаться понетворкать и просто познакомиться поближе. 📆 Увидимся 10 октября во Владивостоке! Не забудьте зарегистрироваться и позвать с собой коллег-разработчиков.

🖥 GitHub Repo to Text Converter Этот веб-инструмент преобразует содержимое репозитория GitHub в форматированный текстовый файл для запросов Large Language Model (LLM). Он упрощает процесс преобразования репозитория в удобные для LLM данные для генерации кода, документации, использования и др. ▪️Github @machinelearning_interview

«Как интересные задачи затягивают в Data Science» Команда DS из большого синего банка запустила новый сезон подкаста «Деньги любят техно», в котором топ-эксперты рассказывают про ML в их компаниях. Самое интересное: сферы не повторяются, то есть можно послушать и сравнить, насколько различаются задачи и подходы в ML в технологической сфере и в компаниях из других отраслей, в том числе очень “традиционных”. Первый эпизод про ML в IT — со старшим директором по данным и аналитике «Авито» Андреем Рыбинцевым. Ведут подкаст начальник управления моделирования партнерств и ИТ-процессов ВТБ Юлий Шамаев и технологический обозреватель Марина Эфендиева. В новом сезоне подкаст выходит не только в аудио, но и в видео-версии на всех популярных платформах. — Смотреть и слушать можно тут 👈 — А просто слушать тут 👈

🌟 Awesome-list советов по поступлению в аспирантуру и научной работе. Репозиторий GitHub "advice", в котором содержится обширная коллекция ссылок на ресурсы, предлагающие советы по различным аспектам поступления в аспирантуру, проведения исследований и жизни в аспирантуре, в основном в области информатики, NLP и ML. Автор репозитория - Shaily Bhatt, аспирант первого года обучения в Институте языковых технологий CMU и бывший сотрудник NLU Group в Google Research (Индия). Содержание: Заявки в аспирантуру: 🟢общие советы по заявкам; 🟢советы, специфичные для программ MS; 🟢советы по заявкам на предварительные докторские программы; 🟢советы о том, стоит ли получать докторскую степень; 🟢советы по выбору учебных заведений и научных руководителей. Исследования: 🟠общие советы по исследованиям; 🟠советы для аспирантов; 🟠идеи для исследований; 🟠советы по написанию работ; 🟠советы по рецензированию; 🟠советы по чтению; 🟠советы по публикации и конференциям; 🟠советы по динамике отношений между научным руководителем и аспирантом; 🟠советы по научно-исследовательским стажировкам; 🟠советы по нетворкингу; 🟠советы по выступлениям и презентациям; 🟠советы по продуктивности; 🟠советы по борьбе с синдромом самозванца; 🟠советы по инструментам для исследований. В репозитории также есть раздел "Список списков", в котором собраны ссылки на другие полезные ресурсы. 🖥GitHub @ai_machinelearning_big_data #AI #ML #Resources #Github #Awesome

🖥 PhysGen — это новый метод генерации видео, который преобразует одно изображение и входное условие (например, силу или крутящий момент, приложенные к объекту) для создания реалистичных, физически правдоподобных и временно согласованных видеороликов. Основная идея заключается в интеграции физического моделирования с процессом генерации видео, что обеспечивает правдоподобную динамику объектов на изображении. 💡 Система PhysGen состоит из трех ключевых компонентов: 🌟 Модуль понимания изображения, фиксирующий геометрию, материалы и физические параметры сцены. 🌟 Модель динамики пространства изображения, использующая физику твердого тела для моделирования реалистичного поведения. 🌟 Модуль рендеринга и уточнения, который с помощью генеративной диффузии видео создаёт правдоподобные видеокадры с учётом физики движения. 🔥 Полученные видео реалистичны и точно контролируются, демонстрируя превосходные результаты по сравнению с существующими методами. PhysGen может применяться для создания анимаций и интерактивных видеороликов, а также моделирования динамики объектов. Подробности доступны на странице проекта ▪️Github @machinelearning_interview

Бесплатный экспресс-курс по технологии ускорения ML-моделей Triton от Ozon Tech Курс — это гайд в формате лонгрида, из которого ты узнаешь: — что такое Triton и как в нём происходит типизация данных; — как собрать простую модель под любые нужды; — как оптимизировать модель и дотащить до прода. Чтобы пройти курс, нужно: 1) отправить заявку на этой странице; 2) иметь 2 часа свободного времени. Прокачайся в Data Science🚀

🖥 MaskLLM — метод обрезки языковых моделей для уменьшения вычислительных затрат 🌟 Вместо поиска важных параметров MaskLLM использует выборку Gumbel Softmax для обучения разреженных масок, что обеспечивает высокую точность и возможность переноса между разными задачами. Эффективность MaskLLM оценивали сравнением с другими методами на моделях LLaMA-2, Nemotron-4 и GPT-3. Результаты показали, что MaskLLM достигает более низкой перплексии на наборе данных Wikitext при использовании 2:4 разреженности. Например, для LLaMA-2 7B MaskLLM достиг перплексии 6.72, в то время как SparseGPT показал результат 10.42. 🔗 Прочитать оригинал статьи можно здесь: *клик* @machinelearning_interview