Machine learning Interview

⚡️ Кластерная якорная регуляризация в рекомендательных системах Интересный разбор от ML-специалистов Яндекса метода регуляризации в рекомендательных системах. Изначально метод Cluster Anchor Regularization предложили ресерчеры из DeepMind. В посте подробно рассказывается про иерархическую кластеризацию и якорную регуляризацию. 🟡 Cluster Anchor Regularization to Alleviate Popularity Bias in Recommender Systems 🟡 Разбор статьи @machinelearning_interview

⚡️ Бесплатный курс по фундаментальным моделям от Университета Ватерлоо Курс охватывает обширный круг тем, связанных с глубоким обучением и его практическими приложениями. Вот краткий обзор тем: 🔘 Рекуррентные и свёрточные нейронные сети (RNN и CNN). 🔘 Обработка естественного языка (NLP) и компьютерное зрение (CV). 🔘 Механизмы внимания и трансформеры. 🔘 Предобучение языковых моделей. 🔘 Обучение с подкреплением через обратную связь (RLHF). 🔘 Создание мультимодальных моделей. 🔘 Диффузионные модели и генерация изображений. 📌 Курс @machinelearning_interview #datascience #python #machinelearning

🌟 Command-r и Command-r-plus: Обновление 08-2024 мультиязычных LLM. Command-r (35B) и Command-r-plus(104B) редакции 08-2024 - это мультиязычные (23 языка, включая русский) модели с контекстным окном 128К и навыками в генерации текста, переписывании и объяснении программного кода и, особенно, для использования в RAG-конфигурациях. Разработчиками было уделено отдельное внимание обучению генерации ответов по фрагментам документов с цитированием источника, точному обобщению документов и возможности применения в качестве последнего узла RAG-системы. Command-r-08-2024 : повышена производительность при многоязычной генерации с расширенным поиском (RAG), лучше справляется с математикой, кодом и рассуждениями. Она конкурирует по показателям с предыдущей версией Command R+ и показывает на 50 % большую пропускную способность и на 20 % меньшую задержку по сравнению с предыдущей версией Command-r Сommand-r-plus-08-2024 обеспечивает примерно на 50 % большую пропускную способность и на 25 % меньшую задержку по сравнению с предыдущей версией Command-p-plus на идентичной аппаратной платформе. ✔️ Отличия от предыдущей версии и особенности обновления: 🟢улучшение процесса принятия решений о том, какой инструмент использовать в том или ином контексте, а также о том, стоит ли использовать тот или иной инструмент; 🟢улучшенная инструкция, следующая в преамбуле; 🟢улучшен многоязычный поиск RAG на языке пользователя; 🟢улучшенный анализ структурированных данных для манипулирования; 🟢повышена устойчивость к несемантическим изменениям подсказки, таким как пробелы или новые строки; 🟢модели будут отказываться от вопросов, на которые невозможно ответить; 🟢моделям подняли уровень качества цитирования, добавили возможность отключать цитирование для RAG; 🟢в Command-r перенастроен контроль длины рассуждений и форматирования; 🟢новая функция "Режимы безопасности" - строгий и контекстный, оба режима доступны к ручному управлению пользователю (переключение или отключение). Этот режим не отключает встроенную в модель базовую цензуру, он работает как дополнительный цензор. Более подробно про новый режим безопасности можно почитать в документации. Обе модели доступны для скачивания на Huggingface, онлайн через API в Cohere’s hosted API и в Amazon Sagemaker. ▶️Стоимость API: 🟠Command-r-08-20240 : $0.15/1M Input Tokens | $0.60/1M Output Tokens. 🟠Command-r-plus-08-2024 : $2.50/1M Input Tokens | $10.00/1M Output Tokens. 📌Лицензирование : CC-BY-NC-SA-4.0 License + соблюдение C4AI's Acceptable Use Policy. 🟡Demo 🟡Документация 🟡Модель Command R 🟡Модель Command R+ @ai_machinelearning_big_data #AI #CommandR #Cohere #LLM

🐈‍⬛ A Comprehensive Benchmark of Machine and Deep Learning Across Diverse Tabular Datasets В новом обзоре алгоритмов машинного обучения были проанализированы 20 моделей на 111 датасетах, охватывающих задачи классификации и регрессии. CatBoost, относящийся к группе моделей Tree-based Ensemble (TE), занял первое место, продемонстрировав лучшие результаты на 19 из 111 наборов данных. В то же время XGBoost оказался на 10-й позиции. 🔗 Подробности

🌟 Опубликована программа конференции Practical ML Conf, которая пройдет 14 сентября Доклады экспертов, заслуживающие отдельного внимания: — Виктор Плошихин, руководитель ML-лаборатории в Yandex Platform Engineering — «AI-инструмент для разработчика: как мы обучали LLM работе с кодом». — Ирина Барская, руководитель службы аналитики и исследований – «Человек и LLM. Как оценивать качество моделей и строить их метрики качества». — Екатерина Глазкова, тимлид команды алайнмента VLM службы компьютерного зрения — «Адаптация VLM под продуктовые требования — как сервис Нейро делали мультимодальным». — Савва Степурин, старший разработчик команды рекомендаций — «Как улучшить знакомые подходы для рекомендации незнакомого — как умная система рекомендаций помогает пользователям Яндекс Музыки открывать новые треки и артистов». — Степан Комков, старший разработчик службы синтеза речи — «Синтез выразительной речи для аудиокниг, прошлое, настоящее и будущее — как GPT и диффузионные модели произвели революции в синтезе речи и как мы это используем». 📎 Можно посетить мероприятие офлайн в Москве или присоединиться онлайн, необходима предварительная регистрация. @machinelearning_interview

📶 Главные темы линейной алгебры для специалиста по машинному обучению 📌 Крутейшие Стэнфордские материалы по линейной алгебре @machinelearning_interview

⚡️ LinkedIn_AIHawk — это утилита на основе ИИ, созданная пользователем Reddit, для быстрого поиска работы. Программа адаптирует ваше резюме под описания вакансий и автоматически рассылает их. Результаты впечатляют: за сутки автор отправил 1000 резюме, что привело к 50 приглашениям на собеседования. Бот не только корректирует резюме, но и самостоятельно отвечает на вопросы HR-менеджеров от вашего имени. Установка:

bash
$ git clone https://github.com/feder-cr/LinkedIn_AIHawk_automatic_job_application
$ cd LinkedIn_AIHawk_automatic_job_application
$ pip install -r requirements.txt

▪ Github @machinelearning_interview

Вот что ждет в Т-Банке ML-разработчиков, кроме ДМС, крутых офисов и других плюшек: Актуальный стек. Здесь следят за трендами и быстро внедряют новое. Общение на «ты». Так проще. Прозрачная система роста. Вы всегда будете знать, какие навыки нужно подтянуть и как получить повышение. Вы окажетесь среди профессионалов, у которых можно многому научиться. А если захотите — можете стать ментором для младших коллег. Больше о вакансиях ML-разработчиков — здесь. Erid:2VtzqvsAxnZ

📌Полный курс лекций по ML с упором на практические примеры Помимо подробной теории по ML здесь приводятся лабораторные работы с решениями 🟡 Practical Machine Learning @machinelearning_interview

💪Вам нужен надёжный API! 👉Узнайте как создавать надежные API с проверкой параметров запроса и валидацией сложных данных на бесплатном вебинаре онлайн-курса «Python Developer. Professional» - «FastAPI - валидация параметров запроса с помощью Pydantic»: регистрация На бесплатном вебинаре мы: - Рассмотрим, как FastAPI и Pydantic работают вместе для валидации данных; - Научимся создавать и использовать Pydantic модели для валидации параметров запроса; - Рассмотрим как валидировать сложные и вложенные структуры данных в запросах. Занятие будет полезно Python разработчикам, которым необходимо создавать надежные API с проверкой параметров запроса и валидацией сложных данных. 🤝Понравится урок — продолжите обучение на курсе по спеццене и даже в рассрочку! erid: LjN8K5jmV

⚡️ Как выбрать Фреймворк для инференса. Полезный чек-лист вопросов для выбора мл фреймворка для настройки моделей. 📌 Github @machinelearning_interview

Что такое API модели и какие существуют инструменты для его создания? 🔹Разберёмся на практическом открытом уроке «Развертывания моделей машинного обучения - создание API». Рассмотрим как перейти от модели в Jupyter notebook к модели, подготовленной для внедрения ✅ Практика: Реализуем API нашей модели с использованием фреймворка FastAPI и запустим ее в виде web-сервиса. Урок приурочен продвинотому курсу «Machine Learning. Advanced» от Otus. 👉 Регистрация и подробности: https://otus.pw/cpwbO/?erid=LjN8K58gj

🌟 OmniCast — технология, где нейросети делают более точный прогноз погоды На Хабр вышла статья-разбор новой технологии Яндекс Погоды, работающей на основе нейросетей. OmniCast улучшает локальный прогноз за счет новых источников данных — любительских метеостанций. Благодаря этому сервис стал в 36 раз чаще получать данные о температуре и обновлять прогноз каждые пять минут. 📎 Статья @machinelearning_interview

🌟 Xorbits — масштабируемый Python фреймворк для задач ML и DS, ориентированный на скорость Xorbits позволяет, к примеру, легко использовать данные для обучения генеративных моделей а также разворачивать обученные модели в своей инфраструктуре. Xorbits может использовать несколько ядер/GPU, может работать на 1 машине или масштабироваться до тысяч машин для поддержки обработки терабайтов данных. Xorbits предоставляет набор полезных библиотек для анализа данных и ML. 🖥 GitHub 🟡 Доки @machinelearning_interview

🔥Осваиваем алгоритмы обучения с подкреплением и получаем ценные навыки в ML! ⚡29 августа в 20:00 мск. приглашаем на открытый урок "Основные алгоритмы обучения с подкреплением SARSA и Q-learning", где мы разберём: - обучение с подкреплением и его отличия от других подходов ML; - функцию ценности состояния и ценности действия-состояния, их связь и как они помогают агенту учиться; - уравнение Беллмана; - метод SARSA;- метод Q-learning.  На практической части мы на Python, «с нуля», без использования каких-либо фреймворков, реализуем два алгоритма обучения с подкреплением и убедимся, что наш агент успешно обучается. 👉Регистрация https://otus.pw/q3nn/?erid=LjN8JyJVr Встречаемся в преддверии старта курса «Reinforcement Learning» в OTUS. Все участники вебинара получат специальную цену на обучение!

🌟 Упражнения в использовании R для ML Держите несколько практических заданий по ML и их решение на R. Вот некоторые из заданий: — кластеризация и классификация — работа с текстом — определение выбросов в датасете — проведение статистических тестов 🟡 ML exercises @machinelearning_interview

🌟 Инструмент для ускорения обучения LLM YaFSDP Алгоритм YaFSDP позволяет существенно ускорить процесс обучения больших языковых моделей. Руководитель группы претрейна YandexGPT рассказал, как команда работала над созданием библиотеки, были ли референсы и сложности в процессе. 📎 Ссылка @machinelearning_interview

⚡️ Mistral-NeMo-Minitron-8B-Base: Базовая Minitron 8B от Nvidia NVIDIA и Mistral AI представили модель Mistral-NeMo-Minitron 8B, одну из наиболее точных открытых моделей в своем классе для генерации текста. Mistral-NeMo-Minitron-8B-Base получена в результате обрезки (pruning) и дистилляции Mistral-NeMo 12B. В процессе создания была урезана размерность эмбеддинга и промежуточная размерность MLP (с 14336 до 11520). Комбинация применяемых методов позволила оставить количество attention heads и слоев неизменным. После обрезки было продолжено обучение с дистилляцией, используя корпус данных от Nemotron-4 15B размером 380 миллиардов токенов для получения окончательной модели, что примерно в 40 раз меньше, чем необходимо для тренировки модели такой же плотности с нуля. Корпус обучения (набор данных) по структуре точно такой же, как в недавно представленной другой модели, собранной по такой же методике обрезки и дистилляции. Дата актуальности корпуса обучения - июнь 2023 года. При создании Mistral-NeMo-Minitron 8B использованы техники Grouped-Query Attention (GQA) и Rotary Position Embeddings (RoPE). Архитектурные характеристики: 🟢total params - 8B; 🟢active non-embedding params - 7.3B; 🟢embedding size - 4096; 🟢attention heads - 32; 🟢MLP intermediate dimension - 11520; 🟢number of layers - 40; 🟢input context - 8000. Поддержка Mistral-NeMo-Minitron-8B-Base в Hugging Face Transformers будет реализована в ближайшем обновлении. Для инференса модели выполните рекомендованные разработчиками инструкции или запустите модель в NeMo v.24.05 Есть неофициальные квантованные (imatrix) GGUF - версии модели в 8 разрядностях, от 1-bit (2. 12 Gb) до 16-bit (16.08 Gb). 📌Лицензирование : NVIDIA Open Model License. 🟡Страница проекта 🟡Модель 🟡Набор GGUF 🟡Arxiv 🟡Demo @ai_machinelearning_big_data #AI #NVIDIA #LLM #ML #Minitron

🌟 Создание технологии эмоционального синтеза в Алисе Читаем статью о том, как виртуального ассистента Яндекса Алису научили понимать и выражать голосом различные эмоции. Также Алиса может постепенно менять оттенки эмоций в рамках одного диалога с пользователем. Технология доступна в новой колонке Станции Лайт 2. Разработчики рассказали, как создавали подходящую для новых возможностей модель синтеза речи. 🟡 Хабр @machinelearning_interview

🤗 Hugging Face выпустили пошаговый гайд по созданию и обучению своей личной робо-руки. Компания Hugging Face опубликовала подробную инструкцию по созданию и обучению роботизированной руки. В ней подробно рассказывается, где приобрести необходимые компоненты, как настроить нейронную сеть, а также приведены лекции, иллюстрирующие процесс сборки. Крутой бесплатный курс - рекомендуем) @machinelearning_interview