Machine learning Interview

⚡️ The Tensor Cookbook: Свежий Гайд по тензорам Эта компактная книга на 50 страниц даёт полное представление обо всём, что связано с тензорами. Тензор — это обобщённое понятие для матриц с любым количеством измерений. Тензорами являются скаляры (тензоры нулевого ранга), векторы (тензоры первого ранга) и матрицы (тензоры второго ранга). В книге также присутствует немало математики, которая поможет глубже понять работу с тензорами. 📚 Книга @machinelearning_interview

🌟 Вышла бета-версия генеративной нейросети YandexART (Vi), способная создавать более реалистичные короткие видео На Хабр вышла статья, описывающая процесс обучения YandexART до версии (Vi), которая создаёт качественные видео с движущимися объектами — например, с едущим автомобилем или крадущимся котом. Дело в том, что обновлённая нейросеть учитывает связь между кадрами — благодаря этому видео получаются более цельными и плавными. В прошлых версиях модель позволяла получать анимации, которые выглядели так, будто двигалась камера, но не сам объект. Кроме того, от кадра к кадру объекты при генерации значительно менялись, однако в новой версии проблема была устранена. 📎 Статья @machinelearning_interview

👣 Большая актуальная базу бесплатных API, которая обновляется ежедневно. Алгоритмы присваивают рейтинг каждому API на основе надежности, частоты ошибок и времени отклика. Если API перестает работать или становится платным, он теряет рейтинг и удаляется с сайта. Это полезный ресурс для студентов и разработчиков, которые ищут доступные и рабочие API. https://www.freepublicapis.com/ @machinelearning_interview

Попробуй написать свою имплементацию 🔹Изучите популярный алгоритм коллаборативной фильтрации и примените его на практике урока «Библиотека Surprise для коллаборативных рекомендательных систем» от Otus. Рассмотрим основные принципы построения рекомендательных систем ✅ Практика: Построение рекомендательной системы с помощью библиотеки surprise. Урок приурочен продвинутому курсу «Machine Learning. Advanced» от Otus. 👉 Регистрация и подробности: https://otus.pw/ClVS/?erid=LjN8JxJ46

⚡️ Кластерная якорная регуляризация в рекомендательных системах Интересный разбор от ML-специалистов Яндекса метода регуляризации в рекомендательных системах. Изначально метод Cluster Anchor Regularization предложили ресерчеры из DeepMind. В посте подробно рассказывается про иерархическую кластеризацию и якорную регуляризацию. 🟡 Cluster Anchor Regularization to Alleviate Popularity Bias in Recommender Systems 🟡 Разбор статьи @machinelearning_interview

⚡️ Бесплатный курс по фундаментальным моделям от Университета Ватерлоо Курс охватывает обширный круг тем, связанных с глубоким обучением и его практическими приложениями. Вот краткий обзор тем: 🔘 Рекуррентные и свёрточные нейронные сети (RNN и CNN). 🔘 Обработка естественного языка (NLP) и компьютерное зрение (CV). 🔘 Механизмы внимания и трансформеры. 🔘 Предобучение языковых моделей. 🔘 Обучение с подкреплением через обратную связь (RLHF). 🔘 Создание мультимодальных моделей. 🔘 Диффузионные модели и генерация изображений. 📌 Курс @machinelearning_interview #datascience #python #machinelearning

🌟 Command-r и Command-r-plus: Обновление 08-2024 мультиязычных LLM. Command-r (35B) и Command-r-plus(104B) редакции 08-2024 - это мультиязычные (23 языка, включая русский) модели с контекстным окном 128К и навыками в генерации текста, переписывании и объяснении программного кода и, особенно, для использования в RAG-конфигурациях. Разработчиками было уделено отдельное внимание обучению генерации ответов по фрагментам документов с цитированием источника, точному обобщению документов и возможности применения в качестве последнего узла RAG-системы. Command-r-08-2024 : повышена производительность при многоязычной генерации с расширенным поиском (RAG), лучше справляется с математикой, кодом и рассуждениями. Она конкурирует по показателям с предыдущей версией Command R+ и показывает на 50 % большую пропускную способность и на 20 % меньшую задержку по сравнению с предыдущей версией Command-r Сommand-r-plus-08-2024 обеспечивает примерно на 50 % большую пропускную способность и на 25 % меньшую задержку по сравнению с предыдущей версией Command-p-plus на идентичной аппаратной платформе. ✔️ Отличия от предыдущей версии и особенности обновления: 🟢улучшение процесса принятия решений о том, какой инструмент использовать в том или ином контексте, а также о том, стоит ли использовать тот или иной инструмент; 🟢улучшенная инструкция, следующая в преамбуле; 🟢улучшен многоязычный поиск RAG на языке пользователя; 🟢улучшенный анализ структурированных данных для манипулирования; 🟢повышена устойчивость к несемантическим изменениям подсказки, таким как пробелы или новые строки; 🟢модели будут отказываться от вопросов, на которые невозможно ответить; 🟢моделям подняли уровень качества цитирования, добавили возможность отключать цитирование для RAG; 🟢в Command-r перенастроен контроль длины рассуждений и форматирования; 🟢новая функция "Режимы безопасности" - строгий и контекстный, оба режима доступны к ручному управлению пользователю (переключение или отключение). Этот режим не отключает встроенную в модель базовую цензуру, он работает как дополнительный цензор. Более подробно про новый режим безопасности можно почитать в документации. Обе модели доступны для скачивания на Huggingface, онлайн через API в Cohere’s hosted API и в Amazon Sagemaker. ▶️Стоимость API: 🟠Command-r-08-20240 : $0.15/1M Input Tokens | $0.60/1M Output Tokens. 🟠Command-r-plus-08-2024 : $2.50/1M Input Tokens | $10.00/1M Output Tokens. 📌Лицензирование : CC-BY-NC-SA-4.0 License + соблюдение C4AI's Acceptable Use Policy. 🟡Demo 🟡Документация 🟡Модель Command R 🟡Модель Command R+ @ai_machinelearning_big_data #AI #CommandR #Cohere #LLM

🐈‍⬛ A Comprehensive Benchmark of Machine and Deep Learning Across Diverse Tabular Datasets В новом обзоре алгоритмов машинного обучения были проанализированы 20 моделей на 111 датасетах, охватывающих задачи классификации и регрессии. CatBoost, относящийся к группе моделей Tree-based Ensemble (TE), занял первое место, продемонстрировав лучшие результаты на 19 из 111 наборов данных. В то же время XGBoost оказался на 10-й позиции. 🔗 Подробности

🌟 Опубликована программа конференции Practical ML Conf, которая пройдет 14 сентября Доклады экспертов, заслуживающие отдельного внимания: — Виктор Плошихин, руководитель ML-лаборатории в Yandex Platform Engineering — «AI-инструмент для разработчика: как мы обучали LLM работе с кодом». — Ирина Барская, руководитель службы аналитики и исследований – «Человек и LLM. Как оценивать качество моделей и строить их метрики качества». — Екатерина Глазкова, тимлид команды алайнмента VLM службы компьютерного зрения — «Адаптация VLM под продуктовые требования — как сервис Нейро делали мультимодальным». — Савва Степурин, старший разработчик команды рекомендаций — «Как улучшить знакомые подходы для рекомендации незнакомого — как умная система рекомендаций помогает пользователям Яндекс Музыки открывать новые треки и артистов». — Степан Комков, старший разработчик службы синтеза речи — «Синтез выразительной речи для аудиокниг, прошлое, настоящее и будущее — как GPT и диффузионные модели произвели революции в синтезе речи и как мы это используем». 📎 Можно посетить мероприятие офлайн в Москве или присоединиться онлайн, необходима предварительная регистрация. @machinelearning_interview

📶 Главные темы линейной алгебры для специалиста по машинному обучению 📌 Крутейшие Стэнфордские материалы по линейной алгебре @machinelearning_interview

⚡️ LinkedIn_AIHawk — это утилита на основе ИИ, созданная пользователем Reddit, для быстрого поиска работы. Программа адаптирует ваше резюме под описания вакансий и автоматически рассылает их. Результаты впечатляют: за сутки автор отправил 1000 резюме, что привело к 50 приглашениям на собеседования. Бот не только корректирует резюме, но и самостоятельно отвечает на вопросы HR-менеджеров от вашего имени. Установка:

bash
$ git clone https://github.com/feder-cr/LinkedIn_AIHawk_automatic_job_application
$ cd LinkedIn_AIHawk_automatic_job_application
$ pip install -r requirements.txt

▪ Github @machinelearning_interview

Вот что ждет в Т-Банке ML-разработчиков, кроме ДМС, крутых офисов и других плюшек: Актуальный стек. Здесь следят за трендами и быстро внедряют новое. Общение на «ты». Так проще. Прозрачная система роста. Вы всегда будете знать, какие навыки нужно подтянуть и как получить повышение. Вы окажетесь среди профессионалов, у которых можно многому научиться. А если захотите — можете стать ментором для младших коллег. Больше о вакансиях ML-разработчиков — здесь. Erid:2VtzqvsAxnZ

📌Полный курс лекций по ML с упором на практические примеры Помимо подробной теории по ML здесь приводятся лабораторные работы с решениями 🟡 Practical Machine Learning @machinelearning_interview

💪Вам нужен надёжный API! 👉Узнайте как создавать надежные API с проверкой параметров запроса и валидацией сложных данных на бесплатном вебинаре онлайн-курса «Python Developer. Professional» - «FastAPI - валидация параметров запроса с помощью Pydantic»: регистрация На бесплатном вебинаре мы: - Рассмотрим, как FastAPI и Pydantic работают вместе для валидации данных; - Научимся создавать и использовать Pydantic модели для валидации параметров запроса; - Рассмотрим как валидировать сложные и вложенные структуры данных в запросах. Занятие будет полезно Python разработчикам, которым необходимо создавать надежные API с проверкой параметров запроса и валидацией сложных данных. 🤝Понравится урок — продолжите обучение на курсе по спеццене и даже в рассрочку! erid: LjN8K5jmV

⚡️ Как выбрать Фреймворк для инференса. Полезный чек-лист вопросов для выбора мл фреймворка для настройки моделей. 📌 Github @machinelearning_interview

Что такое API модели и какие существуют инструменты для его создания? 🔹Разберёмся на практическом открытом уроке «Развертывания моделей машинного обучения - создание API». Рассмотрим как перейти от модели в Jupyter notebook к модели, подготовленной для внедрения ✅ Практика: Реализуем API нашей модели с использованием фреймворка FastAPI и запустим ее в виде web-сервиса. Урок приурочен продвинотому курсу «Machine Learning. Advanced» от Otus. 👉 Регистрация и подробности: https://otus.pw/cpwbO/?erid=LjN8K58gj

🌟 OmniCast — технология, где нейросети делают более точный прогноз погоды На Хабр вышла статья-разбор новой технологии Яндекс Погоды, работающей на основе нейросетей. OmniCast улучшает локальный прогноз за счет новых источников данных — любительских метеостанций. Благодаря этому сервис стал в 36 раз чаще получать данные о температуре и обновлять прогноз каждые пять минут. 📎 Статья @machinelearning_interview

🌟 Xorbits — масштабируемый Python фреймворк для задач ML и DS, ориентированный на скорость Xorbits позволяет, к примеру, легко использовать данные для обучения генеративных моделей а также разворачивать обученные модели в своей инфраструктуре. Xorbits может использовать несколько ядер/GPU, может работать на 1 машине или масштабироваться до тысяч машин для поддержки обработки терабайтов данных. Xorbits предоставляет набор полезных библиотек для анализа данных и ML. 🖥 GitHub 🟡 Доки @machinelearning_interview

🔥Осваиваем алгоритмы обучения с подкреплением и получаем ценные навыки в ML! ⚡29 августа в 20:00 мск. приглашаем на открытый урок "Основные алгоритмы обучения с подкреплением SARSA и Q-learning", где мы разберём: - обучение с подкреплением и его отличия от других подходов ML; - функцию ценности состояния и ценности действия-состояния, их связь и как они помогают агенту учиться; - уравнение Беллмана; - метод SARSA;- метод Q-learning.  На практической части мы на Python, «с нуля», без использования каких-либо фреймворков, реализуем два алгоритма обучения с подкреплением и убедимся, что наш агент успешно обучается. 👉Регистрация https://otus.pw/q3nn/?erid=LjN8JyJVr Встречаемся в преддверии старта курса «Reinforcement Learning» в OTUS. Все участники вебинара получат специальную цену на обучение!

🌟 Упражнения в использовании R для ML Держите несколько практических заданий по ML и их решение на R. Вот некоторые из заданий: — кластеризация и классификация — работа с текстом — определение выбросов в датасете — проведение статистических тестов 🟡 ML exercises @machinelearning_interview