PER SECOND 300K

✅ Генерации музыкальных плейлистов с помощью RL 📱 Продолжаем посты про Spotify! В прошлый раз мы говорили про случай когда ML не нужен, то сейчас будет another side of the coin. Главная идея исследования заключается в создании плейлиста, который оставит пользователя максимально довольным. Чтобы избежать негативного влияния на реальных пользователей во время обучения, они создали симулятор. Этот симулятор предсказывает, как пользователи будут реагировать на предложенные треки. Это усовершенствованная версия нейронной сети DQN, которая анализирует текущее состояние и список доступных треков, чтобы выбрать лучший следующий трек. Опыт прослушивания музыки пользователями носит последовательный характер. В отличие от других областей, таких как ритейл или рекомендации фильмов, весь список рекомендаций может быть исследован последовательно. Это делает использование RL особенно актуальным для задач генерации плейлистов. Использование модели RL позволяет создать симулятор пользователей, который помогает тренировать агента без реального взаимодействия с пользователями. Агент обучается на основе симуляции ответов пользователей на предложенные треки, что позволяет избежать негативного влияния на реальных пользователей во время обучения. Используя Q-сеть с признаками треков на входе, нет ограничений по количеству треков, которые можно рассматривать, так как используются разные батчи данных. ➡️ Подробнее читайте в блоге Spotify #RESEARCH #RECSYS

✅ Исследование локальной музыки в Spotify Недавно я наткнулся на исследование от Spotify, которое действительно меня зацепило. Я обратил внимание на то, что рекомендательные системы — это далеко не только про сложные алгоритмы ранжирования и генерации кандидатов. Исследователи Spotify хотели понять, как местная музыка влияет на музыкальные рекомендации. 📱 Они провели интервью с людьми в трех городах: Порт-Харкорт (Нигерия), Хьюстон (США) и Сальвадор (Бразилия). Выяснилось, что местная музыка определяется тремя основными вещами: признаками места (например, использование местных языков и инструментов), происхождением артиста и его доступностью для местной аудитории. Исследователи создали специальную полку с рекомендациями на главной странице приложения. Для каждого пользователя подбирались артисты, которые считаются местными для его региона, при этом учитывалась популярность артистов, чтобы сохранить ощущение локальности. В ходе эксперимента выяснилось, что такие рекомендации действительно привлекают больше внимания. Пользователи чаще начинали слушать, кликать и подписываться на предложенных артистов. Особенно это было заметно среди молодых слушателей. После окончания эксперимента взаимодействие с местными артистами оставалось высоким, что показывает долгосрочный эффект таких рекомендаций. И я подумал, что такие рекомендации можно внедрить почти в любой сервис. В ритейле это могут быть рекомендации внутри магазинов твоего региона. Это может значительно улучшить разнообразие и хвост распределения рекомендаций, при этом затраты будут минимальными. ➡️ Подробнее читайте в блоге Spotify #RESEARCH #RECSYS

✅ Самые интересные посты на моем канале ➡️ Мои посты на HABR ⭐ Превратите свой пет-проект из хобби в карьеру ⭐ Откуда Deezer знает какая музыка нравится пользователям? ⭐ Графы в рекомендательных системах [часть 1] ➡️ Посты в Телеграм канале ⭐ Топ-4 книги для МЛ Инженера ⭐ Подборка статей для Research MLE 📱 Конспекты в NOTION ⭐ Конспекты по RecSys — модели, метрики, ml system design ⭐ Семейство GPT

🔥 Графовые модели как генераторы кандидатов В продолжение первой части, в которой была рассмотрена теория графов, DS команды персонализации Саша Тришин подготовил статью, в которой расскажет об одной из наших моделей первого уровня - LightGCN Как работают свертки над графом, что такое Light Convolution и как удалось победить popularity bias? ➡ Читайте в нашей статье на Хабре Там же вы найдете ноутбук с имплементацией описанных экспериментов на датасете MovieLens Будет чем заняться во время урагана 🚬

📱 Подписчики, рад сообщить, что теперь у нас есть специальная папка с RecSys каналами! Если вы интересуетесь рекомендательными системами так же, как и я, то этот раздел для вас. В папке собраны самые интересные и полезные каналы, посвященные RecSys, где можно найти актуальные новости, исследования, статьи и обсуждения. ➡️ Присоединяйтесь, чтобы не пропустить ничего важного! #RECSYS #ML #RESEARCH

✅ Графы в рекомендательных системах [часть 1] Мало кто знает, но я недавно писал научную статью связанную с графовыми рекомендательными системами. В процессе исследования, я записывал небольшие черновики про графы, которые теперь хочу превратить в серию статей. Она будет состоять из двух или трех статей — разной сложности и актуальности. В первой части мы рассмотрим базовые понятия, концепции и простые модели, а также выделим их ключевые особенности. Вторую часть напишут мои знакомые из WildRecSys, где они расскажут о lightGCN и поделятся своим опытом использования этой модели. Все остальные части будут выложены тут в моем телеграм канале, поэтому приглашаю подписаться что бы не пропустить, а вам приятного чтения. ➡️ Читать пост на HABR #RECSYS #HABR

✅ Делюсь MUST HAVE книгами для RecSys MLE 💬 Привет всем, давно меня не было в уличных гонках! Сегодня я хочу поделиться с вами подборкой книг, которые читал или читаю сам за последние 3 месяца. Эти книги действительно открывают глаза на некоторые вещи, которые можно получать только из практики. ➡️ Recommender System Handbook Third Edition - Francesco Ricci, Lior Rokach, Bracha Shapira. Эта книга – настоящая библия для всех, кто хочет понять, как работают рекомендательные системы. Авторы раскрывают все аспекты, от базовых алгоритмов до продвинутых техник, делая ее незаменимой как для новичков, так и для опытных профессионалов. ➡️ Machine Learning System Design Interview - Ali Aminian, Alex Xu. Если вы готовитесь к интервью на позицию RecSys ML-инженера, то эта книга – ваш верный спутник. В ней собраны ключевые концепции и вопросы, которые помогут вам набрать базовое понимание по дизайну рекомендаций или поиска. ➡️ Machine Learning System Design With end-to-end examples - Valerii Babushkin, Arseny Kravchenko. Практическое руководство, полное примеров от начала до конца, поможет вам научиться строить системы машинного обучения, особенно спасибо авторам за дизайн документы, которые я так люблю. ➡️ The Minimum Description Length Principle - Peter D Grunwald. Эта книга глубоко погружает в теорию минимальной длины, который играет важную роль в статистическом моделировании и машинном обучении. Если вы любите копаться в основах и понять почему вообще машинное обучение работает — welcome. #RecSys #Education

✅ Итоги RecSys трека DataFest’а на сегодня ➡️ SASRec, BERT4Rec — уже классика, почти все спикеры упомянули их. ➡️ Трансформеры круто, масштабируются, могут реранжировать, рекомендовать и тд и дешевле быстрее кетбуста (если много данных) ➡️ DSSM — балдежно если надо искать схожести, тоже частенько говорили. ➡️ Дистиляция модели вполне может быть через категории, например в авито, вк — рекомендации строятся на категориях, а не товарах. ➡️ Подход с определением предпочтений категорий товаров или каких-то ниш частенько прослеживается на разных этапах рекомендаций (например: кино, посты, актеров, рестораны, театры), как в Cold Start так и основных персонализациях. ➡️ Пару раз упомянули сегментацию эмбеддингов ALS. ➡️ Графы улучшают хвост рекомендаций и находят зависимости CF. ➡️ В кандидаты можно пихать разные статистики Top-K рекомендаций. ➡️ Эмбеддинги картинок почти не дают приросты, проще превращать их в текст. ➡️ Тренды и топ папиры смотреть в посте с Кириллом выше☝🏻 💬 Если я что-то забыл пишите в комменты

🧑‍🎓 Денис Красильников — Контентный SASRec для подборок 💬 Мое уважение к Тинькофф рексис занимаются очень интересными вещами и не боятся экспериментировать ➡️ И так представьте, что вас нужно порекомендовать какие-то карусельки товаров, например рестораны, фильмы и курсы, статьи, концерты. Но при этом, что бы они были достаточно однородные. Объединяет эти вещи — Заголовок, описание и картинки. Но в очередной раз убеждаемся, что эмбеддинги картинок приносят мало пользы, поэтому работаем с текстом. Раньше люди сами создавали эти подборки, но что если мы научим модель создавать их? SASRec в помощь, получаем векторное представление пользователя и товара. Потом собираем несколько подборок каруселек. и определяем похожесть между усреднением карточек в карусельке и пользователем. 💬 Вау и там тоже применяют, почти то, что я описывал в своей статье хабре, только у меня были сегменты эмбеддингов ALS 🤯 ⭐ Но следите за каннибализацией, когда делаете такие крутые рекомендашки

🧑‍🎓 Карина Романова — Retrievalrevsys модификация архитектуры для учета текста в персональных рекомендациях 💬 В диких ягодках жутко хайпуют на Deep Structured Semantic Models для рекомендаций. ➡️ DSSM позволяет выполнять семантическое сопоставление пользователей с их историей покупок (или с другими эмбедами, как я понял, будь это графы, картинки, тексты и тд), что повышает релевантность рекомендаций. Однако у исходной архитектуры DSSM есть свои ограничения. Например, она может сталкиваться с проблемой переобучения при использовании новых данных и с нехваткой данных для обучения моделей с нуля. Также процесс внедрения текстовых данных в DSSM может быть весьма ресурсозатратным. Чтобы преодолеть эти ограничения, была предложена новая универсальная архитектура для рекомендательных систем. Этот подход включает в себя несколько этапов: кодирование пользовательских данных, истории товаров и интеграцию шумовых данных для улучшения обучения и выводов. Основная цель модели — отображение пространства между профилями пользователей и пространством товаров, что позволяет предоставлять более точные и релевантные рекомендации. Важно отметить, что качество данных играет критически важную роль в успешной работе системы. Фраза "мусор на входе — мусор на выходе" подчеркивает необходимость использования чистых и релевантных данных для достижения высоких результатов. Токенизация, включающая разбиение текста на последовательности токенов, является важным процессом для обработки текстовой информации в модели. ⭐ Ну и одна из интересных вещей, которой болеют на маркетплейсах это — дедубликация.