Блог о Data Science 💻

💬 Yet another dataset? Сегодня — честный обзор на уже захайпленный датасет. Если вы когда-либо занимались ресерчем в рексисе, то точно сталкивались с проблемами датасетов. (Можно вспомнить классическую статью Are We Really Making Much Progress?) Сначала — немного боли из прошлого: — гигантский гэп между train и test — однотипный фидбек — отсутствие разнообразия пользовательских паттернов И это всё — на фоне постоянных споров в академии про то, что вообще считается хорошим датасетом. Даже если вы соберёте SOTA-модель — она может просто не «прокраситься» на кривом сете. Ну серьёзно, в том же MovieLens test отстоит от train на несколько лет. И вот — датасет от Яндекс Музыки. Огромный: ⭐ 4.78 млрд взаимодействий ⭐ 9.39 млн треков ⭐ 1 млн пользователей ⭐ и впервые — флаг is_organic, который показывает: пришёл ли пользователь к треку сам или его привёл алгоритм С одной стороны — это прям must-have для исследовательского пула. Многоуровневый фидбек: ⭐ implicit (прослушивания) ⭐ explicit (лайки, дизлайки, отмены) Даже эмбеддинги спектрограмм есть. А ещё — продуманный split: ⭐ leave-one-last ⭐ temporal global (приложу картинку в комментах — очень в тему для продовой оценки) По сравнению с Netflix, Steam и прочими — это реально большой и комплексный датасет. Я бы еще упомянул о бенчмарках и красивом коде куда на мой взгляд легко интегрировать свои решения. Один момент, о котором почти никто не говорит — это домен. Яндекс Музыка — это, как и TikTok, продукт с ярко выраженными короткими и длинными предпочтениями. Здесь трансформеры можно не просто тестировать — здесь они раскрываются. Но. Доверяй, но проверяй. 👀 Насколько честно размечена органика? 👀 Подходит ли датасет для cold-start задач? 👀 Для многих экспериментов вокруг LLM, мне бы хотелось увидеть больше фичей о пользователях, да и в целом фичей. (btw я понимаю, из-за чего их не включают) Спасибо ребятам из Яндекса за такой летний подгон. Реально мощный вклад в сообщество, действительно мало компаний могут себе это позволить. ➡️ Hugging Face и arxiv