Data Funk

Один из моих любимых ресурсов - towardsdatascience.com. Пробежавшись по статьям за 3 последних года, заметил, что в среднем статья оценивается выше (средней оценки по всем статьям) если в ней присутствуют теги programming, machine-learning, education, python, а также trading, money, finance, careers. А анти рейтинге оказались covid19, coronavirus, politics, tableau, power-bi, julia, r. Средний посетитель towardsdatascience.com изучает python и ML ради карьеры и способов заработать на своих знаниях, и ему не очень нравится читать про политику, корону, аналитические инструменты и менее популярные языки. Датасет взят тут -> https://www.kaggle.com/alexbenzik/towards-data-science-37k-articles

Интересный вопрос в том, почему критики в среднем перестали оценивать альбомы заметно ниже по сравнению с обычными пользователями сайта. Если посмотреть на схожий график по жанрам, то можно увидеть что сильнее всего разница между критиками и пользователями (в пользу последних) проявляется на жанре Pop, Alternative Rock и Pop Rock. Популярные жанры нравились юзерам, но не критикам. Сегодня эти жанры лишь наследие 2000-ых. И то, что тогда было под жанром направлений Pop и Rock (и еще пары ключевых жанров) сегодня образовало собственные массивные течения в музыке. Это и Art Pop и Synthpop, а также Electropop, Dream Pop, тут же Indie Folk, Singer-Songwriter, Neo-Psychedelia, Post-Punk, Hip-Hop, Garage Rock и многое-многое другое. И во всех этих новых направлениях оценки критиков становятся все ближе к оценкам пользователей Metacritic. Датасет взят тут -> https://www.kaggle.com/kauvinlucas/30000-albums-aggregated-review-ratings

Сайт Metacritic нередко обвиняют во влиянии на продажи игр\фильмов\музыкальных альбомов. Говоря о последних, можно заметить что рейтинг данный выбранными критиками какому-либо альбому будет в среднем ниже, чем рейтинг от пользователей сайта. Причем если альбом вышел в начале 2000-ых, то вероятность такого исхода была почти 0.9. С течением времени эта вероятность падала, и для альбома выпущенных в 2017-2019 была даже обратная тенденция: критики чаще давали более высокие оценки чем пользователи. Текущий 2020 год изменил ситуацию и видимо сейчас на Metacritic период релаксации - когда Probability(user score > critic score) колеблется около 0.5 в пределах погрешности. На графиках также представлены погрешности ±σ, ±2σ, ±3σ.

Сегодня речь об индийской кухне. Чем она отличается от европейской (Continental cuisine)? Наличием множества специй - пажитник, куркума, шафран, карри, чили, тмин, кардамон, кориандр и т.д. Кроме того, типично индийское блюдо скорее всего содержит топленое масло, рис и разнообразные орехи. А десерты будут с неочищенным пальмовым сахаром. Европейская кухня - оливки, масло, дрожжи, яйца, шоколад, множество ягод, овощей и конечно злаки. Интуитивно понятные отличия одной кухни от другой подтверждаются и простой линейной регрессией на рецептах большого количества блюд собранных с популярного индийского сайта рецептов archanaskitchen.com. Датасет взят тут -> https://www.kaggle.com/kanishk307/6000-indian-food-recipes-dataset

Дело в том, что когда направление исследований только зарождается, оно основано на небольшом количестве людей и институтов, которые пишут соответствующие статьи со своими коллегами\учениками. Разрастаясь эта сеть образует граф с все увеличивающейся средней дистанцией между авторами, а когда в эту область включаются независимые друг от друга лаборатории, сеть превращается в набор небольшого числа крупных кластеров и огромного числа маленьких кластеров авторов, снижая среднее число рукопожатий между ними. Датасет взят тут -> https://www.kaggle.com/Cornell-University/arxiv

Среди математиков, для определения их важности, в шутку используют "Число Эрдёша". Пал Эрдёш один из величайших ученых 20 века, написавший множество статей с соавторами. Те в свою очередь являются соавторами с другими, и т.д. И "Число Эрдёша" определяется как количество рукопожатий от конкретного ученого до Пала Эрдёша (для ведущих математиков оно не превышает 8). Та самая теория о шести рукопожатиях в деле. В остальных областях знаний ситуация схожая. Достаточно взглянуть на arXiv (бесплатная, открытая база научных публикаций). Там собрано почти 1.5 млн статей по более чем 170 направлениям исследований. Несмотря на то, что год за годом число авторов в каждой области растет (от тысячи до сотни тысяч авторов в различных категориях исследований, смотри одну из картинок), средняя дистанция (число рукопожатий) между авторами сначала растёт, а потом начинает падать (смотри другую картинку).

Разные видео на YouTube, при схожем количестве просмотров, имеют разное количество лайков. Блогеры борются за наше внимание и комментарии. Но анализируя ежедневную статистику видеороликов из ленты "В тренде" можно увидеть интересную закономерность. Число лайков и комментариев у конкретного ролика со временем растут чуть быстрее чем корень от числа его просмотров. А число дизлайков растет почти линейно от числа просмотров. Это значит что отношение числа лайков к числу дизлайков для ролика почти всегда будет падать с увеличением числа просмотров (а точнее, Likes\Dislikes ~ 1/View_count^0.42). Интересные выводы можно сделать, несмотря на множество предпочтений, механизмы оценивания информации внутри нас заданы крайне жестко. Датасет взят тут -> https://www.kaggle.com/rsrishav/youtube-trending-video-dataset

На сайте французской сети парфюмерии Sephora множество людей оставляют отзывы о её продукции, и это прекрасная возможность сравнить средние рейтинги рецензий клиентов со средними ценами множества брендов в разных категориях ассортимента. Для анализа я использовал только те бренды, которые в конкретной категории имеют более 10 разных товаров с множеством оценок. Датасет взят тут -> https://www.kaggle.com/raghadalharbi/all-products-available-on-sephora-website

"Никогда не ловили себя на мысли, что Google — это всего лишь фронтенд для Stack Overflow?" - комментарий на Хабре. Stack Overflow - сайт №1 для всех кто пишет код. Вы задаете вопрос об ошибке в вашем коде, сопроводив его тегами, и другие участники легко могут найти его и дать вам подходящий ответ. Вопросы можно лайкать или дизлайкать. Если сумма лайков превышает сумму дизлайков на 30 и более голосов и ваш пост ни разу не редактировался, то его условно можно считать качественным постом (high-quality post). Вопросы с одними тегами качественнее чем с другими, и все это меняется со временем. Датасет взят тут -> https://www.kaggle.com/imoore/60k-stack-overflow-questions-with-quality-rate

New York Times назвал сайт BoardGameGeek центром настольных игр интернета (спасибо wiki). И одна из самых популярных игр сегодня конечно та, где вы с друзьями боретесь против мировой инфекции - Pandemic (8.6 баллов из 10). Но если ты держишь в руках коробку не знакомой игры и прикидываешь насколько она хороша, убедись что она издана после 2014 года и максимальное время игры превышает 73 минуты. На картинке дерево решений, для не слишком сложных игр, даст тебе еще несколько советов по выбору. Датасет взят тут -> https://www.kaggle.com/extralime/20000-boardgames-dataset

На летних олимпийских играх США регулярно занимает первые места по суммарному количеству медалей в атлетике. В 2016 году 128 американских атлетов забрали 46 медалей, а 50 представителей атлетов Ямайки 28 медалей! Где готовят спортсменов эффективнее? Я не знаю. Но я могу поделить число медалей на число спортсменов от каждой команды (умножить на 100 и назвать это performance). Для графика были использованы только страны/команды, которые могли себе позволить отправить 40 и более атлетов на каждые игры. Датасет взят тут -> https://www.kaggle.com/sushmabiswas/120-years-of-olympic-data

Crunchbase собирает информацию о финансировании частных и государственных компаний. Там можно найти суммарный объем привлеченных инвестиций и год основания компании. В разрезе рынка, который она занимает, это дает еще один способ взглянуть на динамику инвестиционных настроений. Начиная с 2000 года некоторые рынки неизменно сокращаются: Clean Technology, Software, Health Care, Semiconductors, Hardware + Software. А такие, как Hospitality, Real Estate, Education, News, Apps, Financial Service наоборот только набирают силу. К сожалению имеющие данные доступны только до 2014 года, вполне может быть что за прошедшие 6 лет тенденции частично сменились. Датасет взят тут -> https://www.kaggle.com/arindam235/startup-investments-crunchbase

Alexa собирает и предоставляет информацию о 1 миллионе сайтов интернета. В бесплатной версии можно видеть только топ 50 из каждой подкатегории (их около 500), но даже этого хватает что бы заметить распределение базовых категорий по 10К самых популярных сайтов интернета. Датасет взят тут -> https://www.kaggle.com/ashkangoharfar/sites-information-data-from-alexacom-dataset

На Хабре хватает статей про аналитику статей на Хабре. Вот мои 5 копеек. На картинке представлены теги, масштабированные по степени влияния на рейтинг статьи. Датасет взят тут -> https://www.kaggle.com/awant08/habrahabr-articles

Музыка является субъективной вещью, тем не менее в ней есть жанры, а Spotify еще и выделяет ряд характеристик для каждого трека: acousticness (акустичность), liveness (живое исполнение), speechiness (присутствие речи), instrumentalness (наличие вокала), energy (интенсивность/активность трека), danceability(танцевальность, стабильность ритма), valence (валентность/позитивность) и др. Все они измеряются от 0 до 1. Рок композиции отличаются от прочих низкими значениями danceability и speechiness, для rap треков все ровно наоборот и дополнительно присутствует высокий темп. Но интереснее наблюдать как эволюционируют жанры. Rock становится со временем менее позитивным (как и R&B) и акустичным, но более энергичным. На этом фоне выделяются попса и rap, с их небольшим ростом позитивности, но также утратой акустичности. Датасет взят тут -> https://www.kaggle.com/imuhammad/audio-features-and-lyrics-of-spotify-songs

Судя по гугл тренду интерес к Kickstarter медленно, но стабильно падает начиная с его золотого времени в 2014 году. Тем не менее ориентируясь на средний чек проектов по разным темам можно оценить в какую сторону движутся интересы людей. Используя тематическое моделирование (LDA) описаний проектов (набравших минимум 500$) можно выделить 6 основных тем. Они представлены на графике вместе с медианным значением чека по каждому году. Наибольшие деньги по-прежнему готовы отдавать за audio/video разработки, но радует что люди все больше вкладывают в сферу образования learning/students. Датасет взят тут -> https://www.kaggle.com/alonsopuente/kickstarter-projects-metadata

Миллион долларов! Столько вручил Netflix в сентябре 2009 команде улучшившей прогноз оценок фильмов на 10%. В этом соревновании Simon Funk (псевдоним), из Apple, занял третье место, предложив алгоритм, ставший серебренной пулей всех последующих рекомендательных систем. Сегодня Netflix, Spotify, AirBnB и другие компании используют этот алгоритм - FunkSVD, для того что бы предложить своим пользователям лучший продукт. Глядя на все оценки\лайки\покупки юзеров, FunkSVD сопоставляет каждому из них и продукту вектор небольшой длины, описывающий их скрытые предпочтения\характеристики. На картинке как раз такое отображение для нескольких приложений Google Play, построенное по тысячам оценок пользователей. Заметно как приложения условно группируются по темам: продуктивность, общение и инструменты, развлечения. Датасет взят тут -> https://www.kaggle.com/mehdislim01/google-play-store-apps-reviews-110k-comment

Министерство транспорта США предоставляет подробную статистику авиа перелетов, в том числе и задержки рейсов. Если самолет взлетел на 15 и более минут позже запланированного времени, борт считается задержанным. На графиках представлена вероятность задержки от планируемого локального времени вылета и дня в течение года. Ранним осенним утром можешь почти не беспокоится что твой рейс отложат. Датасет взят тут -> https://www.kaggle.com/yuanyuwendymu/airline-delay-and-cancellation-data-2009-2018

В конце 19 века было не просто оставить отзыв на новую ленту братьев Люмьер. Сейчас у тебя под рукой IMDB, Кинопоиск и Rotten Tomatoes. Критикам есть где развернуться, они паразитируют на кино, они же делают ему рекламу. И как утверждает Rotten Tomatoes чем выше у фильма оценка рецензентов, тем вероятно больший доход его ожидает. По отзывам этого агрегатора также можно проследить как менялась история кинематографа. На графике вдоль оси даты проката кино расположились ключевые слова рецензий на эти фильмы. Датасет взят тут -> https://www.kaggle.com/aaronjun/rotten-tomato-1960-2020

"Некоторые играют в хоккей. Гретцки играет в шахматы на скорости 40 миль в час", — Лоуэлл Кон. Канадец Уэйн Гретцки за 21 год карьеры центрального нападающего установил 61 рекорд национальной хоккейной лиги, часть которых вероятно останется еще очень надолго. В один из сезонов он забросил 92 шайбы (в среднем хоккеист забрасывает менее 10 шайб). Но одним из самых эффективных (эффектных) игроков нашего времени можно считать другого канадца — Сидни Кросби с прозвищем "The Next One" (это отсылка к Уэйну Гретцки, которого называли "The Great One"). В 2012 году каждые 11 минут чистого игрового времени он записывал очко на свой счет. Этот показатель называют Production, и он показывает сколько хоккеисту требуется минут что бы забросить гол. Набираясь игрового опыта, в среднем каждые 7 лет центральные нападающие уменьшают эту величину на 2.5 минуты. Датасет взят тут -> https://www.kaggle.com/alexbenzik/nhl-players-statistics