Data Funk

Обученный (на фичах - год и номер дня в году) Distributional Random Forest заполнил пропущенную область визуально близкими к фону значениями.

Для toy-примера я взял сглаженные данные подневной температуры в Longyearbyen (Лонгйир - город на Шпицбергене, где на глубине 130 метров расположено всемирное семенохранилище), и выкинул часть данных в виде лемнискаты Бернулли.

Привет, всякий раз, когда приходится иметь дело с рисками (прогноз погоды, медицинская диагностика, финансы, беспилотные авто и тд) возникает задача прогнозирования не просто точечного значения, а целого диапазона, в идеале всего условного распределения F(Y|X). Среди доступных для этого инструментов: Байесовские методы, квантильная регрессия, конформные предсказания и ансамблевые методы. К последним относится модификация случайного леса - Distributional Random Forest. Отличие от классического леса только в конце - для выбранного X оценивается близость со всеми точками из train набора по тому, как часто X попадает с ними в одни и те же листья в деревьях. Полученные меры близости используются в качестве весов для соответствующих значений Y из обучающей выборки, что в итоге дает непараметрическую оценку условного распределения F(Y|X).

Тут, в динамике по дням, представлен граф постов с reddit топика - r/TikTokCringe, собранных с июня 2023. Я формировал ребро между двумя вершинами - постами топика, только если как минимум 5 одних и тех же пользователей оставили комментарии под обоими постами. Цветом показаны основные теги постов. Датасет взят тут -> https://www.kaggle.com/datasets/curiel/rtiktokcringe-post-and-comments

Привет. Визуализация больших графов - большая проблема (подробнее тут), визуализация даже небольших, но динамических графов (когда ребра и вершины то появляются, то исчезают) - проблема не меньше, но информации в сети об этом не так много, ровно, как и доступных инструментов. Парочка найденных библиотек работает крайне медленно. Один из выходов использовать статические укладки (я использовал multidimensional scaling - алгоритм оценивает кратчайшие пути между вершинами и пытается сохранить их в 2d проекции) в каждый момент времени + нормировку и экспоненциальное сглаживание, что бы изменения в укладках были хоть немного сглажены, впрочем, это все равно не исключает дрожания и прыжки между соседними укладками.

Я взял картинки (простите Вермеер и Уорхол) и с помощью FMM рассчитал волновой фронт от источника (красная точка) в трёх RGB каналах, приняв яркость пикселя в каждом канале за степень оптической вязкости (чем светлее пиксель, тем медленнее через него движется волна). Это похоже на неравномерно растекающееся по поверхности масло. В итоге каждому пикселю сопоставляется время, за которое до него дошла волна от источника: чем светлее, тем больше потребовалось времени. Растекшееся масло заиграло радужными переливами.

Прочитал статью на Хабре о решении уравнения Эйконала методом быстрого марша (Fast Marching Method - FMM) и вспомнил, что когда-то занимался решением уравнений Максвелла, а уравнение Эйконала как раз получается из уравнений Максвелла в приближении, когда длина волны очень мала. Оно связывает геометрическую оптику с волновой и считает, что световые лучи перпендикулярны волновому фронту, а модуль градиента фазы волны в каждой точке пространства равен показателю преломления в этой точке. Сам же FMM является алгоритмом Дейкстры (поиск кратчайших путей) заточенным под сеточные графы, что позволяет ему работать за O(N*log(N)) от числа вершин.

У картинок оставил три цветовых канала, но сами цвета, как и в предыдущем случае уменьшил до 2, что бы в итоге остались 0 и 1. Смесь распределений Бернулли сформировала несколько размытых кластеров, но некоторые кластера-картинки получились довольно четкие

После кластеризации на 10 кластеров у каждой из 10 многомерных обученных монеток появились веса, которые можно перевести обратно в картинки, в итоге получилось довольно близко к естественным изображениям лиц.

Я подсунул ей 100 тыс. лиц знаменитостей под разными углами из классического датасета - CelebFaces, предварительно дропнув размер картинок в два раза, привел к оттенкам серого и обрезал цвета по некоторому порогу, что бы в итоге был только черный и белый, получились такие картинки.

Привет, искал чем кластеризовать бинарные данные, и открыл для себя крутую штуку - модель смесей Бернулли (Bernoulli Mixture Model). Вся суть метода в подбрасывании монеток - каждая строка бинарной таблички это результат подбрасывания многомерной монетки (число измерений монетки = числу колонок), а так как это Mixture Model, то монеток может быть несколько (по числу задаваемых кластеров). С помощью EM модель учит веса монеток и априорную вероятность (перед тем как совершить бросок, мы должны с некоторой априорной вероятностью выбрать какую из монеток бросаем), после обучения каждой строке таблички сопоставляется номер той монетки, которая дает наибольшую апостериорную вероятность. На датасете digits модель с высокой точностью кластеризует рукописные числа если ей указать 10 кластеров.

Стартовала Нобелевская неделя, самое время заглянуть в датасет с победителями прошлых лет. Между участвующими категориями существует значимая возрастная разница победителей. Самыми возрастными в момент награждения оказались лауреаты в области экономики и литературы (в среднем ~67 и ~65 лет соответственно), самыми "юными" - по физике и медицине (~57 и ~59 лет соответственно). Возможно, что бы оценить вклад в науку и развитие общества экономическим идеям нужно настояться на 10 лет дольше (данных когда была впервые выдвинута каждая из победивших теорий у меня нет, поэтому вывод на уровне догадки). "Усами" на графике отмечены по три стандартные ошибки в обе стороны. Датасет взят тут -> https://www.kaggle.com/datasets/joebeachcapital/nobel-prize

В топе, как и ожидалось it-шка, организаторы мероприятий, всевозможные главные эксперты и коммерческие директора. Если ты аналитик или DS, можешь рассчитывать на +31К рублей за каждый следующий год опыта. В антитоп попали операторы ПК (+3.5К рублей), кассиры, водители. Хуже всех приходится заведующим аптечными пунктами, за год стажа их зп растет в 16 раз медленнее, чем у администраторов баз данных. Датасет взят тут -> https://www.kaggle.com/datasets/etietopabraham/jobs-raw-data

Привет, не смог пройти мимо свежего датасета HeadHunter. У каких профессий быстрее/медленнее всего растет заработная плата с ростом стажа? К сожалению HH не показывает категории, а люди пишут названия вакансий с ошибками, переставляют слова, пишут иностранные слова кириллицей. Что бы быстро сгруппировать 200 тысяч вакансий, я использовал мультиязычный e5 трансформер для определения косинуса между парами названий вакансий (оставил cos >= 0.9), получился граф схожести профессий. Поверх графа использовал быструю Leiden кластеризацию. В качестве скорости роста зп брал наклон линейной регрессии по каждому кластеру, предсказывающей нижнюю границу вилки по нижней границе требуемого опыта, оставил только стат значимые результаты.

Ранее у меня был пост про анализ видео в трендах youtube. Главный вывод которого - не зависимо от качества видео, число лайков\дизлайков\комментариев со временем у каждого видео меняется как количество просмотров в некоторой степени. Сегодня пост про инстаграм. Тут, как и в любой среде с множеством субъектов, формируются характерные паттерны поведения. Например, доля лиц, которые лайкнули фото и при этом не являются фолловерами автора поста к числу всех лайкнувших стабильно падает по мере увеличения числа опубликованных материалов этого автора. А количество опубликованных постов пропорционально числу фолловеров в степени 0.77. Больше подписчиков и больше постов ведет к снижению доли внешних лайков. Профиль замыкается на пользователях с определенными интересами. Другой паттерн сети - число подписчиков почти всегда меньше числа подписок (если вы только не суперзвезда) и меняется также по показательному закону со степенью 0.61. Датасет взят тут -> https://www.kaggle.com/krpurba/im-instagram-70k

В этом году Phoenix Critics Circle отдали награду Best Picture фильму 'Минари', и по формуле из поста выше назначаем ему 94 балла. Картина 'Земля кочевников' стала победителем номинации Outstanding Producer of Theatrical Motion Pictures в премии Гильдии продюсеров США PGA Awards (89 баллов) + забрала награду Best Picture в премиях Broadcast Film Critics Association Awards (присуждается Ассоциацией кинокритиков вещательных компаний, 88 баллов), Phoenix Film Critics Society Awards (64 балла), Dallas-Fort Worth Film Critics Association Awards (50 баллов), Chicago Film Critics Association Awards (49 баллов). Премия Seattle Film Critics Awards в этом году не вручалась, а значит их 51 балл ни кому не достается. Но и без этого понятно, что фаворит в номинации Лучший фильм - 'Земля кочевников' (итого 340 баллов). С большим отставанием 'Минари' (94 балла).

У тебя получалось угадать какой фильм станет лучшим на очередной премии Оскар? Часто решение по главной награде Академии киноискусств многих удивляет, но это только если не обращать внимание на предшествующие кинопремии, проходящие за 1-2 месяца до главного события мира кино. Например номинация Best Picture от Phoenix Critics Circle, PCC Award из Аризоны за свои 7 лет существования совпала 5 раз с Лучшим фильмом Оскар. Не так уж и плохо, правда? Ниже ты увидишь премии и других ассоциаций кинокритиков. Просто сложи числа тех номинаций где уже выйграл твой любимый фильм, и если результат превысил 100 баллов то у него есть не плохие шансы забрать главную статуэтку Академии киноискусств. Начиная с 2000 года эта формула взяла 20 победителей из 21 прошедших, предложив 28 претендентов. Датасет взят тут -> https://www.kaggle.com/iwooloowi/film-awards-imdb