iggisv9t channel

И ещё вот такую штуку можно вспомнить

https://mespadoto.github.io/proj-quant-eval/post/projections/ Ребята прогнали кучу снижалок размерности на куче датасетов.

Статья топчик. Хотя кажется, недоумения и споры о нелинейных методах снижения размерности никогда не прекратятся всё равно. От себя добавлю, что важно не забывать о базовых предположениях методов, и три рассмотренных предполагают, что по всем осям у вас признаки одной природы. Ну или хотя бы из похожих распределений. Или в крайнем случае хотя бы одного масштаба. Когда признаки уж слишком разношёрстные, а посмотреть на данные как на картинку всё равно хочется -- можно использовать автоэкодеры. Одна только беда -- с ними ещё важнее понимать что делаешь, иначе выйдет полнейший нонсенс. Зато можно подобрать достаточно хорошие параметры для представления и даже можно зашить в лосс дополнительные условия. Я вот когда-то приделывал KL-divergence в лосс чтобы было чуть-чуть похоже на tSNE. Напоследок -- кроме широко известного UMAP есть очень шустрый ncvis, или если хотите на GPU то можно попробовать trimap. И совсем последнее. Когда-то мы с Антоном (@epsiloncorrect) и ребятами из ncvis начинали делать бенчмарк всяких таких методов, но так и не закончили. Если у кого-то чешутся руки, то можете подхватить.

Написала небольшую статью на Хабре про алгоритмы снижения размерности, жду ваших классов 👍: https://habr.com/ru/articles/811437/ В дополнение к статье рекомендую посмотреть вот эту замечательную демонстрацию работы UMAP и t-SNE (уже не моего производства): https://pair-code.github.io/understanding-umap/ #математика_в_ML #учебные_материалы

1 - Динамика результатов ДЭГ в Москве во времени (источник) 2 - Как часто переголосовывали за провластных и оппозиционных кандидатов (источник) 3 - Динамика переголосований (источник) 4 - С кого на кого переголосовывали на примере одного округа (источник) 5 - Зазор между голосами за ЕР и за одномандатников от ЕР (источник)

Пост про выборы, фальсификации и то, почему ДЭГ — зло (с данными!) Через неделю выборы Путина, а результаты выборов, как известно, государство у нас любит немножко подрисовывать Пока мы готовим большой текст про фальсификации на выборах в течение последних 24 лет (спойлер-напоминание: "дорисованный" процент растет почти с каждыми выборами, и в 2020 и 2021 докинули процентов по 15), государство заманивает или даже заставляет всех голосовать электронно через ДЭГ. Кажется, сейчас самое время вспомнить, зачем это делается. Я сегодня сама первый раз в этом систематически разобралась, и думаю, что это все еще стоит того, чтобы рассказать Вы, наверное, помните, что в 2021 году на участках с помощью электронного голосования победили провластные кандидаты, в то время как оффлайн оппозиционеры набрали больше. Здесь возникает резонный аргумент — но ведь государство активно призывало голосовать через ДЭГ, разве не может быть так, что онлайн проголосовали искренние сторонники ЕдРа, а все оппозиционеры не доверяли ДЭГу и шли голосовать оффлайн? Логично, только вот проблема не в этом На самом деле есть 2 ДЭГа — федеральный и Московский, это разные системы. И вот на выборах в госдуму в 2021 о Московском ДЭГе были хоть какие-то данные. В частности, это были данные о динамике голосов. Они показаны на первой картинке в следующем посте. Мы видим, что голоса за ЕР возрастают скачкообразно ночью и утром в воскресенье и активно набираются до середины дня, а потом динамика также резко возвращается к исходной. Причем эта динамика была одинаковой во всех округах Если вы примерно представляете, как выглядят распределения чего угодно в реальной жизни, то вы понимаете, что таких резких спаданий активности в жизни не бывает — что угодно обычно затухает плавно. А значит уже отсюда очевидно, что это некоторая накрутка Но окей, скажете вы, может, в это время просто государство активно сгоняло бюджетников голосовать? Ну и что, что в 4 ночи, всякое бывает! Выяснилось, что эта активность — это не просто голосование за ЕР, но переголосование! В ДЭГе есть такая функция — изменить свой голос. И московский ДЭГ сам предоставил данные о том, каким были результаты до переголосования. Из них видно, что переголосовывали почему-то почти всегда с оппозиционных кандидатов на провластных (картинки 2, 3, 4) Что на это говорит ДЭГ? ДЭГ говорит, что в такой активности ничего подозрительного не видят, и она является результатом рассылки СМСок с призывом проголосовать! Т.е. буквально половина прогосовавших за оппозиционных кандидатов получили СМСку от города Москвы, начали поддерживать ЕР и поменяли свой голос Если это объяснение все еще кажется вам реалистичным, то и его можно опровергнуть — повышение активности на фоне СМСок найти можно, оно небольшое и к наблюдаемым аномалиям в переголосованиях отношения не имеет В общем, тут уже не остается никаких сомнений, что в нужный момент кому надо просто поменяли голоса, буквально отобрав их у оппозиционных кандидатов и отдав провластным. Причем сама возможность это сделать противоречит тому, как, по утверждениям ДЭГ, устроена система ДЭГ — они говорят, что у них самих нет информации, какой голос за кого отдан до финального подсчета. Но при этом они знали, чей именно голос на чей нужно поменять! Но это еще не все, можно найти и другую "особенность". В Москве можно было голосовать за партию и за кандидатов по одномандатным спискам. Обычно люди, которые голосуют за ЕР, голосуют и за одномандатников от ЕР, и данные это подтверждают. Это поведение вполне логично — если вы поддерживаете партию, вы поддерживаете и отдельного кандидата от этой партии. Но в случае с ДЭГ в течение двух часов это было не так — систематически, одновременно во всех округах, голоса набирались только у ЕР, но не у одномандатников ЕР (картинка 5). Объяснить это ничем кроме машинного вмешательства нельзя Надеюсь, про Московский ДЭГ было убедительно. Как я уже сказала, есть еще федеральный ДЭГ, который работает в других регионах, и по нему данных сильно меньше. Но какие-то все же есть! Про это будет следующий пост #интересный_ресерч

Раз в несколько лет я вздыхаю о том, как был прекрасен viewpoints который на современных системах почти нереально завести. Иногда нахожу что-то со сравнимым функционалом. Была вот реимплементация для браузера и ещё jupyter-scatter который как виджет в жупайтере работает. Вот сейчас нашёл новую штуковину со сравнимым функционалом. Может даже круче. http://glueviz.org/ Умеет отображать несколько графиков и связывать выделения между ними. Рисует 3D — как скаттерплоты, так и рендерит объёмные изображения типа сканов с МРТ. Можно линковать датасеты, на ходу приделывать производные переменные и есть гайды как свой плагин написать. На мак и винду ставится как отдельное приложение, на линукс как питоний пакет. Сломало мне окружение конды. Вот скрин с графом из предыдущего поста.