Хороший/плохой/злой аналитик

Прохожу большой курс по ML, вот закончился первый модуль про ранжирование и матчинг (всего их 5) . Впечатления пока такие. Довольно насыщенный курс, сложные интересные домашки, узнал много полезного. Местами было даже слишком сжато и не очень понятно (например, лекция про bert и трансформеры). Понравилось, что отдельно были затронуты практические вопросы типа парсинга данных из интернета или краудсорсинга. Так же были очень полезны темы про работу с текстом и эмбединги, приближенный поиск ближайших соседей. А в финальном проекте надо было сделать готовый микросервис для подсказок похожих вопросов на данных сайта quora. Все лекции и разборы ДЗ предзаписаны, ДЗ проверяются автоматически грейдером, В слаке можно общаться с кураторами курса и студентами с твоего потока, но было бы круто, если бы еще были какие-то встречи для общения с препами. В общем, пока курс нравится, надеюсь, дальше будет не хуже.

Спустя почти месяц, у меня созрело продолжение История про тот случай, когда редкие наблюдения — это ключ к решению проблемы ... В 1990 г. известная международная организация — Save The Children — отправила Джерри Стернина во Вьетнам, чтобы он решил проблему недоедания детей в семьях деревенского населения. У него было около 6 месяцев времени и мало денег, еще у него был огромный багаж знаний о социологических и экономических причинах бедности и недоедания. Но никаких шансов, чтобы как-то повлиять на эти причины у него не было. Поэтому он подошел к проблеме с другой стороны — начал путешествовать по деревням, и искать редкие случаи очень бедных семей, в которых, дети были здоровые и с нормальным весом. Он выяснил, что матери в таких семья кормят своих детей по другому. Например, они кормили их чаще, но маленькими порциями, добавляли в рис креветки собранные с рисовых полей или ботву сладкого картофеля со своего огорода. Это считалось едой для бедноты, поэтому остальные ее избегали. Далее Стернин с группой матерей обращал внимание остальных семей с маленькими детьми на такие примеры и рассказывал, как можно избежать недоедания. Спустя 6 месяцев, в деревнях, в которых он успел побывать, доля детей страдающих недоеданием сократилась на 65%. ... Это очень краткий пересказ одной из историй из книги The Power of Positive Deviance. Positive Deviance — это подход к решению социальных или поведенческих проблем, основанный на простом наблюдении: среди достаточно большой группы людей с похожими проблемами найдутся те, кто находит нестандартные, но успешные решения. Причем тут аналитика? Мне кажется фокус аналитики чаще смещен в сторону исправления каких-то проблем. Например, ухудшились какая-то метрика, что-то сломалось, работает не так, и нужно понять почему. При этом, на положительные отклонения от нормы обращают внимание гораздо реже, а именно в них может быть и зарыта собака, которая подскажет, что и как можно улучшить...

Вчера ходили с женой на фильм "Везде все и сразу". Симпатичная абсурдистская начно-фантастическая комедия — что-то среднее между Матрицей, Риком и Морти, и еще чем-то. Визуально просто шикарно снято, но, на мой вкус, немного перегнули палку со счастливым концом и победой доброты над хаосом. Я бы на месте режиссера поддался нигилизму и дал бы войти главной героине и ее всемогущей дочери в дырку от вселенского бублика в самом конце. Но я не режиссер, я — аналитик, поэтому поговорим про выбросы. Герои фильма могут совершать "скачки" — перемещать свое сознание в разные измерения мультивселенной, совершая какие-то маловероятные в обыденной жизни действия, типа прибивания бумажки степлером ко лбу или поедания губной помады. Если взять выборку всех действий человека за какой-то период, то такие действия будут являться выбросами, т.к. сильно отличаются от типичного поведения. Выбросы могут сильно влиять на средние значения метрик, например, на среднее количество прибитых к голове бумаг на одного человека, которое обычно строго равно 0. Таким образом, средние значения для выборки с выбросами могут сильно отличаться от значений для большинства отдельных наблюдения. Часто выбросы — это просто ошибки в измерении или сборе данных — тогда от низ разумно избавляться. Но иногда они могут скрывать полезную информацию. Например, в случае с героями фильма, наличие большого числа выбросов в поведении персонажа коррелирует с наличием умения перемещаться в другие вселенные. Попробую привести более реалистичный пример из реальной жизни. продолжение следует...

Плохие прогнозы Почитываю книжку про прогнозирование: The Signal and the Noise. Там есть хорошие примеры плохих прогнозов, которые привели к печальным последствиям. Например, погодная служба в одном американском городе спрогнозировала поднятие уровня воды в реке до рекордных 15 метров, при том что дамбы могли выдержать всего 15.5 метров. При этом погодная служба не указала доверительный интервал прогноза, т.к. боялась, что люди потеряют к ним доверие. А интервал был таков, что вероятность превышения порога в 15.5 метров была около 35%. В итоге никто не подготовился, река поднялась до 16.5 метров и 75% домов в городе было уничтожено, либо повреждено. Но погода это как раз пример того, где прогнозы работают на удивление хорошо, пусть и краткосрочные. Есть другой пример — макроэкономика. Практически нулевая корреляция между реальным показателями, типа изменения ВВП или уровня безработицы и прогнозами экспертов. И точность прогнозов не улучшается со временем, несмотря на то, что данных становится больше. На это есть несколько причин: 1. Сложность системы и постоянные изменения в структуре экономики, которые уменьшают полезность исторических данных. 2. Влияние самих прогнозов на экономику. Если вдруг все эксперты будут прогнозировать спад экономики, то скорее всего правительство примет какие-то меры, которые этот спад сгладят, и прогноз формально окажется неточным. 3. Сами эксперты не очень заинтересованы в том, чтобы честно указывать неопределенность в прогнозах. Иначе это будет выглядеть так, как будто они плохо понимают, что происходит. 4. Как ни странно, и со стороны потребителей этих прогнозов нет большого спроса на улучшение их качества. Почему так — это отдельная интересная тема. В общем, если видите экономический прогноз от эксперта, то с вероятностью 99.99% это лажа. Такие дела ;)

Как я собеседовался в Яндекс. Часть 2 (Часть 1 здесь) 4. Собеседование с командой доставки В начале как обычно расспросили про опыт. Потом была задачка: найти среднее время доставки, если курьер двигается с постоянной скоростью из центра окружности, а заказы равномерно распределены по окружности. Потом обсуждали способы оптимизации доставки. Например, как компоновать заказы в один, исходя из близости пунктов доставки. Также обсуждали задачу планирования ресурса курьеров, которой они сейчас занимаются. Собеседование прошло удачно — тимлид сказал, что от него фидбэк будет положительный, и призвал выбирать их команду. Я ушел довольный 😁 5. Собеседование с командой алгоритмов поиска и назначения Команда занимается алгоритмом подачи такси. То есть тем самым алгоритмом, который находит вам нужного таксиста, когда вы заказываете такси. Соответственно обсуждали, какие факторы могут влиять на ранжирование таксистов. Из очевидного, это расстояние, но есть еще куча всего. Например, усталость таксиста, если такси проездил несколько часов подряд без перерыва. Еще влияет достаточность таксистов. То есть, если в каком-то районе нехватка таксистов, а в другом переизбыток, то приоритет могут отдать таксисту, который находится дальше, чтобы выровнять нагрузку. Было довольно много всего интересного, но я уже подзабыл. По моим ощущениям прошло средненько, я немного волновался и иногда тормозил. 6. Собеседование с командой удержания водителей Здесь тимлидом был мужчина лет 45, учил статистику профильно в Москве, потом в США. Я сразу почувствовал дух старой школы, где люди живут статистикой, дышат статистикой, пьют статистику по утрам и закусывают статистикой. Все вопросы были про статистику. Впрочем, ничего продвинутого меня спрашивали. Базовые темы про тестирование гипотез, доверительные интервалы, стат. значимость, корреляции. Собеседование прошло нормально, местами тормозил, но в целом не провально. На обсуждение задач, которыми занимается команда оставалось совсем мало времени и я не особо запомнил конкретики, но, как видно из названия команды, это всякие исследования способов повышения ретеншена водителей в такси. 7. Собеседование с командой аналитики качества сервиса и повышенных классов такси Здесь воспоминания какие-то смутные. Помню, что вначале была простая задачка на питон. Потом было обсуждение способов оценки качества сервиса. Каких-то интересных вопросов не запомнилось. Видимо сказалась усталость, т.к. собеседования шли один за другим, почти каждый день. Кажется, здесь все прошло более-менее. 8. Собеседование с командой Яндекс Банка (Вообще-то это было первое финальное собеседование, но у меня перемешалась хронология в голове из-за разных HR) Помимо антифрода и доставки это была одна из самых привлекательных команд для меня, по двум причинам: во-первых, это финтех, новая область для меня; во-вторых, это молодой стартап. Мне кажется, было бы интересно помогать развивать банк с нуля. Почти все собеседование я мучил одну задачу на SQL. Точные условия уже не помню, но на первый взгляд все было просто. Я сразу написал какое-то решение, но меня попросили переписать запрос без использования опции IGNORE NULLS, т.к. не во всех диалектах SQL она есть. Потом попросили не использовать условные выражения в джойнах, потом еще что-то и еще. Запрос становился все длиннее и сложнее. В конце вроде бы сошлись на том, что решение скорее правильное, чем нет, но уже после интервью я понял, что накосячил как минимум в одном месте. Немного пообсуждали задачи команды. Им нужен был человек, для написания запросов для подсчетов P&L и прочих финансовых штук, поэтому для них очень важно было писать точный и аккуратных SQL — не совсем то, что я ожидал. Да и аккуратный код — это пока что не мой конек. Это было последнее собеседование в Яндексе. Про свои общие впечатления от компании и фидбэк от команд напишу отдельно, т.к. пост уже и так слишком длинный.

Неделя аналитиков на Хабр Карьере Кажется, это неплохой шанс ознакомиться с задачами аналитики в крупных компаниях, откликнуться на понравившиеся вакансии и получить фидбэк. Неделя аналитиков — это что-то вроде дня открытых дверей (только неделя) компаний, которые прямо сейчас ищут себе спецов в этой области. План такой: на неделе с 18 апреля компании рассказывают о себе в формате коротких видеопитчей. Вы их смотрите, голосуете и откликаетесь на вакансии с кодовой фразой «Неделя аналитиков» (она гарантирует быстрый фидбек). В четверг 21 апреля и пятницу 22 апреля встречаемся на вебинарах и подводим итоги.

Кстати, вчера на встрече интересовались, бесит ли что-то в работе. Бывает, конечно, но в таких случаях иногда помогает шот текилы погладить кого-нибудь мягкого и шелковистого ;)

Сегодня делился опытом прохождения собеседований со студентами аналитиками Skypro. Для меня это был крутой опыт. Надеюсь, все, кто пришел, извлекли что-то полезное для себя :)

Как меня собеседовали в Яндексе В феврале я прошел 8 собеседований в Яндексе, не считая двух бесед с HR. Я прошел секцию аналитики, секцию алгоритмов, и 6 финальных собеседований с разными командами. Последний финал был пройден за несколько дней до начала войны. Потом в каких-то новостях я прочитал, что Яндекс приостанавливает найм на две недели и с тех пор не получал никаких сообщений от HR. Но вот пару дней назад получил весточку: ~~~~~ тыры-пыры Сейчас мы приостановили найм новых сотрудников, продолжаем делать офферы только на критически важные для Яндекса позиции тыры-пыры ~~~~~ Несмотря на то, что оффер я так и не получил, опыт был полезный и интересный. Попробую вкратце описать, что было на разных этапах. 1. Секция аналитики Собеседовал меня тимлид команды Яндекс-сплита (рассрочка). Подробно расспрашивал, чем занимался, какие задачи решал, какую пользу это принесло бизнесу. Потом была пара задачек, одна на теорему Байеса, другая про дизайн A/B теста (разберем их в отдельном посте). В целом справился неплохо, думал будет сложнее. 2. Секция алгоритмов Здесь я легонько сел в лужу, т.к. почему-то решил, что задачи на питон будут релевантные для аналитиков, типа: провернуть какие-нибудь манипуляции с датафреймами pandas, сагрегировать, вытащить нужные данные и т.д, поэтому почти не готовился. Ан нет, задачки были на чистый питон, наподобие тех, что можно попрактиковать в литкоде. Плюс ко всему, код надо было писать без всякой подсветки синтаксиса и ошибок, и возможности запускать его для проверки. Т.е. проверять правильность кода и всякие граничные случаи надо было в уме. В итоге с очень сильным скрипом и подсказками решил две задачки на питон, но без проблем решил задачку на SQL (простую). Был почти уверен, что провалил этот этап, взгрустнул, выпил банку пива, и купил себе курс по алгоритмам. Однако, к моему приятному удивлению, на следующий день HR написала, что меня готовы пригласить на финальное собеседование 8 команд. Из них надо было выбрать 5. Плюс еще команда финтеха, на вакансию которой я откликался изначально, и с которой я взаимодействовал через другого HR. 3. Собеседование с командой антифрода Команда занимается обнаружением фрода в самых разных сервисах Яндекса, но нужен им был чел, который бы специализировался на фроде в такси. Соответственно меня просили подумать на тему, какие вообще варианты фрода возможны в такси, а также написать простенький скрипт для обнаружения пиков во временных рядах. Было весьма интересно и познавательно. Например, узнал, что часто бывают случаи, когда при открытии яндекс-такси в новых городах, таксисты этого города очень волнуются из-за падения цен и конкуренции, собирают митинги и вызывают кучу яндекс-таксистов на место сходки, чтобы провести с ними беседу, а то и по щам дать. Соответственно обнаружение таких вот вызовов, тоже входит в задачи антифрода. Мне понравилось, что задачи очень конкретные и польза от их решения очевидна. Например, где-то всплыл новый вид фрода, необходимо проанализировать такие случаи и написать код, который бы их отлавливал. Из минусов, поскольку задач очень много и часто появляются новые способы фрода, то, как правило, ограничиваются простыми (иногда буквально в несколько строк кода), но надежными решениями, которые покрывают, скажем 80-90% случаев, но не заморачиваются с тем, чтобы натренировать какую-нибудь сложную ML-модель с большей точностью, которая потребовала бы заметно больше времени на разработку и поддержку. В целом собеседование прошло хорошо, по моим ощущениям. To be continued...