Дневник Стьюдента

💪 Проактивный аналитик = лучший аналитик Сначала ты делаешь простые выгрузки. Потом часть выгрузок перерастает в целые дашборды. Кроме выгрузок к тебе начинают приходить с открытыми вопросами: «стало ли лучше?» или «как сделать лучше?» Первый А/Б-эксперимент. Вот она вершина аналитики. Ты начинаешь сам искать проблемы или точки роста. Далеко не всегда ваши руководители, продакт менеджеры или тим лиды, знают, какими задачами вам лучше всего заниматься. И не обязаны знать. Если аналитик хочет расти дальше, ему не достаточно просто делать то, что его просят. Ему нужно самому искать наиболее перспективные проекты, ведь он полноценный член команды, который глубоко погружен во внутренние процессы. Эту проактивность я как раз и показываю на 1-й картинке, когда продуктовый аналитик помимо своих прямых задач начинает больше общаться со стейкхолдерами, продактами смежных направлений или руководителями выше. И участвует в их проектах. Так аналитик начинает еще больше влиять на процессы в компании. Сегодня я выступал с темой «Кто такой продуктовый аналитик?» по приглашению в одной компании. По ссылке вы можете посмотреть все материалы и слайды. При подготовке к докладу я нашел блог от Яндекса, в котором аналитики делятся своими исследования. Мне понравились их красивые визуальные решения и емкие статьи.

Статья на Хабре и увольнение В прошлую пятницу произошло сразу 2 новости: - вышла моя первая статья на Хабре - я отработал последний день в Самокате Если вам интересно узнать про оффлайн-эксперименты и операционные метрики — вот ссылка на статью. В комментариях на Хабре можете задать любые вопросы, с удовольствием на них отвечу. Одновременно с этим закончился мой последний рабочий день в Самокате. Я благодарен своим коллегам и компании за эти 1.5 года бесценного опыта, которые помогли мне сильно вырасти как профессионалу. Ну а сейчас я позволю себе побыть безработным до конца этой недели. Stay tuned 🙂

Не ограничивай себя карьерой Меня вдохновляют люди с интересной карьерой, которые поработали в крупных и международных компаниях. Которые из экспертов вырастали в лидов команд, руководителей департамента (-ов), а после достигали заветного C-уровня (CDO, CFO, COO или даже CEO). Но еще больше меня вдохновляют люди, которые смогли выйти из карьерных рамок: ⁃ ведут свои обучающие курсы ⁃ продают услуги компаниям напрямую как консалтинговые фирмы ⁃ строят свои компании Еще до начала карьеры я перепробовал кучу «темок» в попытке построить свой проект, начиная с мини-производства смеси для электронных сигарет и заканчивая перепродажей плюшевых игрушек. После я сконцентрировался на карьере, оставив следующие попытки на когда-то «потом». Но недавно я понял, что карьера может стать отличным толчком для развития своего проекта. И необязательно ждать, когда ты станешь большим менеджером: ⁃ мобильный разработчик может создать свое приложение с минимальными вложениями ⁃ тестировщик может запустить свой курс и обучать тех, кто хочет вкатиться в профессию без устаревшей информации как в университетах ⁃ аналитик может анализировать данные компаний напрямую от лица собственной фирмы, как это делают KPMG, PWC, Deloitte и другие Кстати, последний пункт - это то, что я хочу сделать до конца года. Если интересно, дайте знать реакциями или комментариями, расскажу отдельным постом подробнее. Я не призываю всех бежать открывать свой бизнес - это утопия. Но не ограничивайте себя тем, что вы можете развиваться как профессионал только в рамках корпоративной карьеры.

Через 2,5 часа буду выступать на конфе У конференции Aha сегодня бесплатный день - спикеры будут выступать онлайн на платформе от матемаркетинга. Тема моего доклада — «Алгоритм вывода курьеров-партнеров и поиск баланса в сервисе доставки «Самокат» в условиях undersupply» Если переводить на человеческий язык, то в докладе я пытаюсь ответить на вопрос - сколько курьеров нам нужно? Это не простая аналитическая задача. Для ее решения я использовал разные подходы, которые могут оказаться полезными и в вашей работе, даже если она не связана с курьерами и фудтехом. Для затравки прикладываю несколько слайдов с презентации 🙂 Вместе со мной будет много других крутых докладов, ознакомится с программой можно здесь. Сама трансляция онлайн-докладов сегодня будет тут по ссылке.

2 важных парадокса в статистике Существует много статистических парадоксов: Монти-Холл, Берксон, “дни рождения” и так далее. В этом посте я постарался выделить те парадоксы, которые могут оказаться полезными в работе при анализе данных: ⁃ Парадокс Симпсона Может ли быть такое, что средний чек клиентов растет, а на самом деле он падает? Да, и дело не в особенностях среднего чека, метрика может быть любой. Парадокс происходит из-за дизбаланса между группами. Допустим, в прошлом месяце у 10 “богатых” клиентов средний чек был 100 рублей, а у 50 клиентов “среднего класса” - 40 рублей. Тогда средний чек прошлого месяца = (10 * 100 + 50 * 40) / (10 + 50) = 50 рублей. В текущем месяце средний чек 30 “богатых” клиентов - 80 рублей, а 30 клиентов “среднего класса” - 30 рублей. Тогда средний чек текущего месяца = (30 * 80 + 30 * 30) / (30 + 30) = 55 рублей. Средний чек увеличился на 5 рублей по сравнению с предыдущим месяцем, но на самом деле он уменьшился, если мы посмотрим на сегменты: ⁃ у “богатых” уменьшился на 20 рублей ⁃ у “среднего класса” уменьшился на 10 рублей. Увеличение среднего чека объясняется изменением пропорций между группами - в прошлом месяце было 10 “богатых” и 50 “средних”, в этом 30 “богатых” и 30 “средних” клиентов. - «Из корреляции не следует каузация» Формально это нельзя назвать парадоксом, но если посмотреть на картинку к посту, то мы увидим странную взаимосвязь: чем больше фильмов выпускает Disney, тем больше разводов в Великобритании! Очевидно, фильмы Disney тут ни при чем. Перебирая много показателей есть шанс найти коррелируемую пару как на картинке ниже, но чтобы утверждать их взаимосвязь нужно глубоко разбираться в предметной области, а еще лучше провести эксперимент, где одну метрику мы изменяем и следим, изменится ли пропорционально ее пара.

Решаем проблемы как консультанты McKinsey Каждый аналитик хотя бы раз отвечал на вопрос: “Мы заметили, что на дашборде упала метрика X. Почему такое могло произойти?” Или при дизайне эксперимента спрашивал себя: “За какими метриками следить в эксперименте Y?” Или даже сталкивался с открытыми вопросами, на которых нет простого ответа: “Как снизить затраты на процесс Z?” Все эти 3 вопроса объединяет то, что нам нужно учесть много аспектов. Если отвечать них просто перечисляя все гипотезы, которые приходят в голову, можно упустить важные моменты. Вернемся к примеру: ⁃ Мы заметили, что на дашборде упала конверсия в заказ. Почему такое могло произойти? Как я отвечал на этот вопрос полтора года назад на собеседовании во ВкусВилл: “У нас могла произойти проблема с обновлением данных. Мог не обновиться дашборд. Еще это может быть сезонность. Мы можем посмотреть за прошедшее время в аналогичные периоды, падала ли метрика так же. Другой вариант - это какие-то проблемы с приложением …” Ответ в целом получился неплохой и я прошел дальше и даже получил оффер, но в нем почти нет никакой СТРУКТУРЫ, из-за чего я пропустил несколько моментов. Как бы я отвечал на этот вопрос сейчас я показываю на картинке к этому посту. Идеальный ли это ответ? Учитывает ли он все варианты? Нет, но в нем есть четкая структура, по которой легко проходится и добавлять нужные ветки и углубления при необходимости. Такие диаграммы называются “Деревом решений” (decision trees). Когда аналитики выбирают ключевые метрики для какого-то продукта / процесса, то они следуют примерно такой же структуре, называя это “деревом метрик” или “иерархией метрик”. Как строить такие деревья и где их можно применять - очень большая тема, которую подробно разбирает в своем блоге Бруно Ногуэро, в прошлом консультант McKinsey. Подробнее вы можете ознакомиться в его блоге Инструкция выше состоит примерно из 100+ страниц, для вас я сделал короткую выжимку из 15 страниц по ссылке

🤓 Соревнование по A/B тестам! Мои кореша из Самоката подготовили крутое соревнование по аналитике — нужно задизайнить эксперимент по выявлению фродеров - недобросовестных продавцов маркетплейса. Авторы 20 лучших решений получат бесплатные билеты на конференцию Aha’24 от матемаркетинга. Детали турнира: тут Когда: 7-19 мая Формат: online Задание создано по мотивам актуальной проблемы, с которой ребята сейчас активно работают 🦾

☠️ Мои ошибки в работе аналитиком Считаю важным делиться не только успехами, но и неудачным опытом, который тоже может оказаться полезным для кого-то. Вот несколько ошибок, которые я допускал за последнее время: Задачи в стол Далеко не все задачи, которые просят сделать аналитика (да и наверное любого специалиста), не окажутся пустой тратой времени. За последний год у меня не всегда получалось фильтровать «ненужные» задачи по разным причинам: иногда было неудобно отказывать, а иногда задание преподносили как «срочно/важно/нужно было вчера!!» и это замыливало глаза Перфекционизм Попытка сделать все идеально и красиво может очень сильно замедлять работу. У меня бывало так: ⁃ упарывался в качество данных, разбираясь с каждым пропуском, выбросом, кол-вом строк и т.д. Хотя в 99% случаев этих некачественных данных было так мало, что на них можно было не обращать внимания ⁃ старался все емко и красиво описать на Confluence, в то время как в первую очередь стоило набросать цифры и графики на excel и обсудить их на звонке за 10 минут Закапывание в исследовании Ранее я писал про свой краткий шаблон для проведения исследований, но это не значит, что я всегда ему строго следую :) Несколько раз при выполнении большого исследования я закапывался в каких-то вопросах, а потом одергивал себя - «какая вообще цель всего этого исследования? Этой задачи?». После ответа на эти вопросы все ненужные детали отлетали и дальнейший план действий становился яснее

🧐 Главный вопрос маркетинговой аналитики - какой канал привлечения приносит компании больше денег? Мне эта тема стала особенно интересна, так как раньше я активно работал с таргетинговой рекламой в VK, Facebook и Instagram, когда запускал интернет-магазины в школьные и университетские годы. Помню даже, как запустил свой первый А/Б - рекламу своего канала VK с двумя разными картинками. В одной было 10 переходов / 30 просмотров, в другой 8/30, и я уверенно вливал оставшиеся 100 рублей бюджета в первый вариант, считая себя хорошим аналитиком 😁 Но сейчас не об этом По моим наблюдениям в маркетинговой аналитике есть большой и непростой блок, которому уделяют много внимания – модель атрибуции. Давайте вместе разбираться, что это такое: Допустим, у вас есть сайт, где вы продаете цветы с доставкой на дом. Клиент переходит на него через Google-рекламу. Через неделю он снова заходит на сайт, уже переходя по рекламе в Instagram. А через несколько часов заходит на сайт напрямую и покупает цветы. Благодаря какому каналу мы заработали деньги? Органика (прямой заход), контекстная реклама в Google или реклама в рилсах Instagram? На эти вопросы отвечает модель атрибуции – это логика, по которой мы определяем, благодаря какому каналу мы получили ту или иную покупку. Вот несколько популярных моделей атрибуций: 1) Модель «Первое взаимодействие» По этой модели фиксируется первый канал, благодаря которому пользователь впервые перешел на сайт / приложение. В примере выше мы будем считать, что клиент совершил покупку благодаря Google-рекламе. 2) Модель «Последнее взаимодействие» Аналогично модели выше, только наоборот. В том же примере мы уже будем считать, что покупку совершили через канал «органики» - перед покупкой пользователь напрямую сам перешел на сайт. 3) «Линейная» модель Модель, которая равномерно учитывает вклад всех каналов, через которые пользователь взаимодействовал с нашим продуктом. Есть более сложные вариации, когда учитываются только «недавние» взаимодействия перед покупкой или каждому каналу присваивается еще свой вес. «Правильной» модели атрибуции не существует, нужно отталкиваться от каждого конкретного кейса. Во время написании статьи наткнулся на интересный файл с разборами нескольких компаний и используемых в них моделей атрибуций. Давайте наберем 40🔥, если нравятся такие темы. Буду продолжать писать про особенности аналитики в разных областях.