Продуктовая аналитика для чайников

​​Google представил базовый вводный онлайн-курс по #GA4. Он короткий, бесплатный, на русском языке и в виде интерактивной инфографики. Подойдет для всех, кто хочет начать изучение возможностей системы и отличий от предыдущих версий. https://bit.ly/37uVUc6 via @WebAnalyst

Дмитрий Федеров перевёл официальные туториалы по Pandas на русский язык. Теперь это один из тех (немногочисленных) русскоязычных материалов, которые я могу смело рекомендовать любому, кто начинает изучать Pandas http://dfedorov.spb.ru/pandas/

Нужно больше данных, Милорд! Аналитику в продуктовых компаниях можно разделить на несколько этапов: 1. Сбор данных Собираются все возможные данные. Какие угодно, главный принцип - чем больше, тем лучше. 2. Построение витрин данных Данные визуализируются и на дашбордах появляются первые метрики. 3. Аналитика Определяются ключевые метрики продукта. Команда выдвигает гипотезы и валидирует их. 4. Growth-аналитика Прогнозируются изменения метрик в будущем. На этом этапе компания ищет точки "взрывного-роста", когда кажется, что достигнут максимум. Мир изменчив, а ключевые метрики продукта и подавно. Поэтому важно с самого начала собирать все возможные данные и визуализировать их. Кто знает, какая метрика станет ключевой через 5 лет, но будет проще, если данные уже будут под рукой. Не стоит забывать про growth-аналитику, полагая, что расти уже некуда.

​​Быстро и просто предсказываем временные ряды Одна из частых задач в работе дата аналитика или дата саентиста это прогнозирование временных рядов. Например: количество выданных кредитов, количество платных подписок, объем экспорта в страну и т. д. Мой, уже теперь бывший коллега Тимур Фаткулин сделал классный репозиторий с примерами подходов для прогнозирования временных рядов. С помощью этих подходов можно быстро и просто сделать первую модель и затем улучшать. - Prophet - библиотека Facebook. Очень удобно использовать для первой версии модели, посмотреть тренды: годовые, месячные, недельные - Long short-term memory (LSTM) - разновидность архитектуры рекуррентных нейронных сетей. Сложно интерпретируемый подход, на большом временном ряде может дать очень хороший результат - ARIMA - интегрированная модель авторегрессии. Классический метод предсказания временных рядов - Обучение регрессора c извлечением признаков. Например: XGBoost, RandomForestRegressor и другие. Можно извлекать любые признаки из даты и времени: день недели, праздник, выходной и т.д. Так же для увеличения числа признаков используют и множество других метрик. Например: максимальное/минимальное значение, наблюдавшееся в скользящемпо ряду окне, медианы, число пиков, взвешенные дисперсии и многое другое. Автоматически этим можно сделать с помощью библиотека tsfresh. Дополнительный материал: - Prophet - https://facebook.github.io/prophet/docs/quick_start.html - Лекция - Прогнозирование временных рядов https://www.youtube.com/watch?v=u433nrxdf5k - tsfresh - https://tsfresh.readthedocs.io/en/latest/

Аналитики зачастую не понимают бизнес-смысл используемых метрик, а бизнес не всегда понимает что лежит в математической основе тех или иных показателей. Делимся с вами записью доклада Дмитрия Кудренко с Матемаркетинга-2019, который был признан одним из лучших докладов. Он про связь тактических и стратегических метрик и о том, какие ошибки мы совершаем при оценке маркетинговых специалистов. В 2020 году Дима снова выступит на Матемаркетинге-2020, а кроме него, про работу с direct-маркетингом будут рассказывать топы Out Of Cloud, Retail Rocket, MindBox Полная программа доступна по ссылке: https://bit.ly/3iMiT6Z Билеты и подробности: https://matemarketing.ru @matemarketing_official

📊 Минипост: Очарованные циферками В последнее время я всё чаще наблюдаю феномен «пабмеда» — когда на любую точку зрения в интернете находятся «данные», её подтверждающие. Мы никому больше не верим на слово, но как только видим график — аргумент как будто бы становится в десять раз авторитетнее. Машина ведь врать не будет! Особенно резко проблема стоит в модных data-driven компаниях с плоской структурой, где человек с паверпоинтом побеждает здравый смысл примерно всегда. Вопрос — что делать? Как выживать в таком мире? Можно ли победить глупость или лучше её возглавить, пока остальные не одумались? https://vas3k.ru/notes/datadriven/

​​Наконец-то закончил статью на одну из самых сложных для понимания тем - оконные функции в SQL. На ее написание ушло почти пять месяцев с перерывом на отпуск :) В статье на простых примерах с картинками разбирается принцип работы данных функций, а в конце вас ждут кейсы с расчетом моделей атрибуции «Первый клик» и «С учетом давности взаимодействий».

Как проанализировать эффект от нововведения? Иногда в работе бывает такое: "Мы внедрили новую фичу в продукте, про A/B тест забыли, да и времени на него нет. Теперь вот не понимаем каков эффект. Проанализируй и скажи что-как." Что делать в такой ситуации? Есть несколько способов: - Иногда помогает сравнение метрик до и после. Если нововведение оказало мощный эффект, это будет видно. Встречается редко. Сезонность, тренды и прочие факторы могут привести в ложным выводам. - Можно провести ухудшающий A/B тест. "Откатываем" часть пользователей к старому варианту и сравниваем с текущим. Самый надежный способ в плане достоверности. - Использовать библиотеку casual impact. Умные ребята из google придумали хитрый способ измерить эффект от нововведения без A/B тестов. Если грубо, то строится прогноз метрики на данных до нововведения и подбираются надежные ковариаты. Отклонения текущих значений от предсказанных можно трактовать как эффект от нововведения. Подробнее тут и тут.

Как-то раз с Ромой Буниным мы придумали совместный проект: построить красивый и функциональный дашборд с анализом рынка вакансий аналитиков по данным HeadHunter и максимально автоматизировать эту работу. Мы собрали уже более 12 тысяч вакансий, а Рома построил по ним дашборд Tableau, опубликовал в Tableau Public и записал видеоролик на Youtube о том, как использовать дашборд. Сегодня выпускаем материал о том, как мы собирали данные и какие инсайты можно извлечь из нашего проекта: https://leftjoin.ru/all/hh-dashboard-bi-and-analysts-market/ @leftjoin

Использование шаблонов в проверке продуктовых гипотез Тут лично мой конкретный опыт. Помню, в первые дни работы было трудно понять, как находить ответы на срочные вопросы. Потом дошло, что 80% задач решается несколькими шаблонными методами: 1) Топорный сравнительный анализ. Все просто, надо сравнить разные сущности друг с другом или в динамике, сделать выводы. Быстро, понятно, часто этого достаточно. Сравнивать можно все: метрики, пользователей, распределения, события, сессии и т.д. Пример. На какую услугу сделать акцию? Услугой "супер" пользуются на 5% больше, чем услугой "пупер", значит услуга "пупер" менее популярна, давайте сделаем на нее скидку! 2) Анализ воронок и конверсий. Воронки используют в основном для анализа путей в целевое действие, но они применимы и для анализа пользовательского поведения. Пример. Приложение мобильного банка. После масштабного обновления, пользователи жалуются, что трудно найти меню оплаты телефона. Строим все возможные воронки событий от запуска приложений до оплаты связи и считаем по каким экранам чаще передвигались пользователи. Большинство пользователей вместо кнопки оплаты телефона, первым делом кликали на оплату различных услуг. Как итог, добавили дополнительную кнопку оплаты телефона в меню услуг. 3) Сегментация. Тоже самое, что и сравнительный анализ, но глубокий. К сегментации нужно обращаться, когда ответ на гипотезу задает еще больше гипотез. Когортный анализ и ретеншн это тоже сюда. В качестве примера можно прочитать про парадокс Симпсона. Вот как-то так я экономлю время для решения быстрых задач.