Продуктовая аналитика для чайников
Тернистый путь в продуктовую аналитику. Буду скидывать ссылки, авторские заметки и статьи.
Show more182
Subscribers
No data24 hours
No data7 days
No data30 days
- Subscribers
- Post coverage
- ER - engagement ratio
Data loading in progress...
Subscriber growth rate
Data loading in progress...
Google представил базовый вводный онлайн-курс по #GA4. Он короткий, бесплатный, на русском языке и в виде интерактивной инфографики. Подойдет для всех, кто хочет начать изучение возможностей системы и отличий от предыдущих версий.
https://bit.ly/37uVUc6
via @WebAnalyst
Дмитрий Федеров перевёл официальные туториалы по Pandas на русский язык. Теперь это один из тех (немногочисленных) русскоязычных материалов, которые я могу смело рекомендовать любому, кто начинает изучать Pandas
http://dfedorov.spb.ru/pandas/
Нужно больше данных, Милорд!
Аналитику в продуктовых компаниях можно разделить на несколько этапов:
1. Сбор данных
Собираются все возможные данные. Какие угодно, главный принцип - чем больше, тем лучше.
2. Построение витрин данных
Данные визуализируются и на дашбордах появляются первые метрики.
3. Аналитика
Определяются ключевые метрики продукта. Команда выдвигает гипотезы и валидирует их.
4. Growth-аналитика
Прогнозируются изменения метрик в будущем. На этом этапе компания ищет точки "взрывного-роста", когда кажется, что достигнут максимум.
Мир изменчив, а ключевые метрики продукта и подавно. Поэтому важно с самого начала собирать все возможные данные и визуализировать их.
Кто знает, какая метрика станет ключевой через 5 лет, но будет проще, если данные уже будут под рукой.
Не стоит забывать про growth-аналитику, полагая, что расти уже некуда.
Быстро и просто предсказываем временные ряды
Одна из частых задач в работе дата аналитика или дата саентиста это прогнозирование временных рядов. Например: количество выданных кредитов, количество платных подписок, объем экспорта в страну и т. д.
Мой, уже теперь бывший коллега Тимур Фаткулин сделал классный репозиторий с примерами подходов для прогнозирования временных рядов. С помощью этих подходов можно быстро и просто сделать первую модель и затем улучшать.
- Prophet - библиотека Facebook. Очень удобно использовать для первой версии модели, посмотреть тренды: годовые, месячные, недельные
- Long short-term memory (LSTM) - разновидность архитектуры рекуррентных нейронных сетей. Сложно интерпретируемый подход, на большом временном ряде может дать очень хороший результат
- ARIMA - интегрированная модель авторегрессии. Классический метод предсказания временных рядов
- Обучение регрессора c извлечением признаков. Например: XGBoost, RandomForestRegressor и другие. Можно извлекать любые признаки из даты и времени: день недели, праздник, выходной и т.д. Так же для увеличения числа признаков используют и множество других метрик. Например: максимальное/минимальное значение, наблюдавшееся в скользящемпо ряду окне, медианы, число пиков, взвешенные дисперсии и многое другое. Автоматически этим можно сделать с помощью библиотека tsfresh.
Дополнительный материал:
- Prophet - https://facebook.github.io/prophet/docs/quick_start.html
- Лекция - Прогнозирование временных рядов https://www.youtube.com/watch?v=u433nrxdf5k
- tsfresh - https://tsfresh.readthedocs.io/en/latest/
Репозиторий Тимура
Аналитики зачастую не понимают бизнес-смысл используемых метрик, а бизнес не всегда понимает что лежит в математической основе тех или иных показателей.
Делимся с вами записью доклада Дмитрия Кудренко с Матемаркетинга-2019, который был признан одним из лучших докладов. Он про связь тактических и стратегических метрик и о том, какие ошибки мы совершаем при оценке маркетинговых специалистов.
В 2020 году Дима снова выступит на Матемаркетинге-2020, а кроме него, про работу с direct-маркетингом будут рассказывать топы Out Of Cloud, Retail Rocket, MindBox
Полная программа доступна по ссылке: https://bit.ly/3iMiT6Z
Билеты и подробности: https://matemarketing.ru
@matemarketing_official
Дмитрий Кудренко, Stripo eSputnik - Бизнес-смысл метрик и их значение на примере email-маркетинга.
Ближайшая конференция — Матемаркетинг-20209-13 ноября, Online Билеты и подробности:
https://matemarketing.ruПрограмма конференции:
https://bit.ly/3iMiT6ZАна...📊 Минипост: Очарованные циферками
В последнее время я всё чаще наблюдаю феномен «пабмеда» — когда на любую точку зрения в интернете находятся «данные», её подтверждающие. Мы никому больше не верим на слово, но как только видим график — аргумент как будто бы становится в десять раз авторитетнее. Машина ведь врать не будет!
Особенно резко проблема стоит в модных data-driven компаниях с плоской структурой, где человек с паверпоинтом побеждает здравый смысл примерно всегда.
Вопрос — что делать? Как выживать в таком мире? Можно ли победить глупость или лучше её возглавить, пока остальные не одумались?
https://vas3k.ru/notes/datadriven/
Наконец-то закончил статью на одну из самых сложных для понимания тем - оконные функции в SQL.
На ее написание ушло почти пять месяцев с перерывом на отпуск :)
В статье на простых примерах с картинками разбирается принцип работы данных функций, а в конце вас ждут кейсы с расчетом моделей атрибуции «Первый клик» и «С учетом давности взаимодействий».
Как проанализировать эффект от нововведения?
Иногда в работе бывает такое: "Мы внедрили новую фичу в продукте, про A/B тест забыли, да и времени на него нет. Теперь вот не понимаем каков эффект. Проанализируй и скажи что-как."
Что делать в такой ситуации? Есть несколько способов:
- Иногда помогает сравнение метрик до и после. Если нововведение оказало мощный эффект, это будет видно. Встречается редко. Сезонность, тренды и прочие факторы могут привести в ложным выводам.
- Можно провести ухудшающий A/B тест. "Откатываем" часть пользователей к старому варианту и сравниваем с текущим. Самый надежный способ в плане достоверности.
- Использовать библиотеку casual impact. Умные ребята из google придумали хитрый способ измерить эффект от нововведения без A/B тестов. Если грубо, то строится прогноз метрики на данных до нововведения и подбираются надежные ковариаты. Отклонения текущих значений от предсказанных можно трактовать как эффект от нововведения. Подробнее тут и тут.
Inferring the effect of an event using CausalImpact by Kay Brodersenhttps://www.bigdataspain.orgAbstract:
https://www.bigdataspain.org/program/Slides:
https://www.slideshare.net/secret/s8pkcf4fUH8XPVSession
presented at Big D...
Как-то раз с Ромой Буниным мы придумали совместный проект: построить красивый и функциональный дашборд с анализом рынка вакансий аналитиков по данным HeadHunter и максимально автоматизировать эту работу. Мы собрали уже более 12 тысяч вакансий, а Рома построил по ним дашборд Tableau, опубликовал в Tableau Public и записал видеоролик на Youtube о том, как использовать дашборд. Сегодня выпускаем материал о том, как мы собирали данные и какие инсайты можно извлечь из нашего проекта: https://leftjoin.ru/all/hh-dashboard-bi-and-analysts-market/
@leftjoin
Reveal the Data
Канал Ромы Бунина про визуализацию данных, развитие BI-систем и Tableau. Отвечаю за визуализацию и BI в Яндекс Go. Подробнее про канал, меня, рубрики, правила и контакты —
https://t.me/revealthedata/386Использование шаблонов в проверке продуктовых гипотез
Тут лично мой конкретный опыт. Помню, в первые дни работы было трудно понять, как находить ответы на срочные вопросы. Потом дошло, что 80% задач решается несколькими шаблонными методами:
1) Топорный сравнительный анализ.
Все просто, надо сравнить разные сущности друг с другом или в динамике, сделать выводы. Быстро, понятно, часто этого достаточно. Сравнивать можно все: метрики, пользователей, распределения, события, сессии и т.д.
Пример. На какую услугу сделать акцию? Услугой "супер" пользуются на 5% больше, чем услугой "пупер", значит услуга "пупер" менее популярна, давайте сделаем на нее скидку!
2) Анализ воронок и конверсий.
Воронки используют в основном для анализа путей в целевое действие, но они применимы и для анализа пользовательского поведения.
Пример. Приложение мобильного банка. После масштабного обновления, пользователи жалуются, что трудно найти меню оплаты телефона. Строим все возможные воронки событий от запуска приложений до оплаты связи и считаем по каким экранам чаще передвигались пользователи. Большинство пользователей вместо кнопки оплаты телефона, первым делом кликали на оплату различных услуг. Как итог, добавили дополнительную кнопку оплаты телефона в меню услуг.
3) Сегментация.
Тоже самое, что и сравнительный анализ, но глубокий. К сегментации нужно обращаться, когда ответ на гипотезу задает еще больше гипотез. Когортный анализ и ретеншн это тоже сюда. В качестве примера можно прочитать про парадокс Симпсона.
Вот как-то так я экономлю время для решения быстрых задач.