Аналитика. Это просто

Энтузиасты выпустили браузерное расширение Merlin, благодаря которому можно запустить нейросеть ChatGPT прямо в браузере Для активации достаточно выделить какой-то текст на странице и использовать комбинацию клавиш «Ctrl+G» — можно заставить ИИ проанализировать скопированное или задать другой, уникальный вопрос. Плагин доступен для Chrome и Firefox. Расширение полностью бесплатно и доступно для всех желающих. Technogram Inside

Продолжаем про проблематику курсов по аналитике Предыдущие записи: №1, №2. Итак, мы пришли на курсы, пошла учеба. Какие трудности бывают в усвоением информации: - много теории и мало практики или наоборот - не все понятно (или все не понятно) - трудная тема - есть подозрение, что информация дается поверхностно, нет глубины В результате блок пройдет, а понимания нет. Поэтому необходимо не ограничиваться только тем, что преподают, это же нам нужно, а не кому-то еще. А нужно читать, смотреть доп. информацию по теме, ее же очень много. Ведь, когда мы точно понимаем что нужно искать, это уже не так трудно. Хорошо, если мы один и тот же вопрос изучим с разных сторон, а не только слово в слово за преподавателем. То же самое касается практики. Нужно дополнительно решать задания, что-то еще "кодить", чтобы понять, а как на самом деле все устроено. И конечно, не забываем спрашивать, кураторов, мы же за это и платим, а не только на структуру. А также в тематических чатах в телеграме. И чаще задавать себе один простой вопрос - А что я сделал для того, чтобы лучше изучить эту тему? #образование

Немного отвлечемся на метрики. Серия статей от Retail Rocket про прокси-метрики в E-commerce: - статья 1 - статья 2 - статья 3

Одна из первых проблем, с которой сталкивается тот, кто решает "войти в айти", "ворваться в аналитику", и все такое - понятный ответ на вопрос "Почему". Т.е. мотивация. Сейчас вокруг всего этого царит нездоровый ажиотаж, который приводит на курсы тех, кому они не нужны. В результате аналитиками данных, дата-сайентистами, и т.д. хотят стать, потому что: - этому нетрудно научиться, Павел Воля так сказал - через 6 месяцев по часу в день стану специалистом - на HH 100500 вакансий - у них зп 300к/сек. - можно путешествовать по миру - там гарантированное трудоустройство Большинству из тех, кто идет в аналитики (и в IT в целом) по этим причинам, не нужно было идти на курсы. И многие бросят в течение первых недель. Возврат оплаты не всегда проходит гладко, можно найти кучу историй. Конечно, и онлайн-школы тоже добавляют хайпа, ведь они на этом зарабатывают, расширяют воронку продажи, и это тоже нормально (хотя каждый по-своему трактует "норму"). Таким образом у многих из тех, кто собирается врываться, изначально сформированы некорректные ожидания. Ну а что получается в итоге с такими ожиданиями, нам понятно. Путь и IT должен быть осознанным, когда ты можешь развернуто ответить на вопрос "Почему", не используя ответы выше. Тебе это должно быть нужно, или хотя бы близко и интересно. И быть готовым, что: - учиться не очень просто (особенно тем, что давно не учился), есть тяжелые темы, и далеко не всегда это интересно (мало секусального в матанализе, хотя...) - через 6 месяцев совершенно не факт, что будешь джуном, а скорее стажером (что, кстати, уже неплохо) - на HH вакансий, может, и много, но для начинающих специалистов их мало, и стажировок тоже (особенно сейчас) - чтобы получать обещанные на лендинге специальности 120 - 150 к, придется много месяцев трудиться, а на старте, возможно, придется работать за сильно небольшие суммы - и все же лучше найти работу за небольшую зп, чем не найти вовсе - путешествия по миру возможны при соответствующей зп, а сайчас присовокупились и другие проблемы - гарантированное трудоустройство становится не таким уж и гарантированным после прочтения "мелкого шрифта" и пунктов выше В общем, чтобы стать аналитиком, придется много учиться (примерно постоянно) и работать, но, если все сложится, результаты вполне могут порадовать. #образование

Возвращаемся к проблематике образования аналитике на онлайн-курсах. По многим причинам тема образования мне близка. Попробую пройти полный путь, чтобы оценить, где кроются проблемы и как их решать, чтобы выпускник курсов нашел себе работу. Все это - исключительно моя точка зрения, на истину не претендую. Исхожу их собственно опыта и общения с коллегами. Итак, начнем с самого верха - как и почему мы идем учиться. Основные причины: - освоение новой профессии - уровень предварительной подготовки часто будет низким, в зависимости от близости предыдущей сферы (или ее отсутствия) - структурировать имеющие знания и/или повысить свой уровень - тут мы уже что-то умеем - компания отправила учиться - тут тоже мы уже что-то знаем и умеем, и наше руководство ожидает получать от нас больше - у другое Прежде всего будем говорить про тех, кто только начинает свой путь в аналитике. Продолжим в ближайшее время... #образование

Оконные функции — один из самых полезных инструментов в арсенале аналитика. Но практика показывает, что именно с их изучением возникает больше всего проблем. Сегодня мы разберёмся, как применять оконные функции для решения различных задач в PostgreSQL и Pandas. А чтобы ещё глубже погрузиться в работу с SQL, присоединяйтесь к нашему бесплатному симулятору.

Оконки - наше все!

А зачем нам нужен чек-лист для проведения эксперимента? Сейчас пытаюсь посчитать результаты одного эксперимента. Все никак не сходится: - деление трафика 95/5 - целевая метрика не была выбрана до запуска - продолжительность не определена заранее - критерии вердикта, соответственно, также не определены - и др. Кажется, собрал минус флеш-рояль. После наших дорогих праздников будем встречаться, разговаривать о том, что такое не может повториться и до запуска продакт-менеджеры обязательно должны обсуждать это все с аналитиком. И снова вспомнил про чек-лист (про него, видимо, также поговорим), повторно сюда прикладываю - ссылка

Статьи про приоритезацию задач в работе аналитика (на несколько минут забудем про продактов и прочих заказчиков и подумаем - а как правильно-то): Часть 1 Часть 2

Идем к продуктовым метрикам. Итак, какой у вас LTV? Очень простой вопрос, на который трудно дать простой ответ. Знание LTV часто встречается в требованиях к менеджерам продукта, к продуктовым аналитикам. Но вот знать и уметь, все же, не одно и то же. Если мы быстренько погуглим, то найдем следующую формулу расчета: ARPU * LT, где: - ARPU (Average Revenue Per Users) — средняя сумма дохода на одного пользователя за определенный период (неделя, месяц, квартал). - LT (Live Time) — время “жизни” клиента. Можно найти и другие методы, и большинство из них крутятся вокруг этих величин. Тут и кроется проблема. Есть клиенты, которые платят уже 5 лет, а есть те, кто только что сделал первый платеж. Но, вот, пять лет назад у нас были другие тарифы, другие скидки и спецпредложения. Ну и старые пользователи с нами 60 месяцев, а новые меньше одного. И как же нам посчитать, сколько у нас платит клиент в среднем за один период (в нашем случае месяц) и сколько месяцев он живет. Получаем, что: - Всегда будем рассчитывать “среднюю температуру по больнице” — в одну кучу сгребем всех пользователей и усредним. Странно, ведь обычно твердим, что хорошо, когда пользователи сегментированы, гомогенны. - Посчитанная величина будет “на сейчас”, а через месяц она может быть больше или меньше. - На изменение LTV во времени будут влиять промокампании, реактивации, раздача триалов, скидки, черные пятницы, рост стоимости подписки и прочие факторы. Поэтому наши LTV 3000 р. сейчас будет значить немного не то, что раньше. Т.е. LTV не может быть высечен в граните. Итого — формула ARPU * LT более-менее работает на “мертвом” продукте, у которого уже нет ни новых пользователей, ни новых денег. Тут понятен и ARPU, и LT, все легко посчитать без ошибок. А если продукт живой, развивающийся, то будут проблемы... Как же можно считать LTV, чтобы с ним можно было нормально работать. Считать LTV по когортам первой оплаты — по неделям, месяцам, кварталам — как посчитаем нужным. По формуле — Revenue/U (всю сумму дохода пользователей когорты делим на количество пользователей когорты, тут не привязываемся к чистой или не чистой прибыли). Таким образом нивелируем проблему “старости” наших клиентов — LTV старых клиентов будет рассчитан отдельно от новых - у каждой когорты будет свой LTV. Что еще можно посчитать на основе LTV: - Средний LTV накопительно (берем весь доход на данный месяц и делим его на количество всех пользователей), пересчитываем на каждый месяц, смотрим с в динамике. - Средний скользящий LTV - делаем то же самое, но каждый раз за несколько последних периодов, например, 6 месяцев, и также смотрим в динамике.

Команда отдела аналитики VK задумалась над системным решением проблемы рассеивания внимания при контроле за показателями метрик и… придумала оптимальное решение. В своей статье на Хабре они рассказали, как автоматизировали оповещения о падении продуктовых метрик (чтобы сразу оценивать масштаб проблемы в деньгах), и что это дало продукту. О том, как они пришли к этому подходу, что имеют сейчас, а также о настройке интерфейса, почтовых оповещений, эффективности и общих итогах читайте тут.

Сегодня почти по-новогоднему - про пирамиду метрик. Потому что пирамида похожа на елку, так-то. Пирамида метрик - очень интересный фреймворк. Пусть и не всегда и не всем продуктам подходит, польза несомненна. Самое ценное для меня - помогает выстроить структуру взаимозависимостей и понять, а что мы должны делать, чтобы получить то или это. И немного ссылок по теме. Неожиданно, но не все из них на материалы Елены Серегиной (последние две ссылки): - https://www.youtube.com/watch?v=7wTO1GonUj4 - видео Пирамида метрик в 4х словах - https://medium.com/@elenest/%D0%B8%D0%B5%D1%80%D0%B0%D1%80%D1%85%D0%B8%D1%8F-%D0%BC%D0%B5%D1%82%D1%80%D0%B8%D0%BA-vs-%D0%BF%D0%B8%D1%80%D0%B0%D0%BC%D0%B8%D0%B4%D0%B0-%D0%BC%D0%B5%D1%82%D1%80%D0%B8%D0%BA-8eeda61fdefe - статья Иерархия метрик VS Пирамида метрик - https://www.youtube.com/watch?v=d5lV2KXVPfU - видео Фреймворк Пирамида метрик: чем он может вам помочь, даже если метрики не ваш конек - https://www.youtube.com/watch?v=qIJECUgtfks - видео Еще одна Пирамида метрик - как навести порядок в числах и бэклоге. Analytics Day - https://medium.com/@elenest/metrics-frameworks-d7c800f91246 - статья Если Пирамида метрик too much. Делаем проще - https://medium.com/@elenest/%D0%BF%D0%B8%D1%80%D0%B0%D0%BC%D0%B8%D0%B4%D0%B0-%D0%BC%D0%B5%D1%82%D1%80%D0%B8%D0%BA-2e18c657b305 - статья Пирамида метрик - https://www.youtube.com/watch?v=rhOS-K5p8F0 - видео Пирамида метрик: как построить и найти NSM вашего продукта - https://www.youtube.com/watch?v=v3HpOGsiVPY - видео Пирамида метрик прибыльного менеджмента. Первый уровень анализа - https://deniskatkov.ru/piramida-metrik-podhod-s-pomoshhyu-kotorogo-vybirayut-pravilnye-metriki-i-opredelyayut-zavisimosti-mezhdu-nimi/ - статья Пирамида метрик – подход, с помощью которого выбирают правильные метрики и определяют зависимости между ними

Онлайн-курс по машинному обучению. Ссылка: https://berza.ru/ii-start-kurs-po-mashinnomu-obucheniyu/

Отличная статья про использование цепей Маркова в футбольной аналитике https://www.sports.ru/tribuna/blogs/footsci/2890716.html

Передаем привет чудо-маркетологам, которые шлют нам 100500 пушей, писем, смс, полагая, что без них мы не справимся.

Ресерчеры и аналитики из Мордакниги установили, что меньшее количество нотификаций в долгосрочке обеспечивает лучшую возвращаемость в продукт. Хотя поначалу продуктовые метрики и просели. И выводят два тезиса: * Результаты эксперимента в короткосроке и долгосроке могут сильно отличаться * Меньше нотификаций, но более качественных полезнее в долгосрочной перспективе. Вроде ясно и очевидно, но представляю сколько моральный и волевых усилий потребовалось для запуска такой инициативы. На масштабах Фейсбука, потеря сессий выливается в гигантские недополученные суммы от показа реклам. Чтобы этот эксперимент провести и защитить использовали данные из опросов и фактического поведения аудитории. Еще один хороший пример как смешивание разных типов данных и методов помогают в сложных бизнес-ситуациях. https://medium.com/@AnalyticsAtMeta/notifications-why-less-is-more-how-facebook-has-been-increasing-both-user-satisfaction-and-app-9463f7325e7d

И еще немного от Сбера. Анонсируют новые устройства, пока не говорят, какие. Видимо, уже в следующем году. И насколько умное, тоже посмотрим. https://sberdevices.ru/soon/

21 декабря прошла четвертая встреча Salute AI Day. Все доклады есть в записи - Выявление дефектов кода с помощью языковых моделей - HaGRID - сбор самого большого датасета для распознавания жестов - Обучить за 60 минут или как построить классификатор текста который и работает хорошо и обучается быстро - Современные техники улучшения retrieval based моделей в NLP - Нужно прокачать NER модель, но как - Мультимодальные вопросно-ответные системы в задаче извлечения информации из документов - DocVQA  

Пересматриваю ММ 2019, неожиданно начал больше понимать, о чем там рассказывают спикеры. Интересное выступление про предиктивную аналитику в BigQuery. https://www.youtube.com/watch?v=HAPbkT9eRWA Допускаю, что не все так легко и быстро, как нам рассказали - придется пройти большой путь разметки, сборки первичных данных и т.д. Но результат может ждать очень интересный. Жаль, что BigQuery сейчас стала менее доступна, чем ранее. Но, полагаю, все то же самое можно воспроизвести и другими, вполне доступнми инструментами.

Уже завтра, 20 декабря, пройдет вебинар Путь дата-аналитика. Проведет его Алексе Колоколов, человек, который знает, что такое дата-аналитика, в отличие от тех, кто обещает по 300к/сек через полгода Страничка - https://alexkolokolov.com/ru/data-analyst-webinar