No Data No Growth | Pavel Bukhtik
О карьерном росте при работе с данными и развитии аналитической культуры в компаниях. Менторю специалистов и руководителей продуктовых компаний. Для связи: @pbukhtik
Більше8 303
Підписники
+1 16024 години
+1 8537 днів
+2 47530 днів
- Підписники
- Перегляди допису
- ER - коефіцієнт залучення
Триває завантаження даних...
Приріст підписників
Триває завантаження даних...
Как легко выбрать North Star Metric’у для продукта?
North Star Metric (NSM) – это ключевой показатель, который компания выбирает для измерения успешности и роста. Он должен отражать долгосрочную ценность продукта для пользователей и быть тесно связан с конечными целями бизнеса, такими как увеличение выручки или улучшение удержания клиентов.
На практике, я часто вижу, что NSM выбирается или воспринимается не совсем верно – в качестве него берут выручку, GMV, какое-нибудь среднее время на пользователя и т. д.
Но чтобы быть полезной, NSM должна соответсвовать следующим свойствам:
🔹 Это одна метрика – не две и не тем более не больше
🔹 Она отражает ценность продукта именно для пользователей, а не интересы бизнеса
🔹 Позволяет количественно отслеживать прогресс достижения стратегической цели
🔹 Простая в восприятии и расчете
Чтобы было проще предложить для продукта хороший NSM, я обычно пользуюсь следующим лайфхаком. Все продукты можно разделить на 3 вида в зависимости от их направленности. Это продукты, направленные на:
🔸 Внимание (Attention) – т. е. если пользователь пользуется длительное время и возвращается, значит приносит ценность;
🔸 Транзакционность (Transaction) – помогают найти нужное как можно быстрее;
🔸 Продуктивность (Productivity) – помогают пользователям повышать эффективность в конкретных задачах.
Если определить направленность компании, то метрика её ценности для пользователей напрашивается практически сама.
Например:
🔹 Кинопоиск – про внимание. Если он проводит время за сервисом, значит сервис приносит ему ценность. Хорошая NSM – общее время просмотров.
🔹 Yandex Taxi – про транзакционность. Заказывает такси – значит ценно. NSM – общее количество поездок.
🔹 Fitbit (фитнес-браслеты) – про продуктивность. Надевает браслет каждый день и носит – значит полезно. NSM – общее количество шагов.
Отдельно хочу отметить, что NSM не стоит нормировать на пользователя. Это должен быть (в идеале) постоянно растущий график. Например, для NSM Кинопоиска, метрика в виде общего времени просмотра будет расти как благодаря количеству активных пользователей (DAU), так и их вовлеченности (сколько в день в среднем потребляют контента пользователи).
А теперь попробуйте сами. Какую NSM вы бы предложили для: 1) YouTube? 2) Помидоро? 3) Tinder? 4) Google Drive? 5) Yandex Music? 6) Ozon?
🔥 14💅 4❤ 3👍 1
Уже на следующей неделе стартует мой курс по А/Б тестированию и проверке гипотез
А это значит, что осталось два дня, чтобы принять финальное решение и начать выводить свой навык А/Б тестирования на качественно новый уровень. Принять участие вы можете как самостоятельно, так и с компенсацией от работодателя.
Я составлял эту программу так, чтобы после прохождения занятий, у меня, как у нанимающего менеджера, не было вопросов к вашим знаниям по А/Б. Чтобы я точно понимал, что вы отлично умеете проводить А/Б эксперименты на практике, и я готов вас нанимать или рекомендовать к найму коллегам.
Этот курс – это:
🔹 24 направленных на практику онлайн занятий в live-формате в Zoom.
🔹 12 из 24 занятий – теоретические. На картинах выше их номера отмечены зеленым цветом. На этих занятиях я даю конкретные пошаговые гайды и how-to. Всю теорию подкрепляю примерами из реальной практики. Занятия проходят в вечернее время. Записи – будут.
🔹 12 комплектов дополнительных материалов в виде чеклистов, шаблонов, статей, видео и книг для более углубленного погружения в каждую из рассмотренных на занятиях тем.
🔹 12 индивидуальных домашних заданий с последующей детальной обратной связью по их выполнению.
🔹12 из 24 занятий – практические. На картинке – отмечены синим. Будут проходить в группах ~ по 10 человек, чтобы уделить внимание каждому. Можно выбрать дневную или вечернюю группу. На них мы в интерактивном live-формате разбираем типовые ситуации и задачи, закрепляем теорию на практике.
🔹 Комьюнити единомышленников с возможностями для нетворкинга. На занятиях и в чате потока, участники обмениваются знаниями и опытом, материалами, вакансиями, а также спецификой работы в компаниях.
В этой программе я отразил свой накопленный опыт выстраивания культуры и инфраструктуры А/Б, консалтинга, проведения сотен экспериментов, их ускорения, автоматизации и многого другого.
Следующий поток будет в конце года или начале следующего. Поэтому если готов получать и систематизировать свои знания уже со следующей недели – пиши мне.
🔥 15💅 6❤ 4
Призи розіграшу10 підписок Telegram Premium на 3 місяців
Усі підписники каналів:![No Data No Growth | Pavel Bukhtik](https://img.telemetr.io/c/1NXPrR/5348395668902888491?ty=x)
8.3k
~4.0k
47.58%
Дата завершення
🔥 41❤ 7🥰 5
Фото недоступнеДивитись в Telegram
Пришло время подводить итоги конкурса на лучший анализ А/Б эксперимента
В рамках конкурса участникам было предложено решить 2-ое задание этого тестового из моего сборника:
И перейдем сразу к статистике:
🔸 Всего на конкурс откликнулось 71 человек – спасибо вам за проявленный интерес ❤️🔥
🔸 Из них 23 человека прислали свои решения – спасибо вам за вашу усидчивость 🚀
🔸 5 решений были близки к корректным 🧨
🔸 Из них я выделил 3 финалиста, между которыми долго выбирал, кому отдать главный приз 🤔
Но, в конечном итоге, я выделил 1 победителя и 10 призеров 🎉
Каждый, кто прислал своё решение, получил по нему от меня развивающую обратную связь. Так что проверяйте свои личные сообщения.
Призы будут доставлены в течение сегодняшнего дня 🎁
Картинка поста очень хорошо отражает ключевой нюанс задания. Он заключался в том, что CTR – это ratio-метрика, она же метрика отношения. А значит, расчет размера выборки и проверка стат. значимости должна была выполняться с учетом этого момента. В частности, к CTR метрикам нельзя просто применить t-test или привести метрику к средней пользовательской – нужно использовать либо дельта-метод, либо бутстреп, либо линеризацию. Этот нюанс, конечно, не единственный в задании, но большая часть ошибок была именно в этом.
Еще раз спасибо всем, кто проявил интерес и принял участие в конкурсе!
А если хотите подобных конкурсов почаще на канале, то поддержите пост огоньком 🔥
🔥 78❤ 7🥰 4
Как работодатель экономит на зарплатах с помощью «плюшек»
«Мы оплачиваем обучение!» – а потом пройди нудные и длинные согласования, чтобы тебе оплатили нужный для работы и карьерного роста курс.
«Мы отправляем на конференции!» – а на деле мы готовы отправить только парочку человек или давайте купим один доступ на всех.
«Компенсируем спорт!» – а оказывается, что только в конкретных залах. А может люди предпочитают другие залы? И тем более зачем эта плюшка тем, кто не ходит в зал?
«Компенсируем изучение английского!» – а по факту, малоэффективные групповые занятия, на которые в итоге никто не ходит, или скидка на Skyeng.
Как итог, это всё очень похоже на принцип работы страховки. В ней все скидываются на спокойствие, что если для кого-то наступит некоторое событие, то ему (хоть и тоже не без боя) всё компенсируют.
Так и здесь. Все по чуть-чуть скидываются кому-то на возможность воспользоваться «плюшкой».
Я понимаю, когда речь идет про организацию рабочего места (в офисе или удаленно), гибридный формат работы, гибкое начало рабочего дня и подобное, что относится ко всем. С этим всё понятно.
Но зачем всем оплачивать кому-то йогу по утрам, компенсацию питания в офисе, возможность релокации или коррекцию зрения?
Компания просто отложит стоимость всех неиспользованных бонусов к себе в карман. Тем самым, наобещав возможностей, которыми большинство и не воспользуется, и прогнув на меньшую зарплату в оффере, сэкономит на зарплате и налогах.
Это я еще не говорю про опционы и нематериальные «бонусы».
Я видел другой мир.
В нем ДМС не зашивается в зарплату. При этом каждому сотруднику предоставляется возможность купить его с компенсацией. И интересный факт: многие не покупали ДМС, т. к. не видели в нем для себя достаточной ценности, даже с учетом солидного дисконта.
Компенсация спорта и обучения происходит просто по чекам. Без обоснований.
А если ты приобретаешь какую-то из плюшек много раз подряд – компания, на практике подтвердив её ценность для тебя, начинает компенсировать её в полном объеме.
Я лично хотел бы иметь возможность самостоятельно распоряжаться своим совокупным доходом в большем количестве компаний. И если уж компания и хочет меня «поддержать», то делала это бОльшим размером зарплаты и через % компенсации, где не нужно отчитываться за каждое приобретение, попадающее в категорию «плюшки».
А в идеале, сделала тоглы в оффере, где ты можешь добавить или убрать релевантные для тебя бонусы.
А ты хотел бы конвертировать не используемые плюшки в прибавку к зарплате? Тогда поставь 💯 этому посту.
💯 145💅 7👍 5❤ 5🔥 3🤔 2
Делюсь записью вчерашнего эфира дизайна А/Б-теста Ozon Fresh
Небольшая предыстория. Я придумал и опубликовал задание на дизайн А/Б теста для подписчиков канала. Так вышло, что в качестве продукта я взял Ozon Fresh.
Через пару дней, я опубликовал свой вариант разбора этого задания.
И я подумал, что было бы классно пообщаться с кем-то из Ozon Fresh и обсудить, насколько наши с подписчиками решения совпадают с практикой.
И вот мы с Артёмом, лидом аналитики Ozon Fresh, собрались и детальнее поразгоняли различные аспекты этого А/Б кейса и сравнили ожидания с реальностью.
Спойлер: ожидания оказались очень близки к реальности. А в некоторых аспектах – даже её превзошли.)
Уверен, что вы найдете для себя интересные мысли про дизайн А/Б-экспериментов в этом видео.
Временные метки к эфиру:
0:00 Предыстория
1:28 Артём о своём опыте в продуктовой аналитике и Ozon Fresh
2:48 Почему выбрал оффер именно в Ozon Fresh?
4:18 Как оцениваешь уровень А/Б в Ozon и во Fresh?
8:19 Используйте ли вы АБшницу?
9:05 Используете ли чеклисты, шаблоны дизайна и проведения А/Б?
10:23 Формулировка кейса
11:30 Что считаете активированным во Fresh пользователем?
16:20 Какие бизнес-аспекты уточнил бы к кейсу?
22:05 Будет ли сетевой эффект? Как часто во Fresh с ним сталкиваетесь?
26:03 Как убеждаетесь, что не будет конфликтов с параллельными А/Б?
29:14 Какие метрики эксперимента бы выбрал?
32:00 Перерыв на технические проблемы
34:42 Продолжение
42:40 На кого бы сегментировал эксперимент?
45:56 Какой механизм раскатки используете?
49:10 Как у вас принято подводить итоги и презентовать результаты?
56:32 Почему в Ozon Fresh классно с точки зрения А/Б?
58:18 На что в А/Б обращаете внимание на собеседованиях?
Тем временем, я постепенно начинаю заниматься полноформатным YouTube. В ближайшее время будут появляться не только записи эфиров, но и отдельно снятые и смонтированные видео.
К сожалению, как оказалось, качество записи отдельных фрагментов стрима в Телеграм оставляет желать лучшего. Поэтому в следующий раз буду использовать альтернативные решения.
А как вам эфир? Какую тему хотели бы рассмотреть в следующий раз?
🔥 48👍 8😁 4
🎙 Через пару минут начинаем дизайнить А/Б-тест вместе с лидом аналитики Ozon Fresh!
Этот пост будет использоваться для комментариев к эфиру.)
❤ 6
00:31
Відео недоступнеДивитись в Telegram
«Пойдемте работать». Знакомая фраза после созвонов?
Когда я был в Яндексе, у меня было очень много созвонов. На многих из них могло быть от 20 человек. Иногда я ловил себя на мысли, что если я не веду встречу или не являюсь на ней ключевым лицом, то либо ем, т. к. снова не оставил себе время на обед, либо отвечаю на сообщения в чатах. А последнее порой отнимало фокус и не давало сосредоточиться.
Знаю, что многих раздражает большое количество созвонов. Особенно когда ты не на менеджерской позиции, у тебя много задач, а ты проводишь 2/3 дня на звонках, которые еще и разбросаны по всему дню.
Недавно слушал выпуск подкаста «Это считается», где ребята обсуждают, какие встречи они пропускают, какие ритуалы между встречами есть, и насколько полезен день без встреч в компаниях. Особенно откликнулись истории ребят, что будучи менеджерами, они делали рабочие задачи на выходных, так как на буднях не хватало времени, а уже пообещал, что сделаешь. И вроде бы задача на 1-2 часа, а в итоге растягивается на неделю.
В общем, если хочется разделить эту боль и узнать немного лайфхаков, как освободить себе немного времени, то рекомендую послушать. Особенно начинающим руководителям.
Если вы еще не знакомы с подкастом, то ребята из Т-Банка обсуждают около айтишные темы, не касающиеся напрямую аналитики. Хотя подтекст аналитики всё же присутствует. Идеальный формат для того, чтобы разгрузить мозг и послушать что-то про софты. Больше о подкасте вы можете узнать из их телеграм канала.
А как вы боритесь с созвонами в своём календаре?
Реклама. АО "Тинькофф Банк", ИНН 7710140679, лицензия ЦБ РФ № 2673. erid:2VtzqwFPnde
promo_eto_schitartsa.mp432.80 MB
🔥 25❤ 7💯 6😁 1💅 1🗿 1
🥇 Объявляю конкурс на лучший анализ А/Б эксперимента!
Вам нужно будет проанализировать, сделать выводы и дать рекомендации по дальнейшим шагам по А/Б эксперименту на реальном датасете из моего сборника тестовых заданий.
Автор лучшего решения получит бесплатный доступ к моему интенсиву по А/Б тестам на тарифе «Оптимальный» (это 49 900 ₽).
А топ-10 решений – получат от меня Телеграм Премиум на 3 месяца.
Бонусом ко всему, каждый, кто пришлет свой вариант решения, получит по нему детальную обратную связь. Поэтому если вам интересна тема А/Б – не упустите возможность попрактиковаться.
По каким критериям буду оценивать:
1️⃣ Корректность анализа;
2️⃣ Полнота предположений и выводов;
3️⃣ Структурированность изложения результатов и рекомендаций.
Для участия нужно написать «Участвую!» мне в личные сообщения. После этого я пришлю вам условие задания и датасет для него.
Задание специально сохранено в оригинальном виде и не поддавалось изменениям. Поэтому там, как и в реальной жизни, может что-то пойти не так. Так что можете свободно делать предположения об этих неточностях.
Последняя дата, когда можно сдать задание на проверку – 8 июля, до 23:59 по мск.
Буду ждать ваши решения. И удачи.)
🔥 25🤡 9❤ 8👍 5😁 1
Фото недоступнеДивитись в Telegram
Давненько у нас не было эфиров…
Помните задачку про дизайн А/Б-эксперимента в Ozon Fresh?
Так вот, на меня все таки вышел тимлид аналитики Ozon Fresh – Артём. И мы встречаемся с ним и с вами в прямом эфире уже в эту среду (3 июля) в 19:00 по мск.
На этом эфире, мы:
- Немного приоткроем завесу, как А/Б эксперименты на самом деле проводятся во Fresh;
- Вместе с вами глубже и детальнее поразгоняем задачку;
- Узнаем, насколько теория из поста-разбора совпала с практикой.
Приходите, будет интересно 🔥🔥🔥
Что: разбор дизайна А/Б-теста Ozon Fresh вместе с лидом аналитики Ozon Fresh
Когда: среда, 3 июля, в 19:00 мск
Где: встречаемся здесь, в телеграм канале No Data No Growth
🔥 90❤ 6😱 2💩 1
Оберіть інший тариф
На вашому тарифі доступна аналітика тільки для 5 каналів. Щоб отримати більше — оберіть інший тариф.