No Data No Growth | Pavel Bukhtik

Как легко выбрать North Star Metric’у для продукта? North Star Metric (NSM) – это ключевой показатель, который компания выбирает для измерения успешности и роста. Он должен отражать долгосрочную ценность продукта для пользователей и быть тесно связан с конечными целями бизнеса, такими как увеличение выручки или улучшение удержания клиентов. На практике, я часто вижу, что NSM выбирается или воспринимается не совсем верно – в качестве него берут выручку, GMV, какое-нибудь среднее время на пользователя и т. д. Но чтобы быть полезной, NSM должна соответсвовать следующим свойствам: 🔹 Это одна метрика – не две и не тем более не больше 🔹 Она отражает ценность продукта именно для пользователей, а не интересы бизнеса 🔹 Позволяет количественно отслеживать прогресс достижения стратегической цели 🔹 Простая в восприятии и расчете Чтобы было проще предложить для продукта хороший NSM, я обычно пользуюсь следующим лайфхаком. Все продукты можно разделить на 3 вида в зависимости от их направленности. Это продукты, направленные на: 🔸 Внимание (Attention) – т. е. если пользователь пользуется длительное время и возвращается, значит приносит ценность; 🔸 Транзакционность (Transaction) – помогают найти нужное как можно быстрее; 🔸 Продуктивность (Productivity) – помогают пользователям повышать эффективность в конкретных задачах. Если определить направленность компании, то метрика её ценности для пользователей напрашивается практически сама. Например: 🔹 Кинопоиск – про внимание. Если он проводит время за сервисом, значит сервис приносит ему ценность. Хорошая NSM – общее время просмотров. 🔹 Yandex Taxi – про транзакционность. Заказывает такси – значит ценно. NSM – общее количество поездок. 🔹 Fitbit (фитнес-браслеты) – про продуктивность. Надевает браслет каждый день и носит – значит полезно. NSM – общее количество шагов. Отдельно хочу отметить, что NSM не стоит нормировать на пользователя. Это должен быть (в идеале) постоянно растущий график. Например, для NSM Кинопоиска, метрика в виде общего времени просмотра будет расти как благодаря количеству активных пользователей (DAU), так и их вовлеченности (сколько в день в среднем потребляют контента пользователи). А теперь попробуйте сами. Какую NSM вы бы предложили для: 1) YouTube? 2) Помидоро? 3) Tinder? 4) Google Drive? 5) Yandex Music? 6) Ozon?

Уже на следующей неделе стартует мой курс по А/Б тестированию и проверке гипотез А это значит, что осталось два дня, чтобы принять финальное решение и начать выводить свой навык А/Б тестирования на качественно новый уровень. Принять участие вы можете как самостоятельно, так и с компенсацией от работодателя. Я составлял эту программу так, чтобы после прохождения занятий, у меня, как у нанимающего менеджера, не было вопросов к вашим знаниям по А/Б. Чтобы я точно понимал, что вы отлично умеете проводить А/Б эксперименты на практике, и я готов вас нанимать или рекомендовать к найму коллегам. Этот курс – это: 🔹 24 направленных на практику онлайн занятий в live-формате в Zoom. 🔹 12 из 24 занятий – теоретические. На картинах выше их номера отмечены зеленым цветом. На этих занятиях я даю конкретные пошаговые гайды и how-to. Всю теорию подкрепляю примерами из реальной практики. Занятия проходят в вечернее время. Записи – будут. 🔹 12 комплектов дополнительных материалов в виде чеклистов, шаблонов, статей, видео и книг для более углубленного погружения в каждую из рассмотренных на занятиях тем. 🔹 12 индивидуальных домашних заданий с последующей детальной обратной связью по их выполнению. 🔹12 из 24 занятий – практические. На картинке – отмечены синим. Будут проходить в группах ~ по 10 человек, чтобы уделить внимание каждому. Можно выбрать дневную или вечернюю группу. На них мы в интерактивном live-формате разбираем типовые ситуации и задачи, закрепляем теорию на практике. 🔹 Комьюнити единомышленников с возможностями для нетворкинга. На занятиях и в чате потока, участники обмениваются знаниями и опытом, материалами, вакансиями, а также спецификой работы в компаниях. В этой программе я отразил свой накопленный опыт выстраивания культуры и инфраструктуры А/Б, консалтинга, проведения сотен экспериментов, их ускорения, автоматизации и многого другого. Следующий поток будет в конце года или начале следующего. Поэтому если готов получать и систематизировать свои знания уже со следующей недели – пиши мне.

Пришло время подводить итоги конкурса на лучший анализ А/Б эксперимента В рамках конкурса участникам было предложено решить 2-ое задание этого тестового из моего сборника: И перейдем сразу к статистике: 🔸 Всего на конкурс откликнулось 71 человек – спасибо вам за проявленный интерес ❤️‍🔥 🔸 Из них 23 человека прислали свои решения – спасибо вам за вашу усидчивость 🚀 🔸 5 решений были близки к корректным 🧨 🔸 Из них я выделил 3 финалиста, между которыми долго выбирал, кому отдать главный приз 🤔 Но, в конечном итоге, я выделил 1 победителя и 10 призеров 🎉 Каждый, кто прислал своё решение, получил по нему от меня развивающую обратную связь. Так что проверяйте свои личные сообщения. Призы будут доставлены в течение сегодняшнего дня 🎁 Картинка поста очень хорошо отражает ключевой нюанс задания. Он заключался в том, что CTR – это ratio-метрика, она же метрика отношения. А значит, расчет размера выборки и проверка стат. значимости должна была выполняться с учетом этого момента. В частности, к CTR метрикам нельзя просто применить t-test или привести метрику к средней пользовательской – нужно использовать либо дельта-метод, либо бутстреп, либо линеризацию. Этот нюанс, конечно, не единственный в задании, но большая часть ошибок была именно в этом. Еще раз спасибо всем, кто проявил интерес и принял участие в конкурсе! А если хотите подобных конкурсов почаще на канале, то поддержите пост огоньком 🔥

Как работодатель экономит на зарплатах с помощью «плюшек» «Мы оплачиваем обучение!» – а потом пройди нудные и длинные согласования, чтобы тебе оплатили нужный для работы и карьерного роста курс. «Мы отправляем на конференции!» – а на деле мы готовы отправить только парочку человек или давайте купим один доступ на всех. «Компенсируем спорт!» – а оказывается, что только в конкретных залах. А может люди предпочитают другие залы? И тем более зачем эта плюшка тем, кто не ходит в зал? «Компенсируем изучение английского!» – а по факту, малоэффективные групповые занятия, на которые в итоге никто не ходит, или скидка на Skyeng. Как итог, это всё очень похоже на принцип работы страховки. В ней все скидываются на спокойствие, что если для кого-то наступит некоторое событие, то ему (хоть и тоже не без боя) всё компенсируют. Так и здесь. Все по чуть-чуть скидываются кому-то на возможность воспользоваться «плюшкой». Я понимаю, когда речь идет про организацию рабочего места (в офисе или удаленно), гибридный формат работы, гибкое начало рабочего дня и подобное, что относится ко всем. С этим всё понятно. Но зачем всем оплачивать кому-то йогу по утрам, компенсацию питания в офисе, возможность релокации или коррекцию зрения? Компания просто отложит стоимость всех неиспользованных бонусов к себе в карман. Тем самым, наобещав возможностей, которыми большинство и не воспользуется, и прогнув на меньшую зарплату в оффере, сэкономит на зарплате и налогах. Это я еще не говорю про опционы и нематериальные «бонусы». Я видел другой мир. В нем ДМС не зашивается в зарплату. При этом каждому сотруднику предоставляется возможность купить его с компенсацией. И интересный факт: многие не покупали ДМС, т. к. не видели в нем для себя достаточной ценности, даже с учетом солидного дисконта. Компенсация спорта и обучения происходит просто по чекам. Без обоснований. А если ты приобретаешь какую-то из плюшек много раз подряд – компания, на практике подтвердив её ценность для тебя, начинает компенсировать её в полном объеме. Я лично хотел бы иметь возможность самостоятельно распоряжаться своим совокупным доходом в большем количестве компаний. И если уж компания и хочет меня «поддержать», то делала это бОльшим размером зарплаты и через % компенсации, где не нужно отчитываться за каждое приобретение, попадающее в категорию «плюшки». А в идеале, сделала тоглы в оффере, где ты можешь добавить или убрать релевантные для тебя бонусы. А ты хотел бы конвертировать не используемые плюшки в прибавку к зарплате? Тогда поставь 💯 этому посту.

Делюсь записью вчерашнего эфира дизайна А/Б-теста Ozon Fresh Небольшая предыстория. Я придумал и опубликовал задание на дизайн А/Б теста для подписчиков канала. Так вышло, что в качестве продукта я взял Ozon Fresh. Через пару дней, я опубликовал свой вариант разбора этого задания. И я подумал, что было бы классно пообщаться с кем-то из Ozon Fresh и обсудить, насколько наши с подписчиками решения совпадают с практикой. И вот мы с Артёмом, лидом аналитики Ozon Fresh, собрались и детальнее поразгоняли различные аспекты этого А/Б кейса и сравнили ожидания с реальностью. Спойлер: ожидания оказались очень близки к реальности. А в некоторых аспектах – даже её превзошли.) Уверен, что вы найдете для себя интересные мысли про дизайн А/Б-экспериментов в этом видео. Временные метки к эфиру: 0:00 Предыстория 1:28 Артём о своём опыте в продуктовой аналитике и Ozon Fresh 2:48 Почему выбрал оффер именно в Ozon Fresh? 4:18 Как оцениваешь уровень А/Б в Ozon и во Fresh? 8:19 Используйте ли вы АБшницу? 9:05 Используете ли чеклисты, шаблоны дизайна и проведения А/Б? 10:23 Формулировка кейса 11:30 Что считаете активированным во Fresh пользователем? 16:20 Какие бизнес-аспекты уточнил бы к кейсу? 22:05 Будет ли сетевой эффект? Как часто во Fresh с ним сталкиваетесь? 26:03 Как убеждаетесь, что не будет конфликтов с параллельными А/Б? 29:14 Какие метрики эксперимента бы выбрал? 32:00 Перерыв на технические проблемы 34:42 Продолжение 42:40 На кого бы сегментировал эксперимент? 45:56 Какой механизм раскатки используете? 49:10 Как у вас принято подводить итоги и презентовать результаты? 56:32 Почему в Ozon Fresh классно с точки зрения А/Б? 58:18 На что в А/Б обращаете внимание на собеседованиях? Тем временем, я постепенно начинаю заниматься полноформатным YouTube. В ближайшее время будут появляться не только записи эфиров, но и отдельно снятые и смонтированные видео. К сожалению, как оказалось, качество записи отдельных фрагментов стрима в Телеграм оставляет желать лучшего. Поэтому в следующий раз буду использовать альтернативные решения. А как вам эфир? Какую тему хотели бы рассмотреть в следующий раз?

🎙 Через пару минут начинаем дизайнить А/Б-тест вместе с лидом аналитики Ozon Fresh! Этот пост будет использоваться для комментариев к эфиру.)

«Пойдемте работать». Знакомая фраза после созвонов? Когда я был в Яндексе, у меня было очень много созвонов. На многих из них могло быть от 20 человек. Иногда я ловил себя на мысли, что если я не веду встречу или не являюсь на ней ключевым лицом, то либо ем, т. к. снова не оставил себе время на обед, либо отвечаю на сообщения в чатах. А последнее порой отнимало фокус и не давало сосредоточиться. Знаю, что многих раздражает большое количество созвонов. Особенно когда ты не на менеджерской позиции, у тебя много задач, а ты проводишь 2/3 дня на звонках, которые еще и разбросаны по всему дню. Недавно слушал выпуск подкаста «Это считается», где ребята обсуждают, какие встречи они пропускают, какие ритуалы между встречами есть, и насколько полезен день без встреч в компаниях. Особенно откликнулись истории ребят, что будучи менеджерами, они делали рабочие задачи на выходных, так как на буднях не хватало времени, а уже пообещал, что сделаешь. И вроде бы задача на 1-2 часа, а в итоге растягивается на неделю. В общем, если хочется разделить эту боль и узнать немного лайфхаков, как освободить себе немного времени, то рекомендую послушать. Особенно начинающим руководителям. Если вы еще не знакомы с подкастом, то ребята из Т-Банка обсуждают около айтишные темы, не касающиеся напрямую аналитики. Хотя подтекст аналитики всё же присутствует. Идеальный формат для того, чтобы разгрузить мозг и послушать что-то про софты. Больше о подкасте вы можете узнать из их телеграм канала. А как вы боритесь с созвонами в своём календаре? Реклама. АО "Тинькофф Банк", ИНН 7710140679, лицензия ЦБ РФ № 2673. erid:2VtzqwFPnde

🥇 Объявляю конкурс на лучший анализ А/Б эксперимента! Вам нужно будет проанализировать, сделать выводы и дать рекомендации по дальнейшим шагам по А/Б эксперименту на реальном датасете из моего сборника тестовых заданий. Автор лучшего решения получит бесплатный доступ к моему интенсиву по А/Б тестам на тарифе «Оптимальный» (это 49 900 ₽). А топ-10 решений – получат от меня Телеграм Премиум на 3 месяца. Бонусом ко всему, каждый, кто пришлет свой вариант решения, получит по нему детальную обратную связь. Поэтому если вам интересна тема А/Б – не упустите возможность попрактиковаться. По каким критериям буду оценивать: 1️⃣ Корректность анализа; 2️⃣ Полнота предположений и выводов; 3️⃣ Структурированность изложения результатов и рекомендаций. Для участия нужно написать «Участвую!» мне в личные сообщения. После этого я пришлю вам условие задания и датасет для него. Задание специально сохранено в оригинальном виде и не поддавалось изменениям. Поэтому там, как и в реальной жизни, может что-то пойти не так. Так что можете свободно делать предположения об этих неточностях. Последняя дата, когда можно сдать задание на проверку – 8 июля, до 23:59 по мск. Буду ждать ваши решения. И удачи.)

Давненько у нас не было эфиров… Помните задачку про дизайн А/Б-эксперимента в Ozon Fresh? Так вот, на меня все таки вышел тимлид аналитики Ozon Fresh – Артём. И мы встречаемся с ним и с вами в прямом эфире уже в эту среду (3 июля) в 19:00 по мск. На этом эфире, мы: - Немного приоткроем завесу, как А/Б эксперименты на самом деле проводятся во Fresh; - Вместе с вами глубже и детальнее поразгоняем задачку; - Узнаем, насколько теория из поста-разбора совпала с практикой. Приходите, будет интересно 🔥🔥🔥 Что: разбор дизайна А/Б-теста Ozon Fresh вместе с лидом аналитики Ozon Fresh Когда: среда, 3 июля, в 19:00 мск Где: встречаемся здесь, в телеграм канале No Data No Growth