Давай посчитаем / Ваня Касторнов

Ухудшающие тесты Большие идеи, такие как развитие рекомендательных систем или увеличение скорости работы приложения штуки не из дешевых. На их реализацию требуется много сил и времени, но самое неприятное что потенциальный результат почти всегда неочевиден. У большинства из нас стоит задача развивать уже существующие продукты, в которых реализовано много фичей. Скорее когда вы приходили в компанию, то эти фичи уже были в продукте и мало вероятно, что перед релизом на всю для них делали качественные аб тесты. Если это ваш случай и к вам приходят с гипотезами развития фичей. То сперва убедитесь, что они сами по себе дают эффект, прежде чем начинать разработку улучшения. Сперва будет страшно, все будут говорить, что вы испортите опыт пользователей, увеличите отток, получите негативному фидбеку и все это плохо повлияет на бренд.Но на деле, уверен, вы удивитесь, как часто такие эксперименты не окажут никакого значимого влияния на продукт, что клевый инсайт. Даже если вы получите негативный фидбек, то это хорошо! Узнаете к какому функционалу наиболее чувствительны ваши пользователи и как это сказывается на ключевых метриках. В результате можно повысить в разы вероятность правильного распределения ресурсов для разработки. Ухудшающие эксперименты — один из способов снизить уровень неизвестности с помощью предварительной оценки потенциала того, насколько сильно определенная составляющая продукта влияет на его ключевые метрики. Мы не перестаем получать узнавать, что удаление каких-то фичей, никак не сказывается на ключевых метриках, а напротив, иногда увеличивает их. Сейчас отключили рекомендационный алгоритм чтобы получить результаты для более точной оценки новых гипотез, о котором постараюсь рассказать!

Как будем расчитывать потенциальный эффект? Когда-то давно внедрили персонализированный алгоритм выдачи спортивных событий. АБ тест при релизе сделать не получилось из-за прошлой архитектуры, вместо него сделали сравнение между платформами, добавили в приложениях, а в вебе нет (diff in diff). Все говорят, что нужно дальше развивать персонализацию.

Product/market fit Кривая Retention выражает насколько хорошо продукт создает ценность для пользователей. В то же время, форма кривой Retention — один из ключевых факторов, определяющих потенциал роста продукта. Чем лучше Retention продукта, тем больший эффект оказывает каждый новый пользователь на его рост. Гуру роста в Facebook Алекс Шульц сказал так (очень советую посмотреть лекцию): – "Посмотрите на кривую месячного Retention вашего продукта. Если кривая Retention выходит на плато, то есть становится параллельной оси X, у продукта есть product/market fit для определенного сегмента рынка" Этот критерий прекрасно работает для Facebook, так как компания фокусируется на создании продуктов вокруг регулярно возникающих в жизни людей задач. В идеальном сценарии Retention выходит на плато, и тогда каждая новая когорта превращается в регулярную аудиторию. Но не все продукты могут достигнуть плато в Retention и это нормально. Некоторые продукты решают нерегулярные задачи в жизни людей. Например, кривая Retention лидирующих мессенджеров находится на значительно более высоком уровне, чем кривая Retention сервисов такси. Помимо такси, есть сервисы которые решают нерегулярные задачи для пользователя и успешно делают это за конечный срок. Падение Retention до нуля для них объяснимо и ожидаемо. Получается, что плато в Retention не всегда залог успеха. Для анализа product/market fit я бы предложил следующий алгоритм: Вы можете понять, достигнут ли product/market fit: – Если у продукта есть плато в Retention, то у него есть product/market fit; – Если у продукта нет плато в Retention, то для проверки наличия у него product/market fit необходимо сравнить форму кривой его Retention с формой кривой Retention лидирующих продуктов, решающих схожую задачу: * Если у лидирующих продуктов есть плато в Retention, а у вашего продукта нет, то продукт не достиг product/market fit; * Если у лидирующих продуктов нет плато в Retention и форма кривой соответствует кривой Retention вашего продукта, то продукт достиг product/market fit Многие думают, что достижение product/market fit — это что-то вроде включения выключателя: либо есть, либо нет. На самом деле это не совсем так. Он может быть слабым, а может быть сильным. Чем он сильнее, тем легче добиваться роста.