Рома Филев про А/Б, продукт и etc

H₃ - гипотеза третья Обсуждали сегодня какие есть способы помочь сразу большому числу команд лучше работать над экспериментами: меньше допускать ошибок при проработке, верно обсчитывать результаты, честно считать совокупный эффект от фич за квартал. И если со вторым все довольно понятно: пилишь общую тулу, которая как волшебная коробочка все считает, то вот как быть с первым и третьим? Для третьего есть Вечный Контроль, довольно понятный механизм с очень эпичным названием. Кстати напишите - знаете ли вы что это или как вы думаете что это такое. А что там с проработкой? А вот с первым все интереснее: казалось бы много есть уже гайдов и чего тут не учесть, но не все так просто, дьявол он в деталях. При дизайне эксперимента есть много мест, где можно оступиться, а как мы знаем из поста выше, Сунь Цзы такое не прощает. Можно же сделать шаблон? Даже самый подробный шаблон можно неверно использовать, даже в самом удобном калькуляторе можно посчитать размер выборки не для всех метрик на которые влияет эксперимент. Да в порыве страсти к исследованию можно даже забыть: а для каждого ли исхода эксперимента вы поняли: что же будете делать то? Так чего будем делать то? В общем тут на помощь можно призвать их - шаристых ребят, прошедших огнь, воду и приложивших те самые статы к продукту овер 1000 раз. Мы решили запустить "прожарки" экспериментов, чтобы можно было прийти и в комфортной среде получить фидбек и совет еще до запуска. Да, не всем комфортно приходить, но я верю, что именно такие штуки драйвят культуру внутри и помогают максимально быстро расти. Так что я всем рекомендую у себя попробовать, дело не такое уж и хитрое: 1. Соберите простой и понятный чеклист для подготовки эксперимента командой опытных ребят 2. Пригласите народ на такую прожарку, после того, как они этот чеклист пройдут 3. Помогите им понять где они что-то не так поняли/не учли или не так применили требования (да, может показаться, что это легко, но это нифига не так) Можете составить подобный лист у себя и пройтись по экспериментам, уверен - заметите, что не всегда хорошо готовились и могли или даже потеряли время и денежки В общем - делитесь опытом и будем вам счастья, с вас 5 тыщ Поделитесь у кого есть похожие практики и вообще какие практики по улучшению качества экспов вы у себя применяете

H₂ - гипотеза вторая Сунь Цзы говорил "Shit in -> shit out". Так что не тестируйте херню. Ведь действительно: если мы не особо внимательно относимся к гипотезам, которые мы проверяем, то не надо и на хороший результат надеяться. Так что я хочу поговорить о том как же стоит с гипотезами работать еще до эксперимента, а именно их формулировать и приоритизировать. Что такое гипотеза в контексте А/Б-тестирования? Обычно под этим понимают само проверяемое предположение: "если мы сделаем <описание изменений> для <сегмент пользователей>, то <метрика> увеличится на <Х>%" Да, в контексте статов H₀ - что значимой разницы между группами нет, а H₁ - что значимые изменения есть Так вот, до контекста статов хочется продуктовые вопросики порешать, а именно правильно формулировать предположение. Шаблон для него я написал выше, а теперь давайте поймем почему в нем важна каждая деталь: 1. Без четкого описания изменений вы потом не оцените ни приоритет, ни поймете вообще реально ли это сделать и делали ли что-то похожее раньше вы или кто-то на рынке 2. Без сегмента пользователей вы не поймете ни сколько будет длиться будущий эксперимент, ни прикинуть а как они могут отреагировать на эти изменения 3. Без понимания метрик на которые будете смотреть вы даже результаты не подведете, да и зачем что-то проверять, если не понимаешь что хочешь изменить) 4. А вот без предполагаемой разницы все запускаться любят больше всего, а некоторые на добивку берут еще и подглядывают с последующей быстрой остановкой Не надо так, надо вот как в шаблоне и все аккуратно посчитать и для себя понять. Как это делать разберем в другом посте, а теперь еще один общий момент - приоритизация. Подумайте над максимально объективным способом приоритизации гипотез, например data informed ICE. Да даже обычные ICE, RICE уже будут лучше, чем чуйка. Потому что Брюс Ли говорил: "Я не боюсь того, кто проверил 10000 гипотез, а боюсь того, кто проверил 1 гипотезу 10000 раз. Ведь он слил весь бюджет" Не хворайте и простите, что так долго рожал пост 🥰

H₁ - гипотеза первая Во время собесов с кандидатами часто касаемся А/Б тестирования, на очередном собесе понял, что проблема подглядывания - не баян, а классика и встречается в ответе чуть ли не каждого второго. Что такое проблема подглядывания? Это когда ты каждый день закидываешь данные эксперимента в калькулятор и как только видишь статзначимую разницу - радостно катишь на прод, не дожидаясь пока выборка достигнет того размера, который был заложен при дизайне эксперимента. Почему подглядывать - плохо? Да потому что все может еще сто раз поменяться: статзначимая разница пропасть, а потом снова появиться... или нет ) Именно поэтому важно заранее посчитать требуемый размер выборки с учетом ожидаемых изменений и дождаться окончания эксперимента. Почитать подробнее можно у дядюшки Эвана Миллера Что делать? Честно считать размер выборки при дизайне эксперимента и не подглядывать) Конечно, следить за протеканием эксперимента важно, все может резко пойти не так: ваш тест наложится на чей-то релиз и фичи поломаются друг об друга или промокоды, которые вы раздаете перестанут работать Есть, конечно, и более математичное решение: методы, которые устойчивы к подглядыванию или не так сильно от него страдают: 1) Последовательный анализ 2) Байесовские методы Но о них мы поговорим, как-нибудь потом) Напишите в комментах насколько было интересно/понятно/актуально/глубоко, о чем еще хочется послушать и вообще любую обратную связь. Я постарался не вдаваться в детали, но оставил ссылку для большего погружения Всем пис ✌🏽

H₀ - гипотеза нулевая Всем привет! Меня зовут Рома Филев, я выступаю со стендапом на открытых микрофонах, регатах, днях рождения и снимаю обзоры на пиво, а в свободное от этого время я продакт А/Б платформы в Тиньке и развиваю в нем культуру этого самого А/Б тестирования. Давно хотел запустить канал, где буду делиться опытом, идеями и практическими советами по продуктовому менеджменту, A/B-тестированию и еще чем покажется интересным Зачем я завел этот канал? Во-первых, я люблю обсуждать продукты, эксперименты и все что с этим связано, а окружающим, кажется, нравится в этом участвовать Во-вторых, я часто получаю вопросы от коллег, друзей и знакомых о том, где можно почитать про A/B-тестирование и какие есть лучшие практики. Я хочу собрать все эти знания в одном месте и сделать его доступным для всех, насколько смогу) Наконец, время от времени я замечаю некоторые косяки в проверке гипотез и хочется на таких примерах разбирать и делиться своими идеями как можно было бы сделать лучше Надеюсь мы тут будем все это активно обсуждать в комментариях и получится клево Завтра дропну первый пост про то во что иногда упираются малые бизнесы и почему ребятам из индустрии такие проблемы кажутся странными