Рома Филев про А/Б, продукт и etc

H₃ - гипотеза третья Обсуждали сегодня какие есть способы помочь сразу большому числу команд лучше работать над экспериментами: меньше допускать ошибок при проработке, верно обсчитывать результаты, честно считать совокупный эффект от фич за квартал. И если со вторым все довольно понятно: пилишь общую тулу, которая как волшебная коробочка все считает, то вот как быть с первым и третьим? Для третьего есть Вечный Контроль, довольно понятный механизм с очень эпичным названием. Кстати напишите - знаете ли вы что это или как вы думаете что это такое. А что там с проработкой? А вот с первым все интереснее: казалось бы много есть уже гайдов и чего тут не учесть, но не все так просто, дьявол он в деталях. При дизайне эксперимента есть много мест, где можно оступиться, а как мы знаем из поста выше, Сунь Цзы такое не прощает. Можно же сделать шаблон? Даже самый подробный шаблон можно неверно использовать, даже в самом удобном калькуляторе можно посчитать размер выборки не для всех метрик на которые влияет эксперимент. Да в порыве страсти к исследованию можно даже забыть: а для каждого ли исхода эксперимента вы поняли: что же будете делать то? Так чего будем делать то? В общем тут на помощь можно призвать их - шаристых ребят, прошедших огнь, воду и приложивших те самые статы к продукту овер 1000 раз. Мы решили запустить "прожарки" экспериментов, чтобы можно было прийти и в комфортной среде получить фидбек и совет еще до запуска. Да, не всем комфортно приходить, но я верю, что именно такие штуки драйвят культуру внутри и помогают максимально быстро расти. Так что я всем рекомендую у себя попробовать, дело не такое уж и хитрое: 1. Соберите простой и понятный чеклист для подготовки эксперимента командой опытных ребят 2. Пригласите народ на такую прожарку, после того, как они этот чеклист пройдут 3. Помогите им понять где они что-то не так поняли/не учли или не так применили требования (да, может показаться, что это легко, но это нифига не так) Можете составить подобный лист у себя и пройтись по экспериментам, уверен - заметите, что не всегда хорошо готовились и могли или даже потеряли время и денежки В общем - делитесь опытом и будем вам счастья, с вас 5 тыщ Поделитесь у кого есть похожие практики и вообще какие практики по улучшению качества экспов вы у себя применяете