A/B testing

Как запускать эксперименты в Google.Analytics 🤓 По просьбе подписчика публикую ссылку на справку, в которой подробно описывается как запустить свой первый AБТ в GA. Ссылка: https://support.google.com/analytics/answer/1745152?hl=ru

Виталий Котов из Badoo про покрытие A/B-тестов UI-тестами Мы создали интерфейс для удобного контроля над покрытием A/B-тестов; в результате теперь у нас есть вся информация о работе UI-тестов с A/B-тестами; Мы выработали для себя способ написания временных UI-тестов с простым и эффективным флоу их дальнейшего удаления или перевода в ряды постоянных; Мы научились легко и безболезненно тестировать релизы A/B-тестов, не мешая другим запущенным UI-тестам, и без излишних коммитов в Git. Всё это позволило адаптировать автоматизацию тестирования под постоянно меняющиеся фичи, легко контролировать и увеличивать уровень покрытия и не зарастать легаси-кодом. Ссылка: https://habr.com/company/badoo/blog/434448/

Полина Опарина из DocDoc про A/B тестирование в мобильных приложениях на Product Camp Minsk 2018 Ниже приведён текст самой презентации, опубликованный докладчиком на странице в Facebook. - - - Этот доклад будет вам интересен, если - У вас есть мобильное приложение. - Вы не делаете A/B тесты, но хотели бы начать. - Вы выбираете решение для A/B тестирования в приложении. - Вы уже используете какой-то инструмент, но он вас не устраивает. Этой зимой у нас появилась задача внедрить инструмент для A/B тестирования в приложении DocDoc. Первым делом мы проанализировали готовые решения и обнаружили ряд проблем. Об этом есть отдельный слайд в презентации. Но самым критичным для нас была невозможность выгрузить сырые данные и гибко управлять сплитами. Инструменты развиваются. И, возможно, сейчас уже нет такой проблемы в Firebase и ему подобных, но на тот момент ни одно готовое решение нас не устроило. Зато мы поняли, что сделать инструмент для A/B тестирования самим это не rocket science. Нужно всего лишь сделать: - Механизм сплитования - Апишку - Админку для настройки фич - Немного магии на стороне мобильной разработки - Отчётность Наши сплиты построены на основе случайной части GA Client ID. Это случайное число от 0 до 255. В админке для каждой фича задаются правила сплитов. Например, (0; 127) - фича выключена, (128; 255) - фича включена. Split ID и правила определяют набор фичей, доступных клиенту. Этот набор закодирован в Feature_status. Вместо конфига мы используем двоичное число. Каждой фича соответствует свой разряд, который может принимать значения 0 (фича выключена) или 1 (фича включена). Feature_status пробрасывается в GA в Custom dimension. Число пользовательских параметров в GA ограничено (не больше 20). Но мы не упираемся в этой ограничений, тк занимаем всего один кастомный параметр. Подробнее о техническом решении расскал великолепный Aleksander Krasnov на AppsConf 🖤 Каждый тест проходит такой цикл: - Заводим новое правило в админке - Реализуем логику в коде - Релизим приложение - Запускаем тест - Ждём - Анализируем результаты - Принимаем решение, какой вариант остаётся - Включаем в админке победителя на 100% - Вычищаем из кода проигравший вариант По сути мы получили инструмент для A/B тестирования + remote config. Это позволяет нам проверять гипотезы, отслеживать фактическое влияние запущенных фич на метрики, делать постепенную выкатку функционала. Для любителей цифр: - На разработку решения мы потратили суммарно около 280 человеко-часов. - Примерно на 30% увеличивается стоимость разработки и тестирования, если фича делается через A/B. - Максимальный ROI дают тесты заголовков, конверсионных подписей, текстов пушей. Презентация: https://goo.gl/qMi7nZ

The Pitfalls of Running A/B Tests from Ariel Verber Many people who create digital products have probably heard of the term ‘Designing with Data’. It’s a very obvious practice, that suggests that making intuition-based decisions is not enough, and better decisions are usually supported by quantitative or qualitative evidence. This leads many teams to run A/B Tests. In short, A/B tests are a way to offer slightly different versions of your product to users of the same initial group, and measure the difference in their behavior. They’re probably one of the best ways to bring actionable data. The reason A/B tests are so effective, is because they basically mean asking your users absolute questions with 100% truth in the results. For example, by running a simple A/B test you can ask ‘How many extra sales will I make if I offer free shipping worldwide?’. To get an answer for this question, all you need to do is to offer free shipping to 50% of your users, and measure the sales in that group compared to the rest. Then, using simple calculations, you can measure the profitability of adding ‘free shipping’ and decide if it’s worth it or not. I’ve always been a big advocate of A/B tests, but time led me to learn that they’re highly addictive and sometimes not very justified. There may be pitfalls that will lead you into making a bad choice. Here are a few examples: 1. Some of the impact may be unforeseen at first 2. Query mistakes are a thing 3. The sample size has to be big enough 4. Numbers don’t have human empathy 5. A/B tests may slow you down Whole article: https://medium.com/joytunes/the-pitfalls-of-running-a-b-tests-4da7141960d7

Steve Urban, Rangarajan Sreenivasan, and Vineet Kannan from NetFlix about The Netflix Experimentation Platform текст: https://medium.com/netflix-techblog/its-all-a-bout-testing-the-netflix-experimentation-platform-4e1ca458c15

Олег Якубенков из Facebook про то, почему ваши A/B тесты требуют больше времени, чем могли бы текст: https://gopractice.ru/exposing_users_to_abtest/

Станислав Видяев из Google Russia про настройку A/Б-тестирования сайтов с помощью Google Optimize текст: https://www.thinkwithgoogle.com/intl/ru-ru/ad-solutions/mobile/how-to-ab-test/ видео: https://youtu.be/k8rOXypBuGA

Стас Гафаров из Сбербанка про план проверки статистических гипотез 1️⃣ Определить основную (нулевую) гипотезу; 2️⃣ Задать статистический критерий, т.е. задать статистику критерия (читай тип), задать критическую область (тоже тип). Основные типы критериев: параметрические, непараметрические. Вопрос о том, какую статистику надо взять для проверки той или иной гипотезы, часто не имеет однозначного ответа; 3️⃣ Определить уровень значимости; 4️⃣ Выбрать группы для теста. Проверить несколько раз что эти группы не пересекаются; 5️⃣ Сам тест, по сути проверка условия что «данные не противоречат нулевой гипотезе при уровне значимости \alpha». Если да, то гипотеза принимается. Ссылки на математику по теме проверки гипотез: 🐈 лайтовая: http://statistica.ru/theory/proverka-gipotez/ 🦁 хардкорная: http://www.machinelearning.ru/wiki/index.php?title=Проверка_статистических_гипотез

Александр Писаренко из Kepler Leads про 10 примеров по увеличению конверсии в 2 и более раз текст: https://keplerleads.com/blog/10-sovetov/

Ребята из Server Density протестировали изменения цен и увеличили доход на 114% оригинал: https://vwo.com/blog/saas-pricing-ab-test/ перевод: http://tilda.education/articles-yourfirstabtest#rec4328495

Джейсон Хартлайн из Northwestern University 7 августа 18:00 в офисе Яндекса расскажет про A/B-тестирование дизайна аукционов ЦА: разработчики и технические люди Мероприятие: https://events.yandex.ru/events/science-seminars/07-aug-2018/

Олег Якубенков из Facebook про то, как просто реализовать А/Б тестирование в мобильном приложении текст: https://gopractice.ru/ab_testing_mobile_apps/

Паша Шишкин из Chatfuel про Aha-moment и продуктовые гипотезы видео: https://youtu.be/xjqLk_8nGRo

Олег Якубенков из Facebook про то, как не надо анализировать A/B тесты текст: https://gopractice.ru/how-not-to-analyze-abtests/

Maria Ligia Klokner from Booking.com about UX and A/B Testing video: https://youtu.be/C-U1Pakvk2A

Виталий Чермисинов из AIC про принципы АБТ видео: https://vimeo.com/211083513

Глеб Сологуб из SkyEng про то, как не надо проводить ABT видео: https://www.youtube.com/watch?v=SE9sUeSU550

Роман Поборчий из Яндекса про АБТ видео: https://www.youtube.com/watch?v=sxBE3XMsQCw ещё видео: https://www.youtube.com/watch?v=AEi2rQLHhdQ

Эксперименты в Майкрософт сайт: https://exp-platform.com/experiments-at-microsoft/

Сергей Мыц и Данил Валгушев про то, как устроено АБТ в Яндексе Текст: https://habr.com/company/yandex/blog/342704/ Видео: https://www.youtube.com/watch?v=dDm2JIMBac8