A/B testing

Bayesian подход в A/B тестах на примере бейсбольной статистики с примерами кода на R: http://varianceexplained.org/r/bayesian_ab_baseball/ via @ABtesting

Firebase Tutorial: iOS A/B Testing: https://www.raywenderlich.com/215-firebase-tutorial-ios-a-b-testing via @ABtesting

Применение Bayesian подхода в A/B тестах: https://telegra.ph/Primenenie-Bayesian-podhoda-v-AB-testah-03-02 Калькулятор Bayesian A/B test for conversion: https://vidogreg.shinyapps.io/bayes-conversion-test/ via @ABtesting

Статистическая значимость для небиномиальных показателей - доход для пользователя и пр.: http://blog.analytics-toolkit.com/2017/statistical-significance-non-binomial-metrics-revenue-time-site-pages-session-aov-rpu/ T-Test калькулятор: https://www.evanmiller.org/ab-testing/t-test.html via @ABtesting

Доверяй, но проверяй: почему нужно проводить А/B-тестирование (статья-обзор доклада Валерия Бабушкина с прошлогоднего Матемаркетинга @matemarketing_official) https://www.thinkwithgoogle.com/intl/ru-ru/insights-trends/tools/ab-tests/ via @ABtesting

A/B-тестирование: стоимости правильных и ошибочных решений https://ecommerce-in-ukraine.blogspot.com/2019/07/ab-testing-strategy-bad-good-decisions-costs.html

Как визуализировать доверительные интервалы для АВ-теста в Tableau? https://medium.com/@dioariadi/create-confidence-interval-graph-for-a-b-testing-in-tableau-576fb2367ae

​​Лучшие доклады по аналитике на DevGAMM-2019 • Способы добычи инсайтов и генерации гипотез. Что лучше, качественные исследования или количественные? Кто скажет больше, данные о пользователях или сами пользователи? • О разработке и улучшению системы персонализации офферов, начиная от внедрения максимально простой системы и заканчивая развитием ML-моделей. • Как нужно оценивать и прогнозировать качество трафика. Чем лучше компания справляется с этой задачей, тем быстрее она сможет отключить неэффективные кампании и перенаправить средства в более прибыльные источники. • Самая большая проблема A/B-тестов – это качественный анализ результатов. Об основных ошибках аналитиков с точки зрения математики и сходимости тестов и bootstrap, p-value, его ресэмплинге и проблеме ранговых критериев. • Кто виноват: продукт или закупка, если падает ROI и когда сравнение с органическим трафиком не устраивает? via @ProductAnalytics

Бесплатный митап про то, как готовить, запускать и анализировать эксперименты (A/B тесты) на ценах и заниматься ценообразованием в компании. Москва. 17 августа с 10:00 до 16:00. http://price-discovery.tilda.ws/

4 ошибки при проведении A/B-тестов с помощью Firebase Remote Config: https://towardsdatascience.com/4-mistakes-that-i-made-while-running-a-b-tests-with-firebase-remote-config-f7b17f18b34a

Про офлайн А/Б-тестирование в ритейле: https://habr.com/company/ods/blog/416101/

​​Хорошая статья про то, как устроена аналитическая инфраструктура для A/B тестов в Авито. Ребята собирают сотни метрик и умеют детализировать их до бизнес-разрезов: вертикали, регионы, авторизованные пользователи и т. д. Они делают это автоматизированно с помощью единой платформы для экспериментов. В статье достаточно подробно описано, как платформа устроена с описанием некоторых интересных технических деталей и инсайтов, которые будут полезны всем, кто собираются построить свобственное решение для A/B тестов. via @WebAnalyst

О проверке статистических гипотез и A/B тестирование: https://www.youtube.com/watch?v=YULMqwo7Tas

5 хаков для ускорения AB тестов, видео: https://youtu.be/Z9gVndEr_70

Системный подход к АВ-тестированию в Uber https://eng.uber.com/xp

О статистических критериях: https://www.youtube.com/watch?v=ZaZYy0YUdY8 – как выбирать, какой стат. тест использовать при анализе различий между статистическими совокупностями https://www.youtube.com/watch?v=YsalXF5POtY – так что же выбирать, Z-тест или T-тест https://www.youtube.com/watch?v=pTmLQvMM-1M – T-тест (Стьюдента) https://www.youtube.com/watch?v=BWJRsY-G8u0 – Z-тест 1-sample, https://www.youtube.com/watch?v=s-r0p2-Mpr4 - 2-sample (для сравнения по сплитам второй) https://www.youtube.com/watch?v=BT1FKd1Qzjw – U-тест (Манна-Уитни) https://www.youtube.com/watch?v=WXPBoFDqNVk – хи-квадрат-тест (Пирсона) https://www.youtube.com/watch?v=9STZ7MxkNVg - bootstrap test https://www.youtube.com/watch?v=cltWQsmBg0k – K-S-тест (Колмогорова-Смирнова) на то, что распределение в выборке НЕ является нормальным https://www.youtube.com/watch?v=dRAqSsgkCUc – тест Шапиро-Уилка на то, что распределение в выборке НЕ является нормальным (ну такое, обрывается на R shapiro.test(x) ) https://www.youtube.com/watch?v=EG8AF2B_dps - ещё несколько соображений о том, как понять, что распределение нормальное https://www.youtube.com/watch?v=MstzroncW28 – доверительный интервал для полученных значений https://www.youtube.com/watch?v=eGWnP_8QER8 – почему если выбрать тест неправильно, может быть статистически значимо, но ни разу не достоверно

Шпаргалка по тому, какой статистический критерий(/тест) использовать в разных случаях. via @ABtesting

Подборка статей про AB-тесты от Антона Марцена: https://medium.com/productscience/awesome-ab-experiments-list-718bbb7bcd26

Расчёт каннибализации на основе классического A/B-теста и метод bootstrap’а: https://habr.com/ru/post/451488/

A/B-тесты в Яндекс.Браузере. Большой продукт – большая ответственность: https://www.youtube.com/watch?v=fCcaMp_9gBk