A/B testing

Подборка материалов по математической статистике и экспериментам: https://medium.com/statistics-experiments/материалы-по-математической-статистике-и-экспериментам-1-0-d065751b07c6 via @ABtesting

25-26 апреля пройдет очередной интерсив по математической статистике и a/b тестам от ExperimentFest. За два дня на интенсиве будут разобраны такие важные аспекты a/b тестов как: -методы сокращения дисперсии и увеличение чувствительности метрики - слушатели узнают, как увеличивать чувствительность метрик и проводит свои a/b тесты быстрее -методы оценки результатов - будут разобраны базовые и продвинутые методы оценки результатов a/b тестов -как бороться с проблемой подглядывания и как в этом помогает статистика -как определять минимальный объем выборки -как в a/b тестах оценивать разные метрики - от CTR до ARPPU -практическая часть с реальными рейсами Все знания закрепляются на доступным тренажерах, а все участники по итогу интенсивна получат гайдуки анализа a/b тестов для применения в своей работе Скидки 5 000 рублей на оффлайн часть по промокоду «cuped» https://www.experiment-fest.ru/ab_course

Статистика для A/B-тестирования, простое руководство для понимания: https://cxl.com/blog/ab-testing-statistics/ via @ProductAnalytics

Rapid A/B-testing with Sequential Analysis: https://www.auduno.com/2014/12/25/rapid-a-b-testing-with-sequential-analysis/ via @ABtesting

A/B - тесты для нематематиков - Роман Поборчий https://youtu.be/0mnyLueRY5s?t=42 via @ABtesting

How to Make More Money With Bayesian A/B Test Evaluation: https://cxl.com/blog/bayesian-ab-test-evaluation/ via @ABtesting

Bayesian vs Frequentist A/B Testing – What’s the Difference? https://cxl.com/blog/bayesian-frequentist-ab-testing/ via @ABtesting

Сравнение частотного и байесовского подхода к A/B-тестированию: https://mobiledevmemo.com/its-time-to-abandon-a-b-testing/ via @ABtesting

​​«A/B-тестирование в стартапах или Как делать тесты быстрее» Сжатое содержание моего доклада с митапа для аналитиков от Wix. via @BigQuery

​​Wix в очередной раз делает в Киеве бесплатный митап для аналитиков. 12 декабря Инна из Wix поделится кейсами неожиданных результатов A/B тестов, а Саша из MacPaw расскажет про проведение A/B тестов в стартапах. Кстати, у Саши есть свой канал про аналитику на базе Google BigQuery, подписывайтесь: @BigQuery. Регистрируйтесь, ждите подтверждения вашего участия и приходите на ивент: http://bit.ly/37XhhlF via @WebAnalyst

Как устроено A/B-тестирование в разных компаниях: • Stackoverflow - https://stackoverflow.blog/2017/10/17/power-calculations-p-values-ab-testing-stack-overflow/ • Netflix - https://medium.com/netflix-techblog • Airbnb - https://medium.com/airbnb-engineering/https-medium-com-jonathan-parks-scaling-erf-23fd17c91166 • Uber - https://eng.uber.com/xp/ • Microsoft - https://exp-platform.com/experiments-at-microsoft/ • Avito - https://habr.com/ru/company/avito/blog/454164/ • Yandex - https://habr.com/company/yandex/blog/342704/ via @ProductAnalytics

Множественные эксперименты: теория и практика: https://habr.com/ru/company/yandex/blog/476826/ via @ABtesting

Методы автоматизации А/B-тестов и какие тесты автоматизировать нельзя (видео митапа): https://www.youtube.com/watch?v=r1OXJ4qWXg4 via @ABtesting

Как растили retention и искали retention-драйвер в продукте iFunny, какие A/B-тесты делали и какие результаты получали, Михаил Табунов https://www.youtube.com/watch?v=UJkXIqSzlAo via @ABtesting

Краткий видео-курс по байесовскому тестированию: https://www.youtube.com/playlist?list=PLAKBwakacHbRRw278HMXpCsOOIIcLYGX5 via @ABtesting

Небольшой гайд как подходить к А/В-тестированию: https://towardsdatascience.com/how-to-a-b-test-without-spending-a-dime-60c4112f8f4e via @ABtesting

​​В Google Data Studio (пока что) нет встроенных статистических функций, например, которые позволяют убедиться, что анализируемые данные получены не случайно. Нашел статью, где с помощью Community visualizations эту проблему решили и выложили в открытый доступ визуализацию с расчетом статистической значимости метрик по методу хи-квадрат. Как этим пользоваться и как добавить в свой дашборд такое решение — по ссылке: http://bit.ly/2MJzNW4. via @WebAnalyst

Отдельная секция по А/Б-тестированию: 6 докладов от ребят из Яндекса, Авито, AIC, X5 Retail Group. Темы затрагивают весь цикл проведения сплит-тестов. От теории планирования эксперимента и управления чувствительностью метрик, до построения аналитической инфраструктуры. + лекции и мастер-классы Адриана Грегори из Amplitude, от Максима Годзи из Retentoneering и актуальные кейсы от Ильи Красинского. Подробная программа: http://bit.ly/33SYfe0 (на второй вкладке - детальное описание всех тем) Купить билет: https://matemarketing.timepad.ru/event/992934/ via @ABtesting

A/B test калькулятор в Google Sheets: https://docs.google.com/spreadsheets/d/18w387uonW8zF1_6NtAuBKnQgDNp0qKSlCYu2IAdQ5Ks/edit#gid=1997184298 И как им пользоваться: https://medium.com/@aleksandrosiyuk/автоматизация-результатов-a-b-тестирования-cf3b1f99a218 via @ABtesting

Отличный канал Сергея Гудкова об экспериментах с конверсией и прибылью. Масса полезных практических советов. @conversion_and_analytics via @ABtesting