A/B testing

Краткое руководство по реализации A/B тестов на Python: https://medium.com/@robbiegeoghegan/implementing-a-b-tests-in-python-514e9eb5b3a1 Github Repository: https://github.com/RobbieGeoghegan/AB_Testing via @ABtesting

A/B-тестирование – это метод исследования, в ходе которого тестируется несколько вариантов элементов воронки продаж с целью выявления наиболее эффективного. Но как научиться правильно проводить A/B-тесты? 3 июня в 19:00 (мск) мы проводим бесплатный вебинар «Разбираемся с нуля в A/B-тестах». 👨‍🏫 Кто выступит? Валерий Белокуров, Product Analyst в Яндекс 👩‍🏫 О чём пойдет речь? — Обсудим, что такое группа эксперимента, как делить пользователей на группы, зачем нужна контрольная группа. — «На пальцах» разберем понятие статистической значимости: p-value и с чем его едят. — Узнаем, почему подглядывать не только неприлично (в жизни), но еще и вредно (в A/B-тестировании). 🔥 Два самых активных участника вебинара получат сертификат на бесплатное обучение в ProductStar. Участие бесплатное, но регистрация обязательна. Зарегистрироваться на вебинар 👉 @ProductStarAnalyticsBot

Как проводить ухудшающие А/Б-тесты, проводить проверку согласованности с более высокоуровневыми метриками, а также измерять чувствительность метрик и проверять корректность своей системы расчёта статистической значимости: https://www.youtube.com/watch?v=KswPj6MVvD4 via @ProductAnalytics

@AnalyzeCore - новый канал про аналитику, данные и их визуализацию от Сережи Брыля, автора блога analyzecore.com. @BigQuery

Как оценить качество системы A/B-тестирования: https://habr.com/ru/company/hh/blog/321386/ via @ABtesting

Прямо сейчас выступление Анатолия Карпова на Матемаркетинге-2019 на тему анализа А/В-тестов (Ссылка). Анатолий Карпов рассказывает какие подводные камни ожидают аналитиков при проведении экспериментов и как научиться их избегать. Вы глубже поймете статистику и разберетесь в том, каких ошибок можно избежать при проведении A/B тестов. По окончании трансляции в закрытом чате появится ссылка на Zoom-конференцию, где в течение 20 минут Анатолий ответит на заданные вопросы. В чате, во время лекции можно будет задать вопросы спикеру, а также сразу получить презентацию и расшифровку доклада. Ссылка на telegram-чат (будет удален по окончании лекции) via @ABtesting

Доступно и просто о статистике A/B-тестов. Несколько примеров: https://medium.com/@rezwan.islam99 via @ABtesting

Хороший гайд по Байесовскому А/В-тестированию: https://towardsdatascience.com/bayesian-a-b-testing-with-python-the-easy-guide-d638f89e0b8a via @ABtesting

Анализ ratio метрик в A/B-тестах от Ebay: https://arxiv.org/abs/1911.03553 via @ABtesting

Как экспериментально оценить предпочтения пользователей, чтобы понять, что менять в продукте? Как проверить свои гипотезы и какие есть инструменты для принятия решений? 1 апреля в 21:00 (мск) ребята из ProductStar проведут бесплатный интенсив: «A/B тестирование, как инструмент для принятия решений». 👨‍🏫 Кто выступит? Настя Московченко, Technical Manager в Яндекс и Костя Чукреев, Product Machine Learning Developer в Яндекс. 👩‍🏫 О чем пойдет речь? — Что такое А/B-тестирование? — Как проводятся А/B тесты и как размер выборки влияет них? — Как оценить влияние фичи на ваш продукт? — Как быстро проводить эксперименты и сделать их частью сервиса? Опыт Яндекс.Еды. Два самых активных участника вебинара получат сертификат на бесплатное обучение в ProductStar. Участие бесплатное, но регистрация обязательна. Зарегистрироваться на вебинар 👉@ProductStarAnalyticsBot

Оценка A/B тестов в Letyshops: https://www.youtube.com/watch?v=2CN8IHy1OwU via @ABtesting

Появились видеозаписи с Experiment Fest x Яндекс.Практикум: https://www.youtube.com/watch?v=KvIJ8FCJzr4&list=PL6Wui14DvQPz-s7nng8Sedzj1Q5xLOs69&index=1 via @ABtesting

10 статистических ловушек в А/Б тестировании: https://cxl.com/blog/testing-statistics-mistakes/ via @ABtesting

Advanced A/B Testing Panel with Top Experts [Video] https://cxl.com/blog/advanced-testing-panel-with-top-experts-video/ via @ABtesting

​​Шаблон SQL-запроса для подсчета основных метрик A/B-теста в Firebase по данным в BigQuery. Конверсии по каждому из вариантов: • в покупку, • во второй запуск, • в целевое действие. via @BigQuery

Новая книга Нассима Талеба доступна для чтения в оригинале (EN): "Статистические последствия тяжелых хвостов: преасимптотика, эпистемология и приложения." https://arxiv.org/abs/2001.10488 via @ProductAnalytics

Статья, в которой автор Fareed Mosavat (ex. Dir of Product в Slack) рассказывает о разнице между хорошими и плохими тестами: https://www.reforge.com/blog/good-experiment-bad-experiment via @ABtesting

Подборка материалов по AB-тестированию: https://cxl.com/blog/ab-testing-guide/ via @ABtesting

Данила Леньков из Avito о том, как проходит АБ-тестирование в Avito: https://www.youtube.com/watch?v=9UGyCOvQ7Z4 via @ABtesting

Прямо сейчас! Experiment Fest x Яндекс.Практикум. Про эксперименты, подходы к анализу A/B тестов в разных компаниях; cокращение дисперсии и ускорее принятия решений; автоматизация анализа; мифы и частые ошибки в анализе A/B; как строить культуру запуска экспериментов и многое другое: https://www.facebook.com/yandex.praktikum/videos/2482520661999233 via @ABtesting