A/B testing

7-8 декабря Виталий Черемисинов и Искандер Мирмахмадов проведут очередной интенсив по анализу данных, матстатистике и a/b тестам: https://experiment-fest.ru/ab_course

Сегодня в Киеве Jonas Alves (был у истоков experimentation platform в легендарном booking.com) сделает небольшой доклад: "Tracking mistakes in A/B testing and what we did to fix them". https://www.facebook.com/paul.levchuk.1/posts/3203203959751678 via @ABtesting

Очень хороший и практичный материал о развитии продуктов. О том как планировать A/B тесты и соблюдать баланс между оптимизационными и иновационными изменениями. via @ProductAnalytics

Две фундаментальные проблемы с A/B тестированием в продукте: https://mobiledevmemo.com/two-fundamental-problems-with-product-a-b-testing/ via @ABtesting

The Power of Bayesian A/B Testing: https://medium.com/convoy-tech/the-power-of-bayesian-a-b-testing-f859d2219d5 via @ABtesting

Как провести A/B-тест и не наделать ошибок. Влад Прищепов и Леонид Енов: https://www.youtube.com/watch?v=sVKzq0xQ5vU via @ABtesting

О степенях свободы в статистике: https://habr.com/ru/company/stepic/blog/311354/ via @ABtesting

Обучение статистике с помощью интерактивных визуализаций от Daniel Kunin https://seeing-theory.brown.edu via @ABtesting

A/B тесты в Яндекс, сокращаем дисперсию: https://youtu.be/inGuisuMjpw?t=89 via @ABtesting

23 ноября 13:00-16:00 в офисе Мегафон пройдет митап Experiment Fest об автоматизации процессов запуска и анализа a/b тестов. Выступят специалисты из AVITO, SKYENG и AIC: https://www.experiment-fest.ru/ via @ABtesting

Отличная статья от ребят из X5. Всем ребятам с рынка рекомендую ознакомиться, дабы расширить свой кругозор и иметь представление, как могут проводиться АБ-тесты в оффлайн ритейле. https://habr.com/ru/company/X5RetailGroup/blog/466349/

Дельные советы. О самых частых ошибках в A/B тестировании: https://medium.com/manomano-tech/a-b-testing-10-common-mistakes-we-all-make-97a5030f1d44 via @ABtesting

Интересно и наглядно о permutation testing: https://www.jwilber.me/permutationtest/ via @ABtesting

7 классных докладов с прошлогоднего Матемаркетинга. В этом году - темы еще круче и их больше @matemarketing_official Share, please!

AB Testing In Real Life: https://towardsdatascience.com/ab-testing-in-real-life-9b490b3c50d1 via @ABtesting

Когда деньги — это основная метрика в А/Б-тесте: https://www.thinkwithgoogle.com/intl/ru-ru/products-tools/analytical-tools/money-and-ab-tests/ via @ABtesting

В продолжение темы A/B-тестирования. На Матемаркетинге будет огромная секция посвященная сплит-тестам. Когда мы собирали программу, я настаивал на том, чтобы мы начали с теории планирования эксперимента, а закончили физическим смыслом метрик и управлением их чувствительностью. В начале лета я «засыпался» на А/Б-тестах в интервью с руководителем одного из самых крутых R&D на рынке, поэтому секция А/Б-тестирования на Матемаркетинге, можно сказать, выстрадана Так вот. Что разбираем: Начинаем с Анатолия Карпова (это именно тот человек, по чьему курсу на Stepic вы учили матстат). Он расскажет о том, как сделать так, чтобы А/Б-тестирование заработало. Это простой доклад. Далее: - Как создать инфраструктуру для обеспечения централизации обработки и автоматизации A/B-тестирования. На примере Авито. Будет полезно тем, кто работает в крупных компаниях. - Практические кейсы построения аналитической инфраструктуры в небольшой интернет-компании. Для тех, у кого мало данных, времени и денег. - Как ускорить сотни А/Б-тестов в десятки раз. Это сложный доклад с глубокой математической базой. Далее, снова два сложных доклада о том, как валидировать и развивать метрики и увеличивать их чувствительность. На какие вопросы получим ответ: - Подходы к процессам централизации и автоматизации А/В-тестирования. - Как устроена инфраструктура в Авито с погружением в детали: -обеспечение безопасного сплита трафика в А/Б-тестах, -различные типы метрик, оптимизация тестирования, -визуализация данных - Как с помощью линеаризации, перевзвешивания, машинного обучения и баесовского вывода можно ускорить а/б тестирование в десятки раз - Как обеспечить грамотную формулировка требований к аналитической инфраструктуре в компании - Какие подводные камни ожидают аналитиков при проведении экспериментов и как научиться их избегать. - Как проведить ухудшающие А/Б-тесты, проводить проверку согласованности с более высокоуровневыми метриками и измерять чувствительность метрик и проверять корректность своей системы расчёта статистической значимости - Кейсы про неверный выбор или интерпретацию метрик. - Как работает метод стратификации и другие подходы к сокращению дисперсии для увеличения чувствительности метрик в экспериментах. - Как, выбирая ключевую метрику для эксперимента, понимать область её применимости, чувствительность, уровень в иерархии. Лекции читают Данила Леньков из Avito, Игорь Яшков из Яндекс, Валерий Бабушкин из Х5 Retail Group, Даша Чиркина из Яндекс, Виталий Черемисинов и Искандер Мирмахмадов из AIC, Анатолий Карпов из (ex)VK / Stepik / Quesful. Еще подробнее все описано в программе: http://bit.ly/33SYfe0 + у нас есть один свободный слот в этой секции. Подать заявку на участие с докладом в этой секции можно здесь: https://matemarketing.typeform.com/to/DmniEj Перешлите этот пост вашим продактам и продуктовым аналитикам. А также тем, кто руководит R&D. Кроме лекций будут дискуссионные форматы, на которых можно будет вместе подумать над конкретно вашей задачей. Ждем вас на Матемаркетинге. https://matemarketing.ru/

Что такое p-hacking? https://ecommerce-in-ukraine.blogspot.com/2019/08/ab-testingp-hacking.html via @ABtesting

Бутстрап, или прикладная статистика почти без формул: https://habr.com/ru/post/192000/ via @ABtesting

​​В Google Optimize появилась возможность через визуальный редактор вносить изменения для эксперимента сразу на нескольких группах страниц. Это полезно, когда в рамках одного теста нужно сделать разные изменения на странице товара и на странице оформления заказа. Пока что фича доступна в beta режиме. Более подробная информация в справке: http://bit.ly/2zdLRYg. via @WebAnalyst