A/B testing

​​Хочешь узнать все про A/B-тестирование? Ребята из ProductStar создали курс, который за 2 месяца научит новичка понимать, правильно ли собраны данные и какой из вариантов функциональности наилучший, подготавливать данные для A/B-тестов и анализировать результаты. Среди спикеров курса такие эксперты как: — Михаил Карпов, Product Director, Skyeng, — Роман Абрамов, Product Director, Carprice. Обучение состоит из 7 блоков и 7 домашек с проверкой от практиков рынка. По ходу курса Михаил Карпов лично помогает лучшим студентам с трудоустройством и подготовкой к собеседованиям. Сейчас на курс действует скидка в 50% — курс можно приобрести всего за 14600 ₽ Подробная программа курса и регистрация по ссылке 👉 https://bit.ly/32V1DXp

​​Если компания — корабль в море данных, Data Scientist — вперёдсмотрящий. Найдите проблемы, о которых клиенты пишут друг другу в сообщениях; узнайте, как пойдут дела у вашей компании завтра; научитесь выявлять фрод в заказах. То, что раньше было доступно только оракулам и гадалкам, сегодня может научиться делать любой, освоив профессию Data Scientist в Нетологии. На курсе вы научитесь: -Работать SQL -Использовать Python и библиотеки -Проверять данные и определять проблемы -Строить модели машинного обучения -Применять математику -Лидировать DS-проект Регистрируйтесь http://netolo.gy/fRq и получите дополнительную скидку 10% по промокоду «DATA10» на эту или любую другую профессию направления Аналитика в Нетологии. Скидка действует до 28 сентября и суммируется с акцией на сайте.

​​Отличный Гайд по байесовской статистике и немного о байесовском A/B-тестировании и проверке гипотез. via @ABtesting

Очень хорошая книга по A/B-тестированию: https://experimentguide.com/ via @ABtesting

Рекомендации по проведению A/B-тестов от Lime Engineering: https://medium.com/lime-eng/experimentation-analysis-at-lime-bee846d62dd via @ABtesting

Эксперименты бывают долгими по-разным причинам: 1. Хотим увидеть очень маленькое изменение => надо много трафика. Это решается или подбором (1) более чувствительной метрики, или (2) исправлением самой гипотезы. Разработка более чувствительных метрик – это долгий аналитический процесс. Если компания/продукт уже достаточно зрелая и вышла на стадию оптимизации, то имеет смысл потратить на это время и тем самым ускорить эксперименты. Яндекс и Booking много пишут про создание синтетических метрик, которые часто являются каким-либо математическим преобразованием над исходной метрикой. Если мы говорим про запуск нового продукта/стартапа, то надо отправлять гипотезу на доработку (делать ux-ресерчи и тестировать мокапы) или вообще отказываться от ее проверки. АБ-тест тут не подходит – это очень дорогой способ проверки гипотезы, т.к. требует наличия разработанного продукта. 2. Эффект изменения сильно отложен => долго ждать обратной связи от рынка В SaaS одна из главных метрик – это продление подписки. Если мы говорим про готовые подписки, то и ждать результатов гипотезы нужно год. В таком сценарии надо искать прокси-метрики, которые могут "предсказывать" отложенные метрики. Например, наша целевая метрика – % продлений через год. Подписка продляется через Apple Store автоматически через год. Это правило платформы, которое на которое не можем повлиять. Но у этой метрики есть зеркальная метрика – отмены подписок. Отменять подписку пользователь может самостоятельно в любое время по собственному желанию. И мы, как продукт, можем на это желание влиять. Поэтому такая "обратная" метрика будет хорошим индикатором для основной метрики. Другой пример – возвращение пользователей в продукт через месяц (monthly retention). Неохота ждать месяц для проверки влияния на эту метрику. Тут хорошее поле для исследований данных. Очень часто количество сессий / время в приложении / retention на первый день хорошо "предсказывают" retention через месяц. Поэтому можно брать эти прокси-метрики. 3. Делаем слишком много мелких изменений в продукте и хотим оценить их суммарный эффект В таком случае принято резервировать долгосрочную контрольную группу и через один-два квартала сравнивать с ней с новый продукт. Тут не вижу способов как ускорить. Просто нужно принимать это как есть и коммуницировать стейкхолдерам. (с) Антон Марцен

Статья про байесовский подход к оценке результатов A/B-тестирования. Хорошо и доступно описывается сам подход и его преимущества. Также в статье есть примеры кода, которые будут полезны для собственных проектов https://towardsdatascience.com/why-you-should-try-the-bayesian-approach-of-a-b-testing-38b8079ea33a

​​«Карьера в Data Science» звучит как полёт на луну — вроде реально, но есть вопросы. И хорошо, что есть: значит, есть в чём разбираться. Разбираться предлагаем 13 сентября на бесплатном митапе по аналитике и Data Science. Полезно будет всем: начинающим — ответы на вопросы о карьере и розыгрыш бесплатного обучения в Нетологии. Практикующим аналитикам — нетворкинг и лайфхаки от экспертов отрасли. Принять участие можно онлайн и оффлайн. Стартуем 13 сентября в 12.00. Регистрируйтесь ↓ http://netolo.gy/fM3

Бесплатный курс про A/B-тесты от Devtodev, рассматриваются правила работы с гипотезами: как их искать и находить, как определять приоритеты, как отбрасывать ненужные, когда A/B-тест нужен, а когда нет: https://www.devtodev.com/education/online-course/ab-tests-from-a-to-b-part1 via @ABtesting

​​Как Flo проводят эксперименты: https://medium.com/flo-engineering/how-flo-conducts-experiments-5ee35fc3327f via @ABtesting

​​Летняя распродажа в ProductStar 🔥 Скидки на курсы до -70% Давно хотел прокачать аналитические скиллы, но боялся, что это займет слишком много времени? Ребята из ProductStar собрали мини-курсы (1-3 месяца по 8-15 занятий) по самым популярным направлениям: — Инструменты веб- и мобильной аналитики — Навыки продуктовой аналитики — Навыки проведения A/B-тестов — SQL для аналитиков — Основы Python для аналитиков — Инструменты: CJM и CustDev — Менеджмент и создание AI и BigData продуктов — Менеджмент Mobile-продуктов — Навыки Soft-skills и выступлений Стоимость каждого мини-курса — 9800 руб. А еще при покупке двух мини-курсов третий — в подарок… 😉 Распродажа продлится до 23:59 23 августа. Время еще есть, успевай сейчас! Узнать подробности и оставить заявку на курсы 👉 https://bit.ly/3hgcgbW

​​A/B Testing Analysis using RStudio: https://medium.com/@etomaa/a-b-testing-analysis-using-rstudio-c9b5c67d6107 Github: https://github.com/etomaa/A-B-Testing via @ABtesting

А/B-тестирование в офлайн-ритейле. Выступление Валерия Бабушкина на онлайн-конференции "Большие данные ритейла в условиях шторма" https://www.youtube.com/watch?v=OZ1Ywpm4kIY via @ABtesting

​​Повышение чувствительности экспериментов от Booking, даже если CUPED не справляется. via @ABtesting

​​5 полезных Телеграм-каналов для аналитиков: @ProductAnalytics - Шпаргалка продуктового аналитика, актуальные материалы из закладок аналитиков. @WebAnalyst - WebAnalytics - полезная информация по веб-аналитике, повышению конверсии и анализу данных в маркетинге. @BigQuery - Аналитика в Google BigQuery, примеры решений и SQL-запросов, инсайты, лайфхаки и советы по работе с данными. @ABtesting - Лучшие материалы по A/B-тестированию в одном канале. @MarkeTech - Канал о маркетинговой аналитике и применении современных технологий в digital-маркетинге

​​Гайд по дизайну A/B тестов с использованием Python. via @ABtesting

Математика A/B-тестирования с примером кода на Python: https://towardsdatascience.com/the-math-behind-a-b-testing-with-example-code-part-1-of-2-7be752e1d06f via @ABtesting

5 Reasons to Go Bayesian in AB Testing: http://blog.analytics-toolkit.com/2017/5-reasons-bayesian-ab-testing-debunked/ via @ABtesting

Виртуальное учебное пособие по A/B-тестированию в R от Elea McDonnell Feit: Видео: https://www.youtube.com/watch?v=QXpYtM-Zlxg Материалы воркшопа: https://eleafeit.github.io/ab_test/ via @ABtesting

Альтеранитива A/B тестам - байесовские многорукие бандиты. Суть в том, что при обычном A/B мы льем много трафика на неоптимальные варианты и теряем в доходе и пользователях во время эксперимента. Многорукий бандит отлично подходит, когда нужно проверить эффективность большой подборки вариантов, которые не имеют серьезного принципиального отличия: https://habr.com/ru/company/ods/blog/325416/ via @ABtesting