A/B testing

​​Хороший справочник по A/B-тестированию и выбору критериев с примерами кода на Python. via @ProductAnalytics

​​Почему продукт, который вы разрабатываете, устареет еще до того, как вы зарелизите его "Проблема в том, что в усложненном мире мы не знаем, что делать сейчас, буквально в ближайший час, чтобы достигнуть целей через 5 лет (к примеру) в 100% непредсказуемом VUCA мире" Новая реальность говорит нам о том, что никакие долгосрочные планы не имеют места быть. Хотя бы по той простой причине, что долгосрочное планирование и прогнозы должны опираться на актуальные данные. Когда вводные данные меняются на лету, все прогнозы превращаются в гадания на кофейной гуще. Есть некоторые концепции, которые применяют в Signum.ai для разработки собственных продуктов, они помогут вам двигаться быстрее. Источник

В статье подробно описывается порядок действий проверки A/B-теста на трех важных этапах: - Дизайн (EXPERIMENT DESIGN ANALYSIS) - Запуск (EXPERIMENT EXECUTION ANALYSIS) - Завершение и анализ (EXPERIMENT DEBRIEF ANALYSIS) Статья достойна внимания по двум причинам: 1) Публикация охватывает все аспекты работы с a/b и исчерпывающе систематизирует подход к проверке эксперимента 2) В ее работе участвовали Павел Дмитриев (ex-Microsoft, exp-platform.com) и Lukas Vermeer (booking.com, experimentation) — https://www.researchgate.net/publication/333614384_Three_Key_Checklists_and_Remedies_for_Trustworthy_Analysis_of_Online_Controlled_Experiments_at_Scale

​​О досрочном прекращении экспериментов Система раннего предупреждения без которой можно потерять много времени и данных, не говоря уже о потенциальных потерях в доходах и нежелательных последствиях для пользовательского опыта. via @ABtesting

​​Основы математики АБ-тестирования: https://towardsdatascience.com/a-gentle-introduction-to-the-mathematics-behind-a-b-testing-3afe354bdce3 via @ABtesting

​​Научитесь выстраивать систему продуктовой аналитики: от digital-аналитики, App-аналитки до управления пользовательским опытом на онлайн Программе повышения квалификации от Высшей школы экономики. За 3 месяца вы получите знания и компетенции в области аналитики цифрового продукта: - генерировать гипотезы относительно развития цифрового продукта и повышения эффективности, оценивать их влияние на метрики - выстраивать систему метрик (конверсия, ARPPU, CAC, LTV и др.) и анализировать ее - организовывать и проводить продуктовые аналитические исследования - проверять гипотезы и искать точки роста с помощью A/B-тестов - рассчитывать unit-экономику работать с сервисами Google Analytics, Яндекс.Метрика, AppMetrika, Amplitude - владеть инструментами работы и визуализации данных (Tableu и др.) - презентовать результаты заказчику/команде/рынку (storytelling на данных) Все занятия проводятся преподавателями- экспертами из ведущих российских компаний: Яндекса, Mail.ru Group, Сбербанка и др. Старт 1 февраля. Количество мест ограничено. Регистрация по ссылке: https://u.to/0jaWGg

Эдуард Григорян: Metric optimization for Quality Control of A/B testing: https://www.youtube.com/watch?v=4qvpZEKkARI via @ABtesting

Любите обрабатывать массивы данных и строить взаимосвязи? Станьте аналитиком с GeekBrains! Получите востребованную профессию и зарабатывайте от 100 000 рублей в месяц. Переходите по ссылке и выбирайте курс из 12 направлений. Не уверены, какое направление вам подходит? Мы поможем!)

О формулировании гипотез, подходах и критериях корректности, и проверке гипотез разных уровней: https://soundcloud.com/productsense/make-sense-120 via @ABtesting

​​Что такое коэффициент несоответствия выборки (Sample Ratio Mismatch) и как с ним работать: https://link.medium.com/ZJeoj3OlJbb via @ABtesting

​​В сети появился отличный пример рассчета уровня значимости результатов A/B-тестирования в BigQuery с применением user-defined functions. @BigQuery

​​4 ошибки A/B-тестирования и как их исправлять: https://towardsdatascience.com/a-b-testing-top-4-mistakes-with-business-cases-fixes-85e76767dfde via @ABtesting

​​Как в Flo повысили долю успешных A/B тестов на 30% через внедрение нового процесса работы с гипотезами: https://gopractice.ru/how_to_increase_the_number_of_successful_experiments/ via @ABtesting

​​PlanOut.js - библиотека, разработанная Facebook для A/B-тестирования. Помогает проводить тесты более качественно: https://nimeetshah.medium.com/how-to-implement-an-a-b-testing-framework-in-reactjs-with-planout-f36c3fa29940 via @ABtesting

​​Как платформы для экспериментов, такие как Optimizely, игнорируют один из самых фундаментальных принципов AB-тестирования: https://towardsdatascience.com/unlocking-peeking-in-ab-tests-7847b9c2f6bb via @ABtesting

​​Веб-аналитики нужны всем и всегда. Знания веб-аналитики пригодятся не только профильным специалистам, но и интернет-маркетологам, чтобы планировать рекламные кампании, отслеживать эффективность и повышать конверсию. Приходите учиться на факультет Веб-аналитики от образовательной экосистемы GeekBrains от Mail.ru Group. Учебная программа рассчитана не только на новичков, но подойдет и тем, кто уже работает аналитиком и хочет карьерного роста. За год вы научитесь: основам unit-экономики и работе с данными; основам статистики, SEO, Data Science; использовать HTML и Google Tag Manager, получите базовые знания о языке программирования JavaScript; проводить юзабилити-тестирования и глубинные интервью; работать с SQL, Python и выстраивать систему сквозной аналитики. Веб-аналитика — это новый шаг на пути к блестящей карьере. По окончании обучения GeekBrains поможет с трудоустройством. Запишитесь прямо сейчас со скидкой 40% → https://geekbrains.ru/link/rNjlGi

​​Хорошая база знаний по А/Б-тестам: https://exp-platform.com via @ABtesting

​​Руководство по А/В-тестированию от VK tech: https://medium.com/@vktech/practitioners-guide-to-statistical-tests-ed2d580ef04f via @ABtesting

A/B-тесты - не единственный инструмент для понимания причинно-следственной связи: квазиэксперименты и контрфакты - альтернативные инструменты для причинного вывода: https://medium.com/data-shopify/how-to-use-quasi-experiments-and-counterfactuals-to-build-great-products-487193794da via @ABtesting

​​Появился второй модуль бесплатного курса по A/B-тестированию от Devtodev. Первый модуль был о работе с гипотезами и подготовке к тестированию, а второй - о статистике тестов. via @ABtesting