EXPF – математическая статистика и эксперименты

p.s. оказывается Spotify написали обзорную заметку этой статьи у себя в dev-блоге. Если хочется понять все pros и cons их предложенного метода и понять суть дизайна, можно быстренько прочитать тут: https://engineering.atspotify.com/2024/05/fixed-power-designs-its-not-if-you-peek-its-what-you-peek-at/

Precision-based designs for sequential randomized experiments Для тех кто привык следовать Fixed Horizon или mSPRT дизайну появилась альтернатива от Spotify. В пейпере рассматриваются два типа дизайна и их достоинства перед Sequential Test / FH: - FWCID (fixed-width confidence interval design) - FPD (fixed power design) В отличие от подхода Wald'а, который принято чаще остальных использовать в качестве инструмента для последовательного тестирования, который отвечает на вопрос "есть ли эффект?", мы хотели ответить на вопрос "какова величина эффекта?". Помимо этого, авторы ссылаются на другие недостатки классического подхода: меньшая мощность, чем у fixed-sample дизайна, а также ожидание конечного рассчитанного времени. Подкреплено это все симуляциями MC на julia + python Подробнее изучить на архиве: https://arxiv.org/pdf/2405.03487

Самый важный SQL-запрос в моей карьере. Сегодняшний пост про анализ аб-тестов. Будет полезен всем аналитикам и bi-девелоперам. Создатель in-house платформы для A/B-тестирования в Авито Данила Леньков делится лайфаком: как свести задачу расчета Minimum Detectable Effect к простому SQL-запросу. Читайте и делитесь в комметриях своими лайфхаками про анализ #аб!

Choosing a Proxy Metric from Past Experiments Пейпер от Гугла на тему поиска прокси для экспериментов к таргет метрике Из интересного: - Авторы вводят свое понимание термина proxy quality. Они ссылаются на то, что в литературе это обычно не подсвечивается, но, ничего нового по сути в определении нет. Нужно чтобы была высокая чувствительность и сонаправленность изменений у прокси с таргетом - Они не выделяют какую-то одну прокси, а предлагают использовать composite proxy metric, которая по сути является набором нескольких ATE, что логично, в целом. Все это сопутствуется оптимизацией шума, для получения более высокой чувствительности и направленности - Ну и показывают результаты на 307 отобранных АБ, где иллюстрируют эффективность подобранной прокси (по их формуле, им удалось достигнуть 0.666 proxy score) Что мне кажется является упущением в расчете Proxy Score (Detection-Mistake) / Number of experiments where the north star is significant – строгое определение detection и mistake. У Detection знаки прокси и таргета одинаковые, у Mistake разные. Нередко бывает ситуация, если одна метрика падает, то другая, наоборот, будет расти (банально до нельзя – снизил расходы, вышел в плюс в прибыли). Но это так, возможно мелочи. https://arxiv.org/pdf/2309.07893

Давно EXPF не проводил митапов и это пора исправлять! 25 апреля с 18:00 до 20:00 по Мск онлайн митап EXPF в партнерстве с прекрасными DataGo! Традиционно, будем говорить про метрики, эксперименты и автоматизацию. Программа: ▫️18:00 – 18:30 Как из подручных средств организовать процесс А/В тестирования Макс Шевченко, Head of Experimentation Platfrom OKKO ▫️18:30 – 19:00 Критерии валидности АБ-тестов Полина Ревина, руководитель платформы экспериментов СберМаркет ▫️19:00 – 19:30 Поиск Эффективных Прокси-Метрик, Александр Кузнецов, ведущий аналитик EXPF ▫️19:30 — 20:00 Сбор качественных данных для проведения А/Б тестов Константин Елисеев, Product manager DataGo! Зарегистрироваться на мерприятие можно по ссылке: https://expf.ru/expf_datago

Давно EXPF не проводил митапов и это пора исправлять! 25 апреля с 18:00 до 20:00 по Мск онлайн митап EXPF в партнерстве с прекрасными DataGo! Традиционно, будем говорить про метрики, эксперименты и автоматизацию. Программа: ▫️18:00 – 18:30 Как из подручных средств организовать процесс А/В тестирования Макс Шевченко, Head of Experimentation Platfrom OKKO ▫️18:30 – 19:00 Критерии валидности АБ-тестов Полина Ревина, руководитель платформы экспериментов СберМаркет ▫️19:00 – 19:30 Поиск Эффективных Прокси-Метрик, Александр Кузнецов, ведущий аналитик EXPF ▫️19:30 — 20:00 Сбор качественных данных для проведения А/Б тестов Константин Елисеев, Product manager DataGo!

Друзья, По решению организаторов, митап был перенесен на 4 апреля в 18.00 по Москве Просим прощения за доставленные неудобства https://sbermarket.timepad.ru/event/2813000/

митАп vs митBп У нас A/B-платформа, а у вас? 28 марта в 18:00 по Москве мы соберемся на онлайн-митап, чтобы поговорить про А/В-платформы, тесты и процессы, с этим связанные. Вас ждут доклады и панельная дискуссия: ‌🟡Система автоматического расчёта А/В тестов. Рамиль Чермантеев, руководитель команды аналитиков-инженеров платформы экспериментов СберМаркета, расскажет, что автоматический расчет из себя представляет и с какими трудностями мы столкнулись при его развитии. ‌🔴Как привести эффекты от A/B-экспериментов к масштабу всей компании? Артем Дронов, аналитик АВ-платформы, Авито, поделится методологией приведения и оценки результатов экспериментов к масштабу всей компании. ‌🔵Система офлайн-экспериментов. Полина Ревина, и.о. руководителя A/B-платформы в СберМаркете, расскажет о свитчбэк-тестах и тестах в магазинах, сплитование для которых делается офлайн. 🟡Open Talks: Как развивать и масштабировать платформы и процесс проведения экспериментов. Модератор дискуссии со спикерами – Искандер Мирмахмадов, co-founder EXPF. Регистрируйтесь, чтобы получить ссылку на трансляцию 📬

Time-series long-term forecasting for A/B tests DAVIS JAUNZEMS Целая книга по форкастингу в АБ. В книге описаны примеры на основе данных из King.com. Для сводки – это gamedev компания, разработчик серии игр Candy Crush, основной офис расположен в Швеции, вид оттуда, кстати, классный. Что предлагает автор:

Для улучшения точности прогнозирования предлагается метод кластеризации временных рядов. Метод использует сходство между временными рядами через Dynamic Time Warping и обучает отдельные модели прогнозирования кластеров. Кластеры выбираются с высокой точностью с использованием классификатора random forest, и уверенность в long-term времянном ряде получается с помощью исторических тестов и Marcov Chain. Предложенный метод показывает лучшие результаты по сравнению с существующими моделями и может быть использован для получения долгосрочных прогнозов для A/B-тестов.

Я сам еще не успел ознакомиться с методикой, глаз только зацепился за разделе 5, где автор указывает финальный пайплайн. Чиать тут: https://www.diva-portal.org/smash/get/diva2:1088619/FULLTEXT01.pdf

Мы открыли вакансию middle-аналитика в EXPF Вакансия https://hh.ru/vacancy/82857282 Откликнуться [email protected] или в личку @iskndr_m. Предпочтительно на почту или тг https://hh.ru/vacancy/94622691