EXPF – математическая статистика и эксперименты
Канал про эксперименты, статистику и анализ данных Черемисинов Виталий - @vitche (сотрудничество) Мирмахмадов Искандер - @iskndr_m (гл автор) A/B платформа Sigma – https://expf.ru/sigma Консалтинг – https://expf.ru Курс по A/B - https://expf.ru/ab_course
Mostrar más- Suscriptores
- Cobertura postal
- ER - ratio de compromiso
Carga de datos en curso...
Carga de datos en curso...
Fixed-Power Designs: It’s Not IF You Peek, It’s WHAT You Peek at - Spotify Engineering
Больше 6 лет я занимаюсь вопросами культуры и автоматизации A/B-тестирования. Сотни часов я провел, консультируя аналитиков внутри и за пределами Авито по вопросам дизайна экспериментов. Тема A/B не всегда дается легко, несмотря на большое количество материалов в интернете. Давайте рассмотрим задачу: подобрать длительность эксперимента и объем выборки, чтобы обеспечить заданную точность результатов. Задачу можно свести к расчету MDE целевой метрики. MDE расшифровывается как Minimum Detectable Effect. За много…
(Detection-Mistake) / Number of experiments where the north star is significant
– строгое определение detection и mistake. У Detection знаки прокси и таргета одинаковые, у Mistake разные. Нередко бывает ситуация, если одна метрика падает, то другая, наоборот, будет расти (банально до нельзя – снизил расходы, вышел в плюс в прибыли). Но это так, возможно мелочи.
https://arxiv.org/pdf/2309.07893Приглашаем на онлайн-митап СберМаркет Tech. Регистрируйся и присоединяйся к нам!
Для улучшения точности прогнозирования предлагается метод кластеризации временных рядов. Метод использует сходство между временными рядами через Dynamic Time Warping и обучает отдельные модели прогнозирования кластеров. Кластеры выбираются с высокой точностью с использованием классификатора random forest, и уверенность в long-term времянном ряде получается с помощью исторических тестов и Marcov Chain. Предложенный метод показывает лучшие результаты по сравнению с существующими моделями и может быть использован для получения долгосрочных прогнозов для A/B-тестов.Я сам еще не успел ознакомиться с методикой, глаз только зацепился за разделе 5, где автор указывает финальный пайплайн. Чиать тут: https://www.diva-portal.org/smash/get/diva2:1088619/FULLTEXT01.pdf
Зарплата: не указана. Москва. Требуемый опыт: 1–3 года. Полная занятость. Дата публикации: 24.07.2023.
Tu plan actual sólo permite el análisis de 5 canales. Para obtener más, elige otro plan.