AB тесты и все вот про это вот все

@abtesting_full

Полезная информация об A/B тестировании. По любым вопросам можно писать - @ealexandr

Больше

Россия174 808Русский189 367Маркетинг и PR2 669

Рекламные посты

1 734

Подписчики

+124 часа

+87 дней

+3730 дней

746

Просмотры поста

Нет данных24 часа

Нет данных48 часов

43.07%

Коэффициент вовлеченности

Нет данных24 часа

Нет данных48 часов

Упоминания

Нет данных7 дней

Нет данных30 дней

Нет данных

Постов в день

~ 6

Реакции

~ 2

Комментарии

~ 13

Репосты

Подписчики
Просмотры постов
ER - коэффициент вовлеченности

Загрузка данных...

Фото недоступноПоказать в Telegram

А Озон банк показал свои ключевые принципы АБ-тестов

Показать все...

👍 6

Фото недоступноПоказать в Telegram

Тем, кто начинает заниматься АБ-тестами, часто кажется, что самое главное - делить на группы, считать pvalue, выбирать стат. Критерий. Но это не так. На AHA сейчас идёт мастер-класс, на котором наши коллега из Самокат Тех разбирает дизайн АБ-теста со своего конкурса. Тем, кто не очень понимает, с чего начинается эксперимент, рекомендую.

Показать все...

👍 6

Сбермаркет в новой статье рассказывает, как в своей платформе (да, я снова про платформу) АБ-тестов проверяет АБ-тесты на валидность.

Показать все...

Как оценить валидность A/B тестов. SRM и другие критерии

Привет! Меня зовут Полина, я руковожу A/B‑платформой в СберМаркете. В этой статье я расскажу о нескольких нюансах экспериментирования, которые возникают на разных этапах: от дизайна и сплитования до...

❤ 2

Интересный разговор Александра Игнатенко (телеграм-канал Модель атрибуции) и Виталия Черемисинова (EXPF) про: - альтернативы закрывшемуся Google Optimize - особенности интерфейса GA4 - внедрение Сигмы от EXPF - метрики экспериментов - распространенные ошибки в командах, работающих с АБ-тестами - нужно ли очень глубоко закапываться в исследования данных при АБ-тестах - прочие важные вопросы про АБ-тесты и эксперименты от зрителей стрима Незаслуженно мало просмотров у ролика как-то.

Показать все...

Есть ли жизнь после Оптимайза?

Запись стрима о том, как, где и каким способом проводить AB-тесты после заката Google Optimize. И не только об этом. Участники: Александр Игнатенко, эксперт по маркетинг-аналитике, автор телеграм-канала «Модель атрибуции» -

https://bit.ly/3uMhmZo

Виталий Черемисинов, со-основатель продуктовой и консалтинговой компании в области проведения экспериментов EXPF и сервиса AB-тестирования Sigma.

https://expf.ru/

https://expf.ru/sigma

👍 5

Тут очень интересный доклад легендарного в некоторых кругах Анатолия Карпова про оценку продолжительности АБ-теста. Это одна из самых интересных и проблемных вопросов при проведении экспериментов. Внутри подглядывание, т-тесты, mde, fixed horizon. Отдельно рекомендую к просмотру раздел со штрафами за подглядывание - менеджерам может понравиться... Статья EXPF, о которой говорит Анатолий, здесь.

Показать все...

Анатолий Карпов, «Методы оценки размера выборки в А/Б-тестах. От размера эффекта до симуляций»

Анатолий Карповm, СЕО Karpov.Courses Kolesa Conf 2022, 8 октября Описание доклада: Уметь отвечать на вопрос «Как долго должен идти А/Б-тест?» — важнейший навык аналитика. Если вы запускаете А/Б-тест на глазок, будьте готовы, что вас ждёт множество проблем: проблема подглядывания, недостаточная мощность теста, ложные срабатывания. Мы подробно разберём, как правильно оценивать размер выборки и время проведения теста, и с какими неочевидными трудностями вы можете столкнуться на этом пути. В докладе обсудим: – Как правильно подглядывать за А/Б-тестами. – Что сильнее: t-test или непараметрика? – Почему симуляция данных позволяет глубже понять свой продукт. – Как правильно оценить размер выборки для эксперимента в случае нетривиального дизайна исследования.

👎 1

Если вдруг кто-то пропустил митап от EXPF, запись здесь. Темы: - Как из подручных средств организовать процесс А/В тестирования - Критерии валидности АБ-тестов - Поиск Эффективных Прокси-Метрик - Сбор качественных данных для проведения А/Б тестов

Показать все...

Митап EXPF x DataGo!

Программа 18:00 – 18:30 Как из подручных средств организовать процесс А/В тестирования Макс Шевченко, OKKO 18:30 – 19:00 Критерии валидности АБ-тестов Полина Ревина, руководитель платформы экспериментов СберМаркет 19:00 – 19:30 Поиск Эффективных Прокси-Метрик, Александр Кузнецов, ведущий аналитик EXPF 19:30 — 20:00 Сбор качественных данных для проведения А/Б тестов Константин Елисеев, Product manager DataGo!

🔥 10❤ 2

Несколько дней назад коллега из Сбермаркета написал статью по работе с Ratio-метриками в AB-тестах. В ней предлагается использовать линеаризацию. Почему это интересно. Потому что у наших любимых бутстрапа и дельта-метода тоже есть как сильные, так и слабые стороны. Плюс дополнительный метод точно будет полезен. И еще прикладываю несколько материалов на тему дельта-метода и ratio-метрик: - раз - два - три - четыре - пять

Показать все...

Линеаризация: зачем и как укрощать ratio-метрики в A/B-тестах

Привет, Хабр! В прошлой статье я указал, что в A/B-тестах используются три основных типа метрик, а именно пользовательские конверсии , средние метрики пользователей и ratio-метрики . К последним...

🔥 12👍 3

На хабре вышла большая статья с подробным разбором нескольких стат. критериев: - z-статистика - t-статистика - критерий хи-квадрат - f-статистика Она будет особенно полезна тем, кто использует эти критерии, не вникая с их суть.

Показать все...

Индуктивная статистика: доверительные интервалы, предельные ошибки, размер выборки и проверка гипотез

Одной из самых распространённых задач современной аналитики является формирование суждений о большой совокупности (например, о миллионах пользователей приложения), опираясь на данные лишь о небольшой...

🔥 16👍 3

Есть прекрасная поговорка - завтра в 6. Митап перенесен на завтра, 4 апреля, 18.00.

Показать все...

🤯 2

А если свой платформы для АБ-тестов нет и не используется готовое внешнее решение, приходится обходиться собственными силами. Тут у нас снова развилка: - писать свои функции-библиотеки - приспособить готовые библиотеки на питоне Из интересных библиотек могу выделить две: - Ambrosia от коллег из МТС - Kolmogorov ABacus Недавно потестировал Kolmogorov ABacus, очень даже неплохо. Основные особенности: - Оценка результатов эксперимента с помощью многих стат. критериев, в том числе бустрапа - собственно, ожидаемо - Инструмент для деления на группы с оценкой качества деления - Подготовка эксперимента - ошибки 1 и 2 рода, mde, расчет необходимой выборки Ссылки: - Гитхаб - Примеры оценки результатов эксперимента на гитхабе - Документация - Канал в телеграме - Чат поддержки в телеграме - Статья на Хабре об использовании

Показать все...

GitHub - kolmogorov-lab/abacus: ABacus: fast hypothesis testing and experiment design solution

ABacus: fast hypothesis testing and experiment design solution - kolmogorov-lab/abacus

🔥 8👍 2❤ 1

Выберите другой тариф

Ваш текущий тарифный план позволяет посмотреть аналитику только 5 каналов. Чтобы получить больше, выберите другой план.