CRO & Personalization
Відкрити в Telegram
A/B-тестирование, персонализация и рост: опыт, инструменты и подходы, которые помогают принимать решения на основе данных. 📩 Контакты: Андрей Андреев Telegram — @and_and LinkedIn — linkedin.com/in/and-andreev
Показати більше836
Підписники
Немає даних24 години
-27 днів
-630 день
Архів дописів
Сегодня в 17:00. Вадим и его крутая тема. Ждем всех, приходите поддержать и послушать 👏
Ставьте сердечко 🫶, кто точно придет 🕶️
🔗 Ссылка на подключение:
https://telemost.yandex.ru/j/4095725207
_______________
CRO & Personalization 🕺
📝 The Product Analytics & Data Science Cheat Sheet
Нашёл отличный cheat sheet по продуктовой аналитике и data science от Olly Paton.
153 термина - на одной странице, бесплатно и без регистрации.
Что внутри:
🤩 продуктовые метрики: DAU/MAU, retention, activation, churn, LTV, CAC, AOV
🤩 web analytics и attribution: incrementality, holdouts, MMM
🤩 статистика: mean/median, variance, standard error, percentiles, CLT
🤩 A/B-тесты: p-value, power, MDE, confidence intervals, bootstrap
🤩 дизайн экспериментов: randomization, sample size, CUPED, sequential testing, Bayesian A/B
🤩 типичные ошибки: peeking, multiple comparisons, SRM, Simpson’s paradox, winner’s curse
🤩 causal inference: DiD, synthetic control, regression discontinuity, geo-lift
🤩 ML: logistic regression, precision/recall, ROC-AUC, calibration, uplift modelling, survival analysis
Пожалуй, многие споры в аналитике возникают не из-за неправильной статистики, а потому что люди используют одни и те же слова в разных смыслах.
Conversion rate - какой именно знаменатель?
Retention - какая именно методология?
Significant - статистически или «достаточно хорошо для слайда»?
Хороший референс, чтобы быстро синхронизировать команду и освежить знания перед экспериментом.
Ссылка на The Product Analytics & Data Science Cheat Sheet
_______________
CRO & Personalization 🥡
Repost from N/a
Запустили Gravity AI Shopping Assistant вместе с METRO 🚀
Ассистент помогает покупателю быстро собрать корзину: понимает запрос на обычном языке, определяет нужные категории, находит подходящие товары в ассортименте магазина и позволяет добавить их в корзину прямо из диалога.
Он уже работает в АБ тесте на мобильном сайте METRO. Можно попросить ассистента найти конкретный товар, передать ему список покупок или описать всю закупку одной фразой. При подборе он учитывает региональный ассортимент и показывает товары, доступные покупателю.
Сейчас мы анализируем первые результаты, выявляем повторяющиеся паттерны в запросах покупателей и на их основе обучаем ассистента работать с новыми сценариями. Так он сможет брать на себя всё больше работы по сбору корзины и помогать с более сложными закупками.
Подробнее о Gravity AI Shopping Assistant
😁 От персонализации к AI-commerce: что происходит с e-commerce прямо сейчас
В рамках Learnings выступит Вадим Мамедов - VP, Revenue Enablement в InsiderOne, один из лидеров на рынке customer experience и персонализации в мире.
За последние несколько лет AI сильно изменил само понимание персонализации в e-commerce. Мы постепенно уходим от мира, где персонализация - сегменты, рекомендации товаров и несколько отдельных сценариев коммуникации, к модели, где бренды пытаются понимать контекст и намерение каждого клиента, принимать решения в реальном времени и выстраивать индивидуальный customer journey сразу между несколькими каналами.
На встрече поговорим о том, как AI меняет e-commerce и digital customer experience прямо сейчас: что происходит с классической персонализацией, почему появляются AI shopping assistants и agentic commerce, как меняются поиск, рекомендации и взаимодействие клиента с брендом — и какие подходы уже используют крупные международные компании.
На примерах из практики InsiderOne разберём, как сегодня выглядят такие системы изнутри: какие данные и AI-модели используются, как принимается решение о следующем лучшем действии для клиента, что уже реально работает в production, а где рынок пока значительно опережает реальность красивыми AI-обещаниями.
Это не продуктовый вебинар и не презентация компании. Скорее, это часовой разговор о том, куда движется глобальный e-commerce, как меняется понятие персонализации и к чему digital-командам стоит готовиться уже сейчас.
Если вы работаете с e-commerce, digital, CRM, продуктом, customer experience или персонализацией — присоединяйтесь. Будет много международных примеров, практики и минимум AI-хайпа.
🗓 Следующая неделя 27.08.2026 в 17:00
🔗 Ссылка на подключение:
https://telemost.yandex.ru/j/4095725207
Присоединяйтесь! 🤗
_______________
CRO & Personalization 🤝
📚 Книга на заметку: Python for Marketing Research and Analytics
Рекомендую как практическую книгу для тех, кто работает с данными и ищет продуктовые гипотезы. Для меня она стала настольной книгой, к которой я возвращаюсь переодически.
Здесь Python – не самоцель, а инструмент для исследования данных, поиска закономерностей и точек роста.
Хорошая связка: данные ➡️ наблюдение ➡️ гипотеза ➡️ эксперимент.
Особенно рекомендую аналитикам и product managers.
Книгу оставил в комментариях 🤫
_______________
CRO & Personalization 😸
Теперь наша работа Trustworthy A/B Patterns and the Winner's Curse: Lessons from Eight Large-Scale Replications
доступна в ACM Digital Library (ACM DL) - крупнейшей и самой авторитетной цифровой научной библиотеку в мире в области компьютерных наук, программирования и вычислительной техники.
Ссылка на работу.
Что тестируют лидеры digital в 2026?
Ловите benchmark по Feature Experimentation от VWO/AB Tasty. Он хорошо показывает, куда сегодня движется experimentation.
45% всех экспериментов по-прежнему про CRO - заставить пользователя быстрее купить или зарегистрироваться.
Ещё 22% - про revenue optimization: AOV, размер корзины, pricing, upsell.
Но самое интересное начинается дальше.
Только 6% экспериментов посвящены retention, а 5% - adoption новых фич.
Получается довольно любопытная картина: бизнес отлично научился оптимизировать момент покупки, но гораздо меньше экспериментирует с тем, что происходит после неё.
Авторы предлагают смотреть на experimentation не только как на способ поднять conversion rate, но и как на инструмент проверки продуктовых решений: algorithms, pricing logic, новые features, onboarding и retention.
Всех с пятницей 🍾
Поставьте сердечко 🫶
_______________
CRO & Personalization ❤️
4️⃣ 42%.
Именно столько экспериментов в Spotify откатывают назад. Не из-за багов. Не из-за плохих инженеров. А потому что guardrail-метрики вовремя обнаруживают регрессии.
На первый взгляд это звучит как провал. На самом деле - это признак зрелой культуры экспериментирования.
Мы привыкли считать, что задача A/B-теста - найти победителя. Но у сильных продуктовых команд другая цель: не допустить ухудшения продукта.
И здесь возникает парадокс.
С развитием AI стоимость разработки стремительно падает. То, что раньше занимало недели, сегодня собирается за несколько часов. Кажется, что скорость - главное преимущество.
Но чем дешевле становится создание фич, тем дороже становится ошибка.
Если раньше команда могла реализовать 10 идей за квартал, а теперь - 40, качество идей не изменилось автоматически. Если половина гипотез исторически не приносила пользы, то теперь вы производите не только больше удачных решений, но и в четыре раза больше потенциальных регрессий.
Поэтому в эпоху AI главным конкурентным преимуществом становится уже не скорость разработки, а качество принятия решений.
Именно для этого существуют guardrail-метрики.
Они отвечают на вопрос не выросла ли наша целевая метрика?, а что еще мы случайно сломали?.
Можно увеличить engagement, одновременно снизив удержание. Улучшить конверсию для большинства пользователей, ухудшив опыт самого ценного сегмента. Получить красивый краткосрочный эффект, который полностью исчезнет через несколько недель.
Без guardrails такие изменения выглядят как победа. С guardrails - как своевременно предотвращенная ошибка.
Возможно, в мире, где создавать стало дешево, способность отказаться от собственной идеи становится ценнее способности быстро ее реализовать.
Хорошая система экспериментов измеряется не количеством запусков, а количеством плохих решений, которые она не позволила вывести в продакшен.
Читать полную статья от Spotify 🎵
_______________
CRO & Personalization 👾
🎆Забирайте свежий отчет от FOSPHA, в котором - главные инсайты про сезон больших распродаж (ноябрь–декабрь):
🔵Бренды тратят на рекламу на 22% больше, чем в прошлом году, но готовиться начинают уже сейчас - лидеры закладывают бюджет в Q1–Q3, а не ждут осени.
🔵До сезона - тестируют гипотезы в 2 раза активнее, а когда начинается ажиотаж - давят только на проверенные связки (+48% бюджета на кампанию).
🔵Топ-бренды не выключают рекламу на узнаваемость даже в спокойные месяцы - минимум 15% бюджета всегда на верх воронки.
🔵30% бюджета уходят в каналы, где конкуренция пока ниже: Reddit, Pinterest, RTB House, Google Demand Gen. Заходить туда лучше ДО того, как туда ринутся все.
🔵AI-автоматизация - уже не эксперимент: Meta Advantage+ дает +94% выручки при стоимости клиента на 19% ниже. Вопрос не «внедрять или нет», а «как быстро».
_______________
CRO & Personalization ©
🎞 Одна из самых крутых частей встречи с Викторией Качаловой (Head of Consulting Eastern Europe, Kameleoon), на мой взгляд, - это разбор реальных кейсов, которые уже принесли бизнесу измеримый результат.
Например, один из экспериментов с бесплатной доставкой небольших товаров до ПВЗ показал:
📍+64% к количеству заказов;
📍+39% к выручке на визит.
При этом, вероятно, сработала не только сама бесплатная доставка. Команда одновременно сделала кнопку добавления товара в корзину заметнее. Это ещё раз показывает, насколько важно понимать, что именно стало причиной роста, а не просто смотреть на итоговую метрику.
Основной акцент Виктории - AI начинает менять сам процесс экспериментирования. PBX уже помогает создавать варианты интерфейсов, писать код для A/B-тестов, подключать метрики и анализировать результаты. По данным Kameleoon, около 40% экспериментов уже запускаются через PBX, а команды могут проводить в 2–3 раза больше тестов.
Остальные кейсы - про рекомендации, таймеры, сторис, сортировку, персонализацию и AI-агентов - рекомендую посмотреть в записи. Там ещё много интересных примеров с цифрами и практическими выводами.
Сама преза тут
_______________
CRO & Personalization ✊
Всем пис и хорошей продуктивной недели. Поставьте реакции, давайте поднимем друг другу настроение 👍
_______________
CRO & Personalization 🤩
🤥 Продукт-менеджеров учат задавать десятки вопросов. Но есть три, которые они слишком редко задают самим себе.
Почему именно этот результат я показываю?
Что осталось за кадром?
Если бы эксперимент не сработал, рассказал бы я о нем вообще?
Большинство продуктовых команд искренне верят, что принимают решения на основе данных. Но данные - не объективная реальность. Они проходят через людей. А люди любят хорошие новости.
Именно поэтому даже опытный продукт-менеджер может, сам того не замечая, заняться p-hacking: попробовать еще один срез, убрать «аномальных» пользователей, посмотреть только Android, добавить еще неделю эксперимента - пока не появится заветное p < 0.05.
А если ничего не получилось? Тогда результаты часто просто исчезают. Их не показывают на демо, не публикуют в базе экспериментов, не вспоминают на ретроспективе. Это уже publication bias - мы видим только победителей и начинаем верить, что выигрывает почти каждая идея.
Именно так организации постепенно начинают переоценивать собственную способность находить «рабочие гипотезы».
В книге Calling Bullshit есть мысль, которая кажется очевидной, но меняет способ смотреть на любую информацию. Авторы предлагают задавать не вопрос «Правда ли это?», а сначала другой:
Кто мне это говорит?
Откуда он это знает?
Что он выигрывает, если я в это поверю?
Эти вопросы работают не только для новостей или социальных сетей. Они прекрасно работают и внутри продуктовых команд.
Когда коллега показывает «успешный» A/B-тест, спросите:
Сколько метрик посмотрели до того, как нашли значимую?
Были ли эксперименты с противоположным результатом?
Какой MDE планировали заранее?
Где результаты всех остальных тестов?
Очень часто после этих вопросов история становится менее впечатляющей - и гораздо ближе к истине.
Не случайно Calling Bullshit - первая книга в списке рекомендаций Рона Кохави. До того как обсуждать CUPED, sequential testing или Bayesian inference, стоит научиться распознавать самый распространенный источник шума - нас самих.
Книгу оставил в комментариях 🤫
_______________
CRO & Personalization 🤥
🤓 В рамках Learnings выступит Виктория Качалова — Head of Consulting Eastern Europe в Kameleoon.
Kameleoon — это платформа для экспериментов и управления функциями (Feature Management), которая работает на уровне кода и SDK, а не только в интерфейсе, что делает её инструментом и для маркетинга, и для продуктовых команд.
Виктория работает в Kameleoon c 2019 года и специализируется на выстраивании процессов A/B-тестирования внутри крупных корпораций. Под её руководством консалтинговая команда Kameleoon сопровождает проекты в России, странах СНГ и Европы, выступая стратегическим мостом между технологией и бизнес-задачами клиентов. За годы работы она видела, как устроены процессы экспериментов в десятках компаний — и какие барьеры мешают им приносить прибыль, даже когда платформа уже куплена.
На вебинаре поговорим о том, как AI-агенты 🤖 кардинально меняют рынок production-экспериментов. Разберём, как искусственный интеллект оптимизирует разработку проектов, генерирует гипотезы, позволяет выходить на предиктивный таргетинг и проводить глубинный анализ результатов. Отдельное внимание уделим MCP-серверу, который ускоряет деплой выигрышных вариаций в разы. В качестве бонуса — покажем, как будет выглядеть рутина команды, управляющей экспериментами, уже в ближайшем будущем, когда AI станет полноценным участником каждого этапа тестирования.
Если ваша задача — повышать эффективность цифровых каналов, ускорять вывод гипотез и внедрять инновации без потери качества, — этот вебинар даст вам конкретную дорожную карту. Будет много кейсов, архитектурных инсайтов и честного взгляда на то, как готовиться к новой эре экспериментов.
📆Когда: в этот четверг 23.07.26 в 16:30 (продолжительность час)
👉Ссылка на подключение
_______________
CRO & Personalization 🙈
Для тех, кто не смотрел или не смог посмотреть - на этой неделе отличное время, чтобы выделить час и посмотреть запись вебинара.
_______________
CRO & Personalization 🧘
🔍Есть одна причина, почему поиск по фото становится важнее с каждым годом.
Дело не в нейросетях. И не в новой технологии.
Дело в том, что люди редко думают словами.
Попробуйте описать кроссовки, которые увидели в Instagram. Или сумку, случайно замеченную на улице. Скорее всего, получится длинный и неточный запрос. А вот показать фотографию - легко.
Именно поэтому поиск по фото - это не просто еще одна кнопка рядом с поисковой строкой. Это способ сократить расстояние между желанием пользователя и нужным товаром.
Мой друг Павел Костин опубликовал большое исследование на основе данных более 30 fashion-ритейлеров. Цифры заставляют задуматься.
❌ За три месяца пользователи загрузили 813 тысяч изображений.
❌ Поиск по фото использовали 255 тысяч человек.
❌ Хотя на него приходится всего 6,1% всех поисковых запросов, именно сюда чаще приходят с уже сформированным намерением купить.
❌ Более 10 тысяч заказов были атрибутированы этому сценарию, а средний чек составил 10 900 ₽.
Но самая интересная мысль статьи - не про метрики.
Покупатель ищет не товар.
Он ищет визуальное совпадение со своим ожиданием.
Поэтому поиск по фото - это не альтернатива текстовому поиску. Это новый способ выразить намерение, когда слова перестают работать.
Для тех, кто развивает поиск, рекомендации или e-commerce, статья особенно ценна практическими выводами: какие категории выигрывают больше всего, какие KPI стоит отслеживать и почему изображения могут стать источником данных о неудовлетворенном спросе.
👀Читать полностью исследование
_______________
CRO & Personalization 🚀
💫 Представьте, что 100 ваших A/B-тестов показали статистически значимый результат.
Интуиция подсказывает: десятки из них должны привести к росту продукта.
Реальность сложнее.
Часть этих побед окажется следствием случайности. Другие будут испорчены проблемами в данных. А некоторые выглядели убедительно только потому, что эксперимент остановили слишком рано или запустили с недостаточным объемом трафика.
Именно поэтому вопрос Есть ли эффект? часто менее важен, чем вопрос Можно ли доверять этому результату?
16 июля Рон Кохави и Люк Соннет проведут сессию о том, как отличить настоящий сигнал от статистического шума. Среди тем:
▫️Почему статистическая значимость - лишь начало анализа, а не его конец.
▫️ Как Sample Ratio Mismatch (SRM) способен незаметно сделать результаты эксперимента недостоверными.
▫️ Почему тесты с низкой мощностью не просто пропускают успешные идеи, но и создают ложную уверенность в тех, которых никогда не существовало.
По мере того как AI позволяет запускать эксперименты все быстрее, цена ошибки только растет. Генерировать гипотезы становится проще. Гораздо сложнее - понять, каким результатам действительно можно доверять.
Если вы строите продукт, в котором решения принимаются на основе экспериментов, эту сессию точно стоит посмотреть.
🗓 Когда: в этот четверг 19 июля 2026 в 19:00
📌Ссылка на регистрацию
_______________
CRO & Personalization 🤷♂️
Repost from N/a
🤔 Спасут ли кнопки конверсию?
Каждый год нам твердят: «Скруглите углы — получите +55% кликов».
Эти UX советы становятся догмами, но работают ли они на практике?
Международная группа во главе с Роном Кохави решила проверить это на живых данных. Вместе с Андреем Андреевым (METRO) они запустили А/В тест на платформе Gravity Field.
Читайте, как проходил эксперимент и чему стоит верить, а чему — нет, в нашей статье "Как A/B-платформа Gravity Field прошла проверку Рона Кохави: международный эксперимент на сайте METRO"
🤩🤩Чем лучше становится AI, тем ценнее становятся A/B-тесты.
На первый взгляд это звучит парадоксально.
Сегодня LLM могут за минуты предложить десятки вариантов заголовков, экранов или пользовательских сценариев. Кажется, что скоро они смогут и предсказывать, какой вариант победит.
Помните про исследование от Spotify🎵? Ребята показали, почему это не так.
Они сравнили прогнозы LLM с результатами 417 реальных A/B-тесто. Без калибровки модель смогла восстановить лишь 39% эффекта, который наблюдался у настоящих пользователей. Чтобы приблизиться к реальности, ей понадобились исторические данные человеческих экспериментов.
И здесь возникает ключевое ограничение.
Калибровка работает только тогда, когда новая гипотеза похожа на уже проверенные. Но если идея действительно новая, сравнить ее не с чем - человеческих данных еще не существует.
Посмотрите на один из наших недавних экспериментов.
Мы протестировали небольшое изменение интерфейса повторного заказа. Оно выглядело логичным, современным и удобным (подсмотрено у Amazon). Многие, вероятно, внедрили бы его без раздумий.
Но A/B-тест показал обратное: Add to Cart снизился на 2.58%.
В этом и заключается главный парадокс эпохи AI.
Искусственный интеллект может сделать генерацию идей практически бесплатной. Значит, вокруг нас станет еще больше решений, которые выглядят убедительно.
Но единственный способ понять, какие из них действительно улучшают продукт, - показать их реальным пользователям.
AI строит гипотезы. Эксперименты принимают решения.
И именно поэтому ценность A/B-тестирования в ближайшие годы, скорее всего, не уменьшится, а станет только выше.
_______________
CRO & Personalization 😎
▫️Если вы развиваете поиск, рекомендательные системы или любой другой алгоритм ранжирования, тогда держите статью. В ней авторы показывают, как получать результаты, сопоставимые с классическими A/B-тестами, используя в 10-100 раз меньше данных.
Каждый, кто запускал A/B-тесты, сталкивался с одной и той же проблемой.
Есть идея. Есть гипотеза. Но чтобы понять, работает ли она, приходится ждать неделю, две, а иногда и месяц. Не потому, что эксперимент сложный. А потому что статистике нужно много данных.
Можно ли узнать ответ раньше?
Исследователи Microsoft решили проверить это на примере поисковых систем.
Вместо классического A/B-теста они использовали метод interleaving: пользователю одновременно показываются результаты двух алгоритмов ранжирования, а победитель определяется по поведению этого же пользователя. Такой подход резко снижает разброс между пользователями и позволяет принимать решения значительно быстрее.
Но возникла другая проблема. Высокая чувствительность достигалась ценой качества - interleaving не всегда выбирал того же победителя, что и полноценный A/B-тест.
Тогда исследователи изменили не сам алгоритм interleaving, а то, как начисляется кредит каждому алгоритму.
Вместо простого подсчета кликов они начали учитывать более богатые сигналы удовлетворенности пользователя: вероятность того, что клик действительно решил задачу, длительность просмотра страницы, позицию результата и другие поведенческие признаки.
Результат впечатляет.
На данных из 38 онлайн-экспериментов и более 3 миллиардов кликов совпадение с итогами классических A/B-тестов выросло с 76% до 85%, а interleaving сохранил свое главное преимущество - ему по-прежнему требовалось на один-два порядка меньше данных, чем традиционному эксперименту.
Для меня главный вывод выходит далеко за рамки поиска.
Мы часто обсуждаем, какая метрика лучше: CTR, конверсия, удержание, GMV. Но иногда настоящий прорыв происходит не тогда, когда появляется новая метрика, а тогда, когда мы начинаем по-другому интерпретировать уже существующие сигналы.
Иногда самый быстрый эксперимент - это не тот, который быстрее заканчивается.
А тот, который извлекает максимум информации из каждого взаимодействия пользователя.
_______________
CRO & Personalization 🪐
Repost from Преображенский | E-commerce и Практика
Вышло интересное исследование «Поиск 2026: Роль ИИ-сервисов при поиске и выборе товаров в Сети» от «Ашманов и партнеры».
• Уже 74% покупателей используют ИИ-ответы в поисковых системах при выборе товаров.
• 69% за последний год стали чаще использовать ИИ для поиска и выбора товаров.
• Самый высокий рост использования ИИ - в категории мебели и товаров для дома. Там 75% покупателей стали обращаться к ИИ чаще.
• Каждый третий покупатель уже регулярно использует ИИ при выборе товаров.
• Самая «ИИ-зависимая» категория - косметика и парфюмерия. 39% покупателей используют ИИ регулярно.
• Среди сервисов с огромным отрывом лидирует Алиса AI - 74%.
• Далее идут ChatGPT (28%), Yandex GPT (29%), DeepSeek (21%), Gemini (15%), Perplexity (10%), GigaChat (3%).
• Среди пользователей ИИ-поиска 91% используют именно Алису.
• 69% пользователей предпочитают ИИ-ответы прямо внутри Яндекса и Google, а не отдельные приложения.
• Около половины уже используют ИИ-браузеры вроде Яндекс Браузера, Comet или Opera Aria. Хотя, лично я предпочитаю Атлас.
• 66% покупателей часто или всегда перепроверяют информацию, полученную от нейросетей.
• Только 3% полностью доверяют ИИ и никогда не проверяют ответы.
• После рекомендации ИИ 64% покупателей рассматривают всего 2–3 варианта товаров.
• Только 21% изучают 4–5 вариантов.
• Более 5 вариантов рассматривают всего 9% покупателей.
• Чаще всего ИИ используют для:
— поиска конкретного товара и альтернатив;
— сравнения характеристик и брендов;
— поиска идей и вдохновения перед покупкой.
• ИИ постепенно становится новым входом в e-commerce. Пользователь все реже начинает путь с маркетплейса и все чаще с вопроса нейросети.
• Если текущая динамика сохранится, поиск товаров, сравнение характеристик и анализ отзывов будут постепенно перетекать из маркетплейсов в ИИ-сервисы, наверное, до полной победы.
Полный отчет в приложении.
@praktikadaysonline
