CRO & Personalization
Open in Telegram
A/B-тестирование, персонализация и рост: опыт, инструменты и подходы, которые помогают принимать решения на основе данных. 📩 Контакты: Андрей Андреев Telegram — @and_and LinkedIn — linkedin.com/in/and-andreev
Show more844
Subscribers
No data24 hours
+57 days
+530 days
Posts Archive
На этой неделе у меня был 4-й модуль программы Leadership - тема: Критическое мышление 🧠
И вот вам один слайд, который точно заслуживает внимания.
Если соблюдать эти простые пункты - жить будете дольше, чем среднестатистические люди. И это научно доказано 📈
После такой насыщенной недели я рад сообщить, что я всё ещё жив 😄
Всех с пятницей! Берегите себя ❤️
P.S. Пункты со звёздочкой ⭐️ - пишите в комментариях что они означают 😉
Спасибо всем, кто пришел сегодня на мой доклад на Обороте. Ваша поддержка топ 🔝
Немного снизил планку в этом году, в прошлом было 1 место 🥈
🏆 E-Retail Awards 2025
💡 Давать скидку или нет? Эксперимент от CVS (ведущей американской сети розничной торговли лекарствами)
Читайте отличную статью - Quantifying and Improving Promotion Effectiveness at CVS
📄 Исследование на ResearchGate
(Нужен VPN для открытия)
📊 Что сделали
CVS оценили эффективность своих промоакций с учётом:
• перехода покупателей с других товаров
• "запасания" (pull forward)
• эффекта гало (влияние на другие продукты)
На основе модели отменили неэффективные акции в сотнях магазинов.
📈 Результат
Продажи упали на $7.8 млн,
но прибыль выросла на $52.6 млн 💥
Более половины промоакций оказались убыточными.
🧠 Вывод
Скидки ≠ рост прибыли.
Важно учитывать не только рост продаж,
но и чистую прибыль с учётом поведения покупателей и кросс-эффектов.
📌 Проект Learnings: Gravity Field × WIM.Agency - "Геймификация как драйвер роста eCom"
🎯 Зачем: конкуренция за внимание не только с другими магазинами, но и с YouTube/соцсетями.
🎮 Геймификация: альтернатива скидкам → удержание опытом, рост выручки и времени в приложении.
🧩 Механики: миссии, челленджи, партнёрки, "три в ряд".
📊 Кейсы:
Азбука вкуса: +24% регистраций, +11% продаж.
Косметика: 600K игроков, +50K e-mail, фикс конверсии +15%.
МТС: 2.5M участников, >100K онлайн.
💡 Итоги:
LTV и SAR ↑ в 3-5 раз.
Лояльность ↑ на 30%.
ROI ~1-1,5K ₽ на механику.
Среднее вовлечение: 10-15 минут.
🚀 Результаты A/B теста: Персонализированные бренды на главной
Подтвердили гипотезу о добавлении персональных брендов на главную страницу. Результаты теста на 1.7 млн пользователей:
✅ +2.06% к конверсии в покупку
✅ 98.2% статистической значимости
✅ +496 дополнительных покупателей
Персонализация делает предложения более релевантными, помогая пользователям быстрее находить нужные товары.
Запустили фичу для всех!
Следующий шаг увеличить количество брендов.
😱 Когда страх упустить работает
Есть простой триггер, который мы часто недооцениваем - FOMO (Fear of Missing Out).
Мы решили проверить: что если подсветить окончание акции за 96 часов до конца?
Результат: даже такое небольшое напоминание подтолкнуло пользователей к действию.
📊 Конверсия выросла на +4.4%, и это статистически значимый результат (P2BB 97.3%).
Сплит 80/20.
✅ Вывод: иногда достаточно маленькой детали, чтобы заметно изменить поведение.
Представьте: вы продукт-менеджер каталога.
Ваша задача - упростить и ускорить выбор товаров, а в итоге - увеличить продажи.
И вот рождается суперпростая идея.
Вы открываете каталог и видите десятки распроданных товаров. Они только засоряют листинг и создают лишнюю когнитивную нагрузку. Но вы опытный - знаете, что это "наследие" от коллег из SEO, которые так собирают трафик.
Вы копаете глубже и находите гипотезу от CRO-агентства DRIP agency, которая подтверждает вашу мысль: убрать распроданные товары из листинга.
Цена вопроса? Одна строчка кода.
Ожидания? +25% к ARPU, а может и повод для статьи или премии.
Вы запускаете A/B-тест. Ждёте роста.
Но результат - -7.49%.
Теперь представьте, что вы сделали бы это без A/B.
А ещё хуже - что сделали бы это навсегда.
👉 Живите с этим.
А уже сегодня в 15:00 - онлайн-воркшоп Gravity Field и WIM.Agency
"Геймификация как драйвер роста e-commerce"
Спикеры:
Альберт Яралиев - сооснователь и CEO Gravity Field
Оля Чемм - CEO WIM.Agency
Мария Денисенко - Group Head WIM.Agency
Даниил Климов - PM WIM.Agency
Подключение по ссылке: https://telemost.yandex.ru/j/6653887362
Главная сила A/B-тестирования - в способности проверять гипотезы и вскрывать непредвиденные эффекты. К примеру, все вокруг уверены, что Rich-контент гарантированно повышает конверсию. Самый чистый способ это проверить - не добавлять его, а убрать в рамках эксперимента. Именно так можно увидеть его реальное, а не предполагаемое, влияние.
🎯 А/B-тест: Скрытие Rich-контента повышает покупки у новых пользователей
🧪 Гипотеза
Скрытие Rich-контента снизит конверсию на 5-8% у новых пользователей
📊 Результаты
Скрытие Rich-контента не снизило конверсию, а статистически значимо повысило покупки на 6%
🔍 Выводы
Гипотеза не подтвердилась: рост покупок возможен из-за упрощения интерфейса, быстрой загрузки и фокуса на CTA
Теперь живите с этим 😁😁😁
Коллеги, я приглашаю вас на вебинар в рамках проекта Learnings.
Мероприятие пройдет в эту пятницу в 15:00 онлайн. Длительность 1 час.
Для подключения используйте ссылку: https://telemost.yandex.ru/j/6653887362
Совместный воркшоп Gravity Field и WIM.Agency — «Геймификация как драйвер роста e-commerce»
Воркшоп ведет Альберт Яралиев, сооснователь и СЕО Gravity Field, совместно с Олей Чемм, CEO WIM.Agency, Марией Денисенко, Group Head WIM.Agency, и Даниилом Климовым — PM WIM.Agency.
О чем поговорим:
1. Цели геймификации. Какие задачи решает?
2. Кейсы из практики с метриками и интересными фактами
3. Тренды в геймификации
4. Как правильно делать геймификацию?
Какие кейсы разберем:
⁃ «Почему классический CRM-подход не работает: кейс “Азбуки вкуса” с редизайном коммуникаций и геймификацией»
⁃ «Первая большая геймификация для косметического ритейла: от трудностей запуска до измеримых результатов»
⁃ «Новогодний спецпроект для МТС: адвент-календарь с мини-играми и партнёрскими интеграциями»
🔥 DuoCon 2025
Я уже 213 дней в Duolingo, мой Score 65, и теперь он отображается в моем LinkedIn профиле - крутой способ показать навыки!
Из интересного: персонализация поведения Лили. Каждое решение проходит через A/B тест. Например,сердечки заменили на энергию.
* Duolingo Chess: шахматный курс обгоняет математику и музыку по вовлеченности, добавлены новые языки и PvP режим.
* ИИ и видео-звонки: персонализированная практика речи для Max подписчиков с обратной связью.
* Gamification & социальное соревнование: Duolingo Score может стать отраслевым стандартом оценки языковых навыков.
* Стратегия роста: укрепление доверия и позиций на рынке через инновации и расширение сервисов.
📺 Смотрите полное видео!
🎯 А/B-тест УТП на главной странице
Гипотеза: добавление блока с УТП поможет новым пользователям быстрее понять ценность продукта и повысит конверсию в покупки на 5%.
📊 Результаты:
* Конверсия: +0.92% (Variation vs Control)
* Вероятность быть лучшим: 59%
* CTR блока: 0.69%
* Эффект на покупки: нет статистической значимости
👉 Вывод: пользователи взаимодействуют с блоком, но слабый CTR (0.69%) указывает, что ценности, возможно, поданы недостаточно понятно или заметно. Стоит протестировать другие формулировки и подачу УТП.
А вот исследование, которое ближе уже к нам.
Яндекс и Okkam изучили путь пользователя к онлайн-покупке - от первого запроса до оплаты.
🔎 Поиск в eCommerce до сих пор сломан, GenAI становится привычкой, а TikTok - новой витриной для Gen Z.
Constructor и Shopify провели масштабное исследование среди ~1500 пользователей из США и Европы.
📊 Что показали результаты 2025 года (SJM):
* 68% считают, что поиск на сайтах требует апгрейда
* 66% уходят на Amazon при разочаровании
* 64% уже попробовали GenAI для покупок
* 55% готовы платить больше за скорость и ясность
* Персонализация работает плохо - только 20% её реально видят
* Половина не доверяет спонсорским листингам
* Доверие и простота - главные факторы покупки
🛒 Вывод: в 2025 году выиграют те, кто даст покупателю понятный поиск, настоящую персонализацию и прозрачный процесс покупки.
А у нас впереди важный шаг - скоро запускаем A/B-тест поиска от AnyQuery на нашем сайте (50/50). Посмотрим, насколько он сможет повысить удобство и точность для наших пользователей.
Принципы
Вчера у нас прошла отличная внутренняя встреча, посвящённая данным и второму принципу. К нам приезжал Альберт Яралиев, CEO и сооснователь Gravity Field. Вместе с нашим Head of Analytics мы подробно обсудили текущие проблемы, рабочие процессы и возможные улучшения. Разговор получился тёплым, открытым и продуктивным.
Позже мы пообщались с Альбертом тет-а-тет, и во время этой беседы до меня дошла одна очень важная мысль - как щелчок.
Никакая, даже самая продвинутая система - будь то StatSig (которую недавно приобрёл OpenAI), Kameleoon, GrowthBook, Dynamic Yield, Optimizely, AB Tasty, Adobe Target, Gravity Field и другие - не даст вам реальной ценности, если ваша организация ещё не доросла до трёх принципов для проведения экспериментов. Ни одна.
❗️❗️❗️
Существуют три ключевых принципа для организаций, которые хотят проводить контролируемые онлайн-эксперименты:
1. Организация стремится принимать решения на основе данных и формализовала OEC (Overall Evaluation Criterion - общий оценочный критерий)
2. Организация готова инвестировать в инфраструктуру и тесты для проведения контролируемых экспериментов и гарантировать достоверность результатов
3. Организация признаёт, что не умеет объективно оценивать ценность идей
Слайд взят из курса Рона Кохэви https://maven.com/kohavi/abtesting
Кто такой Рон: https://robotics.stanford.edu/~ronnyk/
🚀 Провели A/B-тест: скрыли отзывы, чтобы проверить, повлияет ли это на покупки.
📊 Результаты:
- Конверсия почти не изменилась
- Uplift: -2.1%
- Вероятность быть лучше: 39% (контроль 61%)
- ❗️Статистической значимости нет
💡 Вывод:
Статистически значимого эффекта на метрики мы не обнаружили, хотя и наблюдали определенную позитивную тенденцию. Мощность теста (20%) подтверждает, что выборки не хватило для детекции эффекта, и для его обнаружения потребовалось бы значительно большее количество данных.
Любопытно, что Zalando - ведущая европейская платформа моды, полностью отказалась от отзывов, заменив их на рейтинги.
💡 Vibe Experimentation в 2025: что это и зачем нужно
Автор: Collin Tate Crowell, VP of Growth, Kameleoon, North America
AI давно стал частью A/B-тестирования, ускоряя создание тестов, оптимизацию трафика и персонализацию. Но теперь всё стало ещё быстрее: на смену vibe coding приходит vibe experimentation.
🔹 Vibe coding: AI помогает быстро создать прототипы и код, но тесты всё равно нужно вручную интегрировать и запускать.
🔹 Vibe experimentation: AI создаёт готовые к запуску вариации прямо внутри вашего сайта или продукта. Вводите идею - и платформа сама строит продукт, интегрирует код, QA проходит стандартно, а тест можно запустить мгновенно.
⚡ Плюсы:
Экономия времени: запуск тестов теперь занимает минуты, а не дни.
Меньше нагрузки на разработчиков.
Больше экспериментов, больше данных, быстрее обучение.
Важно: AI ускоряет процесс, но человеческое творчество остаётся ключевым. Идеи формулируете вы - AI помогает их воплотить.
Пример: тот самый "crazy" эксперимент с вашей команды - можно построить в четверг и проверить до конца недели.
💭 Мои размышления:
Этот тренд, который начал Kameleoon, будет постепенно появляться у других вендоров. Например, Optimizely уже добавили AI-агентов.
Российский рынок сейчас находится в некоторой просадке после ухода крупных игроков. Очень ждём, когда Kameleoon даст доступ к своей новой фиче в России. Думаю, смогу в будущем рассказать об этом более подробно.
Подробнее: kameleoon.com/blog/vibe-coding-vs-vibe-experimentation
