en
Feedback
CRO & Personalization

CRO & Personalization

Open in Telegram

A/B-тестирование, персонализация и рост: опыт, инструменты и подходы, которые помогают принимать решения на основе данных. 📩 Контакты: Андрей Андреев Telegram — @and_and LinkedIn — linkedin.com/in/and-andreev

Show more
844
Subscribers
No data24 hours
+57 days
+530 days
Posts Archive
На этой неделе у меня был 4-й модуль программы Leadership - тема: Критическое мышление 🧠 И вот вам один слайд, который точно
На этой неделе у меня был 4-й модуль программы Leadership - тема: Критическое мышление 🧠 И вот вам один слайд, который точно заслуживает внимания. Если соблюдать эти простые пункты - жить будете дольше, чем среднестатистические люди. И это научно доказано 📈 После такой насыщенной недели я рад сообщить, что я всё ещё жив 😄 Всех с пятницей! Берегите себя ❤️ P.S. Пункты со звёздочкой ⭐️ - пишите в комментариях что они означают 😉

Спасибо всем, кто пришел сегодня на мой доклад на Обороте. Ваша поддержка топ 🔝
Спасибо всем, кто пришел сегодня на мой доклад на Обороте. Ваша поддержка топ 🔝

Немного снизил планку в этом году, в прошлом было 1 место 🥈 🏆 E-Retail Awards 2025
Немного снизил планку в этом году, в прошлом было 1 место 🥈 🏆 E-Retail Awards 2025

💡 Давать скидку или нет? Эксперимент от CVS (ведущей американской сети розничной торговли лекарствами) Читайте отличную стат
💡 Давать скидку или нет? Эксперимент от CVS (ведущей американской сети розничной торговли лекарствами) Читайте отличную статью - Quantifying and Improving Promotion Effectiveness at CVS 📄 Исследование на ResearchGate (Нужен VPN для открытия) 📊 Что сделали CVS оценили эффективность своих промоакций с учётом: • перехода покупателей с других товаров • "запасания" (pull forward) • эффекта гало (влияние на другие продукты) На основе модели отменили неэффективные акции в сотнях магазинов. 📈 Результат Продажи упали на $7.8 млн, но прибыль выросла на $52.6 млн 💥 Более половины промоакций оказались убыточными. 🧠 Вывод Скидки ≠ рост прибыли. Важно учитывать не только рост продаж, но и чистую прибыль с учётом поведения покупателей и кросс-эффектов.

📌 Проект Learnings: Gravity Field × WIM.Agency - "Геймификация как драйвер роста eCom" 🎯 Зачем: конкуренция за внимание не только с другими магазинами, но и с YouTube/соцсетями. 🎮 Геймификация: альтернатива скидкам → удержание опытом, рост выручки и времени в приложении. 🧩 Механики: миссии, челленджи, партнёрки, "три в ряд". 📊 Кейсы: Азбука вкуса: +24% регистраций, +11% продаж. Косметика: 600K игроков, +50K e-mail, фикс конверсии +15%. МТС: 2.5M участников, >100K онлайн. 💡 Итоги: LTV и SAR ↑ в 3-5 раз. Лояльность ↑ на 30%. ROI ~1-1,5K ₽ на механику. Среднее вовлечение: 10-15 минут.

🚀 Результаты A/B теста: Персонализированные бренды на главной Подтвердили гипотезу о добавлении персональных брендов на глав
🚀 Результаты A/B теста: Персонализированные бренды на главной Подтвердили гипотезу о добавлении персональных брендов на главную страницу. Результаты теста на 1.7 млн пользователей: ✅ +2.06% к конверсии в покупку ✅ 98.2% статистической значимости ✅ +496 дополнительных покупателей Персонализация делает предложения более релевантными, помогая пользователям быстрее находить нужные товары. Запустили фичу для всех! Следующий шаг увеличить количество брендов.

😱 Когда страх упустить работает Есть простой триггер, который мы часто недооцениваем - FOMO (Fear of Missing Out). Мы решили
😱 Когда страх упустить работает Есть простой триггер, который мы часто недооцениваем - FOMO (Fear of Missing Out). Мы решили проверить: что если подсветить окончание акции за 96 часов до конца? Результат: даже такое небольшое напоминание подтолкнуло пользователей к действию. 📊 Конверсия выросла на +4.4%, и это статистически значимый результат (P2BB 97.3%). Сплит 80/20. ✅ Вывод: иногда достаточно маленькой детали, чтобы заметно изменить поведение.

photo content

Представьте: вы продукт-менеджер каталога. Ваша задача - упростить и ускорить выбор товаров, а в итоге - увеличить продажи. И вот рождается суперпростая идея. Вы открываете каталог и видите десятки распроданных товаров. Они только засоряют листинг и создают лишнюю когнитивную нагрузку. Но вы опытный - знаете, что это "наследие" от коллег из SEO, которые так собирают трафик. Вы копаете глубже и находите гипотезу от CRO-агентства DRIP agency, которая подтверждает вашу мысль: убрать распроданные товары из листинга. Цена вопроса? Одна строчка кода. Ожидания? +25% к ARPU, а может и повод для статьи или премии. Вы запускаете A/B-тест. Ждёте роста. Но результат - -7.49%. Теперь представьте, что вы сделали бы это без A/B. А ещё хуже - что сделали бы это навсегда. 👉 Живите с этим. А уже сегодня в 15:00 - онлайн-воркшоп Gravity Field и WIM.Agency "Геймификация как драйвер роста e-commerce" Спикеры: Альберт Яралиев - сооснователь и CEO Gravity Field Оля Чемм - CEO WIM.Agency Мария Денисенко - Group Head WIM.Agency Даниил Климов - PM WIM.Agency Подключение по ссылке: https://telemost.yandex.ru/j/6653887362

Главная сила A/B-тестирования - в способности проверять гипотезы и вскрывать непредвиденные эффекты. К примеру, все вокруг ув
Главная сила A/B-тестирования - в способности проверять гипотезы и вскрывать непредвиденные эффекты. К примеру, все вокруг уверены, что Rich-контент гарантированно повышает конверсию. Самый чистый способ это проверить - не добавлять его, а убрать в рамках эксперимента. Именно так можно увидеть его реальное, а не предполагаемое, влияние. 🎯 А/B-тест: Скрытие Rich-контента повышает покупки у новых пользователей 🧪 Гипотеза Скрытие Rich-контента снизит конверсию на 5-8% у новых пользователей 📊 Результаты Скрытие Rich-контента не снизило конверсию, а статистически значимо повысило покупки на 6% 🔍 Выводы Гипотеза не подтвердилась: рост покупок возможен из-за упрощения интерфейса, быстрой загрузки и фокуса на CTA Теперь живите с этим 😁😁😁

Коллеги, я приглашаю вас на вебинар в рамках проекта Learnings. Мероприятие пройдет в эту пятницу в 15:00 онлайн. Длительност
Коллеги, я приглашаю вас на вебинар в рамках проекта Learnings. Мероприятие пройдет в эту пятницу в 15:00 онлайн. Длительность 1 час. Для подключения используйте ссылку: https://telemost.yandex.ru/j/6653887362 Совместный воркшоп Gravity Field и WIM.Agency — «Геймификация как драйвер роста e-commerce» Воркшоп ведет Альберт Яралиев, сооснователь и СЕО Gravity Field, совместно с Олей Чемм, CEO WIM.Agency, Марией Денисенко, Group Head WIM.Agency, и Даниилом Климовым — PM WIM.Agency. О чем поговорим: 1. Цели геймификации. Какие задачи решает? 2. Кейсы из практики с метриками и интересными фактами 3. Тренды в геймификации 4. Как правильно делать геймификацию? Какие кейсы разберем: ⁃ «Почему классический CRM-подход не работает: кейс “Азбуки вкуса” с редизайном коммуникаций и геймификацией» ⁃ «Первая большая геймификация для косметического ритейла: от трудностей запуска до измеримых результатов» ⁃ «Новогодний спецпроект для МТС: адвент-календарь с мини-играми и партнёрскими интеграциями»

🔥 DuoCon 2025 Я уже 213 дней в Duolingo, мой Score 65, и теперь он отображается в моем LinkedIn профиле - крутой способ показать навыки! Из интересного: персонализация поведения Лили. Каждое решение проходит через A/B тест. Например,сердечки заменили на энергию. * Duolingo Chess: шахматный курс обгоняет математику и музыку по вовлеченности, добавлены новые языки и PvP режим. * ИИ и видео-звонки: персонализированная практика речи для Max подписчиков с обратной связью. * Gamification & социальное соревнование: Duolingo Score может стать отраслевым стандартом оценки языковых навыков. * Стратегия роста: укрепление доверия и позиций на рынке через инновации и расширение сервисов. 📺 Смотрите полное видео!

🎯 А/B-тест УТП на главной странице Гипотеза: добавление блока с УТП поможет новым пользователям быстрее понять ценность прод
🎯 А/B-тест УТП на главной странице Гипотеза: добавление блока с УТП поможет новым пользователям быстрее понять ценность продукта и повысит конверсию в покупки на 5%. 📊 Результаты: * Конверсия: +0.92% (Variation vs Control) * Вероятность быть лучшим: 59% * CTR блока: 0.69% * Эффект на покупки: нет статистической значимости 👉 Вывод: пользователи взаимодействуют с блоком, но слабый CTR (0.69%) указывает, что ценности, возможно, поданы недостаточно понятно или заметно. Стоит протестировать другие формулировки и подачу УТП.

А вот исследование, которое ближе уже к нам. Яндекс и Okkam изучили путь пользователя к онлайн-покупке - от первого запроса до оплаты.

🔎 Поиск в eCommerce до сих пор сломан, GenAI становится привычкой, а TikTok - новой витриной для Gen Z. Constructor и Shopify провели масштабное исследование среди ~1500 пользователей из США и Европы. 📊 Что показали результаты 2025 года (SJM): * 68% считают, что поиск на сайтах требует апгрейда * 66% уходят на Amazon при разочаровании * 64% уже попробовали GenAI для покупок * 55% готовы платить больше за скорость и ясность * Персонализация работает плохо - только 20% её реально видят * Половина не доверяет спонсорским листингам * Доверие и простота - главные факторы покупки 🛒 Вывод: в 2025 году выиграют те, кто даст покупателю понятный поиск, настоящую персонализацию и прозрачный процесс покупки. А у нас впереди важный шаг - скоро запускаем A/B-тест поиска от AnyQuery на нашем сайте (50/50). Посмотрим, насколько он сможет повысить удобство и точность для наших пользователей.

photo content

Принципы Вчера у нас прошла отличная внутренняя встреча, посвящённая данным и второму принципу. К нам приезжал Альберт Яралиев, CEO и сооснователь Gravity Field. Вместе с нашим Head of Analytics мы подробно обсудили текущие проблемы, рабочие процессы и возможные улучшения. Разговор получился тёплым, открытым и продуктивным. Позже мы пообщались с Альбертом тет-а-тет, и во время этой беседы до меня дошла одна очень важная мысль - как щелчок. Никакая, даже самая продвинутая система - будь то StatSig (которую недавно приобрёл OpenAI), Kameleoon, GrowthBook, Dynamic Yield, Optimizely, AB Tasty, Adobe Target, Gravity Field и другие - не даст вам реальной ценности, если ваша организация ещё не доросла до трёх принципов для проведения экспериментов. Ни одна. ❗️❗️❗️ Существуют три ключевых принципа для организаций, которые хотят проводить контролируемые онлайн-эксперименты: 1. Организация стремится принимать решения на основе данных и формализовала OEC (Overall Evaluation Criterion - общий оценочный критерий) 2. Организация готова инвестировать в инфраструктуру и тесты для проведения контролируемых экспериментов и гарантировать достоверность результатов 3. Организация признаёт, что не умеет объективно оценивать ценность идей Слайд взят из курса Рона Кохэви https://maven.com/kohavi/abtesting Кто такой Рон: https://robotics.stanford.edu/~ronnyk/

🚀 Провели A/B-тест: скрыли отзывы, чтобы проверить, повлияет ли это на покупки. 📊 Результаты: - Конверсия почти не изменила
🚀 Провели A/B-тест: скрыли отзывы, чтобы проверить, повлияет ли это на покупки. 📊 Результаты: - Конверсия почти не изменилась - Uplift: -2.1% - Вероятность быть лучше: 39% (контроль 61%) - ❗️Статистической значимости нет 💡 Вывод: Статистически значимого эффекта на метрики мы не обнаружили, хотя и наблюдали определенную позитивную тенденцию. Мощность теста (20%) подтверждает, что выборки не хватило для детекции эффекта, и для его обнаружения потребовалось бы значительно большее количество данных. Любопытно, что Zalando - ведущая европейская платформа моды, полностью отказалась от отзывов, заменив их на рейтинги.

photo content

💡 Vibe Experimentation в 2025: что это и зачем нужно Автор: Collin Tate Crowell, VP of Growth, Kameleoon, North America AI давно стал частью A/B-тестирования, ускоряя создание тестов, оптимизацию трафика и персонализацию. Но теперь всё стало ещё быстрее: на смену vibe coding приходит vibe experimentation. 🔹 Vibe coding: AI помогает быстро создать прототипы и код, но тесты всё равно нужно вручную интегрировать и запускать. 🔹 Vibe experimentation: AI создаёт готовые к запуску вариации прямо внутри вашего сайта или продукта. Вводите идею - и платформа сама строит продукт, интегрирует код, QA проходит стандартно, а тест можно запустить мгновенно. ⚡ Плюсы: Экономия времени: запуск тестов теперь занимает минуты, а не дни. Меньше нагрузки на разработчиков. Больше экспериментов, больше данных, быстрее обучение. Важно: AI ускоряет процесс, но человеческое творчество остаётся ключевым. Идеи формулируете вы - AI помогает их воплотить. Пример: тот самый "crazy" эксперимент с вашей команды - можно построить в четверг и проверить до конца недели. 💭 Мои размышления: Этот тренд, который начал Kameleoon, будет постепенно появляться у других вендоров. Например, Optimizely уже добавили AI-агентов. Российский рынок сейчас находится в некоторой просадке после ухода крупных игроков. Очень ждём, когда Kameleoon даст доступ к своей новой фиче в России. Думаю, смогу в будущем рассказать об этом более подробно. Подробнее: kameleoon.com/blog/vibe-coding-vs-vibe-experimentation