CRO & Personalization

Если вам не хватает идей для новых A/B-тестов – вот отличный источник вдохновения 👇 Ребята из Drip agency собрали большую подборку (🤩❗️) гипотез из e-commerce, где примеры взяты у разных ритейлеров и брендов – от fashion до FMCG. Что можно подсмотреть и адаптировать: • Как Birkenstock может ускорить путь к покупке через быструю Add-to-Cart и открытый фильтр размеров • Как Flaconi может усилить ценовое якорение через Retail Price Anchor и отзывы на PLP • Как Sports Direct может добавить популярность через бейджи и структурированные карточки • Как Bose может оптимизировать чек-аут: sticky summary и фокус на оплате • Как Lidl может снизить когнитивную нагрузку, скрывая sold-out и показывая экономию в корзине Внутри – десятки паттернов: 🟢якорение цены 🟢социальное доказательство 🟢 срочность через таймеры 🟢 эмоциональные триггеры 🟢 preselected guest checkout 🟢 mobile search visibility 🟢 upsell через cart drawer 🟢 shop-the-look 🟢 экспертные бейджи 🟢 micro-commitment через sample CTA Так что сохраняйте ссылку и используйте как банк идей для ваших будущих тестов: CRO & Personalization ❤️💙

⚰️ Есть опасная иллюзия в продукте: если идея кажется умной – значит она должна работать. На ao.com сделали почти идеальное. Пользователь выделяет серийный номер на товарной карточки – и сайт сам показывает сравнение цен. Он собирался уйти в Google, а вы сделали это за него. Барьер снят. Доверие выросло. Путь к покупке укоротился. Но такие фичи живут или умирают на одном слове – triggering. Не всем. Только тем, у кого есть намерение. Есть известный принцип из практики Amazon – Right Offer at the Right Time. Кредитная карта показывалась на главной и «побеждала» алгоритмически, несмотря на низкий CTR. Но настоящий эффект появился только тогда, когда оффер перенесли в корзину – в точку с явным намерением купить. Правильное предложение. В правильный момент. В METRO мы тестировали «Гарантию лучшей цены» на всех. Результат: –2,56% к конверсии (не статзначимо), CTR 0,37%, дорогая интеграция под капотом. Экономика не сошлась. Вдохновившись AO.com, мы решили действовать точнее. Если пользователь копирует название товара – показываем промокод. Копирует → собирается сравнивать цену → чувствителен к офферу. Это и есть попытка сделать Right Offer at the Right Time. Первый тест дал +6,85% к конверсии при P2BB 99,15%. Выглядело красиво. Перезапуск – эффекта нет. Почему? Потому что «правильное время» – это не только UX. Это ещё и статистика. Если add-to-cart = 4,25%, есть практическое правило от Рона Кохави: чтобы сократить runtime примерно на 50%, доля триггерённых пользователей должна быть ≈ 2 × p. Подробнее можно почитать здесь То есть нам нужно около 8–9% трафика. Это точка, где сигнал начинает доминировать над шумом. А теперь ключевой факт: у нас не было 8–9% пользователей, которые копируют название товара. Их было значительно меньше. Это значит, что эксперимент изначально был статистически слабым. Даже если гипотеза верная, мощности могло просто не хватить. Для биномиальной метрики дисперсия: σ² = p(1−p) При p = 0,0425 она ≈ 0,0407. Если триггер слишком маленький, выборка схлопывается быстрее, чем усиливается сигнал. Вы не концентрируете эффект – вы делаете его нестабильным. А еще при таких классных результатах должен срабатывать закон Тваймана:

Любая цифра, которая выглядит особенно интересной, скорее всего, ошибочна.

+6,85% при 99,15% вероятности быть лучше – как раз из этой категории. Вывод простой и неприятный: этот эксперимент можно было не запускать. Достаточно было заранее посчитать долю аудитории в триггере. Right Offer at the Right Time – это не только про момент показа. Это ещё и про достаточный объём сигнала в этом моменте. Интересно, как именно тестировали эту механику в AO.com? CRO & Personalization 😐

7️⃣ В рамках Learnings выступит Юлия Клепикова - Head of Client Group в Flocktory. Юлия более 8 лет работает на рынке MarTech-решений и помогает крупным брендам превращать персонализацию из «строчки в бюджете» в реальный драйвер роста прибыли. За это время она успела поработать с широким стеком технологий - от поисковых систем до платформ персонализации и A/B-тестирования и увидеть, какие архитектурные подходы действительно ускоряют бизнес, а какие становятся его узким местом. На вебинаре поговорим о том: 🔹 Почему в 2026 году классическая in-house разработка всё чаще проигрывает скорости рынка. 🔹В чем ловушка «голого» SaaS и как найти баланс между технологиями и ресурсами команды. 🔹 Как запускать гипотезы быстрее, обходить IT-бэклоги и строить маркетинговую архитектуру, которая помогает расти. Если вы отвечаете за маркетинг, продукт, клиентский опыт или развитие цифровых каналов - рекомендую найти время и присоединиться. Будет много практических инсайтов и стратегического взгляда на то, как сегодня побеждать in-house. 🗓 Когда: 26 февраля (четверг), 16:00 Topic: «Побеждая In-house» 👉 Подключиться: https://telemost.yandex.ru/j/7323430982 CRO & Personalization 🥂

Мы любим кейсы. ❤️Красная кнопка победила зелёную.💚 Слово free взорвало конверсию. +20% revenue за один A/B-тест. Проблема в том, что ваш mileage WILL vary. В Seven Rules of Thumb for Web Site Experimenters Рона Кохави есть правило №3, которое чаще всего игнорируют: то, что сработало где-то, не обязано работать у вас. Да, существует сотни задокументированных успешных экспериментов. GoodUI, Evidoo, GuessTheTest - отличные генераторы идей. Я сам регулярно пользуюсь GoodUI от Якуба Линовски. Но у таких кейсов есть системные проблемы: 1️⃣Качество результатов разное Большинство кейсов - self reported. Никто не знает: ➖был ли корректный дизайн, ➖проверяли ли выбросы, ➖хватало ли мощности, ➖и почему p-value вдруг оказался > 0.05, но кейс всё равно успешный. 2️⃣Контекст важнее паттерна Neil Patel советует free✔️ Joshua Porter показывает, что 🟥 beats 🟩. Если бы это было универсальной истиной, интернет уже выглядел бы одинаково. Но не выглядит. Потому что домены, аудитории и мотивации разные. 3️⃣Эффекты новизны и первичности Многие тесты заканчиваются слишком рано. Мы видим всплеск - и принимаем его за устойчивый сигнал. 4️⃣Ошибочная интерпретация причин История с витамином C - идеальный пример. Эффект был найден, но механизм не понят. В результате - десятилетия ошибок. То же самое и в цифре. Классический пример - эксперимент Google с увеличением числа результатов на SERP. −20% revenue. Объяснение: страница стала медленнее. Но изолированные slowdown-эксперименты (Bing, Google) показывают: 500 мс ≠ −20%. Скорее −3%. Значит, причина была не только в скорости. Контекст, внимание, соотношение рекламы и органики - всё смешалось. Теперь ближе к практике. Представим: Вы вдохновились решением Ozon. Вы уверены - они точно тестировали. Вы повторяете. Результат: 👍 клики +4.12%, p-value = 0.037 🫸 конверсия −10.58%, p-value = 0.0072 И вот тут начинается самое интересное. Это не плохой тест. Это классическая ловушка из A Dirty Dozen: Twelve Common Metric Interpretation Pitfalls in Online Controlled Experiments 5.11 Incomplete Funnel Metrics Вы оптимизировали шаг воронки. Но не цель. Клики - это шум, если за ними нет: ➖ условных конверсий, ➖ безусловных конверсий, понимания, где именно ломается воронка. Xbox-пример это хорошо показывает: CTR рос. Revenue - нет. Пользователи просто тратили больше времени впустую. И воронка - это цепочка. Оптимизация одного звена без остальных часто ухудшает систему целиком. 🟢кейсы - это не доказательства, а гипотезы 🟢статистическая значимость ≠ бизнес-значимость 🟢репликации важнее вау-результатов 🟢полный набор метрик важнее одного красивого числа Именно поэтому лучшие базы экспериментов показывают не только победы, но и провалы. И именно поэтому наука движется не сенсациями, а повторяемостью. Эксперименты - это не способ быстро выиграть. Это способ медленно перестать ошибаться. CRO & Personalization 🤩

🔵 Круглые кнопки vs квадратные: что на самом деле показал большой эксперимент с Роном Кохави, Якубом Линовски и Лукасом Вермеер Недавно у нас завершилось крупнейшее на сегодня воспроизведение эффекта round vs square buttons. Напомню контекст. В 2023 году в Journal of Consumer Research вышла работа Biswas, Abell и Chacko: в A/B-тесте округление углов кнопок якобы дало +55% к CTR (p=0.037). Эффект выглядел настолько сильным, что быстро разошёлся по презентациям и статьям. Но наша репликация показывает другую картину. В эксперименте на 7,4 млн пользователей (против <1 000 в оригинальной работе) мы тестировали тот же паттерн. Мощность – 80% для детекта +1% к Add-to-Cart. Фактический эффект: −0,07%, p-value = 0.83. То есть полностью согласуется с нулевой гипотезой. Вывод простой и неприятный: исходное исследование было сильно недомощным, а эффект в 55% – классический пример winner’s curse и завышенной оценки эффекта. 🧠 Что я на самом деле вынес из эксперимента Самое главное, что наверное это пока единственный эксперимент из всех проведенных у нас, которому я верю. Шутка. Итак: 1️⃣Метрика может сломать эксперимент (misunderstanding) (Еще роковое совпадение и твой босс может заруинить эксперимент) В начале мы все немного запутались (различие в переводе и написание, так ка основной язык коммуникации – это английский) и думали, что Add-to-Cart – это boolean на пользователя. На деле – это integer. Одна эта ошибка увеличила нужный размер выборки примерно в 8 раз. Мой вывод: перед preregistration всегда проверять определение, единицу измерения и агрегацию метрики. 2️⃣Boolean-метрики часто гораздо мощнее count. На тех же данных: • ATC (boolean) → ~0.87 млн пользователей на вариант для MDE 2% • ATC (count) → ~6.9 млн пользователей Разница – почти 8× по трафику. Когда поведение рваное и с длинным хвостом – boolean часто лучший OEC. 3️⃣Heavy-tail – это не теория, а реальная угроза мощности В пользовательских данных обнаружились пользователи с 1 000–5 000+ кликов. Возможные причины (нужен дальнейший ресерч) • B2B-клиенты в B2C-флоу • плохой UI ввода количества • скликивание стока • боты Динамическое триммирование в дашбордах платформы проблему не решает, а в экспериментах может ещё и вносить смещение. 4️⃣Кэппинг – крутой статистический инструмент Ограничение значений (например, 10 или 100): • резко снижает дисперсию • увеличивает мощность • сохраняет направление эффекта Если поведение экстремальное, кэппинг – то что нужно. Я уверен, впереди много открытий. Так как это только начало пути по проверке и валидации A/B-паттернов – не на слайдах, а в реальных данных. ❗️ Пост Рона в LinkedIn и описание эксперимента на английском CRO & Personalization 🤪

⬅️➡️A/B-тест: сортировка слева vs справа – когда рост кликов не равен росту продаж Мы протестировали, казалось бы, очевидную гипотезу: пользователи e-commerce ожидают сортировку справа. Перенесли элемент – и получили противоречивые результаты. 🎊 Результаты: 🟢CTR сортировки +11,28% Элемент стали чаще замечать и использовать. 🔴Add-to-cart rate −4,74% В то же время добавление в корзину на пользователя уменьшилось. 🤔 Тогда как это можно попробовать интерпретировать – с опорой на исследования: 1️⃣Больше взаимодействия ≠ лучше результат Nielsen Norman Group не раз показывали: рост взаимодействия с UI-элементом часто отражает интерес или неопределённость, а не продвижение к цели. Пользователь работает с интерфейсом, но не обязательно покупает. 2️⃣Choice overload и удлинение решения Исследования Шины Айенгар (Sheena Iyengar), известной своими работами по парадоксу выбора, демонстрируют, что избыток вариантов приводит к перегрузке выбора (choice overload), снижая вероятность покупки или финального решения. В её знаменитом эксперименте с вареньем посетители магазина чаще пробовали джем из большого ассортимента (24 вида), но в 10 раз реже покупали его по сравнению с малым выбором (6 видов). Сравнение и сортировка множества опций увеличивают когнитивную нагрузку, вызывая паралич решений и эмоциональное истощение. 3️⃣Локальные метрики могут конфликтовать с downstream-метриками Рон Кохави неоднократно писал, что A/B-тесты часто улучшают промежуточные метрики (CTR, engagement), одновременно ухудшая бизнес-результаты ниже по воронке – особенно в e-commerce. 4️⃣Изменение визуального паттерна меняет поток внимания По данным Baymard Institute, даже небольшие перестановки элементов в каталоге способны смещать фокус с карточек товаров на контролы, влияя на путь пользователя. 📌 Вывод: Тест показал не плохой UX, а сложное поведение системы. Улучшение видимости и управляемости интерфейса может одновременно: – помогать ориентироваться – и мешать принятию решения А вы как думаете – это эффект исследования, внимания или перегруза выбора? ⬇️⬇️⬇️ CRO & Personalization ☕️

Еще результат теста в рамках проекта Trustworthy A/B Patterns – от Рона Кохави, Джакуба Линовски и Лукаса Вермеера, теперь с кейсом Talabat (крупнейшая платформа доставки еды и quick-commerce в регионе MENA, часть Delivery Hero). Sticky Call to Action часто считают «беспроигрышным» UX-паттерном. Публичные кейсы обещают +3–4% к конверсии. Но эксперимент показал более сложную картину. 📉 Sticky-футер с CTA и визуализацией выгод на меню ресторанов: • Incentivized orders +0,35% • Общие заказы −0,13% (stat sig) • Выручка на пользователя −0,18% Пользователи активнее взаимодействовали с CTA, но в итоге заказывали меньше. Вероятная причина – дополнительное трение и отвлечение от неинцентивных покупок. 📈 Для контраста: Sticky CTA для Postpaid (BNPL) на неинцентивных меню: • Adoption +40,2% • Заказы и выручка ≈ +9% Sticky CTA – мощный, но не универсальный паттерн. Рост engagement ≠ рост бизнеса. Только эксперименты с OEC и даунстрим-метриками показывают реальный эффект. Полное описание эксперимента доступно по ссылке 🔗 CRO & Personalization 🙂

🔍 Поиск в e-commerce – самый недооценённый драйвер продаж На проекте Learnings разобрали, как на самом деле работает поиск в интернет-магазинах и почему он влияет на выручку сильнее, чем кажется. Ключевые инсайты встречи с Олегом @olegsorlovs (10+ лет в CRO и персонализации): 🟢Поиск используют всего 24% пользователей, но они генерируют 45% продаж 🟢 Пользователи с поиском конвертируются в 2–3 раза лучше 🟢 До 70% поисковых запросов в магазинах дают нерелевантную выдачу 🟢 Zero-result – недопустим: пользователь ожидает ответ на любой запрос 🟢 Семантический (ML-векторный) поиск и гибридные модели уже стали must-have 🟢 Шопинг-ассистенты и AI-поиск – новый стандарт UX, а не «фича на будущее» Отдельно обсудили: — работу с опечатками, синонимами и вариантами брендов (250+ вариантов Xiaomi 😅) — ранжирование и e-merchandising — персонализацию поиска — мультииндексный и федеративный поиск — рост трафика и конверсии из AI-чатов — экосистему агентов, которые автоматически диагностируют и улучшают поиск Если вы развиваете поиск, каталог, персонализацию или e-commerce в целом – обязательно к просмотру ▶️ CRO & Personalization 🟣🟡🔴

🪣 Почему продуктовые фильтры - один из самых недооценённых рычагов роста в e-commerce Большинство интернет-магазинов относятся к фильтрам как к обязательному элементу интерфейса. В итоге получается сборная солянка из атрибутов, понятных только команде, но не покупателю. И это системная проблема. По данным Baymard Institute, лишь 16% крупных e-commerce сайтов дают пользователям действительно хороший опыт фильтрации. Мы прошли этот путь на себе. В какой-то момент стало очевидно: наши фильтры мешают выбору. Их было слишком много, часть не использовалась, часть дублировала друг друга. Решение было радикальным: ➡️ после обогащения товарных карточек данными мы почти полностью убрали фильтры, оставив только 5 самых популярных по кликам. ➡️ запустили простой опрос «Помогите улучшить фильтры» (UX Feedback + Gravity Field). ➡️и начали возвращать фильтры по запросу пользователей, шаг за шагом, вместе с командой Мастер Данных. Быстро - если убрали что-то критичное. Осознанно - во всех остальных случаях. Это был не редизайн и не попытка угадать лучший UX. Это была сборка фильтров из реальных пользовательских потребностей. UI всё ещё не идеален - и это нормально. Гораздо важнее другое: фильтры перестали отражать наше внутреннее понимание продукта и стали инструментом выбора для клиента. Например простой фокус с UI. На нескольких самых трафиковых категориях мы сделали простую вещь: 🧠 приоткрыли ключевые фильтры Результат (A/B, desktop, 50/50): 1.65M пользователей +1.21% к Add-to-Cart rate (p-value 0.014) +1.82% к Conversion Rate (p-value 0.056) Фильтры - это не только деталь интерфейса. Это инфраструктура выбора. А там, где у пользователя есть ощущение контроля, появляется и покупка. Хотите увидеть, как должны работать хорошие фильтры? Посмотрите 25 продуктовых фильтров в e-commerce с UX-стратегиями CRO & Personalization 🧸

🔍 Неприятная правда про A/B-тесты и размер выборки Это первый пост Рона Кохави, который он публикует в рамках нашей совместной работы в Trustworthy A/B Patterns project. И начинает он сразу с того, о чём обычно не любят говорить. Есть старая шутка из мужского туалета: «Подойди ближе - он меньше, чем кажется». С A/B-тестами ровно так же: доступная выборка почти всегда меньше, чем вы думаете, особенно если вы хотите мерить реальные бизнес-метрики. Наш кейс: 2.2 млн пользователей за 6 месяцев 1 млн desktop (только там релевантен паттерн) 300k пользователей с поиском при 50/50 - 150k на вариант Хотим протестировать паттерн: открывать результаты поиска в новой вкладке - подход, который раньше давал +3-4% у Booking и Airbnb. Цель - поймать MDE = 2% по выручке или конверсии. Реальность? Выборки не хватает. Даже для локальной метрики (add-to-cart): MDE 2% → 3.7 года трафика MDE 3% → 1.7 года Причина - жёстко скошенное распределение: 84% пользователей вообще не добавляют в корзину у части - сотни add-to-cart за период Что можно сделать? 👉 Кэппинг метрики (ограничиваем максимум на пользователя). Результат по размеру выборки (оба варианта): без кэпа - ~968k cap = 100 → ~577k cap = 10 → ~259k cap = 1 → ~188k С cap = 10 эксперимент уже можно провести за 6 месяцев с приемлемой мощностью при MDE 3%. Вывод простой и болезненный: маленький сайт → большие MDE или очень длинные тесты или variance reduction Иначе - высокий риск winner's curse. Подробнее в Google Docs CRO & Personalization 💛