CRO & Personalization
رفتن به کانال در Telegram
A/B-тестирование, персонализация и рост: опыт, инструменты и подходы, которые помогают принимать решения на основе данных. 📩 Контакты: Андрей Андреев Telegram — @and_and LinkedIn — linkedin.com/in/and-andreev
نمایش بیشتر836
مشترکین
+124 ساعت
-27 روز
-430 روز
آرشیو پست ها
Repost from Преображенский | E-commerce и Практика
Вышло интересное исследование «Поиск 2026: Роль ИИ-сервисов при поиске и выборе товаров в Сети» от «Ашманов и партнеры».
• Уже 74% покупателей используют ИИ-ответы в поисковых системах при выборе товаров.
• 69% за последний год стали чаще использовать ИИ для поиска и выбора товаров.
• Самый высокий рост использования ИИ - в категории мебели и товаров для дома. Там 75% покупателей стали обращаться к ИИ чаще.
• Каждый третий покупатель уже регулярно использует ИИ при выборе товаров.
• Самая «ИИ-зависимая» категория - косметика и парфюмерия. 39% покупателей используют ИИ регулярно.
• Среди сервисов с огромным отрывом лидирует Алиса AI - 74%.
• Далее идут ChatGPT (28%), Yandex GPT (29%), DeepSeek (21%), Gemini (15%), Perplexity (10%), GigaChat (3%).
• Среди пользователей ИИ-поиска 91% используют именно Алису.
• 69% пользователей предпочитают ИИ-ответы прямо внутри Яндекса и Google, а не отдельные приложения.
• Около половины уже используют ИИ-браузеры вроде Яндекс Браузера, Comet или Opera Aria. Хотя, лично я предпочитаю Атлас.
• 66% покупателей часто или всегда перепроверяют информацию, полученную от нейросетей.
• Только 3% полностью доверяют ИИ и никогда не проверяют ответы.
• После рекомендации ИИ 64% покупателей рассматривают всего 2–3 варианта товаров.
• Только 21% изучают 4–5 вариантов.
• Более 5 вариантов рассматривают всего 9% покупателей.
• Чаще всего ИИ используют для:
— поиска конкретного товара и альтернатив;
— сравнения характеристик и брендов;
— поиска идей и вдохновения перед покупкой.
• ИИ постепенно становится новым входом в e-commerce. Пользователь все реже начинает путь с маркетплейса и все чаще с вопроса нейросети.
• Если текущая динамика сохранится, поиск товаров, сравнение характеристик и анализ отзывов будут постепенно перетекать из маркетплейсов в ИИ-сервисы, наверное, до полной победы.
Полный отчет в приложении.
@praktikadaysonline
⌨️ Представьте, что завтра ваша команда начнет писать кода в восемь раз больше.
Кажется, что это и есть будущее продуковой разработки. Но есть проблема.
Уже сегодня в Anthropic более 80% кода, попадающего в production, написано AI. В Google говорят, что AI участвует примерно в 75% нового кода. Скорость создания продуктов перестала быть главным ограничением.
Ограничение переехало.
Если раньше самым дорогим было написать новую функцию, то теперь самым дорогим становится понять: стало ли пользователю лучше?
Это классический эффект бутылочного горлышка. Ускоряя один этап, мы неизбежно упираемся в следующий.
Именно поэтому AI неожиданно делает A/B-тестирование не менее важным, а гораздо более важным.
Когда гипотез было пять в квартал, многие решения можно было принимать интуитивно. Когда их пятьдесят - интуиция перестает масштабироваться.
Исследование Faros на 22 тысячах разработчиков показывает интересную картину. Команды с высокой долей AI действительно выпускают больше функциональности. Но одновременно растет количество багов, инцидентов и объем кода, который приходится переписывать.
Скорость производства выросла быстрее скорости обучения.
Именно здесь начинается настоящее конкурентное преимущество.
Не тот, кто быстрее пишет код.
А тот, кто быстрее превращает гипотезы в знания.
В Spotify лишь небольшая часть экспериментов заканчивается внедрением изменений. Зато большинство экспериментов отвечают на более важный вопрос: что на самом деле работает для пользователя?
Каждый такой ответ делает следующую гипотезу сильнее.
Через несколько лет AI-код станет таким же стандартом, как Git или CI/CD сегодня. Почти все смогут строить быстро.
Но далеко не все смогут быстро учиться.
И, возможно, главным навыком продуктовых команд станет уже не разработка, а способность отличать хорошие идеи от плохих с помощью экспериментов.
В эпоху AI выигрывает не тот, кто строит быстрее.
Выигрывает тот, кто быстрее понимает, что действительно стоило строить.
_______
Основано на статье от Spotify When AI writes the code, who decides what ships?
CRO & Personalization 🐣
👍 Проголосовать за канал 🫶
🪶 Книг по A/B-тестированию удивительно мало.
Если попросить назвать обязательную литературу, список окажется совсем коротким. Это Trustworthy Online Controlled Experiments Рона Кохави и Дайан Танг - пожалуй, главная книга о культуре экспериментов, и Statistical Methods in Online A/B Testing Георги Георгиева - одна из лучших книг о статистической стороне A/B-тестирования.
В ноябре этот список пополнится (надеюсь хорошей) новой книгой The Scientific Mindset от Стефана Томке. Я очень жду ее выхода. Но пока есть хороший повод обратить внимание на достаточно новую книгу - Next-Level A/B Testing Лимей Нассери 2025 года
Главное отличие этой книги в том, что она почти не учит считать p-value или выбирать статистический тест. Вместо этого она отвечает на вопрос, который становится актуальным в зрелых компаниях:
Как сделать так, чтобы эксперименты не тормозили развитие продукта?
Автор предлагает смотреть на систему экспериментов через три характеристики:
• Rate - сколько экспериментов компания способна запускать одновременно.
• Quality - насколько тесты действительно приводят к надежным выводам.
• Cost - сколько времени и усилий команда тратит на запуск одного эксперимента.
Именно эта мысль показалась мне самой ценной. Во многих компаниях проблема давно не в статистике. Проблема в процессах.
Тесты откладываются из-за долгого QA. Команды ждут свободного места для запуска эксперимента. Эксперименты перезапускаются из-за ошибок в конфигурации. В итоге главным ограничением становится уже не размер выборки, а сама платформа экспериментов.
Особенно понравилась практическая рекомендация из первой главы: прежде чем строить новую инфраструктуру или внедрять сложные методы, проведите воркшоп с командами, которые ежедневно запускают эксперименты. Где они теряют время? Почему тесты переносятся? Какие действия можно автоматизировать? Именно такие вопросы позволяют найти настоящие узкие места.
Если Кохави учит почему нужны эксперименты, а Георгиев - как правильно интерпретировать результаты, то Нассери рассказывает, как построить систему, в которой качественные эксперименты становятся быстрыми, дешевыми и масштабируемыми.
Для тех, кто отвечает не только за анализ результатов, но и за развитие культуры экспериментов в компании, - можно почитать.
Книгу оставил в комментариях, приятного изучения 🤫
CRO & Personalization 🍓
👍 Проголосовать за канал 🫶
💻Когда-то главным навыком инженера было писать код.
На конференции Compile руководитель инженерного направления Shopify Фархан Тавар предложил посмотреть на профессию иначе.
Когда-то весь программный код писался символ за символом. Практически всё цифровое, что окружает нас сегодня, было создано именно так.
Но эта эпоха заканчивается.
Не потому, что код больше не нужен. А потому, что написание кода перестает быть узким местом.
Каждая новая технология убирает одно ограничение и тут же создает другое. Если раньше большую часть времени занимала реализация, то теперь главный дефицит - понимание проблемы, выбор правильного решения и проверка того, что предлагает AI.
Именно поэтому в Shopify всё чаще задают не вопрос Как ты это реализовал?, а Почему ты выбрал именно это решение из тысяч возможных?
Одна из мыслей выступления:
Код - это побочный результат. Настоящий результат - обучение.
Команда может потратить полтора года на разработку, а потом за три месяца полностью переписать систему, потому что теперь она понимает задачу гораздо глубже. Значит, ценность была не в написанных строках кода, а в знаниях, полученных по пути.
Эта идея выходит далеко за пределы разработки.
В A/B-тестировании происходит тот же самый сдвиг. Если AI способен построить дашборд, написать SQL, подготовить анализ и даже предложить гипотезы, то узкое место снова перемещается.
Ценность аналитика уже не в том, чтобы посчитать эксперимент, а в том, чтобы понять, какой эксперимент вообще стоит запускать, какие метрики действительно отражают успех и чему должна научить команда независимо от того, подтвердится гипотеза или нет.
Похоже, в эпоху AI главным активом становится не скорость исполнения.
Главным активом становится скорость обучения.
CRO & Personalization 🥤
👍 Проголосовать за канал 🫶
Repost from N/a
Любите ли вы товарные рекомендации как любим их мы? ❤️
Собрали для Вас 15 идей дизайна рекомендательных виджетов для интернет-магазина: персональные рекомендации, хиты продаж, с этим товаром покупают, похожие товары и многое другое.
Внутри варианты для разных сценариев: главная страница, каталог, карточка товара, корзина, мобильный интерфейс, промо-механики и повторные покупки.
Читайте и вдохновляйтесь
🦇Мы привыкли думать, что главный прорыв последних лет – это машинное обучение.
Но один из интересных кейсов 2026 года показывает обратное.
PepsiCo💙 опубликовала статью о своих системах оптимизации ценообразования и промо. На первый взгляд – очередная история про AI. LightGBM прогнозирует спрос, Bayesian-модели оценивают эластичности, всё как положено.
Но если внимательно прочитать работу, становится заметно другое.
Основную ценность создаёт не прогноз. Основную ценность создаёт оптимизация.
Это важное различие.
Представьте задачу планирования промоакций. Сотни товаров, десятки недель, ограничения по бюджету, марже, частоте промо, сезонности, конкуренции между SKU и требованиям ритейлера. Даже если вы идеально знаете будущий спрос, человек физически не способен перебрать миллионы возможных комбинаций.
Именно поэтому PepsiCo использует математическую оптимизацию, которая ищет лучшее решение среди огромного пространства вариантов.
Авторы прямо формулируют вывод: прогноз без оптимизации даёт лишь лучшую информацию для ручных решений. Оптимизация без прогноза приводит к идеально рассчитанным, но неправильным решениям. Ценность возникает только тогда, когда эти два слоя работают вместе.
Есть и второй любопытный момент.
Несмотря на разговоры о полной автоматизации, около 15% рекомендаций система не реализует. Не потому что модель ошибается. А потому что в реальном мире существуют переговоры с ритейлерами, ограничения полочного пространства, локальные особенности рынка и десятки факторов, которых нет в данных.
Поэтому финальная архитектура оказалась не «AI заменяет человека», а «AI помогает человеку принимать решения».
Возможно, это и есть самый недооценённый урок современной аналитики.
Проблема большинства компаний уже давно не в том, что они плохо предсказывают будущее.
Проблема в том, что они не умеют превращать прогнозы в решения.
—————————
Основа поста – статья PepsiCo «AI-Driven Pricing and Promotion Optimization at Scale», опубликованная в INFORMS Journal on Applied Analytics в 2026 году.
CRO & Personalization 🍅
👍 Проголосовать за канал 🫶
📶 Мы любим простые ответы на сложные вопросы.
В экспериментах это обычно выглядит так:
Метрика выросла. Значит, победили.
Представьте ситуацию.
Команда запускает изменение интерфейса. Делает кнопку лайка заметнее. Добавляет анимацию. Упрощает действие.
Через неделю результаты выглядят отлично:
Лайки +20%.
Эксперимент признают успешным.
Но через шесть недель приходит retention.
И ничего не меняется.
Что именно улучшила команда?
На первый взгляд ответ очевиден. На практике - не всегда.
Проблема в том, что ключевые продуктовые метрики живут медленно. Retention, LTV, долгосрочная вовлечённость требуют недель или месяцев наблюдений.
Продукту нужен сигнал быстрее.
Поэтому появляются proxy-метрики.
Лайки, клики, добавления в избранное, add-to-cart.
Они помогают принимать решения сегодня, не дожидаясь результатов через несколько месяцев.
Пока прокси остаётся индикатором ценности, система работает.
Но возникает другой вопрос.
Как понять, что прокси действительно связана с тем, что нас интересует?
Здесь в своем посте Виталий очень точно сформулировал проблему:
«Карта прокси-метрик» без корпуса экспериментов почти всегда остаётся гипотезой.
Чтобы прокси заслуживала доверия, нужны:
➖тысячи A/B-тестов;
➖ известные долгосрочные результаты;
➖ проверка, что изменения прокси сонаправлены с целевой метрикой;
➖ подтверждение, что связь сохраняется даже под давлением оптимизации.
Прокси нельзя доказать теоретически.
Только историей экспериментов.
Именно здесь многие команды попадают в ловушку.
Пользователь поставил лайк - это может быть сигналом ценности.
Но если лайк удалось получить исключительно за счёт интерфейсного трюка, мы уже измеряем не ценность продукта, а способность получить нужное действие.
Мы начинаем оптимизировать не ценность, а её отражение.
То же самое происходит с LTV.
Многие воспринимают его как конечную цель. Но LTV тоже является моделью будущей ценности - то есть ещё одной прокси, пусть и гораздо более сложной.
Если команда перестаёт понимать, из чего складывается показатель, возникает соблазн оптимизировать формулу вместо реального пользовательского опыта.
Лайки растут.
Расчётный LTV растёт.
Retention остаётся прежним.
Возникает ощущение прогресса без самого прогресса.
Что помогает на практике?
➖ строить фичи вокруг долгосрочной ценности;
➖ использовать прокси как инструмент диагностики, а не как цель;
➖ смотреть на несколько независимых сигналов одновременно;
➖ проверять результаты через holdout-группы и долгосрочные эффекты;
➖ опираться на накопленный корпус экспериментов, а не на веру в отдельную метрику.
Метрики отвечают быстро.
Ценность - гораздо медленнее.
Именно поэтому главный вопрос любого эксперимента остаётся неизменным:
Вы улучшаете продукт - или только метрику?
Разница между этими двумя вещами обычно становится заметна уже после того, как эксперимент давно закончился.
____
When Proxy Metrics Break: How Optimizing for Proxies Can Backfire от Mårten Schultzberg, Staff Data Scientist
The “art” part of setting metrics от Randy Au
CRO & Personalization 🩴
👍 Проголосовать за канал 🫶
🚀Каждый, кто запускал A/B-тесты, знает правило: сначала считаем мощность теста, потом запускаем эксперимент.
Но есть проблема.
Почти все калькуляторы мощности задают один и тот же вопрос:
Сможем ли мы обнаружить эффект размером X?
А что если эффект X почти никогда не встречается в реальной жизни?
Недавняя работа исследователей Amazon 🗣предлагает переосмыслить саму идею статистической мощности. Вместо того чтобы рассчитывать вероятность обнаружить один заранее выбранный эффект, они предлагают учитывать распределение эффектов, которые реально возникают в продукте.
Это тонкое, но важное различие.
Представьте две метрики.
Первая очень стабильна: низкий шум, маленький MDE, всё выглядит идеально. Но реальные изменения на этой метрике обычно крошечные.
Вторая шумнее. Классический power analysis назовёт её слабой. Но исторически именно на ней продуктовые изменения создают большие эффекты.
Какую метрику выбрать?
Традиционный подход почти автоматически подтолкнёт к первой.
Однако авторы показывают пример, где метрика с худшим MDE оказывается значительно полезнее для обнаружения реальных изменений. Причина проста: сами эффекты на ней обычно намного больше.
Получается интересный парадокс.
Метрика может быть очень точной, но почти бесполезной, если изменения на ней редко бывают заметными.
И наоборот - шумная метрика может приносить больше пользы, если именно на ней продуктовые решения создают существенные изменения.
По сути, авторы предлагают смотреть не только на дисперсию оценки, но и на распределение самих эффектов. То есть учитывать не только качество линейки, но и размер объектов, которые мы пытаемся измерить.
Для компаний с большой историей экспериментов это особенно интересно. Многие уже умеют оценивать распределение эффектов через Empirical Bayes-подходы, но почти не используют эту информацию при планировании новых тестов.
Возможно, главный вопрос перед запуском эксперимента должен звучать не какой у нас MDE?, а насколько вероятно, что эта метрика вообще способна поймать эффекты, которые реально возникают в нашем продукте? 😁
CRO & Personalization 🧊
👍 Проголосовать за канал 🫶
🤲 Кажется, что A/B-тестирование стоит на пороге революции.
Зачем ждать недели и тратить миллионы на трафик, если можно запустить эксперимент на тысяче AI-агентов и получить ответ за несколько минут?
Именно эту идею проверили исследователи из Spotify в новой работе про LLM-based A/B testing.
Но их главный вывод оказался неожиданным.
Проблема не в том, что LLM плохо предсказывают поведение людей. Во многих задачах они действительно показывают впечатляющие результаты. Проблема в другом: даже если модель отлично воспроизводит прошлые эксперименты, это почти ничего не говорит о ее способности предсказывать результат нового вмешательства.
Авторы предлагают смотреть на LLM не как на замену пользователям, а как на суррогатную метрику - примерно так же, как медицина использует биомаркеры вместо долгосрочных исходов.
Если между ответами модели и поведением людей существует стабильная связь, ее можно откалибровать на исторических экспериментах и использовать для оценки будущих эффектов.
Звучит многообещающе.
Но здесь возникает фундаментальное ограничение.
Эту связь можно опровергнуть на прошлых экспериментах, но нельзя доказать для будущих.
Другими словами, если модель успешно воспроизводила тысячу предыдущих тестов, это не гарантирует, что она не ошибется на тысяча первом.
Это напоминает фундаментальную проблему прогнозирования. Мы можем проверить модель на прошлом, но не можем доказать её правоту в будущем.
С LLM-экспериментами ситуация аналогична: успешное воспроизведение сотен прошлых тестов повышает доверие к модели, но не гарантирует корректность оценки для нового продукта, новой функции или нового пользовательского сценария.
Еще один интересный результат: стохастичность LLM оказывается не багом, а фичей. Авторы показывают, что несколько независимых ответов модели для одного и того же сценария работают лучше одного. Усреднение снижает шум, уменьшает смещение и делает оценки заметно стабильнее.
Поэтому наиболее вероятное будущее экспериментов выглядит не как замена людей на AI
Скорее это гибридная модель:
⏺люди продолжают служить источником истины;
⏺ LLM помогают быстро отсеивать слабые гипотезы;
⏺ ключевые решения по-прежнему подтверждаются реальными экспериментами.
Именно поэтому главный вывод статьи звучит гораздо менее футуристично, чем ожидалось:
LLM могут сделать эксперименты дешевле и быстрее, но не избавят нас от необходимости проводить эксперименты на людях. Это исследование интересно не только тем, что отвечает на вопрос могут ли AI-агенты заменить пользователей. Оно показывает гораздо более важную вещь: где проходит граница между прогнозированием и причинно-следственным выводом.
Почему AI может помочь найти выигрышную гипотезу, но не способен самостоятельно подтвердить её эффект, - читайте в новой работе от Spotify 🎵
CRO & Personalization 🍧
❗️❗️❗️❗️❗️❗️❗️❗️❗️❗️❗️
Вы первые, кто читает эту работу.
Перед вами финальная PDF-версия исследования Trustworthy A/B Patterns and the Winner's Curse, которая была принята на KDD 2026 и отобрана для устного выступления - один из самых конкурентных форматов конференции.
Для меня эта публикация особенно важна не только потому, что я стал ее соавтором вместе с Роном Кохави, Лукасом Вермеером и другими выдающимися практиками экспериментирования.
Она отвечает на вопрос, который занимает меня уже много лет.
Можем ли мы чувствовать будущее? 🃏
В 2011 году психолог Дэрил Бем опубликовал исследование, которое выглядело невозможным. Его эксперименты якобы показывали, что люди способны предугадывать будущие события.
Статья прошла рецензирование и была опубликована в одном из самых престижных научных журналов мира.
Затем произошло нечто интересное.
Десятки исследователей попытались воспроизвести результаты.
И не смогли.
Чем больше становились выборки и строже методы, тем слабее становился эффект. В конечном итоге идея о способности человека чувствовать будущее стала одним из самых известных примеров кризиса воспроизводимости в науке.
Мне кажется, в экспериментировании мы совершаем похожую ошибку.
Мы очень любим думать, что можем увидеть будущее раньше остальных.
Посмотреть на новую фичу.
На редизайн.
На UX-паттерн.
И заранее сказать:
это точно взлетит.Все началось для меня примерно в 2020 году, во время пандемии. Тогда я работал в М.Видео и все чаще замечал, насколько много решений принимается на основе уверенности, авторитета и красивых историй. Именно тогда мне попалась книга Рона Кохави. Я прочитал ее взахлеб. Потом еще раз. И еще. Помню, как подумал:
Как круто было бы когда-нибудь поработать с этим человеком.Через пять лет это желание сбылось. Сегодня я - соавтор исследования вместе с Роном Кохави, Лукасом Вермеером и другими выдающимися практиками экспериментирования. В нашей статье мы взяли несколько известных UX-паттернов, которые годами кочуют по блогам, конференциям и базам A/B-тестов, и проверили их в восьми крупных экспериментах с миллионами пользователей. Результат оказался неудобным. Большинство эффектов либо исчезли, либо оказались в разы меньше заявленных ранее. На первый взгляд это статья про статистику. Но на самом деле она про человеческое высокомерие. Про нашу убежденность в том, что мы способны предсказывать будущее лучше, чем это позволяют данные. Пожалуй, главное, что я вынес из этой работы, звучит так:
Экспериментирование начинается там, где заканчивается высокомерие.Не тогда, когда компания покупает платформу для A/B-тестов. Не тогда, когда нанимает аналитиков. А тогда, когда признает простую мысль: Самый умный человек в комнате не знает будущего. За годы работы я убедился, что организации готовы к экспериментированию только тогда, когда принимают три принципа: 💛Решения должны основываться на данных и едином OEC. 3️⃣Надежность инфраструктуры важнее количества тестов. 💛Люди систематически переоценивают ценность собственных идей. Третий принцип самый сложный. Потому что он требует не знания статистики. Он требует интеллектуальной скромности. Поэтому сегодня я делюсь с вами не просто новой публикацией. Я делюсь исследованием о том, что происходит, когда мы принимаем случайность за закономерность, а уверенность - за знание. И да, вы действительно читаете эту работу первыми. Насколько я знаю, Рон Кохави опубликует свой пост в LinkedIn в ближайшие дни, а возможно - уже в ближайшие часы. А пока PDF доступен вам раньше остального сообщества. CRO & Personalization 🍓
🐼Одна из фраз в мире онлайн-экспериментов звучит так:
With Bayesian experiment design you can stop your experiment at any time and make perfectly valid inferences. Given the real-time nature of web experiments, Bayesian design seems like the way forward.Звучит убедительно. Особенно если вы работаете с платформами персонализации и A/B-тестирования, которые используют Bayesian-статистику вместо классического frequentist-подхода. Я работаю с Gravity Field - платформой, унаследовавшей Bayesian-подход от Dynamic Yield. И именно поэтому для меня важно развеять один из самых живучих мифов вокруг Bayesian A/B-тестирования. Повторюсь, миф простой: Можно смотреть результаты сколько угодно раз, остановить эксперимент в любой момент и при этом не увеличивать вероятность ложноположительного результата. Проблема в том, что это не совсем так. Симуляции и исследования последних лет показывают: Bayesian-подход не обладает магическим иммунитетом к outcome-based stopping. Если постоянно подглядывать в результаты и завершать эксперимент в момент, когда вариант выглядит победителем, вероятность false positive растёт. Не так драматично, как иногда бывает в классических тестах, но всё же растёт. Причина довольно прозаична. Правило остановки - это тоже данные. Если модель не учитывает, что эксперимент завершился именно потому, что результат оказался привлекательным, часть информации о процессе получения данных теряется. А когда теряется информация, появляются искажения. Это не означает, что Bayesian-подход плохой. 🔄Наоборот. Его главное преимущество часто недооценивают. Bayesian-результаты остаются интерпретируемыми в любой момент времени. Если сейчас модель говорит, что вероятность превосходства варианта B составляет 94%, то это именно то, что она говорит. Без ссылок на заранее зафиксированный размер выборки, уровень значимости или другие процедурные ограничения. Апостериорное распределение описывает текущее состояние неопределённости, а не обещает статистическую гарантию на будущее. Именно поэтому Bayesian-статистика так хорошо подходит для real-time-продуктов и систем персонализации. Можно наблюдать за экспериментом постоянно. Можно обсуждать сигналы по мере их появления. Можно принимать решения в условиях неопределённости, не притворяясь, что данных ещё не существует. Но здесь проходит важная граница. 🤩🤩🤩🤩🤩🤩🤩🤩🤩🤩🤩 Интерпретировать результаты на любом этапе - да. ✅ Останавливать эксперимент потому, что цифры наконец понравились, - нет. 💀 Парадоксально, но многие современные Bayesian-движки делают эту границу почти невидимой. Пользователи редко видят влияние приоров, практически не контролируют мощность эксперимента и зачастую не получают инструментов для моделирования реальных сценариев подглядывания. В результате Bayesian-статистика начинает восприниматься как способ избежать ошибок. Хотя на практике её настоящая сила заключается в другом: она предоставляет более естественный язык для работы с неопределённостью. И, возможно, именно это - а не миф о защите от подглядывания - является её главным преимуществом для продуктовых команд. Основано на 1, 2 CRO & Personalization 🍓
❤️ 53 800 результатов и одна выдача с виски
Если вбить в Google Scholar фразу ranking ecommerce, вы получите около 53 800 научных публикаций. Тысячи формул. Сотни моделей. Десятки способов доказать, что порядок карточек на экране можно улучшить ещё на 0,3%.
А потом вы сидите на реальной встречи.
Когда я только пришёл в 😊, на одной из встреч руководству не понравилось, как выглядит листинг в категории Виски. 🥃
Нужно было что-то придумать.
Быстро. И чтобы был результат.
В такие моменты теория отступает. Остаётся один вопрос: какой сигнал самый сильный?
Ответ банальный и поэтому надёжный: покупка (purchases)
Продажи - это высший сигнал намерения. Всё остальное - прокси.
Конечно, самое простое решение - выстроить рейтинг по продажам. Это даёт 80% результата сразу. Да, вы усилите эффект Матфея: популярное станет ещё популярнее. Но в этот момент бизнесу важнее, чтобы листинг продавал, а не выглядел умно.
Чтобы выглядеть в тот момент Data Science, я сделал простую вещь: взял продажи и количество чеков, нормализовал их через rank, и сложил.
Никаких нейросетей.
Никакого обучения.
Никаких A/B-тестов - их тогда просто технически нельзя было запустить.
Мне повезло 😊
Листинг всем понравился.
Data Science тоже.
Самое интересное - этот ранжирующий скор живёт у нас до сих пор…
(Мы только поменяли веса в некоторых атрибутов, но основная логика та же)
Но мой посыл не в том, что так правильно. Он в другом.
Листинг - это не витрина. Это фича, которая напрямую делает продажи. А если верить эффекту Матфея, то в ритейле чаще выгодно усиливать сильного, а не спасать слабого.
Поэтому стоит задать себе честный вопрос:
сколько экспериментов вы реально крутите с ранжированием -
и сколько статей вы прочитали из тех самых 53 800?
Между академией и полкой с виски расстояние ровно в один клик.
Экспериментируйте.
Ранжируйте.
И ошибайтесь.
Иногда самый простой порядок - самый продающий.
CRO & Personalization 🤩
🎙 Сегодня выступал на Mailing Day 2026 – одной из крупнейших конференций по CRM-маркетингу. Это редкая площадка, где маркетологи, продуктовые команды и аналитики говорят на одном языке – языке данных и проверяемых гипотез.
Мой доклад был основан на классической работе Рона Кохави и коллег «Seven Rules of Thumb for Web Site Experimenters».
Несмотря на то, что статье уже больше десяти лет, многие её выводы сегодня звучат даже актуальнее.
Семь эмпирических правил экспериментатора:
1. Маленькие изменения иногда приводят к огромному эффекту.
2. Но по-настоящему большие выигрыши встречаются редко.
3. Результаты, которые сработали у других, могут не сработать у вас.
4. Скорость имеет значение. И гораздо большее, чем кажется.
5. Снижать отказ – трудно. Перераспределять клики – легко.
6. Простые дизайны экспериментов почти всегда лучше сложных.
7. Для хороших выводов нужно достаточно пользователей.
Главная мысль доклада проста: в экспериментировании опасно путать интересные результаты с истинными. Когда эффект выглядит слишком хорошим, чтобы быть правдой, чаще всего стоит искать не шампанское, а баг.
💛Спасибо всем, кто пришёл на выступление, задавал вопросы и подписался на канал после доклада. Для меня особенно ценно видеть, что вокруг экспериментов и причинно-следственного анализа формируется настоящее профессиональное сообщество.
Если вы были на выступлении, буду очень благодарен за обратную связь в комментариях. Или реакции на этот пост👍.Что оказалось наиболее полезным? Какие темы хотелось бы разобрать глубже? Что стоит улучшить в следующий раз?
Ваши комментарии помогают делать следующие доклады лучше, а обсуждения – интереснее.
CRO & Personalization 🫥🫥
🤩 Мы привыкли думать, что отзывы влияют на бизнес.
Но что, если отзывы меняют поведение клиентов еще до того, как кто-то поставил оценку?
Недавно вышло исследование в International Journal of Research in Marketing, посвященное двусторонним системам отзывов - таким, как в Airbnb или Uber, где оценивают не только поставщиков услуг, но и самих клиентов.
Авторы провели восемь экспериментов и получили интересный результат.
Когда люди знают, что их тоже будут оценивать, они начинают вести себя заметно лучше:
⏺чаще убирают за собой;
⏺ дольше поддерживают порядок;
⏺ становятся более вежливыми;
⏺ охотнее вступают в диалог;
⏺ чаще помогают и идут навстречу.
Интуитивно кажется, что причина в желании получить хороший отзыв в ответ. Но данные говорят о другом.
Главный механизм - не взаимность, а самопрезентация.
Люди начинают думать о том, как выглядят в глазах другой стороны. Сам факт возможной оценки превращает хозяина квартиры, водителя или продавца в аудиторию. А когда появляется аудитория, появляется и желание показать лучшую версию себя.
Есть и важное ограничение.
Эффект работает только тогда, когда человеку важна будущая репутация на платформе. Если он не планирует пользоваться сервисом снова, его поведение практически не меняется.
Для продуктовых команд здесь есть любопытный вывод.
Обычно рейтинги и отзывы рассматривают как инструмент измерения качества. Но они могут быть и инструментом изменения поведения.
Иногда самый эффективный способ улучшить опыт на платформе - не новый алгоритм и не очередной nudging-механизм. Достаточно сделать репутацию видимой и значимой для обеих сторон.
Люди начинают играть по правилам не потому, что их контролируют.
А потому, что знают: за ними наблюдают.
Следующий раз, когда увидите высокий рейтинг на платформе, задайте себе вопрос:
Он отражает качество людей или меняет его?
Судя по результатам исследования - второе происходит гораздо чаще, чем кажется.
Читайте исследование. Оно не про отзывы. Оно про то, как меняется человеческое поведение, когда появляется вероятность быть оцененным.
CRO & Personalization 🍓
🤩 Кажется, A/B-тесты сегодня запускают почти все. Но удивительно другое: многие команды продолжают совершать одни и те же ошибки, которые были известны ещё десять лет назад.
На очередной встрече проекта Learnings Юрий Борзило разбирал ошибки, которые новички в A/B-тестировании совершают с завидной регулярностью. И некоторые из них выглядят настолько безобидно, что их легко пропустить.
Например, вы запускаете эксперимент и видите красивый результат. Конверсия выросла, p-value меньше 0,05, все счастливы. Но потом оказывается, что при распределении пользователей забыли про соль в хешировании. В результате одни и те же пользователи систематически попадали в одну группу. Эксперимент выглядел научным, но сравнивал неравные аудитории.
Или другой сценарий. Команда тестирует не два варианта, а двадцать. Затем смотрит десятки метрик и сегментов. Каждая отдельная проверка кажется разумной. Проблема в том, что вероятность найти хотя бы одну ложную победу начинает расти как снежный ком. При большом числе сравнений шанс случайно обнаружить значимый эффект может превышать 60%.
Есть и менее очевидные проблемы. Многие считают пользователями сессии, чеки или заказы, хотя статистические тесты предполагают независимость наблюдений. Другие ориентируются только на p-value, забывая посмотреть на доверительный интервал и понять, насколько эффект вообще важен для бизнеса.
Самое интересное, что универсального чек-листа не существует. Между скоростью принятия решений, риском ложных открытий и ожиданиями бизнеса всегда приходится искать компромисс.
Поэтому хороший экспериментатор отличается не тем, что умеет нажимать кнопку "запустить тест". А тем, что постоянно задаёт себе вопрос:
Если этот результат окажется ложным, где именно я мог себя обмануть?Именно с этого вопроса начинается действительно надёжное A/B-тестирование. 🎥 Если хотите освежить знания или проверить свои процессы на наличие подобных ошибок - смотрите запись вебинара от Юрий Борзило. А ещё Юра собрал 50 самых распространённых ошибок в A/B-тестировании и способы их решения. Получился практически справочник экспериментатора, который полезно держать под рукой перед запуском любого теста. Ловите ссылку 👇 CRO & Personalization 🫥
ТОП-10 ошибок в A/B-тестах, которые новички совершают с завидной регулярностью
В рамках проекта Learnings в этот четверг в 17:00 разберем:
❌ SRM – незапланированное деление трафика (это не безобидно, это приговор тесту)
❌ Путаем статистическую и практическую значимость – результат есть, а пользы ноль
❌ Не сочетаем метрики со стат. критериями – получаем мусор на выходе
❌ Думаем: «p > 0.05 = нет разницы» – фатальное заблуждение
❌ Подглядываем за тестом каждый час – будем часто обманывать сами себя
И еще 5 критических ошибок, которые превращают A/B-тест в лотерею.
Приходите, научимся тестировать правильно 😈
Добавляем ссылку в календари и ставим напоминание на 28.05.2026 в 17:00 ⏰
CRO & Personalization 🤩
Вот и закончилась Aha’2026 – крупнейшая техническая конференция по искусственному интеллекту, машинному обучению и продуктовой аналитике в России.
В этом году я выступил с докладом про одну из самых неудобных тем в A/B-тестировании: почему многие «победившие» эксперименты не воспроизводятся.
Доклад был основан на проекте Trustworthy AB Patterns, который запустили Ron Kohavi, Lukas Vermeer и Jakub Linowski
Все началось с почти комичной истории: кто-то заявил о большом росте метрик от… круглых 🔴кнопок вместо квадратных⏹. Звучало слишком хорошо, чтобы быть правдой. Проверили. Не подтвердилось.
Дальше – больше.
Участники собрали 8-10 крупных репликаций популярных UX-паттернов: rounded buttons, sticky CTA, coupon field, page performance. Масштаб – медиана 2.2 млн пользователей на эксперимент. И даже на таких объемах оказалось, что:
➖ эффекты сильно меньше, чем принято рассказывать на конференциях и в кейсах;
➖ часть результатов вообще статистически не отличается от нуля;
➖ для ключевых бизнес-метрик часто банально не хватает мощности теста в разумные сроки.
Это очень важная история для всей индустрии. Потому что настоящая наука начинается там, где результаты пытаются воспроизвести, а не только красиво презентовать.
И очень хочется, чтобы проект рос дальше: больше компаний, больше участников, больше проверяемых паттернов и меньше «магических» кейсов без репликаций.
Если вам интересно делать по-настоящему научные вещи вместе с сильнейшими экспертами индустрии – подробности по ссылке или пишите мне лично.
Также у Рона Кохави с 1 июня стартует курс по экспериментированию – очень рекомендую(я прошел оба курса, мне оплачивала компания). По 🔳 на картинке в посте есть небольшая скидка в 250$.
CRO & Personalization ❤️
Если вам кажется, что идеи закончились, а рекомендации на сайте уже стоят на всех трафиковых страницах – не спешите с выводами. Почти всегда можно найти ещё одно место, которое возможно даст эффект 👀
Сегодня выступаю на Aha’2026 – в 12:00 в «Атоме».
Поддержите сердечком ♥️ – для меня каждый выход на сцену всё ещё вызов, а сегодня особенно: зал на 350 человек 😅
С меня потом данные по этому тесту – как запустим и соберем метрики 🙂
Всех обнял 🫂
Хорошей пятницы и отличных выходных!
Repost from N/a
Собрали для вас 28 идей как подсветить промо акции в Интернет магазине! 🔥
Усиливаем маркетинговый эффект от специальных акций и распродаж.
В статье креативы от коллег из Яндекс Лавки, Перекрестка, Петровича, Диван.ру, КуулКлевер, Sokolov, ЗооЗавр, Hoff, DNS, ВкусВилл, ВсеИнструменты, Lamoda, Золотое Яблоко и многих других.
Читайте статью, вдохновляйтесь и запускайте новые кампании.
Ловите на выходные подборку от Рона Кохави: YouTube-ролики от 10 минут, у которых с момента загрузки больше 40 лайков в год. Идеально для тех, кто учится по видео 📺
https://docs.google.com/spreadsheets/d/1CLdCxXpmb2UhGOx-rCkj_8UsfSuNthasVuagseNVWrU/edit?gid=187719910#gid=187719910
CRO & Personalization 😐
