CRO & Personalization

Собрали для вас 28 идей как подсветить промо акции в Интернет магазине! 🔥 Усиливаем маркетинговый эффект от специальных акций и распродаж. В статье креативы от коллег из Яндекс Лавки, Перекрестка, Петровича, Диван.ру, КуулКлевер, Sokolov, ЗооЗавр, Hoff, DNS, ВкусВилл, ВсеИнструменты, Lamoda, Золотое Яблоко и многих других. Читайте статью, вдохновляйтесь и запускайте новые кампании.

Ловите на выходные подборку от Рона Кохави: YouTube-ролики от 10 минут, у которых с момента загрузки больше 40 лайков в год. Идеально для тех, кто учится по видео 📺 https://docs.google.com/spreadsheets/d/1CLdCxXpmb2UhGOx-rCkj_8UsfSuNthasVuagseNVWrU/edit?gid=187719910#gid=187719910 CRO & Personalization 😐

Каждый, кто хоть раз запускал A/B-тест, слышал совет: не доверяйте underpowered экспериментам. Звучит разумно. Но проблема в том, что из него делают слишком простой вывод: значит, powered экспериментам можно доверять. Не совсем… Представьте продуктовую команду, которая ожидает uplift +5% и рассчитывает размер теста под эту цифру. Тест заканчивается значимым результатом: +7%. Все радуются. Но через месяц эффект исчезает. Что произошло? Проблема в том, что power всегда считается относительно предположения. Вы заранее угадываете, каким может быть эффект, и строите эксперимент вокруг этой догадки. Если реальный эффект меньше - тест оказывается underpowered, даже если на бумаге всё выглядело правильно. А дальше включается статистический естественный отбор. Когда мощность низкая, significance filter пропускает только самые большие наблюдаемые эффекты. Слабые - шумят и исчезают. Поэтому среди успешных тестов результаты систематически завышены. Это и есть winner's curse. 🧸 Гельман и Карлин называют это Type M error - ошибкой масштаба. В low-power экспериментах значимый эффект может переоценивать реальный в 2 раза и больше. Airbnb столкнулись с этим на практике: серия значимых тестов суммарно показывала +7.2%, но holdout-проверка дала лишь +4%. И проблема гораздо масштабнее, чем кажется. В Spotify win rate экспериментов около 12%, и большинство эффектов - скромные. Microsoft/Bing сообщали, что в тысячах экспериментов uplift редко превышал 0.3%. В Airbnb Search 250 экспериментов за полтора года суммарно дали лишь +6% к конверсии - средний успешный тест добавлял около +0.3%. А Analytics Toolkit после анализа 1001 A/B-теста обнаружили медианный uplift всего 0.1%. То есть реальный мир экспериментов - это обычно не +20%, а борьба за десятые доли процента. Именно поэтому post-hoc power почти бесполезен. Если тест значим - post-hoc power будет высоким. Если нет - низким. Это просто p-value в другом костюме. Намного полезнее задать другой вопрос: Верю ли я в такой размер эффекта? Если новый баннер внезапно даёт uplift больше, чем любые похожие изменения за последние два года - это повод насторожиться, а не праздновать. И тут появляется неудобная часть истории: в корпоративной среде вообще-то выгодно репортить большие победы. Большие uplift'ы получают внимание, бюджеты, промоушены и место на конференциях. Никто не пишет кейсы про мы нашли честные +0.2%. Хотя именно так обычно и выглядит реальность экспериментов. Power - это инструмент дизайна эксперимента, а не сертификат истины. Поэтому лучший вопрос не был ли тест powered?, а: Насколько правдоподобен этот эффект с учётом всего, что мы знаем о продукте и пользователях? Подробнее в статье от Spotify: Confidence by Spotify - Powered ≠ Trustworthy CRO & Personalization 🤗

🤩 Где-то в 2020 году, работая в М.Видео, я впервые посмотрел на YouTube выступление Андрея Кондаурова про улучшение поиска на Матемаркетинге. В конце был слайд с предложением бесплатного аудита. Я позвонил – и тогда, сам того не понимая, определил вектор следующих пяти лет своей жизни. И это оказался даже не поиск 😁 В то время я жадно поглощал всё вокруг: аналитику, A/B-тесты, продуктовые метрики, эксперименты. Мир data казался мне чем-то вроде хорошего детектива: чем глубже погружаешься, тем сильнее понимаешь, сколько решений в бизнесе принимаются не на интуиции, а на вероятностях, ошибках и проверке гипотез. Только в 2025 случился мой первый офлайн MM. И это было ощущение, будто ты внезапно оказался среди людей, которые умеют видеть будущее чуть раньше остальных. Я сидел в зале и думал: Вот бы однажды выступить здесь самому. Но была проблема. Мне казалось, что все вокруг – очень умные и светлые головы, а я – нет. И я долго не понимал, что такого могу показать, чтобы меня пригласили. В какой-то момент я просто подошёл к Алексею Никушину и сказал: - Я хочу выступить 😬 И вот теперь – выступаю на Aha!'26. 22 мая в Москве в седьмой раз пройдёт Aha! – конференция о продуктовой аналитике, искусственном интеллекте и масштабировании цифровых продуктов. В программе - AI-first продукты, LLM в продуктовых сценариях, MLOps, AI-агенты, экономика масштабирования и методы снижения стоимости проверки гипотез. Среди компаний-участников: Яндекс, АвитоТех, X5 Tech, Сбер, ВкусВилл, Wildberries, VK Tech, Циан, T-Банк, Lenta Tech и многие другие. Для кого: Data Scientists, ML-инженеры, продуктовые аналитики, Product-менеджеры, CPO/CDO и команды, которые строят AI-продукты. Форматы участия: Офлайн – 39 900 ₽ (включает участие 22 мая, доступ к онлайн-дню 14 мая и записи на 6 месяцев) Онлайн – 19 900 ₽ (доступ к трансляциям 14 и 22 мая и материалам конференции на 6 месяцев) Для команд действуют корпоративные скидки от 5% до 10% при покупке от 3 билетов, а также доступен корпоративный онлайн-доступ. Будут практические кейсы, обсуждение реальных внедрений AI и много сильного нетворкинга. Забавно, как иногда большая траектория начинается с одного звонка после случайного слайда в конце презентации. Программа и регистрация: AHA'26 CRO & Personalization ❤️

❌ E-commerce разворачивается. И если вы всё ещё делаете ставку только на маркетплейсы - есть нюанс. Ключевые мысли из вебинара Марии Антоновой ⬇️ Маркетплейсы остаются, но их доля снижается (80% → 78%). Рынок уходит в гибрид: - маркетплейсы = быстрые рутинные покупки - бренд-сайты = опыт, эмоция и выбор Параллельно растут нишевые игроки и D2C-бренды. А к 2030 рынок может вырасти кратно - и независимый e-com займёт значительную часть. Главное поле конкуренции смещается → в контент и опыт. Что меняется: - Китайские продавцы усиливаются (x5 за 2 года) - Решение принимается за 3-5 секунд - Видео, 3D и AR вытесняют текст - AI уже даёт до 10-15% трафика Пользователь больше не хочет искать - он хочет, чтобы ему подобрали. ➡️Карточка товара теперь - это не описание, а воронка продаж: Захват внимания (первое фото / видео) Быстрое объяснение что это и зачем Снятие сомнений (кейсы, отзывы, сценарии) Дожим (выгоды и отличие) И важный сдвиг: карточку читает не только человек, но и AI → это уже структура данных для рекомендаций. Что реально работает сейчас: - Видео как базовый минимум - Демонстрация в использовании - Интерактив (3D, AR, примерка) - Ответы на вопросы прямо в карточке - Единая контент-система во всех каналах Оффлайн тоже меняется: люди идут не за товаром, а за опытом. ТЦ становятся развлечением → бренды должны вовлекать. Итог простой: выигрывают те, кто строит контент как инфраструктуру продаж, а не оформление карточки. 🍿 Смотрите запись вебинара от Марии Антоновой, CEO Arigami CRO & Personalization ❤️

🚨КРУТЫЕ НОВОСТИ!!!🚨 Spotify открыли свой Confidence Experimentation Bootcamp - и теперь он бесплатный для всех 💫 Раньше этот курс был доступен только платным клиентам, а теперь: - без аккаунта - без оплаты - просто заходи и учись Это не просто курс, а внутренняя обучающая программа Spotify, которую они 10 лет использовали, чтобы прокачивать тысячи сотрудников 👀 Внутри: 📖 11 курсов 🎯 72 урока 💻 для аналитиков, продактов, инженеров, etc Темы: → основы экспериментов → интерпретация результатов → метрики → hypothesis testing → расчет выборки (целых 3 курса) → feature flags → развитие культуры экспериментов → и многое другое 💡Команды проваливаются не потому, что делают мало тестов. А потому что не умеют правильно интерпретировать результаты. И это - попытка это исправить. 🔗 Ссылка на Bootcamp Сохраняйте, если занимаетесь A/B тестами или только планируете начать. Это прям мастхэв и это БЕСПЛАТНО 🆓 CRO & Personalization ❤️

Когда у пользователя есть чёткое понимание того, что он ищет, персонализация приносит больше вреда, чем пользы. В таких случаях она ухудшает результат: например, количество добавлений в корзину (Add2cart) может снизиться. Поэтому всегда тестируйте влияние персонализации на свои сценарии. CRO & Personalization ❤️

👍 Если вы хотите понимать, стоит ли запускать A/B-тест ещё до старта - есть простой калькулятор Should We Test That? от Ryan Lucht Он отвечает на вопрос: 👉 ценность информации от теста больше, чем его стоимость ожидания или нет? Как им пользоваться: - задаёте базу (конверсия, трафик, деньги за конверсию) - задаёте prior - ваше ожидание эффекта - указываете правило принятия решения (например, катим если > 0) Дальше калькулятор считает EVSI (ценность информации) и сравнивает её со стоимостью времени теста. И вот здесь самая важная часть 🤩🤩🤩🤩🤩🤩🤩🤩🤩🤩🤩 Prior - это не формальность, а всё Большинство людей ставят что-то вроде: ожидаем +2, 3 или 5% роста Но если посмотреть на реальные данные (например, по Кохави): только ~10% (медиана) экспериментов дают положительный эффект Что это означает: - медианный эффект ≈ 0 или даже ниже - большинство идей не улучшают метрику Как это влияет на решение Если задать optimistic prior: ➡️ калькулятор скажет тест не нужен (ты и так уверен) Если задать реалистичный prior: ➡️ появляется риск ухудшения ➡️ и тест становится страховкой от плохих решений Практическое правило Если у вас ~10% успешных тестов: - центрируйте ожидание около 0% - задавайте широкий разброс (есть шанс и плюса, и минуса) Поэтому, этот инструмент не про делать или не делать тесты Он про другое: насколько вы уверены в своей идее до теста И очень часто оказывается, что проблема не в тестах, а в слишком оптимистичных ожиданиях до них. Проверить себя и улучшить свою приоритезацию бэклога можно тут CRO & Personalization 🤩🤩🤩

Коллеги, перед запуском A/B-теста давайте сначала проведём A/A-тест. А затем, когда будем сравнивать результаты A/B, вычистим расхождения в метриках, обнаруженные в A/A.

С таким предложением я однажды столкнулся при запуске достаточно серьёзного проекта с партнерами. Потом – ещё раз, но уже в более мягкой формулировке:

Давайте просто запустим A/A и проверим, всё ли корректно работает.

А еще мы запустили один A/A тест в Вариокуб 🇲🇦 Звучит как забота о качестве. На деле – любимый корпоративный ритуал. Что такое A/A и зачем он нужен (по Кохави) A/A – это тест, где сравниваются два одинаковых варианта. То есть эффекта нет по определению. Зачем тогда он нужен? 1. Обучение и борьба с bias Люди видят разницу даже там, где её нет. A/A отлично показывает, как легко «придумать» объяснение шуму. 2. Понимание раннего шума В первые дни эксперимента метрики ведут себя случайно. A/A помогает это прочувствовать и не делать поспешных выводов. 3. Проверка платформы Корректный подход – запускать серию A/A тестов (500) Ожидание: – около 5% тестов дают p-value < 0.05 – распределение p-value близко к равномерному Если это не так – проблема в системе. ☺️ Бонус: для любителей уже A/A/B (по Кохави) – Делить трафик на три части – плохая идея – Оптимальное распределение для A/B – 50/50 – A/A/B снижает power – Один A/A внутри A/B ничего не валидирует Если очень хочется – сделайте A/B, а потом постфактум разделите группы и получите A/A без потерь. Сохраняете себе ссылочки 1) пост Кохави про A/A 2) пост Кохави про A/A/B Вопрос в зал: кто-то реально запускал 500 A/A тестов, чтобы проверить платформу? CRO & Personalization 🤩🤩

🤩 Однажды к нам пришли на практику студенты из ВШЭ. У них была простая задача: сделать проекты в разных функциях и защитить их. Лучшие - пойдут в разработку. Одна студентка выбрала проект про списки (lists) Представьте: пользователи сохраняют товары, делятся ими, возвращаются. Почти growth loop как у Dropbox. Идея зашла всем. Фиче дали зелёный свет 💚 Я задал простой вопрос: - какой сейчас % использования избранного? - сколько пользователей шарят товары? В ответ - тишина. И жест давай без этого. «Эээ, ну это просто крутая идея» С этого момента фича стала почти религией. Её ждали на встречах, обсуждали, верили. Как в сцене из The Wolf of Wall Street - когда герой ДиКаприо бьёт себя в грудь обедая с Макконахи. Хотя база была простой: избранное использовали ~2% пользователей. Время шло. Разработка росла. Фича кусалась в продукте - сразу web + app. Я снова спросил: - может, сделаем fake door и проверим интент? И снова тот же жест. «Не тормози» Фича вышла без теста. Стоимость - сумма с шестью нулями. Результат - ноль. Ей почти не пользовались. Через время про неё просто забыли. И вот здесь главный вывод: проблема не в идеях. Проблема в отсутствии механизма, который проверяет их до того, как они становятся дорогими. Именно поэтому компании вроде Booking.com делают ставку на экспериментирование. Не чтобы находить победителей. А чтобы дешево отбраковывать слабые гипотезы. Потому что в современном продукте сумма с шестью нулями - это цена не фичи. Это цена отсутствия эксперимента. 👉 Почитайте, как в Booking.com выстроили систему качества экспериментов Scaling Experimentation Quality CRO & Personalization 🤩🤩

📯 23 апреля в 16:00 на вебинаре в рамках Learnings выступит Мария Антонова с темой «Карточка товара будущего». Мария Антонова — CEO ARIGAMI, ex-CEO 24TTL, за 15+ лет в диджитал и IT успешно сотрудничала с 350+ глобальными брендами и ведущими онлайн ритейл площадками, помогая им превращать товарный контент из «красивой картинки» в реальный драйвер продаж. На вебинаре поговорим о том, почему классическая карточка товара перестаёт работать, маркетплейсы теряют долю, а на первый план выходит собственный сайт и уникальный клиентский опыт. Разберём ключевые прогнозы рынка e-commerce, новые модели поведения покупателей и то, как контент становится инфраструктурой продаж. Если вы отвечаете за маркетинг, e-commerce, развитие бренда или клиентский опыт — рекомендую найти время и присоединиться. Будет не только много много прогнозов, но и конкретных рекомендаций о том, как выстроить контент-фундамент, который конвертирует, удерживает аудиторию и ведёт к покупке. ⏰Когда: 23 апреля 2026 в 16:00 ☠Тема: «Карточка товара будущего» 🤩Ссылка на вебинар CRO & Personalization 🤩

🤩 Большинство A/B-тестов не делают продукт лучше. И это нормально. В Spotify 😊 посчитали честно: win rate ≈ 12%. Но learning rate - 64%. Разница - это и есть реальная ценность экспериментов. Мы привыкли мерить успех через победителей: выросла метрика –> выкатываем. Но такая оптика искажает реальность. В зрелых продуктах почти всё уже оптимизировано. Улучшения редки. Ошибки - часты. Один баг может уронить метрики. Чтобы их улучшить - нужна почти идеальная гипотеза и реализация. Поэтому в Spotify 🎧переопределили успех эксперимента через фреймворк EwL (Experiments with Learning): Эксперимент успешен, если он даёт решение. Это три сценария: - Метрика выросла –> шипим 🚢 - Метрика упала –> стоп, вы только что избежали ущерба - Ничего не изменилось, но тест был сильным –> значит эффекта нет Последний пункт - самый недооценённый. Нейтральный результат с достаточной мощностью - это не ничего, это снятая неопределённость. А вот что не считается learning: - сломанный эксперимент (SRM, баги, кривой трафик) - недособранные данные (unpowered тест) Именно здесь обычно теряется эффективность. Самое важное это, что большая часть ценности - не в том, что работает, а в том, что вы не выкатили. Если бы Spotify ориентировались только на win rate, они бы недооценили 80% пользы своих тестов. EwL - это уже не про оптимизацию. Это про управление риском и скоростью обучения. И, возможно, главный вопрос для вашей и нашей команд: вы измеряете победы - или скорость понимания? Читайте на выходных - полный разбор от Spotify 🚨 CRO & Personalization 🤩🤩

Берём на вооружение карту рекомендаций от ребят из Anyquery 😎

У Algolia новый CEO - Stephen Lynch. И это не просто кадровая новость. Линч - продуктовый тяжеловес из мира AI и enterprise-платформ. До этого он масштабировал AlphaSense в одного из лидеров категории, работая на стыке поиска, ML и аналитики. Его назначение - сигнал: поиск окончательно превращается из фичи в инфраструктуру AI. Если перевести с корпоративного языка: 👉 Algolia хочет стать не поиском, а мозгом продукта А теперь - к практике. Посмотрите презентацию Michelle Cucchi, Product Marketing Director в Algolia. И там очень чётко видно, куда всё движется👇 E-grocery больше не растёт. Его пересобирают заново. 📊 - 90% - омниканальность - онлайн растёт в 5.2x быстрее - Gen Z на 46% чаще покупает онлайн Но главный сдвиг - не в цифрах. Раньше: пользователь –> поиск –> список –> выбор Теперь: пользователь –> интент –> AI –> решение Ключевая мысль доклада: Search is no longer navigation. It's conversion. И лидеры уже это используют: - персонализируют поиск - управляют маржой через мерчандайзинг - внедряют AI-рекомендации - используют чат как интерфейс покупки - встраивают остатки в выдачу 👉 Результат: +53.5% к CVR только за счёт поиска Что это значит на практике: Поиск = growth engine, а не util-фича Каталог = датасет для AI, а не дерево Рекомендации = память, а не блок Интерфейс = умирает –> остаётся интент И вот где сходится всё: Новый CEO –> ставка на AI как core Доклад Michelle Cucchi –> подтверждение, что рынок уже там Самая опасная стратегия сейчас - просто улучшать старую модель Потому что новую уже строят. У нас сейчас ElasticSearch. Как думаете, стоит ли пытаться его развивать в 2026 году или пора смотреть в сторону AI-native решений? Напишите в комментариях 👇 CRO & Personalization 🌟

🔣 Мы добавили на листинг маленький шильдик: «Вы смотрели». Логика казалась безупречной. Пользователь теряется в каталоге - мы возвращаем ему память. Он сравнивает товары - мы даём опору. Меньше лишних кликов, быстрее решение, выше add-to-cart. 🎙Данные сказали другое. В A/B-тесте разница почти исчезла в шуме: 6.4% против 6.4%. p-value - 0.74. Интервалы перекрываются. Формально - ноль. 🤩 Это не провал. Это полезный ноль. Есть соблазн списать всё на реализацию: слабый контраст, неудачное место, пользователи не заметили. Иногда так и есть. Но чаще причина глубже - в том, что именно мы пытаемся изменить. Шильдик «вы смотрели»работает на этапе исследования. Он снижает когнитивную нагрузку, помогает ориентироваться, делит мир на уже оценено и ещё нет. Это про навигацию и уверенность, а не про момент решения. Add-to-cart - это уже финальный акт. Мы измеряли не там, где возникает эффект. Есть и вторая проблема - усреднение. Такие механики помогают тем, кто открывает 5-10 карточек, возвращается, сравнивает. Для быстрых покупок они почти незаметны. В среднем по всем сессиям сигнал растворяется. Ноль - это тоже информация. Он говорит: гипотеза не универсальна. И что важнее - она не про мгновенный рост конверсии. 🔍 Если искать эффект, его стоит искать в другом: в скорости выбора, глубине просмотра, возвратах к карточкам. Или усиливать саму механику - не просто помечать, а менять порядок, поднимать просмотренное, давать контроль. Хорошие продукты редко ломаются из-за отсутствия маленьких бейджей. Но иногда именно такие детали показывают, где проходит граница между интуицией и данными. CRO & Personalization 🌟