CRO & Personalization

Когда ребята начинали работу над этим руководством, они думали в первую очередь о новых сотрудниках (Nuos): они хотели помочь им освоиться в их уникальной культуре и принципах работы. Этот справочник стал для них способом осмысленного роста без превращения в очередную компанию с токсичной культурой трудоголизма. Затем они осознали:

открывая наши принципы и внутренние процессы, мы, возможно, сможем изменить и tech-культуру в целом. Уйти от скучных шаблонов - к более вдохновляющим формам работы и сотрудничества.

К сожалению, нам до уровня культуры таких компаний, как Duolingo, ещё очень далеко. И, что ещё печальнее, это проблема не только наша, но и всего рынка в целом. Если вы ещё не читали нашумевший в этом году Handbook от Duolingo - настоятельно рекомендую. Это must-read для всех, кто хочет понять, как строить современную и человечную компанию. Они не просто написали правила - они создали живой, остроумный и практичный документ, который действительно работает. Именно к такому уровню открытости, ясности и вовлечённости я и стремлюсь. Возможно, их опыт вдохновит и вас так же, как вдохновил меня.

🔥 Результаты А/B теста: показ промокода в меню каталога Мы протестировали гипотезу - будет ли эффективным размещение промокода в меню каталога для новых мобильных пользователей. Что проверили: 👀 Показ промокода в интерфейсе каталога 📱 Сегмент: новые пользователи на мобильных устройствах Цифры: CTR промокода - 1,62% В среднем промокод применяли 1 раз Итог: ❌ На денежные метрики - нет значимого влияния. Конверсия в покупки в тестовой и контрольной группах практически не отличается. Вывод: Гипотеза не подтвердилась. Решили не запускать эту фичу - она не приносит дополнительной прибыли. Продолжаем искать более эффективные способы повышения конверсии. #абтестирование #эксперименты

🏎️ Скорость решает всё. Даже доверие. Пост от CEO Ben Labay, Speero Оригинал на LinkedIn

Я часто повторяю: velocity - главная метрика. Но многие спорят. На мой взгляд - зря. Ошибка индустрии в том, что эксперименты стали "чекбоксом", а не образом мышления. Считают идеи, спорят о "победах" и "поражениях"... хотя ценность - в системе, которая создаёт результаты.

Когда команда начинает ship-ить быстрее, всё меняется: 1️⃣ Появляется доверие - дела важнее споров. 2️⃣ Упрощается сложность - действием, а не моделями. 3️⃣ Исчезает политика - данные решают, а не громкие голоса. 4️⃣ Видны реальные узкие места - метрики, процессы, владельцы. 5️⃣ Дебаты превращаются в факты - ship it and learn. 6️⃣ Меньший масштаб = меньше страха и быстрее обучение. 7️⃣ Стратегия становится циклом обратной связи, а не статикой. 8️⃣ Команда показывает лидерство и уверенность. 🙋Частый вопрос: а что если запустить не то? Ответ: если судить по отдельным тестам - да, риск есть. Но если смотреть на систему, то скорость = больше маленьких, умных и быстрых запусков. Это культура, где процесс позволяет в 2-5 раз ускориться без увеличения команды. Что думаете? Есть ли метрика, которая лучше отражает успех экспериментирования?

🔥 Новый эксперимент: с рекомендациями в футере Провели A/B-тест по внедрению рекомендаций в футере сайта - по аналогии с culturekings.com Что тестировали: • Рекомендации товаров в подвале сайта • Улучшение пользовательского опыта • Влияние на конверсию в покупки Результаты: 📊 Конверсия осталась на прежнем уровне - 3.25% 📈 Uplift составил всего +0.14% (в пределах погрешности) 🎯 Вероятность превосходства над контролем - 45.75% #абтестирование #эксперименты

🎯 Какой оффер мотивирует кликнуть на баннер? Мы протестировали несколько вариантов: –500 ₽ (контроль) Бесплатная доставка –800 ₽ –20% 📊 Результаты по CTR: –800 ₽: +61% (лучший результат) –20%: почти без изменений Бесплатная доставка: –19% (хуже контроля) 👉 Вывод: фиксированная денежная выгода воспринимается пользователями гораздо сильнее, чем бесплатная доставка или процентная скидка. #абтестирование #эксперименты

Наш текущий ритм — это 8-9 запускаемых гипотез в месяц. Скорее всего, сейчас это наш предел. При этом суровая реальность такова, что успешными оказываются менее 10% из них. Со временем количество одновременных тестов на проде исчисляется десятками. Рано или поздно возникает ключевой вопрос: а не мешают ли наши эксперименты друг другу? Мы достигаем точки, где риски пересечения тестов и их взаимного влияния становятся реальной проблемой, способной искажать результаты и принимать неверные решения (см. скриншот). Существует три основные стратегии, чтобы масштабировать экспериментирование без потери точности: 1️⃣ Перекрывающиеся тесты (запускаем всё и сразу) ✅ Высокая скорость, много данных ❌ Риск взаимодействий, сложная интерпретация 2️⃣ Последовательные тесты (запускаем по очереди) ✅ Чистота результатов, никаких помех ❌ Очень медленно, меньше экспериментов 3️⃣ Изолированные тесты (делим аудиторию на сегменты) ✅ Идеальная чистота, простота анализа ❌ Нужна огромная аудитория, нет гибкости А вот мнения ведущих специалистов в этой области: - Ron Kochavi

Параллельное проведение A/B-тестов необходимо для масштабирования. Многие организации не решаются проводить эксперименты одновременно, опасаясь их взаимодействия, но эти опасения сильно преувеличены: · Параллельное тестирование необходимо для масштабирования · Серьёзные взаимодействия на практике встречаются редко · Большинство опасений не имеют под собой оснований В статье я привожу примеры антагонистического и синергетического взаимодействия, рассказываю, как их обнаружить, и почему ведущие компании безопасно проводят тысячи параллельных экспериментов.

- Timothy Chan (Statsig): сильные взаимодействия редки, поэтому overlapping-тесты — это мощный инструмент масштаба для таких компаний, как Facebook и Google. Подробнее - Исследование Microsoft: интерференция в A/B-тестах встречается реже, чем принято думать. Подробнее - Lukas Vermeer: предлагает системные методы дляdetection (обнаружения) взаимодействий, что критично в сложных средах. Подробнее 🌝 Бонус Как запускать много тестов одновременно: избегание и обнаружение взаимодействий (How to run many tests at once: interaction avoidance & detection) Офигенный митап от Лукаса Вермеера в Test & Learn Community

🚀 Результаты A/B-теста изменения текста на сборщике Email Проверили, как новый текст влияет на кликабельность. Вот что получилось: ✅ Variation 1: +42% к кликам ✅ Variation 2: +30% к кликам Оба варианта значительно обогнали контрольную группу. Но есть нюанс: 💰 На денежные метрики изменения не повлияли - статистической значимости нет. Вывод: текст важен для вовлечения, но одного его недостаточно для роста доходов. #абтестирование #эксперименты

🚀 A/B тестирование поиска и рекомендаций: Искусство, наука и математика Даже самые продвинутые AI-алгоритмы ранжирования не отменяют необходимость точечных экспериментов. Правильные A/B тесты в поиске, автодополнении, навигации и рекомендациях напрямую ведут к росту выручки. Constructor - это платформа поиска и продукт-дискавери для интернет-магазинов, которая помогает таким брендам, как Sephora и Backcountry, увеличивать конверсию с помощью AI. Они подготовили исчерпывающее руководство, в котором собрали весь их опыт проведения экспериментов: 🔹 Почему это критически важно? 🔹 Что именно тестировать мерчендайзерам и продуктологам? 🔹 Как проводить валидные тесты и правильно интерпретировать результаты? 🔹 Готовые идеи для тестов across Search, Autocomplete, Browse и Recommendations Это must-read для любого, кто хочет принимать решения о UX на основе данных, а не догадок. 📖 Скачать полный гайд можно по ссылке (я уже прошел всю регистрацию😎)

Коллеги, также делюсь презентацией и записью с недавнего вебинара Дмитрия Некрасова. 🚀 Тема настолько прорывная, что Mixpanel уже внедрили Metrics Trees в своё обновление! 🔗 Смотрите сами: Mixpanel Metrics Trees 📑 Презентация Дмитрия с подробным разбором: ссылка 📢 Канал Дмитрия с аналитикой и разбором кейсов: @jetmetrics Почему это важно: Metrics Trees помогают связать ключевые метрики с их драйверами и факторами, находить узкие места и строить аналитику более системно. ❓Вопрос к вам: используете ли вы Metrics Trees в своей аналитике? Если да — как внедряете и на каких задачах? #learnings

Как вы знаете, никакой рост организации невозможен без её обучения. Джек Уэлч, председатель и генеральный директор General Electric, как-то сказал: «Способность организации учиться и быстро воплощать полученные знания в жизнь является абсолютным конкурентным преимуществом». Экспериментирование — это в первую очередь обучение. Каждая гипотеза даёт нам знания, которые мы используем для улучшения продукта и роста. В прошлом и в этом году я много учился — у экспертов, у книг. Спасибо вам за это 🙏 И я всё яснее понимаю: обучение важно не только для меня, но и для всей организации в целом. Поэтому я стал приглашать экспертов, которые делились своим опытом с нашей командой. Постепенно это выросло в большой проект, и я решил сделать его открытым для всех, кто хочет расти и получать новые знания, чтобы применять их для роста своего бизнеса. Кто уже выступил внутри METRO: Виталий Черемисинов, СЕО и сооснователь EXPF — «Про А/Б тесты» Анна Сенькова, Руководитель отдела роста Gravity Field — «Сегментация пользователей» Дмитрий Некрасов, сооснователь jetmetrics.io — «Почему цифры растут, а продажи — нет» Ждём в сентябре уже всех желающих (будет приглашение отдельным постом): Альберт Яралиев, СЕО и сооснователь Gravity Field — «Геймификация как драйвер роста e-commerce» ✨ Если вы хотите тоже поделиться своей экспертизой — буду рад! Календарь уже занят до февраля 2026 включительно. Формат: 1 час, онлайн. Пишите в личные сообщения.

🛒 Всё больше покупателей чувствуют, что сайты ими манипулируют. • 63% ощущают давление тактик eCommerce (и только 11% — нет) • 43% чувствуют себя перегруженными на сайтах • 83% используют промокоды, хотя готовы были купить и без них Почему так? Компании чаще фокусируются на краткосрочных продажах и метриках, а не на LTV. Отсюда и хаки вместо устойчивого роста. 📑 Читайте полный отчёт от David Mannheim — автора книги по персонализации и CEO & основателя Made With Intent. Я уже прошёл всю регистрацию, поэтому делюсь прямой ссылкой: 👉 The Intent Gap Report А как у вас дела, например, с Retail Media? 😎

🚀 ЖИВОЙ РАЗБОР САЙТА от экспертов 🎯 Завтра ребята из Oddit устроят живой и безжалостный разбор сайтов. Никакой теории — только практика и рабочие фишки! Как это будет? Можно прислать свой сайт (я прислал наш 😁) или лендинги. Они выберут несколько и прямо в эфире покажут: ✅ Что работает идеально ✅ Что можно и нужно улучшить ✅ Как именно это исправить 📅 Дата: 27 августа (среда) 🕐 Время: 20:00 по МСК Что вы получите от эфира: 🔹 Чек-лист по усилению вашего сайта (если выберут конечно) 🔹 Готовую формулу сайта, который продает 🔹 Личную консультацию от топовых экспертов по CRO и UX 🔗 Ссылка на регистрацию

Когда запустили тест, чтобы понять, какая механика лучше работает в промоакциях, но в процессе что-то пошло не так 😁

📈 Как убедить руководство масштабировать A/B-тесты Если ваш CMO или директор по eCommerce сомневается, стоит ли увеличивать число экспериментов и инвестиции, можно показать ценность тестирования через простую математику. 🔑 Шаг 1. Минимально обнаружимый эффект (MDE) MDE = 4σ / √n Это минимальный эффект, который мы можем уверенно зафиксировать. См. подробнее 🔑 Шаг 2. Компаунд-эффект Каждый успешный тест накапливает результат: Uplift % = (1 + (MDE – haircut)) ^ (N × W) – 1 где N — число экспериментов, W — win rate, haircut — поправка на «winner’s curse». Подробнее здесь ⚡ Формула выверена вместе с Роном Кохави. 📊 Пример • Метрика: ARPU • MDE = 3% • 100 тестов в год • Win rate = 10% • Haircut = 13% 👉 Прирост без поправки: +34.4% 👉 С поправкой: +29.4% 💡 Вывод Даже при 10% win rate можно получить около +30% прироста за год. Этот подход помог мне защитить инвестиции в программу тестирования и убедить руководство в её ценности. 👉 Вы можете подставить свои данные и рассчитать uplift для вашей компании в этом калькуляторе: Google Sheets калькулятор

👋 Всем привет! Меня зовут Андрей Андреев. Я развиваю эксперименты, CRO и персонализацию в METRO. В этом канале — всё о том, как использовать A/B-тестирование, персонализацию и оптимизацию конверсии для роста. Здесь будет теория и практика: кейсы, методологии, разборы гипотез и реальные примеры из проектов. Будем вместе учиться строить культуру экспериментов и превращать данные в рост 🚀

Всем привет ! Почти два года здесь не было новых постов. Я теперь занимаюсь другими проектами (можно почитать в канале Технологии и люди) А этот канал ждал своего визионера и драйвера. И дождался 😎 С этого дня я передаю канал энтузиасту сферы CRO, персонализации и экспериментирования - Андрею Андрееву. Мы давно знакомы, много обсуждали экспертные темы, и я хорошо знаю, сколько исследований и планов у него есть по развитию этой индустрии. Уверена, что под его лидерством канал получит развитие 👏 Андрей скоро расскажет о себе подробнее 🤩