CRO & Personalization

⚡️ METRO вошла в тройку лидеров UX-рейтинга интернет-магазинов в категории «Продукты питания» 🔝 Эксперты «Рейтинга Рунета» оценивали, насколько удобно пользователю взаимодействовать с онлайн-магазином – от поиска товара до оформления заказа. В исследовании приняли участие более 60 крупнейших приложений. 💬 Команда e-commerce последовательно оптимизирует пользовательский путь, анализируя поведение клиентов и устраняя лишние действия на ключевых этапах взаимодействия с компанией на онлайн платформе. «Попадание в UX-рейтинг — результат командной работы бизнеса, продукта, разработки, дизайна и аналитики. Мы постоянно улучшаем пользовательский путь: убираем лишние шаги, упрощаем сценарии и делаем покупку удобнее. Поэтому высокая оценка экспертов для нас – не просто признание, а возможность получить независимый взгляд со стороны и понять, где у нас еще есть точки роста», – отметил Андрей Андреев, руководитель направления мерчандайзинга дивизиона электронной торговли METRO. 🌐 Методология «Рейтинга Рунета» основана на исследованиях Nielsen Norman Group и Baymard Institute, практическом опыте работы с e-commerce-проектами и экспертной оценке специалистов отрасли.

Приятно 🥹

🧠 Я всё меньше хочу прокачивать навыки, которые LLM потенциально может делать вместо меня. Не потому, что навыки больше не нужны. А потому, что их срок жизни становится короче. Сегодня я скорее инвестирую в другое: как думать, как задавать вопросы и как принимать решения в условиях неопределённости. И здесь, кажется, появляется новая проблема. Раньше ошибка часто была в том, что мы чего-то не знали. Теперь опаснее другая ошибка - false positive: когда мы принимаем неправильный ответ за правильный. LLM может написать убедительный анализ, привести цифры, объяснить причинно-следственную связь и даже сослаться на источник. И всё это может быть неправдой. Чем лучше модели становятся в создании правдоподобных ответов, тем важнее способность человека сказать:

Стоп. А почему я вообще должен этому верить?

Поэтому я сейчас смещаю образование от конкретных инструментов в сторону фундаментальных вещей: вероятностного мышления, критического мышления, статистики, причинности и принятия решений. Недавно закончил книгу Суперпрогнозирование Филипа Тетлока. Для меня это, пожалуй, вторая книга после «Думай медленно… решай быстро» Канемана, которая хорошо объясняет, как тренировать собственное мышление, а не просто накапливать знания. Особенно полезна она сейчас, когда между человеком и информацией появляется LLM. Модель может помочь нам думать быстрее. Но она не должна избавлять нас от необходимости думать самим. Потому что самый дорогой ответ - не тот, который мы не получили. А тот, которому мы поверили. Книгу оставил в комментариях. *Фото к посту - из курса Ronny Kohavi «Accelerating Innovation with A/B Testing» на Maven. _______________ CRO & Personalization 🫥 Проголосовать, чтобы сторис было больше 👍

😛 В A/B-тестах мы используем два разных подхода. Но проблема у них одна. Сейчас в METRO мы работаем сразу с двумя системами: - Gravity Field - Bayesian - Вариокуб от Яндекса - frequentist И раньше мне казалось, что главный вопрос здесь - какой подход лучше. Но свежая статья Spotify заставляет посмотреть на это немного иначе. Ребята объясняют, почему они сознательно не переходит на байесовское A/B-тестирование и разбирают четырёх распространённых мифа: 1️⃣«Байес не требует коррекции на подглядывание (peeking)» - верно только для Bayes-factor stopping; стандартный плоский prior с порогом по постериорной вероятности даёт ту же инфляцию ложноположительных результатов, что и обычное peeking у частотников. 2️⃣ «Байес сам решает проблему множественных метрик» — требует хорошо откалиброванного empirical Bayes prior, построенного на истории ≥200 экспериментов; без этого гарантии не работают. 3️⃣ «Байес лечит winner's curse» - верно только с информативным prior; дефолтный плоский prior не даёт никакой усадки оценки эффекта. 4️⃣ «Нужен Байес для decision theory» - во многих случаях оптимальное байесовское решающее правило математически совпадает с частотистскими методами (mixture SPRT ≈ Bayes factor stopping ≈ group sequential testing). Но для меня самое интересное в другом. Когда статистика сталкивается с культурой компании (по крайней мере так происходит у нас) Если из 100 гипотез у нас выигрывают условные 10 - это нормально. Но для большой корпорации 10 побед на 100 гипотез иногда выглядят не как нормальный результат поиска, а как проблема. На слайде хочется показать больше зелёных цифр. Хочется показать uplift. Хочется показать, что команда приносит результат. И тогда возникает опасный соблазн: посмотреть раньше 💛 найти сегмент 💛 проверить ещё одну метрику 💛 дождаться красивого числа 💛 показать победу. Именно здесь false positive становится не только статистической, но и культурной проблемой. Можно поменять frequentist на Bayesian. Можно поменять p-value на probability to win. Но если организация вознаграждает за количество побед, а не за качество решений, она будет оптимизировать под победы независимо от выбранной статистической школы. Spotify поэтому вообще не добавляет Bayesian подход: для них важнее, чтобы эксперименты были понятны, надёжны и сложны для неправильной настройки. А ещё важнее - чтобы результаты приводили к хорошим решениям, а не просто к красивым ship/no-ship слайдам. И, пожалуй, Experimentation культура - это не культура побед. Это культура, в которой проигрыш гипотезы считается нормальным, а false positive - нет. Spotify написали очень хороший разбор того, почему они пока не используют Bayesian A/B testing - и почему спор Bayesian vs frequentist на самом деле гораздо менее важен, чем кажется. Читать статью Spotify → Why Spotify Is Not Using Bayesian A/B Testing _______________ CRO & Personalization 🫥

🦜 Data Science меняется быстрее, чем успевают обновляться учебные программы Последнее время всё чаще вижу тезис: AI убьёт Data Science. Я бы сформулировал иначе. AI не отменяет необходимость решать задачи с данными. Он меняет то, как эта работа делается. Раньше типичный workflow выглядел примерно так: почистить данные ➡️ собрать признаки ➡️ обучить модель ➡️ визуализировать ➡️ презентовать результат. Теперь часть этой работы можно делегировать AI-агентам. Ты формулируешь задачу, получаешь код, анализ, модель и даже production-ready воркфлоу. А твоя работа всё чаще смещается в другое место: поставить правильную задачу ➡️ проверить результат ➡️ понять, где AI ошибся ➡️ довести решение до бизнеса. И здесь мне вчера попался интересный бесплатный семинар Matt Dancho. Matt - основатель Business Science, преподаватель Data Science, специалист по R и Python. Он много лет занимается прикладным Data Science и обучением специалистов; среди его инструментов - собственные R-пакеты и практические проекты для бизнеса. Его тезис довольно провокационный:

Проблема Data Scientist не в том, что AI умеет писать код. Проблема в том, что теперь писать код - уже не главное.

В 2026 его стэк выглядит примерно так: ▫️ AI Agents ▫️ умение быстро доводить решения до production ▫️ понимание бизнес-контекста ▫️ и, пожалуй, самое важное - умение понимать, когда AI неправ. Последний пункт мне кажется особенно важным. Потому что с ростом возможностей AI ценность специалиста может смещаться от я умею сделать анализ к я понимаю, какой анализ вообще нужно сделать и могу проверить, что результат имеет смысл. Matt как раз обещает показать это на практике: AI + Data Science + Python + реальные бизнес-задачи. Поэтому я уже зарегистрировался. Не потому что Data Science умирает. А чтобы посмотреть, каким становится Data Science, когда большая часть технической работы начинает выполняться AI. Если интересно - регистрация на бесплатный workshop от Matt Dancho 23 сентября _______________ CRO & Personalization 🫥

Как проводить A/B-тесты в интернет-магазине? Какие метрики смотреть? Каковы этапы дизайна А/В теста? Как формулировать гипотезы для А/В тестов? И многое другое в нашей статье про А/В тестирование

Если кто-то хочет ещё раз освежить свои знания: свежая статья от команды GF.

Вакансия Head of Growth (AI-native) в Gravity Field Ищу к себе в команду человека на офигенную роль — Руководителя по росту продукта. Это человек, который будет помогать расти нашим клиентам с помощью всего инструментария Gravity Field. Хотим найти AI-native, который верит в AI, умеет строить и автоматизировать + любит и умеет качественно доносить свои идеи и мысли внешней и внутренней аудитории. Роль три в одном — growth продакт + AI-native + лидерство и управление. По сути это полноценный продакт, задача которого помогать расти клиентам и построить стек решений для этого как в платформе, так и вокруг нее. Даже не знаю, что тут еще сказать! Буду рад любым рекомендациям и референсам. Напишите мне, если вас заинтересовало или есть кого предложить Ссылки на более подробное описание: 👉 hh 👉 Сайт Gravity

Ребята, кому интересна вакансия, откликайтесь. Мы с ребятами много движа делаем вместе.

👾 E-commerce больше не просто меняется. Он меняет точку входа в покупку В новом Hype Cycle for Digital Commerce 2026 Gartner выделяет несколько сигналов, которые, на мой взгляд, особенно важно не пропустить: 🫀 AI становится новым sales channel AI Checkout позволяет покупать прямо внутри AI-платформ, не переходя на сайт магазина. Следующий шаг - Agentic Buying: AI-агент сам ищет товар, сравнивает варианты и совершает покупку практически без участия человека. 🫀 Search превращается в Discovery Hybrid Search и Guided Selling Assistant объединяют поиск, семантику, AI и рекомендации. Задача уже не просто найти товар, а помочь человеку выбрать. 🫀 У SEO появляется новый конкурент - AEO Answer Engine Optimization - оптимизация контента под AI-ответы и LLM. Вопрос уже не только в том, попадёт ли ваш сайт в Google. Важно, будет ли ваш продукт рекомендован AI. 🫀 Клиентом становится не только человек Machine Customers - AI-агенты, подключённые автомобили, устройства и другие машины, которые самостоятельно совершают экономические действия. И Gartner ожидает, что их роль в e-commerce будет быстро расти. Если собрать всё вместе, customer journey начинает выглядеть примерно так: Search ➡️ Discovery ➡️ Recommendation ➡️ AI Assistant ➡️ Agentic Buying И вопрос уже не как улучшить интернет-магазин? А какая часть customer journey вообще останется человеку? Я сделал кое-что за вас - отдал свою почту Gartner 😄 Поэтому можете сразу переходить к полному исследованию: Полное исследование Gartner - Hype Cycle for Digital Commerce 2026 _______________ CRO & Personalization 🕷

Сегодня в 17:00. Вадим и его крутая тема. Ждем всех, приходите поддержать и послушать 👏 Ставьте сердечко 🫶, кто точно придет 🕶️ 🔗 Ссылка на подключение: https://telemost.yandex.ru/j/4095725207 _______________ CRO & Personalization 🕺

📝 The Product Analytics & Data Science Cheat Sheet Нашёл отличный cheat sheet по продуктовой аналитике и data science от Olly Paton. 153 термина - на одной странице, бесплатно и без регистрации. Что внутри: 🤩 продуктовые метрики: DAU/MAU, retention, activation, churn, LTV, CAC, AOV 🤩 web analytics и attribution: incrementality, holdouts, MMM 🤩 статистика: mean/median, variance, standard error, percentiles, CLT 🤩 A/B-тесты: p-value, power, MDE, confidence intervals, bootstrap 🤩 дизайн экспериментов: randomization, sample size, CUPED, sequential testing, Bayesian A/B 🤩 типичные ошибки: peeking, multiple comparisons, SRM, Simpson’s paradox, winner’s curse 🤩 causal inference: DiD, synthetic control, regression discontinuity, geo-lift 🤩 ML: logistic regression, precision/recall, ROC-AUC, calibration, uplift modelling, survival analysis Пожалуй, многие споры в аналитике возникают не из-за неправильной статистики, а потому что люди используют одни и те же слова в разных смыслах. Conversion rate - какой именно знаменатель? Retention - какая именно методология? Significant - статистически или «достаточно хорошо для слайда»? Хороший референс, чтобы быстро синхронизировать команду и освежить знания перед экспериментом. Ссылка на The Product Analytics & Data Science Cheat Sheet _______________ CRO & Personalization 🥡

Запустили Gravity AI Shopping Assistant вместе с METRO 🚀 Ассистент помогает покупателю быстро собрать корзину: понимает запрос на обычном языке, определяет нужные категории, находит подходящие товары в ассортименте магазина и позволяет добавить их в корзину прямо из диалога. Он уже работает в АБ тесте на мобильном сайте METRO. Можно попросить ассистента найти конкретный товар, передать ему список покупок или описать всю закупку одной фразой. При подборе он учитывает региональный ассортимент и показывает товары, доступные покупателю. Сейчас мы анализируем первые результаты, выявляем повторяющиеся паттерны в запросах покупателей и на их основе обучаем ассистента работать с новыми сценариями. Так он сможет брать на себя всё больше работы по сбору корзины и помогать с более сложными закупками. Подробнее о Gravity AI Shopping Assistant

😁 От персонализации к AI-commerce: что происходит с e-commerce прямо сейчас В рамках Learnings выступит Вадим Мамедов - VP, Revenue Enablement в InsiderOne, один из лидеров на рынке customer experience и персонализации в мире. За последние несколько лет AI сильно изменил само понимание персонализации в e-commerce. Мы постепенно уходим от мира, где персонализация - сегменты, рекомендации товаров и несколько отдельных сценариев коммуникации, к модели, где бренды пытаются понимать контекст и намерение каждого клиента, принимать решения в реальном времени и выстраивать индивидуальный customer journey сразу между несколькими каналами. На встрече поговорим о том, как AI меняет e-commerce и digital customer experience прямо сейчас: что происходит с классической персонализацией, почему появляются AI shopping assistants и agentic commerce, как меняются поиск, рекомендации и взаимодействие клиента с брендом — и какие подходы уже используют крупные международные компании. На примерах из практики InsiderOne разберём, как сегодня выглядят такие системы изнутри: какие данные и AI-модели используются, как принимается решение о следующем лучшем действии для клиента, что уже реально работает в production, а где рынок пока значительно опережает реальность красивыми AI-обещаниями. Это не продуктовый вебинар и не презентация компании. Скорее, это часовой разговор о том, куда движется глобальный e-commerce, как меняется понятие персонализации и к чему digital-командам стоит готовиться уже сейчас. Если вы работаете с e-commerce, digital, CRM, продуктом, customer experience или персонализацией — присоединяйтесь. Будет много международных примеров, практики и минимум AI-хайпа. 🗓 Следующая неделя 27.08.2026 в 17:00 🔗 Ссылка на подключение: https://telemost.yandex.ru/j/4095725207 Присоединяйтесь! 🤗 _______________ CRO & Personalization 🤝

📚 Книга на заметку: Python for Marketing Research and Analytics Рекомендую как практическую книгу для тех, кто работает с данными и ищет продуктовые гипотезы. Для меня она стала настольной книгой, к которой я возвращаюсь переодически. Здесь Python – не самоцель, а инструмент для исследования данных, поиска закономерностей и точек роста. Хорошая связка: данные ➡️ наблюдение ➡️ гипотеза ➡️ эксперимент. Особенно рекомендую аналитикам и product managers. Книгу оставил в комментариях 🤫 _______________ CRO & Personalization 😸

Теперь наша работа Trustworthy A/B Patterns and the Winner's Curse: Lessons from Eight Large-Scale Replications доступна в ACM Digital Library (ACM DL) - крупнейшей и самой авторитетной цифровой научной библиотеку в мире в области компьютерных наук, программирования и вычислительной техники. Ссылка на работу.