CRO & Personalization

A/B-тесты с ИИ: можно ли отдать эксперимент Claude и уйти? 22 октября Аллон проверит это в прямом эфире. Три аналитика, три совершенно разных подхода: 🤷‍♀️ Беспомощная Кейла пишет «Проанализируй это» и надеется на чудо 😎 Самоуверенная Эшли просит у ИИ то, что ни один эксперимент не должен пережить 🧠 Методичная Меган задаёт правильные вопросы, и этого должно хватить. Должно. Никакого сценария. Вместе посмотрим, где ИИ реально силён, где он тихо ошибается и что делает анализ с помощью ИИ заслуживающим доверия. 📆 Четверг, 22 октября ⏰ 12:00 ET / 9:00 PT (19:00 по Москве) ⏱ 30 минут Регистрация по ссылке Аллон Корем - CEO компании Bell Statistics, которая помогает бизнесу строить рост на данных: A/B-тестирование, экспериментирование и статистика. Он регулярно делится практическими разборами по экспериментам и вебинарами для продуктовых и аналитических команд. Оригинал поста в LinkedIn _______________ CRO & Personalization 🤩 Проголосовать, чтобы сторис было больше 🙂

1️⃣ Вчера обновили блок любимых категорий на главной. Теперь категорий больше 100, показываем по аффинити (что это). Блок держит самый высокий энгейджмент на главной: clicks/users > 20%. Делитесь скринами, какая подборка категорий у вас - интересно посмотреть, как раскаталось на разных аккаунтах. _______________ CRO & Personalization 🐧🐧 Проголосовать, чтобы сторис было больше 🙂

Вчера встретились с Денисом Платоновым (основатель компании ExciteKit и CPO платформу продуктовой аналитики и АБ-тестов UX Rocket) обсуждали, что можем делать клёвого вместе. Кстати, он выступит у нас в ноябре🔥 Денис думал, что я задрот. Оказалось - нет. У меня просто две суперспособности: синдром самозванца и grit (упорство, несгибаемость). Про grit я узнал из книги «Суперпрогнозирование» Филипа Тетлока. Оказывается, это одно из ключевых качеств лучших предсказателей - способность упорно долбить в одну точку, даже когда скучно, тяжело и хочется бросить. Вот пример: я добил Карпов Курс. Хотя для меня он оказался скучным. Я не аналитик и никогда им не был. Но добил. Потому что у меня есть grit. Честно, я тогда хотел учиться у Вита Черемисинова, но Вит закрыл свои курсы. Вит, если читаешь - привет тебе 👋 В общем, grit - это чертовски важное качество. Может, самое важное. Поставьте ❤️, те кто...

😉 I’d Win Everytime [If It Wasn’t for Luck] Мы любим объяснять свои результаты так, как нам удобнее. Выросло - это skill. Не выросло - не повезло, сезонность, трафик, чей-то баг. Это self-serving bias, и сам по себе он не страшен. Страшно, что на нём мы строим следующее решение. Любой результат - это skill плюс luck. Даже если вы правда хороши, результат конкретной недели или конкретного теста содержит случайную часть. Если результат вышел экстремально хорошим, то случайности в нём, скорее всего, тоже больше обычного. В следующий раз он сползёт к среднему, хоть вы ничего не трогали. Это regression to the mean. С плохими результатами то же самое: они иногда «чинятся» сами, потому что невезение кончилось, а не потому что вы нашли причину. У Канемана есть пример со спортсменами, он про то же. Теперь про e-commerce. Тут работают два механизма, и их стоит не путать. Первый: потолок уже рядом. Раз в какое-то время кто-то говорит: «Давайте наконец нормально настроим cross-sell рекомендации». Новый алгоритм, другая логика, добавили категории, переставили блоки. Запускаем тест - проигрывает. Ещё раз - опять проигрывает. И это не невезение. Это потолок. Очевидные пары товаров уже показываются. Очевидные места уже заняты. Каждая следующая итерация бьётся за всё меньший зазор, и чтобы его поймать, нужно не «ещё один алгоритм», а честный разговор о том, сколько тут вообще осталось забирать. Может, немного. Может, ничего. Но признать это неприятно, поэтому мы запускаем шестую версию. Второй: regression to the mean. Допустим, какая-то версия рекомендаций всё-таки выстрелила. Метрики вверх, все довольны. Через месяц эффект сдувается. Что случилось? Может, ничего. Если результат был экстремально хорошим, в нём почти наверняка сидела удача. Следующий замер ближе к среднему - не потому что что-то сломалось, а потому что так работает статистика. То же в другую сторону: провальный результат может «починиться» сам, без вашего вмешательства. И вот тут ловушка. Мы смотрим на удачный результат и строим историю: вот этот алгоритм сработал, вот эта фича зацепила. А потом на основе этой истории принимаем решения. Но если часть эффекта была случайной, то история - фикция. Мы нашли не закономерность, а нарратив. Разница между двумя проблемами важна. Потолок - это про то, что пространство для улучшений маленькое. Тут нужно честно оценить размер приза и решить, стоит ли вообще копать дальше. Regression to the mean - это про то, что мы неправильно читаем результаты. Тут нужен не новый алгоритм, а нормальный контрольный эксперимент и терпение смотреть на данные дольше одной недели. В обоих случаях вопрос один: «Что было бы, если бы мы ничего не делали?» Иногда ответ неприятный: примерно то же самое. _______________ CRO & Personalization 🤩 Проголосовать, чтобы сторис было больше 🤩

Итак, Мэтт показал на практике: AI + Data Science + Python + реальные бизнес-задачи. Подробнее. Контент на эти выходные. Кто не смотрел, вот запись. Возможно, душновато и много кода, но нужно погружаться: что делать то, да и надо. Потом будет поздно. _______________ CRO & Personalization 😊 Проголосовать, чтобы сторис было больше 👍

В этот четверг, 24 сентября, в 16:00 по Москве к нам на Learnings придёт Вика Макеева, продакт в UX Feedback - платформе для сбора, обработки и анализа пользовательского фидбека. Решения на основе фидбека хотят принимать все. Но между «пользователи написали» и «делаем» лежит длинный путь: собрать сигналы, разобрать их, понять, что действительно важно, выбрать решение и проверить его эффект. На каждом этапе есть свои сложности - и свои практические приёмы. Вика покажет, как этот процесс устроен у них в команде: откуда появляются идеи, как пользовательский комментарий превращается в задачу и как команда решает, чему действительно стоит уделить внимание. А какой именно этап принятия продуктового решения разберём глубже - выберем вместе на встрече. Будем смотреть не презентацию «в теории», а живой процесс: артефакты, экран и реальные рабочие примеры. Добавляем в календари и сохраняем https://telemost.yandex.ru/j/2274387059 _______________ CRO & Personalization 🫥 Проголосовать, чтобы сторис было больше 👍

Мы уже запускали векторный поиск. С Nibelung. Пилот не взлетел. Прошло время, и в комнате снова прозвучало: А давайте векторный поиск? Звучит модно, звучит как спасение. Это уже было под солнцем... Про прошлую такую супер-фичу, которую мы ждали с придыханием, я писал тут. У Маркса в Восемнадцатом брюмера есть строчка про Гегеля: всё великое в истории случается дважды. Первый раз как трагедия, второй как фарс. Не хочется во второй акт. Что я привёз с конфы В позапрошлые выходные я был на Продукты 24. Отличный доклад для меня: Аня Подображных из Т-Банка про ошибки при создании ИИ-ассистентов. Запись тут. Её главная мысль - пирамида. Строишь снизу вверх, от охвата к качеству: 🤩 Дистрибуция: сколько пользователей и запросов мы реально видим. 🤩 Корзинка запросов: какие запросы попадают в систему и насколько они репрезентативны. 🤩 Данные: товары, пользователи, поведение, контекст запроса. 🤩 Критерии качества: по чему мы решаем, что выдача хорошая. 🤩 Бейзлайн: с чем сравниваем и откуда считаем эффект. С верха начинать нельзя. Можно идеально отладить алгоритм и метрики, но если дистрибуция кривая, все выводы кривые. Ошибка внизу тянет за собой всё остальное: плохой охват, плохая корзинка, плохие данные, неверная оценка качества, неверный бейзлайн. И чем позже ты ошибся, тем дороже. Время уже потрачено, деньги тоже. Как я стараюсь думать Байес. Есть стартовая вероятность (приор), и новые данные её двигают. Раньше я считал шансы фича сработает примерно пятьдесят на пятьдесят, потому что идея красивая. Теперь я спрашиваю себя: а сколько таких идей у нас заходило раньше? Если пилот с векторным поиском уже провалился, приор не может быть 50%. Ферми. До разработки прикинуть порядок величин на салфетке. Какая доля запросов вообще может выиграть от эмбеддингов? Какой максимальный эффект даже в лучшем случае? Если "лучший случай" не окупает стоимость, дальше можно не считать. Теперь голосуем (кто не успел на этих выходных🤓) Мой приор простой: пилот уже не взлетел. Причины были, мы разбирали их внутри, и здесь их не будет. Просто отталкиваемся от факта: не взлетел. И смотрим на идею через пирамиду. Спасёт нас векторный поиск или нет? Накидайте в комментах ⚪️ или ➖ (или свои мысли 💭). Там же там будет картинка с распределением запросов по числу слов. Обновлю ваш апостериор. _______________ CRO & Personalization 🫥 Проголосовать, чтобы сторис было больше 👍

⚡️ METRO вошла в тройку лидеров UX-рейтинга интернет-магазинов в категории «Продукты питания» 🔝 Эксперты «Рейтинга Рунета» оценивали, насколько удобно пользователю взаимодействовать с онлайн-магазином – от поиска товара до оформления заказа. В исследовании приняли участие более 60 крупнейших приложений. 💬 Команда e-commerce последовательно оптимизирует пользовательский путь, анализируя поведение клиентов и устраняя лишние действия на ключевых этапах взаимодействия с компанией на онлайн платформе. «Попадание в UX-рейтинг — результат командной работы бизнеса, продукта, разработки, дизайна и аналитики. Мы постоянно улучшаем пользовательский путь: убираем лишние шаги, упрощаем сценарии и делаем покупку удобнее. Поэтому высокая оценка экспертов для нас – не просто признание, а возможность получить независимый взгляд со стороны и понять, где у нас еще есть точки роста», – отметил Андрей Андреев, руководитель направления мерчандайзинга дивизиона электронной торговли METRO. 🌐 Методология «Рейтинга Рунета» основана на исследованиях Nielsen Norman Group и Baymard Institute, практическом опыте работы с e-commerce-проектами и экспертной оценке специалистов отрасли.

Приятно 🥹

🧠 Я всё меньше хочу прокачивать навыки, которые LLM потенциально может делать вместо меня. Не потому, что навыки больше не нужны. А потому, что их срок жизни становится короче. Сегодня я скорее инвестирую в другое: как думать, как задавать вопросы и как принимать решения в условиях неопределённости. И здесь, кажется, появляется новая проблема. Раньше ошибка часто была в том, что мы чего-то не знали. Теперь опаснее другая ошибка - false positive: когда мы принимаем неправильный ответ за правильный. LLM может написать убедительный анализ, привести цифры, объяснить причинно-следственную связь и даже сослаться на источник. И всё это может быть неправдой. Чем лучше модели становятся в создании правдоподобных ответов, тем важнее способность человека сказать:

Стоп. А почему я вообще должен этому верить?

Поэтому я сейчас смещаю образование от конкретных инструментов в сторону фундаментальных вещей: вероятностного мышления, критического мышления, статистики, причинности и принятия решений. Недавно закончил книгу Суперпрогнозирование Филипа Тетлока. Для меня это, пожалуй, вторая книга после «Думай медленно… решай быстро» Канемана, которая хорошо объясняет, как тренировать собственное мышление, а не просто накапливать знания. Особенно полезна она сейчас, когда между человеком и информацией появляется LLM. Модель может помочь нам думать быстрее. Но она не должна избавлять нас от необходимости думать самим. Потому что самый дорогой ответ - не тот, который мы не получили. А тот, которому мы поверили. Книгу оставил в комментариях. *Фото к посту - из курса Ronny Kohavi «Accelerating Innovation with A/B Testing» на Maven. _______________ CRO & Personalization 🫥 Проголосовать, чтобы сторис было больше 👍

😛 В A/B-тестах мы используем два разных подхода. Но проблема у них одна. Сейчас в METRO мы работаем сразу с двумя системами: - Gravity Field - Bayesian - Вариокуб от Яндекса - frequentist И раньше мне казалось, что главный вопрос здесь - какой подход лучше. Но свежая статья Spotify заставляет посмотреть на это немного иначе. Ребята объясняют, почему они сознательно не переходит на байесовское A/B-тестирование и разбирают четырёх распространённых мифа: 1️⃣«Байес не требует коррекции на подглядывание (peeking)» - верно только для Bayes-factor stopping; стандартный плоский prior с порогом по постериорной вероятности даёт ту же инфляцию ложноположительных результатов, что и обычное peeking у частотников. 2️⃣ «Байес сам решает проблему множественных метрик» — требует хорошо откалиброванного empirical Bayes prior, построенного на истории ≥200 экспериментов; без этого гарантии не работают. 3️⃣ «Байес лечит winner's curse» - верно только с информативным prior; дефолтный плоский prior не даёт никакой усадки оценки эффекта. 4️⃣ «Нужен Байес для decision theory» - во многих случаях оптимальное байесовское решающее правило математически совпадает с частотистскими методами (mixture SPRT ≈ Bayes factor stopping ≈ group sequential testing). Но для меня самое интересное в другом. Когда статистика сталкивается с культурой компании (по крайней мере так происходит у нас) Если из 100 гипотез у нас выигрывают условные 10 - это нормально. Но для большой корпорации 10 побед на 100 гипотез иногда выглядят не как нормальный результат поиска, а как проблема. На слайде хочется показать больше зелёных цифр. Хочется показать uplift. Хочется показать, что команда приносит результат. И тогда возникает опасный соблазн: посмотреть раньше 💛 найти сегмент 💛 проверить ещё одну метрику 💛 дождаться красивого числа 💛 показать победу. Именно здесь false positive становится не только статистической, но и культурной проблемой. Можно поменять frequentist на Bayesian. Можно поменять p-value на probability to win. Но если организация вознаграждает за количество побед, а не за качество решений, она будет оптимизировать под победы независимо от выбранной статистической школы. Spotify поэтому вообще не добавляет Bayesian подход: для них важнее, чтобы эксперименты были понятны, надёжны и сложны для неправильной настройки. А ещё важнее - чтобы результаты приводили к хорошим решениям, а не просто к красивым ship/no-ship слайдам. И, пожалуй, Experimentation культура - это не культура побед. Это культура, в которой проигрыш гипотезы считается нормальным, а false positive - нет. Spotify написали очень хороший разбор того, почему они пока не используют Bayesian A/B testing - и почему спор Bayesian vs frequentist на самом деле гораздо менее важен, чем кажется. Читать статью Spotify → Why Spotify Is Not Using Bayesian A/B Testing _______________ CRO & Personalization 🫥

🦜 Data Science меняется быстрее, чем успевают обновляться учебные программы Последнее время всё чаще вижу тезис: AI убьёт Data Science. Я бы сформулировал иначе. AI не отменяет необходимость решать задачи с данными. Он меняет то, как эта работа делается. Раньше типичный workflow выглядел примерно так: почистить данные ➡️ собрать признаки ➡️ обучить модель ➡️ визуализировать ➡️ презентовать результат. Теперь часть этой работы можно делегировать AI-агентам. Ты формулируешь задачу, получаешь код, анализ, модель и даже production-ready воркфлоу. А твоя работа всё чаще смещается в другое место: поставить правильную задачу ➡️ проверить результат ➡️ понять, где AI ошибся ➡️ довести решение до бизнеса. И здесь мне вчера попался интересный бесплатный семинар Matt Dancho. Matt - основатель Business Science, преподаватель Data Science, специалист по R и Python. Он много лет занимается прикладным Data Science и обучением специалистов; среди его инструментов - собственные R-пакеты и практические проекты для бизнеса. Его тезис довольно провокационный:

Проблема Data Scientist не в том, что AI умеет писать код. Проблема в том, что теперь писать код - уже не главное.

В 2026 его стэк выглядит примерно так: ▫️ AI Agents ▫️ умение быстро доводить решения до production ▫️ понимание бизнес-контекста ▫️ и, пожалуй, самое важное - умение понимать, когда AI неправ. Последний пункт мне кажется особенно важным. Потому что с ростом возможностей AI ценность специалиста может смещаться от я умею сделать анализ к я понимаю, какой анализ вообще нужно сделать и могу проверить, что результат имеет смысл. Matt как раз обещает показать это на практике: AI + Data Science + Python + реальные бизнес-задачи. Поэтому я уже зарегистрировался. Не потому что Data Science умирает. А чтобы посмотреть, каким становится Data Science, когда большая часть технической работы начинает выполняться AI. Если интересно - регистрация на бесплатный workshop от Matt Dancho 23 сентября _______________ CRO & Personalization 🫥

Как проводить A/B-тесты в интернет-магазине? Какие метрики смотреть? Каковы этапы дизайна А/В теста? Как формулировать гипотезы для А/В тестов? И многое другое в нашей статье про А/В тестирование

Если кто-то хочет ещё раз освежить свои знания: свежая статья от команды GF.

Вакансия Head of Growth (AI-native) в Gravity Field Ищу к себе в команду человека на офигенную роль — Руководителя по росту продукта. Это человек, который будет помогать расти нашим клиентам с помощью всего инструментария Gravity Field. Хотим найти AI-native, который верит в AI, умеет строить и автоматизировать + любит и умеет качественно доносить свои идеи и мысли внешней и внутренней аудитории. Роль три в одном — growth продакт + AI-native + лидерство и управление. По сути это полноценный продакт, задача которого помогать расти клиентам и построить стек решений для этого как в платформе, так и вокруг нее. Даже не знаю, что тут еще сказать! Буду рад любым рекомендациям и референсам. Напишите мне, если вас заинтересовало или есть кого предложить Ссылки на более подробное описание: 👉 hh 👉 Сайт Gravity

Ребята, кому интересна вакансия, откликайтесь. Мы с ребятами много движа делаем вместе.