CRO & Personalization
رفتن به کانال در Telegram
A/B-тестирование, персонализация и рост: опыт, инструменты и подходы, которые помогают принимать решения на основе данных. 📩 Контакты: Андрей Андреев Telegram — @and_and LinkedIn — linkedin.com/in/and-andreev
نمایش بیشتر874
مشترکین
-124 ساعت
+67 روز
+3530 روز
در حال بارگیری داده...
کانال‌های مشابه
هیچ داده‌ای
مشکلی وجود دارد؟ لطفاً صفحه را تازه کنید یا با مدیر پشتیبانی ما تماس بگیرید.
ابر برچسب‌ها
هیچ داده‌ای
مشکلی وجود دارد؟ لطفاً صفحه را تازه کنید یا با مدیر پشتیبانی ما تماس بگیرید.
اشارات ورودی و خروجی
---
---
---
---
---
---
جذب مشترکین
اکتبر '26اکتبر '26
اکتبر '26
+10
در 0 کانال‌ها
سپتامبر '26
+44
در 1 کانال‌ها
Get PRO
اوت '26
+18
در 0 کانال‌ها
Get PRO
ژوئیه '26
+11
در 0 کانال‌ها
Get PRO
ژوئن '26
+75
در 0 کانال‌ها
Get PRO
مه '26
+42
در 0 کانال‌ها
Get PRO
آوریل '26
+10
در 0 کانال‌ها
Get PRO
مارس '26
+138
در 1 کانال‌ها
Get PRO
فوریه '260
در 0 کانال‌ها
Get PRO
ژانویه '260
در 0 کانال‌ها
Get PRO
دسامبر '250
در 0 کانال‌ها
Get PRO
نوامبر '250
در 0 کانال‌ها
Get PRO
اکتبر '250
در 0 کانال‌ها
Get PRO
سپتامبر '250
در 0 کانال‌ها
Get PRO
اوت '250
در 0 کانال‌ها
Get PRO
ژوئیه '250
در 0 کانال‌ها
Get PRO
ژوئن '250
در 0 کانال‌ها
Get PRO
مه '250
در 0 کانال‌ها
Get PRO
آوریل '250
در 0 کانال‌ها
Get PRO
مارس '250
در 0 کانال‌ها
Get PRO
فوریه '250
در 0 کانال‌ها
Get PRO
ژانویه '250
در 0 کانال‌ها
Get PRO
دسامبر '240
در 0 کانال‌ها
Get PRO
نوامبر '240
در 0 کانال‌ها
Get PRO
اکتبر '240
در 0 کانال‌ها
Get PRO
سپتامبر '24
+2
در 0 کانال‌ها
Get PRO
اوت '24
+5
در 0 کانال‌ها
Get PRO
ژوئیه '24
+6
در 0 کانال‌ها
Get PRO
ژوئن '24
+4
در 0 کانال‌ها
Get PRO
مه '24
+2
در 0 کانال‌ها
Get PRO
آوریل '24
+4
در 0 کانال‌ها
Get PRO
مارس '240
در 0 کانال‌ها
Get PRO
فوریه '24
+6
در 0 کانال‌ها
Get PRO
ژانویه '24
+14
در 0 کانال‌ها
Get PRO
دسامبر '23
+14
در 1 کانال‌ها
Get PRO
نوامبر '23
+19
در 1 کانال‌ها
Get PRO
اکتبر '23
+111
در 1 کانال‌ها
Get PRO
سپتامبر '23
+107
در 0 کانال‌ها
Get PRO
اوت '23
+24
در 0 کانال‌ها
Get PRO
ژوئیه '23
+21
در 0 کانال‌ها
Get PRO
ژوئن '23
+23
در 0 کانال‌ها
Get PRO
مه '23
+114
در 0 کانال‌ها
Get PRO
آوریل '23
+10
در 0 کانال‌ها
Get PRO
مارس '23
+12
در 0 کانال‌ها
Get PRO
فوریه '23
+22
در 0 کانال‌ها
Get PRO
ژانویه '23
+35
در 0 کانال‌ها
Get PRO
دسامبر '22
+20
در 0 کانال‌ها
Get PRO
نوامبر '22
+285
در 0 کانال‌ها
Get PRO
اکتبر '22
+247
در 0 کانال‌ها
| تاریخ | رشد مشترکین | اشارات | کانال‌ها | |
| 06 اکتبر | +2 | |||
| 05 اکتبر | 0 | |||
| 04 اکتبر | 0 | |||
| 03 اکتبر | +1 | |||
| 02 اکتبر | +3 | |||
| 01 اکتبر | +4 |
پست‌های کانال
A/B-тесты с ИИ: можно ли отдать эксперимент Claude и уйти?
22 октября Аллон проверит это в прямом эфире. Три аналитика, три совершенно разных подхода:
🤷♀️ Беспомощная Кейла пишет «Проанализируй это» и надеется на чудо
😎 Самоуверенная Эшли просит у ИИ то, что ни один эксперимент не должен пережить
🧠 Методичная Меган задаёт правильные вопросы, и этого должно хватить. Должно.
Никакого сценария. Вместе посмотрим, где ИИ реально силён, где он тихо ошибается и что делает анализ с помощью ИИ заслуживающим доверия.
📆 Четверг, 22 октября
⏰ 12:00 ET / 9:00 PT (19:00 по Москве)
⏱ 30 минут
Регистрация по ссылке
Аллон Корем - CEO компании Bell Statistics, которая помогает бизнесу строить рост на данных: A/B-тестирование, экспериментирование и статистика. Он регулярно делится практическими разборами по экспериментам и вебинарами для продуктовых и аналитических команд.
Оригинал поста в LinkedIn
_______________
CRO & Personalization 🤩
Проголосовать, чтобы сторис было больше 🙂
| 2 |  1️⃣ Вчера обновили блок любимых категорий на главной.
Теперь категорий больше 100, показываем по аффинити (что это).
Блок держит самый высокий энгейджмент на главной: clicks/users > 20%.
Делитесь скринами, какая подборка категорий у вас - интересно посмотреть, как раскаталось на разных аккаунтах.
_______________
CRO & Personalization 🐧🐧
Проголосовать, чтобы сторис было больше 🙂 | 202 |
| 3 |  Вчера встретились с Денисом Платоновым (основатель компании ExciteKit и CPO платформу продуктовой аналитики и АБ-тестов UX Rocket) обсуждали, что можем делать клёвого вместе. Кстати, он выступит у нас в ноябре🔥
Денис думал, что я задрот. Оказалось - нет. У меня просто две суперспособности: синдром самозванца и grit (упорство, несгибаемость).
Про grit я узнал из книги «Суперпрогнозирование» Филипа Тетлока. Оказывается, это одно из ключевых качеств лучших предсказателей - способность упорно долбить в одну точку, даже когда скучно, тяжело и хочется бросить.
Вот пример: я добил Карпов Курс. Хотя для меня он оказался скучным. Я не аналитик и никогда им не был. Но добил. Потому что у меня есть grit.
Честно, я тогда хотел учиться у Вита Черемисинова, но Вит закрыл свои курсы. Вит, если читаешь - привет тебе 👋
В общем, grit - это чертовски важное качество. Может, самое важное.
Поставьте ❤️, те кто... | 196 |
| 4 | ![😉 I’d Win Everytime [If It Wasn’t for Luck] Мы любим объяснять свои результаты так, как нам удобнее. Выросло - это skill. Не](data:image/jpeg;base64,/9j/4AAQSkZJRgABAQAAAQABAAD/2wBDACgcHiMeGSgjISMtKygwPGRBPDc3PHtYXUlkkYCZlo+AjIqgtObDoKrarYqMyP/L2u71////m8H////6/+b9//j/2wBDASstLTw1PHZBQXb4pYyl+Pj4+Pj4+Pj4+Pj4+Pj4+Pj4+Pj4+Pj4+Pj4+Pj4+Pj4+Pj4+Pj4+Pj4+Pj4+Pj4+Pj/wAARCAAZACgDASIAAhEBAxEB/8QAHwAAAQUBAQEBAQEAAAAAAAAAAAECAwQFBgcICQoL/8QAtRAAAgEDAwIEAwUFBAQAAAF9AQIDAAQRBRIhMUEGE1FhByJxFDKBkaEII0KxwRVS0fAkM2JyggkKFhcYGRolJicoKSo0NTY3ODk6Q0RFRkdISUpTVFVWV1hZWmNkZWZnaGlqc3R1dnd4eXqDhIWGh4iJipKTlJWWl5iZmqKjpKWmp6ipqrKztLW2t7i5usLDxMXGx8jJytLT1NXW19jZ2uHi4+Tl5ufo6erx8vP09fb3+Pn6/8QAHwEAAwEBAQEBAQEBAQAAAAAAAAECAwQFBgcICQoL/8QAtREAAgECBAQDBAcFBAQAAQJ3AAECAxEEBSExBhJBUQdhcRMiMoEIFEKRobHBCSMzUvAVYnLRChYkNOEl8RcYGRomJygpKjU2Nzg5OkNERUZHSElKU1RVVldYWVpjZGVmZ2hpanN0dXZ3eHl6goOEhYaHiImKkpOUlZaXmJmaoqOkpaanqKmqsrO0tba3uLm6wsPExcbHyMnK0tPU1dbX2Nna4uPk5ebn6Onq8vP09fb3+Pn6/9oADAMBAAIRAxEAPwDZ7Uwls9Pyp9Ju9jQAzc3of8/hQC2en5n/AOtTt3saMk9uKAHdqKQYxxRQAEZox7UtFACYpaKKACiiigD/2Q==){kind=small} 😉 I’d Win Everytime [If It Wasn’t for Luck]
Мы любим объяснять свои результаты так, как нам удобнее. Выросло - это skill. Не выросло - не повезло, сезонность, трафик, чей-то баг.
Это self-serving bias, и сам по себе он не страшен. Страшно, что на нём мы строим следующее решение.
Любой результат - это skill плюс luck. Даже если вы правда хороши, результат конкретной недели или конкретного теста содержит случайную часть. Если результат вышел экстремально хорошим, то случайности в нём, скорее всего, тоже больше обычного. В следующий раз он сползёт к среднему, хоть вы ничего не трогали. Это regression to the mean. С плохими результатами то же самое: они иногда «чинятся» сами, потому что невезение кончилось, а не потому что вы нашли причину. У Канемана есть пример со спортсменами, он про то же.
Теперь про e-commerce. Тут работают два механизма, и их стоит не путать.
Первый: потолок уже рядом.
Раз в какое-то время кто-то говорит: «Давайте наконец нормально настроим cross-sell рекомендации». Новый алгоритм, другая логика, добавили категории, переставили блоки. Запускаем тест - проигрывает. Ещё раз - опять проигрывает.
И это не невезение. Это потолок. Очевидные пары товаров уже показываются. Очевидные места уже заняты. Каждая следующая итерация бьётся за всё меньший зазор, и чтобы его поймать, нужно не «ещё один алгоритм», а честный разговор о том, сколько тут вообще осталось забирать. Может, немного. Может, ничего.
Но признать это неприятно, поэтому мы запускаем шестую версию.
Второй: regression to the mean.
Допустим, какая-то версия рекомендаций всё-таки выстрелила. Метрики вверх, все довольны. Через месяц эффект сдувается. Что случилось?
Может, ничего. Если результат был экстремально хорошим, в нём почти наверняка сидела удача. Следующий замер ближе к среднему - не потому что что-то сломалось, а потому что так работает статистика. То же в другую сторону: провальный результат может «починиться» сам, без вашего вмешательства.
И вот тут ловушка. Мы смотрим на удачный результат и строим историю: вот этот алгоритм сработал, вот эта фича зацепила. А потом на основе этой истории принимаем решения. Но если часть эффекта была случайной, то история - фикция. Мы нашли не закономерность, а нарратив.
Разница между двумя проблемами важна.
Потолок - это про то, что пространство для улучшений маленькое. Тут нужно честно оценить размер приза и решить, стоит ли вообще копать дальше.
Regression to the mean - это про то, что мы неправильно читаем результаты. Тут нужен не новый алгоритм, а нормальный контрольный эксперимент и терпение смотреть на данные дольше одной недели.
В обоих случаях вопрос один: «Что было бы, если бы мы ничего не делали?» Иногда ответ неприятный: примерно то же самое.
_______________
CRO & Personalization 🤩
Проголосовать, чтобы сторис было больше 🤩 | 172 |
| 5 | 🍋Свежая статья из Nature Human Behaviour (сентябрь 2026):
«The future of large-scale experiments and their challenges in the digital era» (David Holtz et al.)
Сама статья обзорная - о будущем крупномасштабных рандомизированных экспериментов (A/B-тесты и подобные) в цифровую эпоху. Авторы выделяют 6 ключевых проблемных областей:
1. Стимулы и организационный дизайн - локальные стимулы толкают к «безопасным» экспериментам с малой дисперсией, а не к научно значимым.
2. Приватность, справедливость и этика - трудности с информированным согласием, дифференциальной приватностью, репрезентативностью выборки.
3. Оценка долгосрочных эффектов - краткосрочные результаты часто расходятся с долгосрочными, а наблюдать последние напрямую дорого/невозможно.
4. Адаптивные эксперименты - баланс между гибкостью (ранняя остановка, адаптивное распределение) и статистической валидностью.
5. Гетерогенные эффекты воздействия - оценка различий в эффекте по подгруппам и связанные с этим проблемы множественных сравнений.
6. Искусственный интеллект - AI снижает стоимость экспериментов, но создаёт риски «эксперимент-спама», проблемы воспроизводимости и непрозрачности.
В pdf - экранка (качество немного расплывчато, нельзя скачать); сама статья по ссылке.
_______________
CRO & Personalization 🥒
Проголосовать, чтобы сторис было больше 👍 | 180 |
| 6 |  Итак, Мэтт показал на практике: AI + Data Science + Python + реальные бизнес-задачи. Подробнее.
Контент на эти выходные. Кто не смотрел, вот запись. Возможно, душновато и много кода, но нужно погружаться: что делать то, да и надо. Потом будет поздно.
_______________
CRO & Personalization 😊
Проголосовать, чтобы сторис было больше 👍 | 213 |
| 7 | ИИ есть у всех, согласны же? А вот толк - у каждого десятого. 😳
Да да, та же самая медиана о которой говорит Рон Кохави про успешные АБ тесты…
СТО ПРОЦЕНТОВ 💯 агентств, которые делают A/B и CRO, уже работают с ИИ. Gravity Filed в этом тоже не исключение.
Ощутимую выгоду получили девять процентов. Девять. 🤩
Это из свежего отчёта Крейга Салливана (Convert и Speero, 54 агентства). А мне казалось что ИИ всё ускорил, тестов стало больше, чек вырос. Не, я не прав.
Тесты по-прежнему делают люди. 😂 Самая сильная связь во всём исследовании - между числом тестов и размером команды, τ Кендалла 0,69.
А сколько задач отдали ИИ, сколько инструментов подключили, насколько сократили цикл - с объёмом тестов это почти не связано. Максимум +0,14, и интервалы уходят за ноль. Хочешь больше экспериментов - нанимай людей.
С ценами то же самое. Подняли 46%, держат 35%, снизили 15%. Тех, кто поднял, спросили почему. 72% ответили, что перешли на более дорогую работу. На ИИ-конкурентов сослались 8%. Зато среди восьми агентств, которые цены срезали (да, восьми, выборка крошечная), про ИИ-инструменты говорит половина. Так что если ИИ и двигает цены, то вниз.
Что интересно, то как агентства думают о себе. 63% считают, что ИИ обесценивает часть того, что они продают. 81% уверены, что у них есть человеческое преимущество, которое машина не повторит. Ровно половина согласна с обоими утверждениями сразу. Салливан называет это held paradox. По-моему, это просто честно: руки дешевеют, голова пока нет. Только о переходе к стратегии говорят 52%, а реально продают себя как стратегов 26%. Остальные пока собираются.
И боятся они вовсе не нейросетей. Боятся остаться без клиентов: 39% на первое место ставят поиск новых, 30% — удержание старых. ИИ третий, с 24%. Тем временем клиенты забирают тестирование к себе (69% против 62% год назад) и переходят на server-side (35% против 18%). Выборки в эти два года разные, так что трендом я бы это не называл. Но картина знакомая.
Если вы работаете in-house, самое полезное здесь вот что. Чатом пользуются 83%. RAG и свои базы знаний есть у 26%. Это и есть разница между «пробуем» и «встроили». Ещё автор напоминает: токены сейчас дотируются, и так будет не всегда. Если вы не считаете, во сколько вам обходится ИИ, начните, пока счёт не пришёл сам.
Оговорка, без неё никак: 54 респондента, собранные через знакомых автора, самоотчёты, один срез по времени. Никакой причинности. Я держу это как рабочую гипотезу, а не как приговор.
Но планку ИИ поднял всем одинаково. Дальше вопрос один: куда ты денешь освободившиеся часы.
Еще больше деталей в отчете Крейга
_______________
CRO & Personalization 🔥
Проголосовать, чтобы сторис было больше 👍 | 229 |
| 8 |  В этот четверг, 24 сентября, в 16:00 по Москве к нам на Learnings придёт Вика Макеева, продакт в UX Feedback - платформе для сбора, обработки и анализа пользовательского фидбека.
Решения на основе фидбека хотят принимать все. Но между «пользователи написали» и «делаем» лежит длинный путь: собрать сигналы, разобрать их, понять, что действительно важно, выбрать решение и проверить его эффект.
На каждом этапе есть свои сложности - и свои практические приёмы.
Вика покажет, как этот процесс устроен у них в команде: откуда появляются идеи, как пользовательский комментарий превращается в задачу и как команда решает, чему действительно стоит уделить внимание.
А какой именно этап принятия продуктового решения разберём глубже - выберем вместе на встрече.
Будем смотреть не презентацию «в теории», а живой процесс: артефакты, экран и реальные рабочие примеры.
Добавляем в календари и сохраняем
https://telemost.yandex.ru/j/2274387059
_______________
CRO & Personalization 🫥
Проголосовать, чтобы сторис было больше 👍 | 311 |
| 9 |  Мы уже запускали векторный поиск. С Nibelung. Пилот не взлетел.
Прошло время, и в комнате снова прозвучало: А давайте векторный поиск? Звучит модно, звучит как спасение. Это уже было под солнцем...
Про прошлую такую супер-фичу, которую мы ждали с придыханием, я писал тут.
У Маркса в Восемнадцатом брюмера есть строчка про Гегеля: всё великое в истории случается дважды. Первый раз как трагедия, второй как фарс. Не хочется во второй акт.
Что я привёз с конфы
В позапрошлые выходные я был на Продукты 24. Отличный доклад для меня: Аня Подображных из Т-Банка про ошибки при создании ИИ-ассистентов. Запись тут.
Её главная мысль - пирамида. Строишь снизу вверх, от охвата к качеству:
🤩 Дистрибуция: сколько пользователей и запросов мы реально видим.
🤩 Корзинка запросов: какие запросы попадают в систему и насколько они репрезентативны.
🤩 Данные: товары, пользователи, поведение, контекст запроса.
🤩 Критерии качества: по чему мы решаем, что выдача хорошая.
🤩 Бейзлайн: с чем сравниваем и откуда считаем эффект.
С верха начинать нельзя. Можно идеально отладить алгоритм и метрики, но если дистрибуция кривая, все выводы кривые. Ошибка внизу тянет за собой всё остальное: плохой охват, плохая корзинка, плохие данные, неверная оценка качества, неверный бейзлайн.
И чем позже ты ошибся, тем дороже. Время уже потрачено, деньги тоже.
Как я стараюсь думать
Байес. Есть стартовая вероятность (приор), и новые данные её двигают. Раньше я считал шансы фича сработает примерно пятьдесят на пятьдесят, потому что идея красивая. Теперь я спрашиваю себя: а сколько таких идей у нас заходило раньше? Если пилот с векторным поиском уже провалился, приор не может быть 50%.
Ферми. До разработки прикинуть порядок величин на салфетке. Какая доля запросов вообще может выиграть от эмбеддингов? Какой максимальный эффект даже в лучшем случае? Если "лучший случай" не окупает стоимость, дальше можно не считать.
Теперь голосуем
(кто не успел на этих выходных🤓)
Мой приор простой: пилот уже не взлетел. Причины были, мы разбирали их внутри, и здесь их не будет. Просто отталкиваемся от факта: не взлетел.
И смотрим на идею через пирамиду. Спасёт нас векторный поиск или нет?
Накидайте в комментах ⚪️ или ➖ (или свои мысли 💭).
Там же там будет картинка с распределением запросов по числу слов. Обновлю ваш апостериор.
_______________
CRO & Personalization 🫥
Проголосовать, чтобы сторис было больше 👍 | 210 |
| 10 | 🌌Проблема 3 часов ночи
Если коротко: сессий меньше, каждая дороже, и хуже всего то, что самые жирные заходы теперь случаются ночью, пока все спят. Кто чинит проблему без человека - тот и выигрывает. Кто ждёт до утра - теряет клиента ещё до завтрака.
Факты:
• Cyber 5* 2025: $44.2 млрд продаж (+7.7% г/г), но сессий стало на 12.6-16.6% меньше. То есть люди приходили реже, но с деньгами и уже решившись.
• Мобилки тащат 75-80% заказов, конверсия подросла до 3.7%.
• Загрузка страницы - не проблема, тут всё зелёное. Проблема в отклике на клик (INP): 223-242 мс против нормы в 200. Разница на первый взгляд смешная, а на деле - именно тот момент, где теряют клиента.
• AI-трафик (ChatGPT, Copilot и прочие) - пока меньше 2%, но растёт как на дрожжах: +693% за праздники, +138% в мае. И ведёт себя не как обычный поиск: пик в 2-4 утра по UTC, 77% сразу летят на карточку товара (у гугла - 60%), конверсия выше на 54%. Это не случайные зеваки, это люди, которые уже всё решили и готовы платить.
*Cyber 5 (иногда Cyber Five) - это пятидневный период главных распродаж в США вокруг Дня благодарения: Thanksgiving, Black Friday, Small Business Saturday, Sunday и Cyber Monday.
Проблема трёх ночи: сторонний скрипт подвисает именно в тот момент, когда приходит самый горячий покупатель за вечер - а поправить некому, все спят. К субботе этот покупатель уже ушёл к конкуренту, и разговоры "а давайте после праздников разберёмся" тут не работают - поезд ушёл.
Что с этим делать - два уровня:
1. Тупо автоматизировать всё, что касается сторонних скриптов (а это, на секундочку, 44% времени загрузки страницы) - переставлять порядок, блокировать зависшее, без участия человека и без ожидания деплоя. У Yottaa был кейс: скрипт аналитики завис ночью на Black Friday - система сама его вырубила.
2. Там, где руками не обойтись (свой код багует) - хотя бы дать инженеру нормальный алерт с диагнозом, а не голое "что-то сломалось", чтобы не разбираться с нуля в три часа ночи.
Что делать до ноября (нам тоже скорее актуально):
i Разобрать сторонние скрипты сейчас, а не когда уже поздно.
ii Смотреть на INP в ключевых точках - корзина, фильтры - а не только на скорость загрузки.
iii Заранее закладываться на ночной всплеск AI-трафика, а не удивляться постфактум.
iiii Верить реальным юзерам, а не синтетическим тестам - они врут о том, что происходит на самом деле
Источник: The 3 A.M. Problem - Yottaa Peak-Readiness Guide for Cyber 5 2026. Данные Yottaa основаны на миллионах сессий почти 700 retail-сайтов; в гайде также использованы данные Adobe Analytics и Salesforce.
Мы инвестируем в тему AEO/GEO и сейчас исследуем рынок - как нас находят и цитируют ИИ-ассистенты. Если есть профессионалы в этой теме присоединяйтесь по ссылке
Если тема AEO/GEO тоже откликается - поставьте лайк 👍
_______________
CRO & Personalization 🫥
Проголосовать, чтобы сторис было больше 👍 | 257 |
| 11 | بدون متن... | 252 |
| 12 |  ⚡️ METRO вошла в тройку лидеров UX-рейтинга интернет-магазинов в категории «Продукты питания»
🔝 Эксперты «Рейтинга Рунета» оценивали, насколько удобно пользователю взаимодействовать с онлайн-магазином – от поиска товара до оформления заказа. В исследовании приняли участие более 60 крупнейших приложений.
💬 Команда e-commerce последовательно оптимизирует пользовательский путь, анализируя поведение клиентов и устраняя лишние действия на ключевых этапах взаимодействия с компанией на онлайн платформе.
«Попадание в UX-рейтинг — результат командной работы бизнеса, продукта, разработки, дизайна и аналитики. Мы постоянно улучшаем пользовательский путь: убираем лишние шаги, упрощаем сценарии и делаем покупку удобнее. Поэтому высокая оценка экспертов для нас – не просто признание, а возможность получить независимый взгляд со стороны и понять, где у нас еще есть точки роста», – отметил Андрей Андреев, руководитель направления мерчандайзинга дивизиона электронной торговли METRO.
🌐 Методология «Рейтинга Рунета» основана на исследованиях Nielsen Norman Group и Baymard Institute, практическом опыте работы с e-commerce-проектами и экспертной оценке специалистов отрасли. | 273 |
| 13 | Приятно 🥹 | 243 |
| 14 |  🧠 Я всё меньше хочу прокачивать навыки, которые LLM потенциально может делать вместо меня.
Не потому, что навыки больше не нужны. А потому, что их срок жизни становится короче.
Сегодня я скорее инвестирую в другое: как думать, как задавать вопросы и как принимать решения в условиях неопределённости.
И здесь, кажется, появляется новая проблема.
Раньше ошибка часто была в том, что мы чего-то не знали.
Теперь опаснее другая ошибка - false positive: когда мы принимаем неправильный ответ за правильный.
LLM может написать убедительный анализ, привести цифры, объяснить причинно-следственную связь и даже сослаться на источник.
И всё это может быть неправдой.
Чем лучше модели становятся в создании правдоподобных ответов, тем важнее способность человека сказать:
Стоп. А почему я вообще должен этому верить?
Поэтому я сейчас смещаю образование от конкретных инструментов в сторону фундаментальных вещей: вероятностного мышления, критического мышления, статистики, причинности и принятия решений.
Недавно закончил книгу Суперпрогнозирование Филипа Тетлока.
Для меня это, пожалуй, вторая книга после «Думай медленно… решай быстро» Канемана, которая хорошо объясняет, как тренировать собственное мышление, а не просто накапливать знания.
Особенно полезна она сейчас, когда между человеком и информацией появляется LLM.
Модель может помочь нам думать быстрее.
Но она не должна избавлять нас от необходимости думать самим.
Потому что самый дорогой ответ - не тот, который мы не получили.
А тот, которому мы поверили.
Книгу оставил в комментариях.
*Фото к посту - из курса Ronny Kohavi «Accelerating Innovation with A/B Testing» на Maven.
_______________
CRO & Personalization 🫥
Проголосовать, чтобы сторис было больше 👍 | 259 |
| 15 |  😛 В A/B-тестах мы используем два разных подхода. Но проблема у них одна.
Сейчас в METRO мы работаем сразу с двумя системами:
- Gravity Field - Bayesian
- Вариокуб от Яндекса - frequentist
И раньше мне казалось, что главный вопрос здесь - какой подход лучше.
Но свежая статья Spotify заставляет посмотреть на это немного иначе.
Ребята объясняют, почему они сознательно не переходит на байесовское A/B-тестирование
и разбирают четырёх распространённых мифа:
1️⃣«Байес не требует коррекции на подглядывание (peeking)» - верно только для Bayes-factor stopping; стандартный плоский prior с порогом по постериорной вероятности даёт ту же инфляцию ложноположительных результатов, что и обычное peeking у частотников.
2️⃣ «Байес сам решает проблему множественных метрик» — требует хорошо откалиброванного empirical Bayes prior, построенного на истории ≥200 экспериментов; без этого гарантии не работают.
3️⃣ «Байес лечит winner's curse» - верно только с информативным prior; дефолтный плоский prior не даёт никакой усадки оценки эффекта.
4️⃣ «Нужен Байес для decision theory» - во многих случаях оптимальное байесовское решающее правило математически совпадает с частотистскими методами (mixture SPRT ≈ Bayes factor stopping ≈ group sequential testing).
Но для меня самое интересное в другом.
Когда статистика сталкивается с культурой компании (по крайней мере так происходит у нас)
Если из 100 гипотез у нас выигрывают условные 10 - это нормально.
Но для большой корпорации 10 побед на 100 гипотез иногда выглядят не как нормальный результат поиска, а как проблема.
На слайде хочется показать больше зелёных цифр.
Хочется показать uplift.
Хочется показать, что команда приносит результат.
И тогда возникает опасный соблазн:
посмотреть раньше 💛 найти сегмент 💛 проверить ещё одну метрику 💛 дождаться красивого числа 💛 показать победу.
Именно здесь false positive становится не только статистической, но и культурной проблемой.
Можно поменять frequentist на Bayesian.
Можно поменять p-value на probability to win.
Но если организация вознаграждает за количество побед, а не за качество решений, она будет оптимизировать под победы независимо от выбранной статистической школы.
Spotify поэтому вообще не добавляет Bayesian подход: для них важнее, чтобы эксперименты были понятны, надёжны и сложны для неправильной настройки. А ещё важнее - чтобы результаты приводили к хорошим решениям, а не просто к красивым ship/no-ship слайдам.
И, пожалуй, Experimentation культура - это не культура побед.
Это культура, в которой проигрыш гипотезы считается нормальным, а false positive - нет.
Spotify написали очень хороший разбор того, почему они пока не используют Bayesian A/B testing - и почему спор Bayesian vs frequentist на самом деле гораздо менее важен, чем кажется.
Читать статью Spotify → Why Spotify Is Not Using Bayesian A/B Testing
_______________
CRO & Personalization 🫥 | 307 |
| 16 |  🦜 Data Science меняется быстрее, чем успевают обновляться учебные программы
Последнее время всё чаще вижу тезис: AI убьёт Data Science.
Я бы сформулировал иначе.
AI не отменяет необходимость решать задачи с данными. Он меняет то, как эта работа делается.
Раньше типичный workflow выглядел примерно так:
почистить данные ➡️ собрать признаки ➡️ обучить модель ➡️ визуализировать ➡️ презентовать результат.
Теперь часть этой работы можно делегировать AI-агентам.
Ты формулируешь задачу, получаешь код, анализ, модель и даже production-ready воркфлоу. А твоя работа всё чаще смещается в другое место:
поставить правильную задачу ➡️ проверить результат ➡️ понять, где AI ошибся ➡️ довести решение до бизнеса.
И здесь мне вчера попался интересный бесплатный семинар Matt Dancho.
Matt - основатель Business Science, преподаватель Data Science, специалист по R и Python. Он много лет занимается прикладным Data Science и обучением специалистов; среди его инструментов - собственные R-пакеты и практические проекты для бизнеса.
Его тезис довольно провокационный:
Проблема Data Scientist не в том, что AI умеет писать код. Проблема в том, что теперь писать код - уже не главное.
В 2026 его стэк выглядит примерно так:
▫️ AI Agents
▫️ умение быстро доводить решения до production
▫️ понимание бизнес-контекста
▫️ и, пожалуй, самое важное - умение понимать, когда AI неправ.
Последний пункт мне кажется особенно важным.
Потому что с ростом возможностей AI ценность специалиста может смещаться от я умею сделать анализ к
я понимаю, какой анализ вообще нужно сделать и могу проверить, что результат имеет смысл.
Matt как раз обещает показать это на практике: AI + Data Science + Python + реальные бизнес-задачи.
Поэтому я уже зарегистрировался.
Не потому что Data Science умирает. А чтобы посмотреть, каким становится Data Science, когда большая часть технической работы начинает выполняться AI.
Если интересно - регистрация на бесплатный workshop от Matt Dancho 23 сентября
_______________
CRO & Personalization 🫥 | 285 |
| 17 |  Как проводить A/B-тесты в интернет-магазине?
Какие метрики смотреть?
Каковы этапы дизайна А/В теста?
Как формулировать гипотезы для А/В тестов?
И многое другое в нашей статье про А/В тестирование | 263 |
| 18 | Если кто-то хочет ещё раз освежить свои знания: свежая статья от команды GF. | 261 |
| 19 | Вакансия Head of Growth (AI-native) в Gravity Field
Ищу к себе в команду человека на офигенную роль — Руководителя по росту продукта. Это человек, который будет помогать расти нашим клиентам с помощью всего инструментария Gravity Field.
Хотим найти AI-native, который верит в AI, умеет строить и автоматизировать + любит и умеет качественно доносить свои идеи и мысли внешней и внутренней аудитории.
Роль три в одном — growth продакт + AI-native + лидерство и управление. По сути это полноценный продакт, задача которого помогать расти клиентам и построить стек решений для этого как в платформе, так и вокруг нее.
Даже не знаю, что тут еще сказать!
Буду рад любым рекомендациям и референсам. Напишите мне, если вас заинтересовало или есть кого предложить
Ссылки на более подробное описание:
👉 hh
👉 Сайт Gravity | 306 |
| 20 | Ребята, кому интересна вакансия, откликайтесь. Мы с ребятами много движа делаем вместе. | 270 |
