fa
Feedback
No Data No Growth | Pavel Bukhtik

No Data No Growth | Pavel Bukhtik

رفتن به کانال در Telegram

О карьерном росте при работе с данными и развитии аналитической культуры в компаниях. РКН: №5218310250 Менторю специалистов и руководителей продуктовых компаний. Для связи: @pbukhtik

نمایش بیشتر

📈 تحلیل کانال تلگرام No Data No Growth | Pavel Bukhtik

کانال No Data No Growth | Pavel Bukhtik (@nodatanogrowth) در بخش زبانی روسی بازیگری فعال است. در حال حاضر جامعه شامل 12 583 مشترک است و جایگاه 5 710 را در دسته تجارت و رتبه 52 596 را در منطقه روسيا دارد.

📊 شاخص‌های مخاطب و پویایی

از زمان ایجاد در невідомо، پروژه رشد سریعی داشته و 12 583 مشترک جذب کرده است.

بر اساس آخرین داده‌ها در تاریخ 16 ژوئن, 2026، کانال فعالیت پایداری دارد. در ۳۰ روز گذشته تغییر اعضا برابر 218 و در ۲۴ ساعت گذشته برابر 4 بوده و همچنان دسترسی گسترده‌ای حفظ شده است.

  • وضعیت تأیید: تأیید نشده
  • نرخ تعامل (ER): میانگین تعامل مخاطب 22.25% است و در ۲۴ ساعت نخست پس از انتشار، محتوا معمولاً 10.39% واکنش نسبت به کل مشترکان کسب می‌کند.
  • دسترسی پست‌ها: هر پست به طور میانگین 2 800 بازدید دریافت می‌کند. در اولین روز معمولاً 1 307 بازدید جمع‌آوری می‌شود.
  • واکنش‌ها و تعامل: مخاطبان به‌طور فعال حمایت می‌کنند؛ میانگین واکنش به هر پست 38 است.
  • علایق موضوعی: محتوا بر موضوعات کلیدی مانند метрика, собеседование, лифт, sql, сегмент تمرکز دارد.

📝 توضیح و سیاست محتوایی

نویسنده این فضا را محل بیان دیدگاه‌های شخصی توصیف می‌کند:
О карьерном росте при работе с данными и развитии аналитической культуры в компаниях. РКН: №5218310250 Менторю специалистов и руководителей продуктовых компаний. Для связи: @pbukhtik

به لطف به‌روزرسانی‌های پرتکرار (آخرین داده در تاریخ 17 ژوئن, 2026)، کانال همواره به‌روز و دارای دسترسی بالاست. تحلیل‌ها نشان می‌دهد مخاطبان به‌طور فعال با محتوا تعامل دارند و آن را به نقطه اثرگذاری مهم در دسته تجارت تبدیل کرده‌اند.

12 583
مشترکین
+424 ساعت
+377 روز
+21830 روز
جذب مشترکین
ژوئن '26
ژوئن '26
+181
در 1 کانال‌ها
مه '26
+239
در 0 کانال‌ها
Get PRO
آوریل '26
+190
در 0 کانال‌ها
Get PRO
مارس '26
+230
در 0 کانال‌ها
Get PRO
فوریه '26
+296
در 2 کانال‌ها
Get PRO
ژانویه '26
+285
در 1 کانال‌ها
Get PRO
دسامبر '25
+250
در 2 کانال‌ها
Get PRO
نوامبر '25
+248
در 2 کانال‌ها
Get PRO
اکتبر '25
+278
در 0 کانال‌ها
Get PRO
سپتامبر '25
+234
در 2 کانال‌ها
Get PRO
اوت '25
+265
در 1 کانال‌ها
Get PRO
ژوئیه '25
+226
در 1 کانال‌ها
Get PRO
ژوئن '25
+281
در 0 کانال‌ها
Get PRO
مه '25
+247
در 1 کانال‌ها
Get PRO
آوریل '25
+339
در 0 کانال‌ها
Get PRO
مارس '25
+329
در 0 کانال‌ها
Get PRO
فوریه '25
+838
در 1 کانال‌ها
Get PRO
ژانویه '25
+568
در 1 کانال‌ها
Get PRO
دسامبر '24
+558
در 2 کانال‌ها
Get PRO
نوامبر '24
+351
در 0 کانال‌ها
Get PRO
اکتبر '24
+486
در 4 کانال‌ها
Get PRO
سپتامبر '24
+518
در 4 کانال‌ها
Get PRO
اوت '24
+375
در 2 کانال‌ها
Get PRO
ژوئیه '24
+2 169
در 0 کانال‌ها
Get PRO
ژوئن '24
+1 285
در 4 کانال‌ها
Get PRO
مه '24
+319
در 1 کانال‌ها
Get PRO
آوریل '24
+460
در 1 کانال‌ها
Get PRO
مارس '24
+437
در 5 کانال‌ها
Get PRO
فوریه '24
+774
در 1 کانال‌ها
Get PRO
ژانویه '24
+440
در 3 کانال‌ها
Get PRO
دسامبر '23
+197
در 1 کانال‌ها
Get PRO
نوامبر '23
+182
در 1 کانال‌ها
Get PRO
اکتبر '23
+292
در 0 کانال‌ها
Get PRO
سپتامبر '23
+226
در 0 کانال‌ها
Get PRO
اوت '23
+246
در 0 کانال‌ها
Get PRO
ژوئیه '23
+260
در 0 کانال‌ها
Get PRO
ژوئن '23
+897
در 0 کانال‌ها
Get PRO
مه '23
+104
در 0 کانال‌ها
Get PRO
آوریل '23
+183
در 0 کانال‌ها
Get PRO
مارس '23
+182
در 0 کانال‌ها
Get PRO
فوریه '23
+765
در 0 کانال‌ها
تاریخ
رشد مشترکین
اشارات
کانال‌ها
17 ژوئن+1
16 ژوئن+6
15 ژوئن+5
14 ژوئن+6
13 ژوئن+3
12 ژوئن+5
11 ژوئن+10
10 ژوئن+12
09 ژوئن+11
08 ژوئن+5
07 ژوئن+9
06 ژوئن+13
05 ژوئن0
04 ژوئن+16
03 ژوئن+70
02 ژوئن+3
01 ژوئن+6
پست‌های کانال
🧠 Foundation Models – GPT из мира прогнозирования временных рядов Представьте GPT, который вместо текста предсказывает будущие значения вашего временного ряда. Звучит как магия, но это уже реальность. Для прогнозирования временных рядов есть много подходов: -> Baseline'ы – наивная и сезонная наивная модели; -> Классика – ARIMA, SARIMAX, Prophet; -> ML-подход – LightGBM, XGBoost, CatBoost; -> DL – RNN, LSTM, Transformer-based; -> и сотни разных реализаций под конкретные задачи. Но в последние годы, вместе с развитием ИИ, набирает обороты новый подход – Foundation Models. Это модели, обученные на огромном количестве исторических рядов из разных доменов. Главная идея – zero-shot прогнозирование: вы НЕ обучаете модель на своих данных. Вы просто даете ей контекст (кусок вашей истории), а модель продолжает его в будущее. Как LLM продолжает текст по промпту, только здесь «промпт» – это ваш ряд. И точность из коробки получается на удивление высокая по сравнению даже с хорошо подтюненными моделям. Это особенно полезно, когда: -> данных мало или их ещё нет (холодный старт); -> нет времени или возможности обучать свою модель; -> нужен быстрый прогноз сразу по сотням / тысячам рядов. Модель, обученная на ваших данных, скорее всего обгонит Foundation модель. Но как точка старта и сильный baseline – это отличный вариант. Из популярных реализаций: -> Chronos / Chronos-2 от Amazon; -> TimeGPT от Nixtla; -> TimesFM от Google. Моделей уже много, какие-то наверняка ближе к вашей индустрии. Можете глянуть сборник моделей тут: 🔗 https://github.com/ZLiu21/awesome-tsfms-from-pre-training-to-post-training А если хотите поиграться с такой моделью в песочнице, я подготовил небольшой Colab: 🔗 https://colab.research.google.com/drive/1sGcmdpjQ5ZlVIU6zG5olXXSLE537651g Не знали про Foundation Models для временных рядов? Тогда поддержите пост огоньком 🔥

2
🧐 «Оцени дневную выручку кофейни у метро» -> «Сколько АЗС в США?» -> «Сколько настройщиков пианино в Москве?» -> «Сколько теннисных мячей поместится в самолет?» Когда впервые слышишь такие абстрактные задачи на собесе, они вызывают недоумение. Ты же не в кофейню устраиваешься. Вводных нет. И зачем это продуктовому аналитику? Но интервьюер проверяет не знание правильного ответа или способность его угадать. Правильного ответа не существует. Он проверяет мышление: умеешь ли ты рассуждать в условиях неопределенности. В работе аналитика это происходит постоянно: оценить потенциал рынка или канала, размер сегмента, эффект фичи, нагрузку, выручку новой инициативы. Как решать подобные задачи? 1️⃣ Декомпозируй Не пытайся сразу назвать цифру. Разбей задачу части: Выручка = количество покупок × средний чек. 2️⃣ Оцени компоненты Кофейня у загруженного метро: -> работает ~14 часов (с 7:00 до 21:00) -> пик: утро, обед, вечер – 7 часов × 40 заказов (заказ каждые 1.5 минуты) = 280 -> спокойные часы: 7 часов × 10 заказов (заказ в 6 минут) = 70 -> итого: ~350 заказов в день -> средний чек: кофе + иногда выпечка → ~500 ₽ Неудобные для расчета числа можно округлять 3️⃣ Посчитай итог 350 × 500 = ~175 000 ₽ в день 4️⃣ Проверь здравым смыслом Это ~5 млн ₽ в месяц. Для точки у метро звучит реалистично ✔️ Если цифра получается странная – поменяй одно ключевое допущение, а не всю модель сразу. — Главная ошибка кандидатов – молчать или сразу называть число. Интервьюер хочет слышать ход мысли: «Я предполагаю, что...», «Здесь беру такую цифру, потому что...». Прозрачные допущения и обоснованные решения – это и есть продуктовое мышление. Поэтому в следующий раз, когда услышишь такой вопрос на собесе – улыбнись и начни декомпозировать 🚀
2 745
3
🤷 Зачем учиться, если есть ChatGPT [другая LLM]? Недавно на встрече-знакомстве на ближайший поток по A/B мне сказали: «Я про
🤷 Зачем учиться, если есть ChatGPT [другая LLM]? Недавно на встрече-знакомстве на ближайший поток по A/B мне сказали: «Я прошу ChatGPT провести меня за руку: задизайнить A/B, посмотреть результаты, подвести итоги. Он отвечает уверенно, и я делаю, как он говорит. Но почему именно так, не понимаю. Цельной картины не появляется, даже когда расспрашиваю подробнее. И главное – не могу проверить, можно ли ему доверять». Знакомо? Теорию про A/B, метрики, MDE и p-value любая нейросеть сегодня перескажет за минуту. Но знать и уметь – разные вещи. Ценность курса по А/В не в теории, а в прикладных навыках: 🔸 видеть эксперимент целиком как систему, от гипотезы до выводов; 🔸 проверять, где нейросеть права, а где уверенно ошибается; 🔸 ловить ошибки в тесте до того, как они навредят продукту. И одно дело думать, что понимаешь. Другое – сделать руками, столкнуться с неоднозначностью, и получить честную обратную связь. Каждую домашнюю работу я разбираю лично. При этом мне не важно, решает человек домашку с нейросетью или без. И так, и так можно сделать как правильно, так и ошибаться. Мне важно, чтобы полученные навыки помогали принимать продуктовые решения, растить культуру экспериментов в команде и увереннее проходить собеседования. Особенность ближайшего потока в том, что продакты и аналитики будут учиться вместе. Работать в группах над задачами, как в реальной команде. И помимо самого А/В – учиться понимать друг-друга. ⌛️ Ближайший поток по А/В стартует уже через 2 дня. Осталось 4 места для аналитиков и 7 для продактов. Следующий поток – только осенью. Конкретно такого формата может уже не быть. Оставляй заявку тут: 🔗 Для аналитиков: https://nodatanogrowth.com/product-analyst-ab-testing 🔗 Для менеджеров: https://nodatanogrowth.com/productmanager-ab Хочешь прокачаться за это лето? Вот он, знак.
2 735
4
🚫 8 мифов в А/В, в которые верят PM-ы (и не только) Когда погружаешься в тему A/B, кажется, что все просто: запустил тест, п+7
🚫 8 мифов в А/В, в которые верят PM-ы (и не только) Когда погружаешься в тему A/B, кажется, что все просто: запустил тест, посмотрел результат, выбрал победителя. А на практике именно из-за этой обманчивой простоты возникает большинство ошибок. В карточках выше – 8 популярных мифов, в которые верят продакт-менеджеры (и аналитики), когда только начинают работать с A/B Узнали своего менеджера? Тогда поставьте 🔥
2 798
5
📹 Разбор кейса: дизайн A/B эксперимента Делюсь записью вчерашнего эфира. Получилось содержательно 🚀 Буквально по чеклисту п
📹 Разбор кейса: дизайн A/B эксперимента Делюсь записью вчерашнего эфира. Получилось содержательно 🚀 Буквально по чеклисту прошелся по всем ключевым моментам: бизнес-аспектам, элементам дизайна эксперимента, типичным подводным камням. Отдельно отметил, что критично для собесов, а что для реальных рабочих задач. Старался не просто давать «правильные ответы для собеса», а объяснять, почему именно так и как к этому прийти. Поэтому рекомендую к просмотру даже тем, кто уже знаком с темой – точно найдёте, что забрать для себя. Запись доступна по ссылке: 🔗 https://www.youtube.com/live/eF6DhbOkdMU Приятного просмотра!
3 355
6
🔓 Разбор кейса на дизайн А/В эксперимента 27 мая в 18:00 по мск в прямом эфире разберу дизайн А/В от начала до конца на конк
🔓 Разбор кейса на дизайн А/В эксперимента 27 мая в 18:00 по мск в прямом эфире разберу дизайн А/В от начала до конца на конкретном кейсе. Буквально пройдемся по чеклисту А/В и поразгоняем разные тонкости. Получится хорошая демонстрация подходов к дизайну рабочих А/В тестов. А если готовитесь к собесам – как системно разложить кейс, попасть в ожидания и ничего не забыть. ✨ Когда: 27 мая в 18:00 мск ✨ Ссылка для участия: [зарегистрироваться] Даже если не сможете прийти на эфир – зарегистрируйтесь, чтобы получить запись. P. S. Ребята сгенерили обложку на нейросетке. Угораю с себя 🤣
3 333
7
🇯🇵 Майские провел в Японии! Правда оказалось, что попали на золотую неделю – японский аналог наших майских (только без шашл+9
🇯🇵 Майские провел в Японии! Правда оказалось, что попали на золотую неделю – японский аналог наших майских (только без шашлыков). Пришлось серьезно поработать над маршрутом, чтобы не провести отпуск в очередях. Скажу честно: я не фанат аниме и не особо погружен в японскую культуру. Ехал почти без ожиданий. И, наверное, именно поэтому страна так сильно впечатлила! Городской средой и ощущением безопасности. Тем, как легко чувствуешь себя в культуре, которая от тебя бесконечно далека. И как спокойно уживаются максимум потребительской культуры, природа, японские сады и какая-то невозможная чистота везде. Сейчас в Японии туристический бум. И это чувствуется. Местные устали от туристов. Страна меняется под этим давлением, только непонятно в какую сторону. Будем надеяться, что не в сторону закрытия виз. Поездка была из тех, что выматывают полностью. Классический отпуск, после которого нужен отпуск. Но точно одна из лучших в моей жизни! Пока готовились, перечитали кучу гайдов по Японии. Хоть они были про одно и то же – каждый был по-своему полезен. Поэтому я собрал свой гайд (дневник поездки): маршрут, жильё, достопримечательности, заметки и траты: 🔗 https://drive.google.com/file/d/1behVnHSEp3nIBboREFrzFD6FETmmNU5Q Буду рад, если пригодится тем, кто собирается ❤️
3 313
8
🔮 Есть ли будущее у джунов в эпоху GenAI? Сегодня выступил на эту тему на панельной дискуссии одной из крупнейших аналитичес
🔮 Есть ли будущее у джунов в эпоху GenAI? Сегодня выступил на эту тему на панельной дискуссии одной из крупнейших аналитических конференций – Aha’26! Делюсь своими основными тезисами: 1️⃣ Аналитиков заменяют? Что уже внедрено? Сейчас в РФ неплохо работает и используется кодогенерация, автосаммари дашбордов и алертов, Text-to-SQL поверх задокументированного DWH. Что не работают, но компании очень хотят – AI-аналитик, который делает все сам. Думаю, что к этому прийдем. Но не как замену, а как дополнение к "думающему" аналитику. 2️⃣ Как стартовать аналитику в 2026? Фокусироваться на продуктовом мышлении, системном видении цельной картины, валидации ответов LLM. SQL и Python – все еще нужны, но порог входа в них сильно снизился. Все больше смотрят на способность мыслить. 3️⃣ Прогноз на рынок найма аналитиков? -> Рынок найма джунов продолжит сжиматься; -> Порог входа продолжит расти; -> Крупные компании продолжат брать джунов, но средние и малые – практически перестанут; -> Через 2-3 года будет дефицит мидлов. 4️⃣ Должны ли компании нести соц. ответственность за развитие молодых? Растить джунов – это не благотворительность, а инвестиция, которая стала только выгоднее: -> Упала стоимость обучения (LLM – персональный ментор 24/7); -> Лояльность выращенных людей выше, а удержание дороже найма; -> Свой джун через год знает продукт лучше, чем мидл с рынка через полгода. Компании, которые перестали брать джунов «из экономии», через 2 года будут переплачивать за мидлов вдвое. 5️⃣ В чем сила джунов в 2026? Они растут с LLM. Пока мидлы и сеньоры до сих пор спорят, «использовать ли GPT» – джуны просто используют. И это дает им преимущество. — А что вы думаете по этому поводу? Поделитесь в комментариях 👇
3 165
9
🧪 Новый экспериментальный поток по А/В 🚀 Я давно хотел попробовать формат, где продуктовые менеджеры и аналитики учатся вме+4
🧪 Новый экспериментальный поток по А/В 🚀 Я давно хотел попробовать формат, где продуктовые менеджеры и аналитики учатся вместе: на одном потоке, с общими обсуждениями и домашками. Ведь в реальной работе A/B – общая ответственность продакта и аналитика. Чем хуже они понимают друг друга, тем чаще A/B превращается в формальность, а не в инструмент решений. Моя основная аудитория – аналитики. Поэтому если вы давно думали: «Вот бы мой продакт лучше понимал А/В» – перешлите ему этот пост и заодно расскажите, как у меня проходит обучение 🙂 🎯 Что будет у продактов За 7 недель (3-6 ч/нед) на практике освоите 41 навык в А/В – все детально расписаны в карточках выше. Научитесь говорить с аналитиком на одном языке, грамотно ставить задачи, видеть слабые места в дизайне теста до запуска, не манипулировать методологией под свои гипотезы, принимать взвешенные решения и защищать их перед руководством. 📊 Что будет у аналитиков Программа шире: помимо общей части с продактами – отдельные занятия для аналитиков: сплитование, симуляции Монте-Карло, ratio-метрики, стат. критерии, множественное тестирование, А/В без А/В, ускорение, сетевой эффект. А ещё то, чему почти нигде не учат: объяснять выводы А/В нетехническим людям и видеть, как продакт реально использует их в решениях. То, что часто отделяет middle-аналитика от senior, а в работе спрашивают каждый день. 🔥 Самое интересное – домашки Их продакты и аналитики делают вместе, в смешанных мини-группах. И в этом сильная синергия: → продакты начинают понимать, как думают аналитики; → аналитики – как устроена продуктовая логика и принятие решений. Редкий случай, когда обе стороны учатся друг у друга в процессе, а не после. 🎓 Для выпускников прошлых потоков Если хочешь пройти ещё раз – досдать домашки, освежить материал, попробовать новый формат – приходи. Предложу спецусловия. — Старт – 8 июня. С каждым, кто оставит заявку, я провожу установочную встречу: разберу твою ситуацию, цели и отвечу на вопросы. Мне важно убедиться, что курс реально сработает именно для тебя. Оставляй заявку по ссылке: 👉 Для продактов: https://nodatanogrowth.com/product-manager-ab-testing 👉 Для аналитиков: https://nodatanogrowth.com/product-analyst-ab-testing На аналитическом треке всего 15 мест – хочется сохранить ламповость потока. Поэтому лучше написать сегодня, чем жалеть в июле, что не успел.
2 951
10
🚪 Иногда лучший карьерный ход – не победить систему, а сменить её Есть принципиальная разница между «вызовами в работе» и «ежедневной борьбой за право просто делать свою работу». Узнаешь себя? 🔹 Хочешь методологично проводить A/B, но каждый день споришь с HIPPO, у которого «интуиция» всегда весомее данных. Или инфраструктура для экспериментов «вот-вот появится» уже второй год подряд; 🔹 В оффере было «продуктовый аналитик», а по факту в одиночку чинишь пайплайны, строишь витрины и разгребаешь DWH. На дата-инженера бюджета нет. Зато есть ты; 🔹 Приносишь деньги компании, но зарплату не поднимают. Уже третий раз подряд слышишь «вернёмся к этому на следующем ревью». Матрицы компетенций нет, правила игры не обозначены, только туманные обещания. 🔹 Находишь инсайты, которые сделают продукт лучше для пользователя. Все внимательно слушают, кивают и... продолжают делать по-своему. А твоя работа уходит в стол. 🔹 Хотел системно драйвить продукт, но тонешь в ad-hoc. На выстраивание системы времени нет, и компания не готова в это инвестировать Со всем этим можно работать: искать союзников, договариваться, выстраивать процессы. Иногда это настоящий вызов, который тебя растит. Но стоит честно ответить себе на один вопрос: 🔸 Ты растешь как специалист, или просто затыкаешь системные дыры компании своим временем, здоровьем и терпением? И это разные вещи. В первом случае ты становишься сильнее. А во втором просто дешевле обходишься компании. Не каждая битва стоит того, чтобы её выигрывать. Иногда лучший ход – выйти из игры и начать новую, где тебя изначально видят специалистом, а не универсальным борцом.
3 365
11
🎙 Хочется, чтобы связок сильный аналитик + сильный продакт становилось больше Поэтому уже завтра, 13 мая в 18:00 мск, мы про
🎙 Хочется, чтобы связок сильный аналитик + сильный продакт становилось больше Поэтому уже завтра, 13 мая в 18:00 мск, мы проведем прямой эфир по А/В тестированию в формате мок-интервью для продактов и аналитиков. На нем мы разберем живой продуктовый кейс, реальные вопросы с собеседований и покажем, чем сильный ответ на A/B-кейс отличается от провального. 🔥 Спикеры эфира: -> Влад Носковец – ex-CPO в ProductStar, ex-Lead Product в Т-Банке; -> Влад Зыбарев – ex-CPO в Qugo, преподаватель в ИТМО; -> и я, Павел Бухтик – ex-Head of Analytics в Яндексе и FindMyKids, основатель No Data No Growth. Будет полезно, если вы хотите лучше понимать, как мыслят сильные продакты и аналитики, как они проходят секции с кейсами на А/В и что на самом деле оценивают на интервью. ✨ Когда: 13 мая в 18:00 мск ✨ Ссылка для участия: [зарегистрироваться] Если не сможете прийти на эфир – все равно зарегистрируйтесь, чтобы получить запись.
3 549
12
🧭 2 года вне найма: мои 9 главных выводов Два года назад я перестал работать продуктовым аналитиком в найме. До этого были р+8
🧭 2 года вне найма: мои 9 главных выводов Два года назад я перестал работать продуктовым аналитиком в найме. До этого были роли руководителя, Яндекс, стартапы и привычная логика работы: команда, процессы, зарплата, цели, менеджмент. Сейчас я занимаюсь своей онлайн-школой по продуктовой аналитике, менторством и собственными проектами. И ключевая особенность этого периода в том, что я работаю полностью один: без команды и подрядчиков. В карточках выше ты найдешь 9 главных выводов, которые я вынес за эти два года работы на себя. Если коротко: вне найма не стало проще или сложнее. Стало по-другому. Работа на себя – это другой mindset. Я стал иначе смотреть на деньги, ответственность, свободу, процессы, экспертизу и себя. Я уходил за свободой. А получил безграничную ответственность, постоянную неопределенность и ощущение, что мой потенциал стал раскрываться намного сильнее. И, кажется, что именно это мне и было нужно 🔥
0
13
🔍 Откуда берется p-value в лин. регрессии в контексте A/B? В одном из последних постов я писал, что A/B тест можно рассматривать как частный случай линейной регрессии: -> y = β₀ ​+ β₁T ​+ ε y – значение метрики у пользователя; T – индикатор группы: 0 для контроля и 1 для теста; β₀ – среднее значение метрики в контрольной группе; β₁ – разница между тестом и контролем; ε – случайная ошибка отдельного наблюдения. И когда мы смотрим на p-value для β₁, мы фактически проверяем, является ли разница между тестом и контролем статистически значимой. Но откуда берется этот p-value? Нулевая гипотеза звучит так: -> H₀: β₁ = 0 Т. е. что эффекта нет: cреднее в тесте равно среднему в контроле. В данных мы видим какую-то оценку этого эффекта: -> β̂₁ = mean(test) - mean(control) Например, β̂₁ = 2. Но такое значение еще ни о чем не говорит, ведь разница могла возникнуть из-за случайности. Поэтому мы задаем вопрос: > Если эффекта на самом деле нет, насколько вероятно было бы увидеть разницу в 2 или более экстремальную? Чтобы ответить на него, мы сравниваем наблюдаемую разницу с ее стандартной ошибкой: -> t = (β̂₁ - 0) / SE(β̂₁) Так получается t-статистика. Интуитивно она отвечает на вопрос: на сколько стандартных ошибок наша оценка эффекта отстоит от нуля? В числителе стоит β̂₁ - 0, потому что 0 – это значение эффекта при нулевой гипотезе. А стандартную ошибку разницы средних для двух независимых групп можно записать так: -> SE(β̂₁) = sqrt(s²_control / n_control + s²_test / n_test) s²_control и s²_test – выборочные дисперсии метрики внутри групп. n_control и n_test – размеры контрольной и тестовой групп. В контексте регрессии эти дисперсии можно понимать как разброс остатков внутри групп. Модель предсказывает каждому пользователю среднее значение его группы. Поэтому остаток – это: -> yᵢ − mean(group) А дисперсия внутри группы – это средний квадрат таких отклонений: -> s²_group = Σ(yᵢ − mean(group))² / (n_group − 1) После этого мы считаем t-статистику и смотрим, насколько экстремальным было бы такое значение, если бы нулевая гипотеза была верна. Вероятность получить такое или более экстремальное значение статистики при верной H₀ – это и есть p-value. В этом и вся идея. Никакой магии, только статистика 🔥
0
14
🎲 Почему в A/A-тестах p-value распределены равномерно? В A/A тесте между группами нет реального эффекта, только случайный шум. Это значит, что в A/A разница между группами может получаться какой угодно: почти нулевой, заметной или даже значимой. И это нормально. Если эффекта нет, такие колебания – это проявление случайности. p-value – это вероятность получить такой же или более экстремальный результат, если нулевая гипотеза верна. И если нулевая гипотеза верна, а тест проведен корректно, то p-value будут распределены равномерно на отрезке [0, 1]. Почему равномерно? Это напрямую следует из смысла p-value: -> при пороге 0.05 примерно в 5% А/А p-value будет < 0.05 -> при пороге 0.10 – примерно в 10% случаев p-value < 0.10 -> при пороге 0.50 – примерно в 50% Из этого и следует равномерное распределение p-value. Если чуть формальнее, то пусть T – статистика теста, а F(T) – ее CDF (функция распределения) при верной H0 . F(T) переводит наблюдаемое значение в перцентиль. Если T действительно распределена по F(T), его процентиль равновероятно оказывается на промежутке [0,1]. Этот факт известен как probability integral transform. И это наглядно видно, если визуально посмотреть на T и его CDF. Значит, F(T) равномерно распределена на [0,1]. А потому и p-value, которое в случае одностороннего теста равно 1-F(T), тоже имеет равномерное распределение. Именно поэтому в A/A тестах иногда появляются «значимые» результаты. Это необязательно ошибка – это ожидаемое следствие случайности. И поэтому проверка распределение p-value при А/А на равномерность – это хороший способ убедиться, что система сплитования и A/B работают корректно. Разобрать еще больше таких тонкостей в A/B? Тогда поддержи пост китом 🐋
0
15
Чего вам хотелось бы видеть больше на канале?
0
16
⭐ 8 аспектов качественных данных Хорошие данные нужны нам везде: для принятия решений, поиска точек роста, А/В и обучения ML.+7
⭐ 8 аспектов качественных данных Хорошие данные нужны нам везде: для принятия решений, поиска точек роста, А/В и обучения ML. Но правда в том, что большинство продуктовых решений принимаются на плохих данных. Как тогда понять, что ваши данные – хорошие и качественные? Чтобы ответить на этот вопрос, взгляните на свои данные с 8 аспектов качества, представленных в карточках выше. А какие аспекты ваших данных доставляют вам больше всего головной боли?
0
17
🕷 Как находить причинные связи в данных без А/В? Когда говорят о причинно-следственных связях, чаще всего имеют в виду Causal Inference. Но есть и другое направление, о котором незаслуженно вспоминают намного реже... Вообще у нас есть 3 основных источника знаний о причинности: 🔸 Эксперименты – золотой стандарт, но не всегда возможны 🔸 Экспертное знание – полезно, но может быть неполным или субъективным 🔸 Алгоритмы Causal Discovery 🚀 Causal Discovery — это подход, который помогает по данным восстановить возможную причинную структуру: что действительно на что влияет, а что только выглядит связанным. 📌 Классический пример: продажи мороженого и атаки акул коррелируют. Но это не значит, что мороженое привлекает акул. У этих явлений есть общая причина в виде температуры: в жару люди чаще покупают мороженое, чаще идут купаться, и поэтому растёт число атак акул. То есть наблюдаемая связь есть, а прямой причинности – нет. Именно такие ситуации Causal Discovery и помогает распутывать: отделять реальное влияние от ложных зависимостей, в том числе выявляя скрытые общие факторы (confounders). Такие алгоритмы смотрят не только на корреляции. Они проверяют, что происходит со связью между переменными, если учитывать другие переменные, и пытаются определить возможное направление влияния. 📌 Например: мороженое и атаки акул коррелируют. Но если зафиксировать температуру, то связь исчезает. Это сильный сигнал, что перед нами не причинность, а эффект общего фактора. При этом важно не переоценивать возможности метода. Он лишь отбрасывает те структуры, которые противоречат наблюдениям, и оставляет те, которые могут быть с ними согласованы при определённых допущениях. То есть на выходе мы получаем набор правдоподобных причинных структур, с которыми уже можно работать дальше. ❓ Зачем это нужно на практике? Представьте, что у вас есть причинный граф, который хотя бы частично показывает, какие действия пользователя с высокой вероятностью инкрементально растят его LTV. Например, активации в фичи или приглашение друзей. Тогда вы: 🔸 лучше понимаете, куда действительно стоит копать дальше; 🔸 генерируете более сильные гипотезы; 🔸 реже попадаете в ловушку ложных взаимосвязей; 🔸 получаете основу для дальнейшей проверки причинных связей, где они ещё не подтверждены, и оценки размера эффектов. Все это, на мой взгляд, делает Causal Discovery довольно недооцененным инструментом. Интересно было бы узнать больше про Causal Discovery? Тогда поддержи пост огоньком 🔥
0
18
🤓 Всем, кто хоть раз участвовал в сверке, посвящается: Утро. Дейли. Все пока еще верят в свои данные. – У нас 10 234 активных пользователя за вчера, – начинает Аналитик. – Странно, у меня 12 876, – хмурится Продакт. – Вообще-то 126k. Мы же рекламу запустили, – вставляет Маркетинг. – Коллеги, у вас вообще нет данных за вчера. DAG упал. Вы видите данные за позавчера, – подключается Data Engineer. … Пауза – Ладно. А кого вы считаете активным? – спрашивает Продакт. – Того, кто совершил целевое действие, – отвечает аналитик. – Странно, я тоже. Правда дашборд с тегом Depricated, – Продакт. – Того, кто открыл приложение, – не соглашается Маркетинг. – Того, кто приносит деньги, – отрезают Финансы. – Того, кто хотя бы попал в лог, – вздыхает Data Engineer. ... Снова пауза. – Хорошо. А выручка у вас какая? – спрашивают Финансы. – 50k, – говорит BI. – 62k, – отвечает Продакт. – 120k, если по оптимистичному прогнозу, – добавляет Маркетинг. – По выписке с банка – 41k, – сухо говорят Финансы. – А у нас платежи в другой системе, с которой мы как раз переезжаем, некоторые записи двоятся, курс валют обновляется раз в неделю, возвраты не учитываются и вообще живут своей жизнью, – добивает Data Engineer. … Тишина – И какой ответ тогда правильный? – кто-то с дальнего края созвона. – Тот, который согласуем после сверки, – отвечают Финансы. – Если переживём её, – уточняет Data Engineer. – То есть не правильный, а финальный? – переспрашивает Продакт. – Добро пожаловать в аналитику, – кивает аналитик. —— Мораль: -> Иногда каждый видит метрику по-своему. -> Иногда проблема и правда в данных. -> А иногда все сразу. Ну а выручка… Выручка не сходится никогда 💔
0
19
🧠 Разбор 20 вопросов по ML и Causal Impact Ранее я делился с вами своим тестом по ML и Causal Inference. Спасибо всем, кто н+9
🧠 Разбор 20 вопросов по ML и Causal Impact Ранее я делился с вами своим тестом по ML и Causal Inference. Спасибо всем, кто не побоялся проверить себя и прошёл его 🙌 Немного цифр: 🔹 только 35% из тех, кто начал тест, дошли до конца; 🔹 около 80% результатов – в диапазоне 12–18 баллов. Если судить по результатам, то видно, что базовые вещи понимаются, но точно есть куда углубляться. Но судя по тому, сколько людей бросили тест по пути – не всем он дался легко. И это нормально, если вы никогда не работали с ML и CI. В карточках выше и в комментариях к посту я разбираю все 20 вопросов из теста. Если вы ещё не проходили тест, попробуйте сначала ответить самостоятельно, без подсказок. А если уже проходили – можно свериться с разбором и посмотреть, где были ошибки. Следующий тест сделаю ещё интереснее и немного сложнее 😉
0
20
🧠 Разбор 20 вопросов по ML и Causal Impact Ранее я делился с вами своим тестом по ML и Causal Inference. Спасибо всем, кто н+9
🧠 Разбор 20 вопросов по ML и Causal Impact Ранее я делился с вами своим тестом по ML и Causal Inference. Спасибо всем, кто не побоялся проверить себя и прошёл его 🙌 Немного цифр: 🔹 только 35% из тех, кто начал тест, дошли до конца; 🔹 около 80% результатов – в диапазоне 12–18 баллов. Если судить по результатам, то видно, что базовые вещи понимаются, но точно есть куда углубляться. Но судя по тому, сколько людей бросили тест по пути – не всем он дался легко. И это нормально, если вы никогда не работали с ML и CI. В карточках выше и в комментариях к посту я разбираю все 20 вопросов из теста. Если вы ещё не проходили тест, попробуйте сначала ответить самостоятельно, без подсказок. А если уже проходили – можно свериться с разбором и посмотреть, где были ошибки. Следующий тест сделаю ещё интереснее и немного сложнее 😉
0