Сенаторов.head()

A/B без A/B (ч.2) В прошлом посте я рассказал про разные способы проводить А/В тесты без А/В тестов, но остался подвешенным вопрос — а когда эти методы нужны вообще? А/В тесты лучше всех, так давайте всегда использовать — а вот нет 😶 Топ причин, почему мы не сможем провести A/B тест: ▶️Этика/законы В мире денег и такое встречается)) Говоря технически, мы не всегда можем выделить рандомный контроль/тест для которых мы: отключим кэшбэки, ухудшим цену, насуём багов, или сделать сотрудников поддержки грубиянами. Классический пример: нельзя заставить людей курить, чтобы доказать вред курения (поэтому социальные исследователи изощряются с другими методами Causal Inference) ▶️Неделимый тритмент — нельзя раскатить на часть Тритмент (treatment) — это наше воздействие. И часто мы не можем воздействовать на Ваню и скрыть воздействие от Серёжи. Это часто бывает с ТВ-рекламой, ребрендингами, новыми законами, новыми комиссиями — в общем чем-то глобальным. И мы не можем это глобальное разбить на куски для честного А/В теста 🔪 ▶️Крупная единица и мало наблюдений Вы раскатили вашу фичу на 5 городов-миллионников. Ваша единица наблюдения — это не 5млн человек, это просто 5 (городов). Тут стат-критерии посмеются только 😳 У нас в Тиньке я как-то погружался в аналитику банкоматов. Там с единицами наблюдения и А/В тестами все тоже очень несладко Для гео-методов хорошо могут сработать Synthetic control, Matched market testing (когда находим «близнецов» по городам), а если изоляция по гео невозможно, можно попробовать разбивать по времени — это метод Switchback ▶️Интерференция и сетевые эффекты Представьте, вот вы раскатили фичу и клиенты из тестовой группы «заражают» клиентов из контрольной. — Один рассказал своим друзьям о новой промоакции, а они были в контрольной группе — Два кореша переписываются, но у одного из них вместо нового эмодзи отправляется ⍰ — Представьте, что водители Uber из теста и контроля дерутся за один пул клиентов. Из-за фичи одна из групп может отжирать клиентов у другой и оценить эффект может быть сложнее. Неважно: сетевые эффекты, баг, двухсторонние рынки — интерференция генерится по ряду причин, и это может мешать честному А/В ▶️Слишком дорого делать контроль На самом деле частная причина на практике! Часто на ухудшающие тесты надо перелопатить всю айтишную архитектуры, чтобы отключить клиенту какие-то фичи. Или при разработке новой сложной фичи предусмотреть, чтобы она не работала у части людей — может стоить очень дорого в человеко-часах разработки. И тогда надо просто трезво оценить профит от полученных знаний и риски. И если цена разработки выше, то забить и применить другие методы Causal Inference Мир А/В тестов полон неожиданностей! Третьей части не будет, лонгриды жесть. Я подумаю, что еще накопать в А/В, а с вас наш аналитик-поваренок за пост! 🧑‍🍳🧑‍🍳🧑‍🍳

Плата за риск Если вы ломаете голову, что посмотреть на этих выходных — гляньте документалку о мексиканском финтехе Plata 😎 Его основали бывшие топ-менеджеры Тинька при активном участии Олега Тинькова. Plata уже достиг оценки $5 млрд — быстрее любого необанка в истории 😎 Ух какой же крутой фильм получился!! Там и про талантливых и амбициозных россиян, которые с головой окунулись в создание чего-то нового и большого 👊 И про очень заряженных мексиканцев, которые делают настоящий прорыв в своей стране И про забавные моменты межкультурной коммуникации, когда мексиканцы пытаются познать истинную «slavic face» и глубину нашего «вjobывать» 😶 Завидую белой завистью ребятам, и тем моим коллегам и сокомандникам, кто сейчас работают в Plata хочу сказать — так держать! Это очень круто 🙏 российские законы обязывают меня указать, что Олег Тиньков — иноагент

Плата за риск Если вы ломаете голову, что посмотреть на этих выходных — гляньте документалку о мексиканском финтехе Plata 😎 Его основали бывшие топ-менеджеры Тинька при активном участии Олега Тинькова. Plata уже достиг оценки $5 млрд — быстрее любого необанка в истории 😎 Ух какой же крутой фильм получился!! Там и про талантливых и амбициозных россиян, которые с головой окунулись в создание чего-то нового и большого 👊 И про очень заряженных мексиканцев, которые делают настоящий прорыв в своей стране И про забавные моменты межкультурной коммуникации, когда мексиканцы пытаются познать истинную «slavic face» и глубину нашего «вjobывать» 😶 Завидую белой завистью ребятам, и тем моим коллегам и сокомандникам, кто сейчас работают в Plata хочу сказать — так держать! Это очень круто 🙏 российские законы обязывают меня указать, что Олег Тиньков — иноагент

Ёбкость

— сущ.; качество, присущее настоящему аналитику

Это придумал не я! Но я часто слышал от знающих людей, что аналитик должен быть именно ёбким Поразительно, но это абсолютно рандомное слово, но я прекрасно понимаю, о чем это Но никак не могу придумать, как бы в двух словах описать. ▶️С одной стороны важно быть внимательным и к сути, и к мелочам. Я вот вижу перед собой график с метрикой. Могу оценить его и по целям бизнеса, и по тому, а насколько этим данным можно доверять. Я ёбкий аналитик ▶️С другой стороны я активный участник процесса. Я буквально партнер бизнеса и могу сказать менеджерам, где булщит на метрикодрочерство, а где здравые инициативы. В ревью мне напишут: «был ёбким и справедливым» Мои ресёрчи соответствую принципу MECE (mutually exclusive, collectively exhaustive) и я сделал этот ресеирч именно тогда, когда у бизнеса он болел больше всего. К этим ресёрчам не подкопаться, а все почему? Правильно, потому что аналитик ёбкий Как вам словечко? Не помню, честно, кому дать креды за это словечко, т-банчата пишите в комменты, если вы знаете. Но теперь я его популяризатор Если вам тоже нравится, ставьте 😎

P-value = 0.051? В LinkedIn я наткнулся на пост челика, который решил обсудить — что делать, если у нашего p-value пограничное значение Мне стало любопытно. Хоть у меня на опыте и десятки тестов, но вот пограничные случаи бывают редко. Давайте сразу обозначим: p-value=0.05 это очень условная граница и Фишер сам говорил, что это удобная точка, но она не прибита гвоздями Поэтому глобально, что можно сделать, если вы попали в ситуацию p-value = 0.051 или 0.049: 1️⃣ Вариант 1

«Ну мы очень близко, в целом не рискуем, давайте катить фичу»

— с таким подходом вы может угадаете с этой фичей, но на большом горизонте с кучей экспов вы будете чаще ловить ошибку 1-го рода 2️⃣ Вариант 2

«Давайте подержим эксп еще недельку»

— так как вы будете смотреть на тех же данных, это форма p-hacking’а. Чтобы избежать этого, вам надо делать поправку на уменьшение уровня значимости, а значит вряд ли вы что-то выиграете от этого 3️⃣ Вариант 3

«Давайте повторим тест и сделаем мета-анализ»

— вы катите тест заново и вот у вас два независимых экспа с двумя p-value и вы можете их соединить (см. Stouffers’s Method). Интуитивно: если два независимых экспа показали похожий результат, то это уже верняк Очевидно, что автор склоняет к третьему варианту 😎 Но есть нюанс! Автор о нем умолчал Повторять тесты — дорого 🔪 По времени и по деньгам. Я представил лицо своего продакта, если я предложу ему повторить тест, который мы катили весь последний месяц 😳 А если тесты относительно дешевы, то действительно можно последовать автору. Вот ссылочка на пост в LinkedIn Этим и сложна аналитика — на одной чаще весов неопределенность и хаос, а на другой время и деньги. Наверное, поиск лучшего курса размена и делает нас лучшими аналитиками 🧑‍🍳

Получается я теперь сам стал 💼

Я учился аналитике в двух местах: НИУ ВШЭ и karpov.courses Без шуток, теперь у них коллаба! 😶 Еще на 3-м курсе в Вышке я получил базу аналитике с SQL, которая помогла мне попасть на стажу в Ozon, а затем благодаря курсу у karpov.courses я попал на работу в Тинькофф. Олды помнят 😎 С какой же искренней радостью я теперь хочу рассказать вам об онлайн-магистратуре «Аналитика больших данных» НИУ ВШЭ и karpov.courses Этим двоим я доверяю, этих двоих я уважаю. Серьёзно, откройте на сайте Вышки раздел Учебные курсы и увидите А/Б тесты, SQL, датавиз и ML. Это буквально покрывает все сценарии реальной работы аналитика Чтобы узнать про эту реальную работу аналитика — приходите на бесплатный вебинар Анны Климовой, продуктового аналитика Яндекс 360 (ранее Ozon Tech). Без воды разберут чем занят продуктовый аналитик и с чего начать путь, а также типичные задачи и реальные кейсы: что прилетает чаще всего и почему даже простой запрос может перевернуть логику целой метрики и решение по продукту. А еще про магу расскажут как раз 📅 3 июня, 19:00 мск · бесплатно 👉 Записаться: [ссылка] Вышкинцы, с вас поставить в реакции чела 😎 Реклама. ООО "КАРПОВ КУРСЫ". ИНН 7811764627. erid: 2W5zFHULpWm

А/B без A/B? 🤨 Классика любого курса по A/B — расскажем и про классические экспы, и про Diff in Diff, и про Matching и другие способы провести A/B тесты без A/B тестов Про эти методы могут и на собесе спросить, и у других аналитиков они точно будут на слуху. Так их нужно знать и применять в итоге? Давайте разбираться Есть понятие Causal Inference, а значит оно что-то типо

Область статистики и набор методов, которые помогают нам ответить на вопрос "что произойдет, если мы вмешаемся в физический мир?" —Как вырастет retention, если дадим клиенту фичу X? —Заболит ли горло, если переедать мороженое? —Что было бы, если бы вы не ставили мне реакции на посты? (давайте не проверять)

И так вышло, что A/B тесты — эталонный способ ответить на этот вопрос. Тут есть и рандомизация 🥰 и фиксация начала воздействия🥰 и еще дизайн, выверенный статистикой 🥰 — одним словом, красотень Но а что предлагают другие методы? Если супер кратко без подробностей: 🔘Diff in Diff — давайте найдем два похожих тренда и будем влиять только на один. Я раскачу свою фичу в Рязани, а сравнивать буду с Липецком. Оба города оч похожи. Если после раскатки фичи графики в Рязани пошли вверх, то дельта с графиками Липецка — это мой эффект 🔘Matching — давайте найдем похожих людей: скажем, Ваню и Вову. Они одногодки, одного роста, веса, любят кататься на велике и слушать Лану Дель Рэй. Ване подсунем фичу, а Вове нет. А потом по результатам тысяч вань и вов мы оценим эффект нашей фичи. 🔘Synthetic control — я сейчас запущу реактивные электробусы в Москве, и графики поползут вверх. Но с чем сравнить? Я слеплю «двойника» Москвы из взвешенных признаков других городов. Это и будет симуляцией. А разницу между реалом и симуляцией назову своим эффектом. С вас 5 тыщ и идите используйте? Как бы не так Несмотря на всю рок-н-ролльность этих методов, у них есть большие изъяны...Все эти идеи построены на больших допущениях 🔵С Diff in Diff мы никогда не узнаем, подмешался ли как-то в наш эффект фестиваль пирогов, который проходил в Рязани после включения нашей фичи. Или может повлияли еще десятки событий, о которых так же мы узнаем только из рязанских пабликов (запоминаем: нарушение parallel trends) 🟡С Matching мы можем попытаться найти похожих людей, но мы же не можем измерить все. Вдруг Ваня решил потрогать фичу, потому что именно он решительный и любопытный, и мы никак об этом не могли знать (запоминаем: unobserved confounders) 🟣А в случае с Synthetic control моя проблема в том, что Москва одна. Я не могу запустить электробусы в тысяче москв и усреднить результат — поэтому всегда остаётся вопрос: а вдруг это просто совпадение? Эти допущения — это изъяны этих методов. Значит ли это, что мы все равно должны делать только A/B? Снова не все так просто. Эти методы нам еще пригодятся, но в каких случаях — я напишу в след посте, а то пипец лонгрид получился 😎 Ставьте нашего поваренка аналитика за продолжение 🧑‍🍳 И мы узнаем, почему иногда нет другого выбора, как отказаться от A/B теста

Авито продолжает набор! 🙏 У меня наберется человек 10 моих друзей и знакомых, кто работает в Авито аналитиками. Я ходил на митапы аналитиков и смотрел их выступления на конфах — и много раз убеждался, что там очень крутая аналитика 😌 Поэтому я просто не могу не поделиться кайфовой новостью, что Авито продолжает набор на свой буткемп 👊 Я конечно же буду топить за трек Продуктовой аналитики, но приятно удивлен, что есть и трек BI разработки. И конечно круто, что ребята предлагают студентам и выпускникам без опыта за год вырасти до мидла. Если сравнить Input с Output, то это точно win-win Короче, я могу бесконечно хвалить Авито (хотя я даже не сотрудник 😎) Так что смотрите и оставляйте заявки до 4 июня! https://u.to/RyWVIg

Как быть в мыле ✌️ Популярная теория заговора гласит, что этот канальчик спонсируется IT корпорациями, чтобы я вам тут рассказывал про крутость корп инструментов На сей раз я буквально на своем примере убедился в том, что заводить задачки в Jira и вести канбан доску это не просто эДжАйЛ, а очень полезно Вообще у меня маленькая оперативка, я могу думать только о 3 вещах одновременно (4, если врубить сабвэй серф на фоне) 😶 И я заметил, что часто у нас с продуктом договоренности на словах, а не на задачках. И ты их держишь в голове, пишешь заметочки, заметочки теряются, а тебе кажется, что ты в мыле и пипец какой занятой. А на деле ты за неделю подвинул одну задачку из In progress в Done 😒 Вроде и работал, а с виду результата и нет. Есть только ощущение хаоса, перегруза. Так и выгореть можно! Ведите задачки друзья, а я пошел забирать 500 рублей от своих спонсоров в Atlassian 😎

ван-ту-ван это на поболтать? Я недавно рассказывал, что пересмотрелся на тимлида, и сейчас у меня в команде 9 замечательных аналитиков. И у знакомых возникает вопрос:

"А у тебя прям с каждым регулярные ван-ту-ваны"

Вообще-то да! Более того, я искренне считаю, что ван-ту-ван — это чуть ли не самая важная встреча в вашем календаре. Причем с обеих точек зрения: и сотрудника и руководителя Почему так? ▶️Конечно же всем надо выговариваться. У аналитиков в работе много проблем: со стейкхолдерами, с данными, с процессами. Я регулярно своему руку выдаю базу про неприятное общение со смежниками, про непонятные мувы менеджеров и про кривые цифры, которые кто-то на голубом глазу выдает за "глубокие инсайты". Кто-то еще называет такие встречи нытингами, и это супер круто, потому что кроме поддержки, можно еще и проблемы разобрать и решить, чтобы больше не расстраивали ▶️Поболтать о развитии. И речь не только про карьеристов вроде меня. Это про сохранение интереса в том, чтобы узнавать что-то новое. Для кого-то это рост по грейду, для кого-то новые харды, а для самых смелых — это работа над тем, что может плохо получаться, вроде паблик спикинга. ▶️Какой у нас путь? От работы по инерции никто не кайфует. Мы всегда куда-то движемся: к запуску большого A/B, к иксовому росту метрик или погружаемся во что-то неизвестное. И вот задача хорошего рука на ван-ту-ванах заряжать понятным вектором движения и рассеивать неопределенность, находя подход к каждому члену команду. ⚡️ Совет молодым руководителям (хотя я и сам считаю себя еще зеленым) — не скипайте ван-ту-ваны, не формализуйте и не шаблонизируйте, слушайте вовлеченно и заряжайте энергией 🔥 Совет ребятам аналитикам — делитесь с руководителями и переживаниями, и тем, что вас заряжает. Тогда и проблемы могут полечиться, и ваша мотивация станет понятнее, чтобы рук на нее работал. Я пока еще искренне верю что teamleads care, но понимаю, что далеко не все ван-ту-ваны проходят хорошо А если вы за меня беспокоитесь по поводу 9 ван-ту-ванов в неделю — заверяю вас, что сейчас просто период переходный и тяжелый (поэтому и реже пишу здесь), а так в идеале будем растить лидов, которые также по моим стопам пойдут 🙏 У вас хорошо проходят ван-ту-ваны? 💼 — нашего кота, если да 🔪 — этого парня, если вам их не хватает или вам они не помогают

Устройтесь в Яндекс за 2 дня 6–7 июня проводим онлайн-мероприятие быстрого найма. Ищем продуктовых, дата-аналитиков и датасаентистов с опытом на Python от 3 лет. Всего за два дня вы можете пройти все секции и получить офер: ⚪️ Зарегистрируйтесь до 27 мая, после регистрации с вами свяжется рекрутер и договорится об удобном времени для интервью. ⚪️ 6 июня пройдите две технические секции, вместо трёх в обычном найме: аналитические задачи на знание матстата и алгоритмическую задачу на знание алгоритмов и структур данных. ⚪️ 7 июня познакомьтесь с командами и получите офер. Подробности и регистрация — на сайте: yandex.ru/project/events/wo-analytics-0626

Первая неделя после отпуска Три недели отпуска самого длинного отпуска в жизни позади. Прошла рабочая неделя и…как будто я уже устал Хотя я даже скучал по работе и ждал своего возвращения Почему-то часто слышу мысль, что работа это всегда что-то ненавистное и существует только ради денежек. Как будто любить офисное планконство — это что-то стыдное. Блин, мне интересно и меня работа драйвит. Я думаю, без нее я бы быстро потух и отупел 😶 Но при все желании делать важные дела должен признать, что я устал за недельку 😒 Вообще первая неделя после отпуска хорошо показывает, насколько прокачен energy management Вы входите в рабочий ритм с созвонами, проблемами, сложными решениями — а насколько хорошо восстанавливаетесь? Если восстанавливаться не успеваю, для меня это сигнал к тому, что та система, которую я оставил себе перед отпуском — работать не будет 😔 Теперь сиди, Саша, думай, как сделать так, чтоб через месяцок не понадобился следующий отпуск 🔪

LinkedIn делает Я вам уже говорил, что начал писать посты в линке на инглише, потому что я пикми аналитик интересно соприкасаться с глобальным сообществом аналитиков. И вот мой постец, где я прикрепил шаблон доки A/B теста лайкнул Рон Кохави! 🥳 Вы знаете Рона как соавтора супер известной книжки «Доверительное A/B тестирование»

Вообще Рон Кохави супер признанный эксперт в A/B, протолкнул дата-культуру в Amazon, поставил на поток экспы в Microsoft и сделал какие-то бешеные аплифты в AirBnB.

И вот среди тысяч безликих постов он лайкнул именно проницательный постец Саши. Я просто отметил его в посте и получил за это большой палец 👍 Я вообще подумал о том, как много экпертов по всему миру в области аналитики и мы не только Толей Карповым едины 🤔 Я уже начал приглядываться к заметным фигурам и периодически буду делиться с вами известными аналитиками 👊 Вот полная библиография Рона со всеми статьями по экспериментам И крутецкое интервью, которое он дал Ленни (еще одной легенде, но об этом в другой раз) Да и вообще добавляйтесь ко мне в LinkedIn, буду рад вашим лайкам на моих скромных постах 🙏 Ставьте нашего поваренка аналитика 🧑‍🍳 , будем вместе прокачивать кругозор в аналитике

LinkedIn делает Я вам уже говорил, что начал писать посты в линке на инглише, потому что я пикми аналитик интересно соприкасаться с глобальным сообществом аналитиков. И вот мой постец, где я прикрепил шаблон доки A/B теста лайкнул Рон Кохави! 🥳 Вы знаете Рона как соавтора супер известной книжки «Доверительное A/B тестирование»

Вообще Рон Кохави супер признанный эксперт в A/B, протолкнул дата-культуру в Amazon, поставил на поток экспы в Microsoft и сделал какие-то бешеные аплифты в AirBnB.

И вот среди тысяч безликих постов он лайкнул именно проницательный постец Саши. Я просто отметил его в посте и получил за это большой палец 👍 Я вообще подумал о том, как много экпертов по всему миру в области аналитики и мы не только Толей Карповым едины 🤔 Я уже начал приглядываться к заметным фигурам и периодически буду делиться с вами известными аналитиками 👊 Вот полная библиография Рона со всеми статьями по экспериментам И крутецкое интервью, которое он дал Ленни (еще одной легенде, но об этом в другой раз) Да и вообще добавляйтесь ко мне в LinkedIn, буду рад вашим лайкам на моих скромных постах 🙏 Ставьте нашего поваренка аналитика 🧑‍🍳 , будем вместе прокачивать кругозор в аналитике

Я уже писал, как сейчас тяжело со стажировками в российский компаниях — их становится все меньше и меньше с каждым годом Поэтому особенно рад поделиться с вами оплачиваемой программой ВТБ РОСТ 🙏 ▶️От вас: 🔘Являетесь выпускником бакалавриата ‘24-‘26 или студентом магистратуры 🔘Учились или учитесь на экономической/маркетинговой/IT и смежных направлениях 🔘Имеете опыт работы от полугода ▶️От ВТБ: 🔘зарплата от 130 000 до 150 000 рублей до вычета налогов 🔘работа в офисе или в гибридном формате в зависимости от команды 🔘6 направлений для стажировки: от маркетинга и аналитики до финансов и юриспруденции Успеваем подать заявку до 2 июня! Как раз время, чтобы резюме подготовить :) А вот тут и ссылочка: https://u.to/U8eSIg

Шотландия! 🏴󠁧󠁢󠁳󠁣󠁴󠁿 Оказалось, что эту часть трипа я ждал даже больше, чем трип в Лондон Насмотревшись на красоту Эдинбурга в рилсах (алгоритмы распознали быстро), я даже не ожидал, что тут правда так красиво! Начнем с Эдинбурга: ▶️В центре города буквально замок на скале. Роулинг писала в Эдинбурге первого Гарри Поттера, да и Джордж Мартин подтвердил, что вдохновлялся для Игры Престолов. И по фоткам можете видеть — такой замок точно сюжеты навевает ▶️20-30% всех зданий в городе построены до XX века. Здесь есть пабы с гостями вроде Адама Смита, кафешки с деревянными перекрытиями, площади, где сжигали ведьм и крепостные стены XIII-XIV веков — город буквально дышит историей ▶️А в центре города есть своего рода мини-горы, где можно погулять просто с собакой и насладиться видами на весь город (если не сдует ветром). Я вам кружок запишу! В один из дней мы выбрались на трип по Шотландии, а именно на север — где начинаются Scottish Highlands с горами и лóхами: ▶️Конечно же прокатились по Лох-Нессу! Озеро очень красивое, вода черная, «густая», а какие-то течения и ветер создают причудливые формы — неудивительно, что может померещиться! 😶 ▶️Погода в Шотландии непредсказуемая: в один день и дождь, и ветер, и яркое солнце. Это даже не какой-то базовый миф, а здесь буквально встречаются три потока воздуха: с гольфстрима на западе, с северного моря и с Европы. И происходит бедлам 😔 ▶️Мы увидели только малую часть шотландских гор — но это повод вернуться. Загуглите остров Скай, там виды не хуже чем на Камчатке 😎 Отпуск уже близится к концу, но это конечно грандиозный трип. Скоро мне надо будет превращаться из свинки обратно в кота человека, но пока что 🥳🥳🥳

Продолжаю учиться Честно, в последний раз у меня было «интервью» на английском, когда я в 2021-м собесился на аналитика в Visa. Я тогда вообще джунчиком был И вот теперь у меня был очень прикольный экспириенс на карьерном буткемпе AgileFluent, о котором я уже рассказывал. Было очень интересно пройти мок-интервью, причем полностью на инглише! Я конечно стеснялся, но по итогу прошло круто и меня жестко хвалили 🙂 Кстати, кто-то из вас уже мог увидеть мои попытки занетворкаться с международным коммьюнити в LinkedIn через посты про аналитику 👊 Буткемп от AgileFluent мне очень понравился, это прям мастхэв для тех, кто хочет разбираться в международном рынке и прокачивать нетворк 🙂 Если у вас будут вопросы по буткемпу, то пишите 🙏 А пост написал карьерный кот в галстуке 💼 поддержите его реакциями

👆Неожиданно в видео засветился ваш админ 💼