Сенаторов.head()

Работа в выходной? Сегодня я впервые за свои 5 лет карьеры официально работал в выходной. То есть я прям написал заявление, чтобы у меня сегодня был рабочий день 😳 Проект горит, в срок не успеваем, я на стрессе, поэтому думаю — раз я все равно буду работать, пускай мне хоть за это заплатят 😎 Неожиданные плюсы работы в выходной: ▶️Впервые за годы у меня не было ни одного созвона, это просто невероятно влияет на концентрацию ▶️Так как обстановка непривычная и хочется закончить побыстрее, продуктивность растет х3. Чисто аналитическая задача меня реально затянула. Из минусов: ▶️Если это повторится еще неделю, я сойду с ума и перееду жить в термолэнд ▶️Начинаешь испытывать острое чувство несправедливости и злишься на всех: на проект, на коллег, на себя. Ты раздражен, что докатился до работы в выходной Никому не рекомендую повторять, но блин иногда приходится включать хаслер режим 😔 Я к слову из-за всего движняка и стресса забываю писать посты, буду исправляться!

Тревожность друг или враг? Раз в несколько месяцев я обязательно выхожу с постом про ментальное здоровье. Пять лет и 50+ сессий с психотерапевтом дают о себе знать, хоть и я и не претендую на экспертность. Но может кому-то это поможет так же, как помогает мне 🤟 У меня бывают тревожные периоды, когда я беспокоюсь о будущем и о том, что я не могу контролировать. Работа, бытовые вопросы, заграничные поездки — все это в одну корзину падает. И в эти периоды дни тянутся, рутина страдает, а отвлекаться не получается 😒 Я узнал от психотерапевта, что тревожность она на самом деле нам друг биологически. Заботится, чтобы мы не попали в опасность и постоянно подмешивает ужасные сценарии в голову. Выключить тревожность невозможно, да и не нужно. Мне врач рассказал про метафору с портативным радио. Вот оно всегда играет на фоне в квартире, иногда нам стоит сделать погромче и прислушаться, а иногда просто игнорировать. И мозг тогда подумает:

хм, ну если Саша ничего не делает и игнорирует, значит там действительно ничего страшного, сделаю тревожность потише

Сказать конечно сильно проще, чем на самом деле это проделать. Я вот впервые за три недели сегодня позанимался спортом — и прям в моменте облегчение почувствовал. Мы с невестой читаем перед сном книги на инглише вслух — и тоже единственный час в день, когда я не думаю о тревожном. Худшее, это если решить просто тревожно переждать сложный период. А на самом деле хочется жить и не думать лишний раз 😎 Всем спокойствия! ❤️

3 бесплатных курса, 30+ уроков, 100+ задач 🫠 Кажется, Симулейтив сошли с ума, они отдают бесплатно три курса, за которые многие берут деньги. Если вы хотите прокачаться в аналитике данных - начните с бесплатных курсов по самым важным разделам. Именно эти блоки помогут вам вкатиться в профессию, спрос на которую не падает из года в год. В наборе вы получите: 🐍 Основы Python — 10 уроков, 100+ практических задач, 3 проекта для портфолио. Реальные кейсы: аналитика продуктовых метрик, автоматизация обработки чеков. Спойлер: именно с этого начинается карьера аналитика. 🗄 Основы SQL — 12 уроков, 70 задач на PostgreSQL, оконные функции, финальный проект. Без SQL не возьмут ни на одну позицию, связанную с данными. 🐼 Pandas — библиотека, которую аналитик использует каждый день. ABC/XYZ-анализ, EDA, динамика продаж, реальный проект на данных аптечной сети. Всё это с нуля, с поддержкой в чате и доступом сразу после регистрации. Забирайте, пока не передумали 👉 [Забрать набор курсов]

Кто такой аналитик-калькулятор? Я в Тиньке рассматриваю заявки на повышения для джунов и миддлов. И наверное, самое главное, что я вынес о росте аналитиков – это что нигде уже не любят аналитиков-калькуляторов 🤨 🔘Ты провел A/B тест? Понятно. А ты обсуждал с продактом на этапе проработки гипотезы, что тест может и не надо катить, так как выхлоп маленький? 🔘Ты сделал дашборд? Молодец. А как твой дашборд влияет на бизнес-решения? Какие решения подкрепил твой дашборд? 🔘Ты провел исследование? Кайф. А ты сделал какой-то call to action и проследил, чтобы это привело к изменениям? Или исследование просто в стопочку положили? Я все чаще вижу, как всю рутину, расчеты, дизайны тестов, визуализации делегируют нейронкам. Уже сейчас сам факт того, что аналитик что-то посчитал, не особо роляет. Гораздо чаще звучит влияние, оунершип, работа со стейкхолдерами 🧑‍🍳 Если вы хотите расти внутри своей компании или выходите на собесы, то помните, что посчитал/происследовал/провел АБ не так важны, как то, к чему это привело. Говорите языком проблем бизнеса и вашим влиянием. Даже не обязательно влияние в деньгах, самое главное — это что вы влияете на принятие решений. И чем больше, тем лучше 😎 Классический кото-галстучный пост в рандомный четверг, всем рад! 💼

Геймифицируй это! Жесть, я даже не помню, когда в последний раз делал книжный обзор. И тем более позор мне, что работая в команде Геймификации в Т-Банке, я не рассказывал вам про эту книгу 😶 Приглядитесь к обложке...видите восьмиугольник? Это называется Октализ — очень популярный фреймворк для анализа и управление мотивацией. То, что я напишу дальше будет полезно и аналитикам, и продактам, и маркетологам 🤓 Суть октализа в том, что каждый угол — это один из элементов мотивации клиента (в комментах картинка) ▶️В верхней половине условно "дофаминовая" мотивация: какая-то важная миссия, достижения, творчество. Самый яркий пример важной миссии это Википедия. Там люди бесплатно тратят время и контролят статьи, потому что считают, что это на благо всего человечества. Или возьмем в пример LinkedIn — первую компанию, которая начала использовать прогресс бары при заполнении профиля. Нас это подталкивает, потому что мы хотим кайфануть, достигнув 100%. ▶️В нижней половине "кортизольная" мотивация: страх потери, ограниченность ресурсов, непредсказуемость. Здесь прекрасно ложится DuoLingo: дейлик стрик, который боишься потерять, и сгорающие сердечки. А знаете, что еще отлично ложится? Игорные механики, основанные на удаче и на риске. Про дофамин и кортизол это вольная метафора, я за нейрохимию не шарю. Факт в том, что здесь нет плохой мотивации. Но если вы строите продукт и инвестируйте только в одни углы Октализа, то можете получить просадку по другим и люди не захотят пользоваться вашим продуктом. Это хороший способ проревьюить ваш продукт и ответить на вопрос: не вгоняет ли он клиента в стресс? чувствует ли клиент какое-то позитивное подкрепление? 🤔 Это все напрямую связано с геймификацией. Потому что это не свистелки-перделки, а какая-то механика, которая бьет в мотиваторы по октализу. А если не бьет, то штош...скорее всего эта механика не работает. Ставьте удивленного чела 😳, если было интерено и узнали что-то новенькое, и крутого чела 😎, если ждали возвращения рубрики

А как вы расширяете кругозор? p.s снова продаю клода 😎 Я честно пытался подсесть на подкасты аналитиков и айтишников, смотреть умные видосы про тренды в айти и бизнесе. Пробовал Lenny’s Podcast, видосы Y Combinator, разные интервью с умными ребятами и проблема одна — почему-то не цепляет 😒 Все это требует каких-то лишних усилий и воспринимается как нагрузка, которую после рабочего дня хочется избежать. Теперь у меня решение это проблемы идет по-другому — я общаюсь с клодом. Стоит услышать краем уха что-то новенькое, я сразу бегу в клода. Недавно так было со скиллами, я вообще пропустил это и потом нагонял своими расспросами 🤔 Есть один нюанс — это работает, только если у вас есть здоровое любопытство и желание. Я думаю, это было причиной, почему мне не заходили умные видосы. Этим двигало не любопытство, а желание хаслить и продуктивничать ☠️ Когда мне что-то интересно, я свободно общаюсь с клодиком как с другом и каждый раз узнаю чуть больше о мире. Надо только привычку выработать. И жизнь станет попроще 😶

Сколько аналитиков нужно, чтобы пользователь совершил покупку в 1 клик? Как учили Алису находить лучшие цены? 22 августа в разберём эти и другие вопросы на Welcome Time* — офлайн-встрече с командами Яндекс Поиск и Независимый Ecom. 🗳 Кого ждём: Data-аналитиков и продуктовых аналитиков с опытом работы на Python от трёх лет. На встрече разберём реальные кейсы и расскажем, как устроена аналитика в командах. После докладов вы сможете задать вопросы спикерам и познакомиться с коллегами из индустрии. Для желающих — проведём диагностику навыков по Python и SQL. Интервьюер подсветит сильные стороны и зоны роста. Хороший результат можно будет зачесть как одну техническую секцию, если решите пройти собеседование в Яндекс. ♾ Подробная программа и регистрация: https://yandex.ru/project/events/welcometimes-all

Всегда держите историю в рукаве У меня июль выдался месяцом найма 😳 Было проведено, наверное 10-15 собесов на открытые позиции у меня в команде И есть одна вещь, которую на собесах очень часто упускают или недооценивают. Вот у вас есть опыт, у вас есть харды, вы делали исследования, A/B-тесты и дашборды — но сможете ли вы правильно этот опыт донести? 🤔 Очень часто, когда я задаю вопрос: "Расскажи о проекте, который считаешь самым крутым и значимым?" или "Какая самая челленджовая задача у тебя была за последнее время?" — то кандидаты сразу встают в ступор. Я понимаю, когда долго работаешь, многие задачи сливаются и сложно выделить (сам с таким сталкиваюсь когда подаюсь на повышение), поэтому важно имено ЗаГоТоВоЧкИ 👊 Просто подготовьте перед собесом несколько проработанных историй, которые раскроют ваш опыт в лучшем виде. Формат для этого часто используют STAR (situation, task, action, result), можете прочитать про него, это прям база по подготовке к собесам ✏️ В чем плюс подготовить историю заранее: 🔘 Вы сможете дать контекст за 1 минуту, не размазывая на 10 минут 🔘 Можно сразу подчеркнуть всю техническую сложность, методы, как подходили к задаче 🔘Подчеркнуть умение работать со стейкхолдерами. В идеале, если там даже был какой-то конфликт, который вы разрешили И все! С вас пару часов подготовки, а шансы хорошо пройти собес с нанимающим менеджером уже сильно выше. Вот список самый частотных вопросов, для которых можно истории подготовить:

1) Расскажи про проект, которым больше всего гордишься / который считаешь самым значимым 2) Самая сложная или челленджовая задача за последнее время 3) Проведи меня по A/B-тесту, который ты вёл от гипотезы до раскатки 4) Случай, когда данные показали неожиданный результат — противоречащий интуиции или ожиданиям стейкхолдеров 5) Как ты через анализ повлиял на конкретное продуктовое решение? 6) Ситуация, когда ты не согласился с PM или руководителем — как отстоял позицию и чем закончилось 7) Проект, который не выстрелил или дал нулевой результат — что ты из этого вынес? 8) Расскажи про самую большую свою ошибку? 9) Как приоритизировал задачи, когда их оказалось больше, чем позволяет ресурс?

С вас реакция и тогда у вас в поисках все будет как у кота в галстуке 💼

Пойдете на ИТ-Пикник? Я вот с тех пор как переехал в Москву, каждый год хожу на пикник, потому что это классный способ развеяться в летний денёк 😎 Я конечно люблю вайбово сидеть на травке, болтать и слушать музыку от артистов, но если вы хотите поучаствовать в активностях, то лучше приходить пораньше, чтобы избежать очередей. А еще там будут лекции и воркшопы! В том числе по аналитике! Самое забавное, что я снялся в рекламе ИТ-Пикника, вы даже могли видеть ее в просторах интернета и в вк 😶 8 августа в Москве Вот сайт: it-picnic.ru Приходите! 🥳

Сорри, что не постил две недели собирал лего банкомат 😳 Эту красоту я купил у нас за внутреннюю валюту (мне ведь мало мерча). Но банкомат! Это что-то новенькое. В идеале конечно вообще воспитывать у детей любовь к финтехам именно через такие игрушки. Следующий шаг — купить низкополигональные деньги из gta vice city для домашнего уюта 😎

Ребята, LinkedIn что за зверь вообще 💼 Признаюсь честно — я всегда думал, что линкедин это про corporate brainrot slope и это просто смешно. Вся соцсеть ощущалась по вайбу, как что-то среднее между microsoft teams и skype Вы и без меня понимаете, сколько мемов было про эти вылизанные посты и «what divorce with my wife taught me about B2B sales» 😶 Но оказалось алгоритмы работают 😳 (невероятно) Пару месяцев периодически и захожу, и вот уже: 🔘Посты написанные с душой про интересности корп мира 🔘Холивары, про разные кейсы из мира найма (например, тот случай, когда девушке отказали, потому что в тг у нее на аватарке был мем с матами) 🔘Посты, которые комментят всякие лиды аналитики из топ бигтехов по миру 🔘Реально попадают посты с релевантными вакансиями. У меня каждый день кто-то из моих коллег тинькофцев постит, что ищет себе в команду аналитиков Ура, теперь еще одно место, куда я могу зайти с утра подумскроллить 🥳

⚡ Почему аналитики данных так востребованы и как стать аналитиком в 2026 году? Большинство новичков совершают одну и ту же ошибку: учат всё подряд. SQL, Python, Power BI, статистика… Но работодатели оценивают кандидатов не только по базовым навыкам, но и по другим критериям. Из-за этого многие месяцами рассылают резюме и получают только отказы или полное игнорирование. Андрон Алексанян - аналитик с опытом 9 лет и СEO Симулейтив проведет бесплатный урок и покажет, как выглядит путь к первой работе аналитиком в 2026 году. Вы узнаете:

🔶Какие навыки действительно проверяют на собеседованиях; 🔶Что должно быть в портфолио, чтобы его открывали работодатели; 🔶Почему многие резюме аналитиков сразу отправляются в отказ; 🔶Как искать работу без коммерческого опыта; 🔶Какие преимущества есть у кандидатов после 30, 40 и даже 50 лет; 🔶Какие ошибки чаще всего мешают получить первый оффер.

Дополнительно на эфире разберем реальные примеры резюме и портфолио кандидатов, которые смогли пройти отбор. 🎁 ПОЛУЧИТЕ 3 КУРСА (PYTHON, SQL, PANDAS) В ПОДАРОК ЗА РЕГИСТРАЦИЮ НА ЭФИР! Эти курсы - база для того чтобы вкатиться в профессию! Если вы хотите войти в аналитику и перестать тратить время на лишнее обучение — этот урок поможет понять, на чем действительно стоит сосредоточиться. 🛎️Регистрируйтесь, эфир совсем скоро!

Давайте чуть-чуть лингвистики Пару месяцев назад я за час навайбкодил себе бота для перевода слов с инглиша на русский Супер легкий бот, который делает максимально простую вещь — обычный переводчик. Зачем я его сделал? Яндекс переводчик очень плохо работает, вылетает и тормозит с впн'ом, меня это бесило 🤔 Тем не менее, я дал своему боту еще одну прикольную фичу — для каждого слова он определяет его частотность по Zipf Scale. Это что еще за зверь? Приготовьтесь, я к вам снова с аналитикой 🧑‍🍳 Джордж Ципф, лингвист из Гарварда еще сто лет назад увидел интересную закономерность: частота слова оказывается обратно пропорциональна его рангу. Второе слово используется в два раза реже первого, а третье в три раза меньше и так далее. В английском «the» занимает ~5–7% всего текста, дальше идёт крутой обвал и очень длинный хвост 😳 Объяснял он эту закономерность обычной ленью — ведь это компромисс между ленью говорящего (хочется одно слово на все случаи) и ленью слушающего (хочется отдельное слово на каждый случай). Равновесие этих двух сил, мол, и дает степенное распределение 😶 А совсем недавно, в 2014 лингвисты вывели Zipf Scale, где по формуле определяют, сколько раз слово появляется в 1,000 рандомных слов, в 10,000 рандомных слов, в 100,000 рандомных слов и тд. Здесь такая же ранговая логика, только завернутая в логарифм. Эта фича помогает мне забивать на очень редкие слова и запоминать частотные слова, которых я не знал 👊 Все это дело я потом закидываю в приложуху, где создаю карточки с английскими словами (я использую Noji, но есть еще бесплатная Anki). С момента создания бота я выучил 175 новых слов, что для моего C1 немало! 😎 Можете тоже попользоваться! @fellow_dicky_bot

От идеи до продукта: научитесь управлять всем циклом вместе с Авито и НИУ ВШЭ Как превратить гипотезу в востребованный продукт? Какие решения помогают бизнесу расти? Как понять, что действительно нужно пользователю? Ответы на эти вопросы вы найдёте на магистратуре «Управление продуктом в ИТ-бизнесе» от Авито и Высшей школы бизнеса НИУ ВШЭ. Кстати, больше половины мест оплачивают Авито, поэтому оно точно стоит того! Во время обучения вы освоите самые важные навыки, которые ежедневно используют продакт-менеджеры Авито. И главное! Студенты программы смогут попробовать пройти отбор на стажировку в Авито уже во время обучения. Оставьте заявку по ссылке и подайте документы до 8 августа, чтобы принять участие в отборе на программу Авито и НИУ ВШЭ!

Что делает техническую секцию стрёмной? За свои 5 лет в аналитике я много собесился и много собесил — выработалось понимание, что точно булщит и душниловка. Хочу с вами поделиться наблюдениями! ▶️Душнить за синтаксис Ох, сколько я задачек порешал по SQL и Python за все свои собесы. И я скажу честно — когда начинают душнить за синтаксис у меня очень портится впечатление о компании (все таки интервьюер — это лицо компании в процессе отбора) 👀 Можно забыть, что писать внутри функции date_trunc() или как достать элементы словаря в питоне. И это не критично — потому что лечится одним запросом в гугле. Важнее, что ты понимаешь, что делаешь, а не случайно пропускаешь запятую. Если вы интервьюер, просто укажите на неточность в синтаксисе и идите дальше. В дивном новом мире клода мы сложный код уже давно не пишем сами, таковы реалии рынка. Спрашивайте понимание, а не синтаксис 👊 ▶️Душить теорией и задачками Я не решу сейчас ни одной задачки на монетку, светофор или еще какую-нибудь фигню. Просто потому что я не работаю в отделе подбрасывания монеток. И на работе не кубики бросаю, а стараюсь денег бизнесу заработать 😶 Хотите проверить знания теории? Дайте одну из задачек на нестандартные АБ-тесты, подсуньте кандидату парадокс Симпсона, попросите объяснить продакт менеджеру зачем нужна ЦПТ 🧑‍🍳 Эти задачки на шарики и кубики просто не раскрывают то, что сегодня мы ищем в идеальных кандидатах (и в конце концов задачи можно просто нарешать и тогда они будут плохой проксёй к реальным знаниям) ▶️Гонять аналитика по алгоритмам Мне кажется, круто знать питон на уровне дюжины базовых конструкций и уверенно рулить Pandas — вот это рабочий скилл. Но прогонять сложные алгосы и еще чтоб прожаривали за "О большое" (вычислительная сложность алгоса) и оптимальность, ну это ту мач. Бог с ними с алгоритмами, вот у вас есть вакансия и там ты примерно понимаешь стек. Есть позиции, где в разных пропорциях Python, SQL, ML, A/B-тесты и все остальное. Вот и было бы круто делать упор на разные вещи, а не всех по дефолту гонять через питоновские задачи. Угадайте, какая крупная компания частенько собирает 3/3 🤨 Я за отбор без фанатизма, я за здравый смысл и здоровый найм 🎧

Какие еще харды бывают у аналитика Я вот часто пишу про A/B тесты, продуктовое мышление, статистику и метрики — а один пласт хардов все время упускаю Я говорю про харды в DE (Data Engineering). Я по работе часто общаюсь с DWH и конечно бывает сложновато общаться с ними на одном языке Разбираться в дата-инжиниринге очень полезно. Сразу расширяется скоуп возможных компетенций для отбора по вакансиям И я конечно не пишу вам это просто так, у меня конкретное предложение) У меня есть друг Дима Кузьмин и он дата инженер. Наш первый совместный пост вышел еще в далеком 2024, с тех я его читаю и это помогает как минимум оставаться в контексте Рекомендую вам зайти на его канал и глянуть интересные материалы: ▶️ Про 5 важных SQL проверок данных ▶️ Про путь данных от источника к витрине ▶️ Кайфовая статья про SQL собеседования на Stepic ▶️ И статья о том, какой карьерный путь у DE специалистов Будем растить экспертизу не только вглубь, но и вширь! 🧑‍🍳

Какие еще харды бывают у аналитика Я вот часто пишу про A/B тесты, продуктовое мышление, статистику и метрики — а один пласт хардов все время упускаю Я говорю про харды в DE (Data Engineering). Я по работе часто общаюсь с DWH и конечно бывает сложновато общаться с ними на одном языке Разбираться в дата-инжиниринге очень полезно. Сразу расширяется скоуп возможных компетенций для отбора по вакансиям И я конечно не пишу вам это просто так, у меня конкретное предложение) У меня есть друг Дима Кузьмин и он дата инженер. Наш первый совместный пост вышел еще в далеком 2024, с тех я его читаю и это помогает как минимум оставаться в контексте Рекомендую вам зайти на его канал и глянуть интересные материалы: ▶️ Про 5 важных SQL проверок данных ▶️ Про путь данных от источника к витрине ▶️ Кайфовая статья про SQL собеседования на Stepic ▶️ И статья о том, какой карьерный путь у DE специалистов Будем растить экспертизу не только вглубь, но и вширь! 🧑‍🍳

А ведь хорошо за МКАДом... но только когда ездить на работу не надо каждый день 😶 Вот шутки шутками, а я полгода уже живу достаточно далеко от центра. То, что я живу за мкадом, это я конечно сильно сказанул. У меня в трех минутах метро, шатаут метро Физтех 😎 Это было прям выигрышным решением, я считаю. Во-первых, здесь просто под окном бескрайний лес и конец Капитолия, на выходных даже тяги нет ездить куда-то, когда можно погулять и на районе Во-вторых, очень выгодный размен доп квадратных метров на деньги. В самом городе, сколько не смотри, везде за оверпрайс эти евродвушки, где из рабочего места только модный журнальный столик...💻 (арендадатели жилья среднего класса подумайте о целевой аудитории, это часто айтишники). Наличие рабочего место это часто было блокирующим фактором при поиске жилья 👊 Ну и в третьих, конечно не так шумно. Звуки машин меня убивают, честное слово, а адреса с окончанием на "шоссе" или "проспект" вызывают тряску. Окно во двор — это одновременно и московский роскошный максимум, и название крутого фильма Хичкока, который я очень рекомендую Я планирую все дальше по жизни отъезжать от МКАДа, в следующий раз, надеюсь, это будет Италия, а потом может еще дальше, кто знает 😎

Ищу продуктового аналитика в Т-Банк! Вот так вот, да! Теперь я сам нанимающий менеджер, которому нужно найти талантливых аналитиков к себе в команду — и где искать, если не в этом канальчике! 😎 Я лидирую команды, которые занимаются экосистемным вовлечением — мы пытаемся сделать клиентов лояльными и активными 😀 У меня есть два трека, куда я нанимаю ▶️ Геймификационные механики

Даем клиентам игровые задания в разных форматах по всему Мобильному Банку Задача — дать в нужное время нужному клиенту нужное задание — чтобы максимизировать профит банка

▶️ Вовлечение и кросс-продажи

У нас есть десятки нативных форматов в Мобильном Банке и через них мы продвигаем наши продукты: от баннеров до интерактивных бабблов. Задача — сделать эти форматы еще более эффективными

Идеальный профиль кандидата: — Умеете в SQL и Python — Матстат для A/B тестов — Продуктовое мышление (сможете из головы назвать для любой компании 10 продуктовых метрик и приведете примеры 1-2 инициатив, чтобы их поднять) — Быстро учитесь) Что будем делать: — Много A/B тестов — Продуктовые ресерчи — Дискавери и поиски инсайтов из данных Больше про задачи продуктового аналитика и стек можете на лендосе почитать Опыт работы: Приоритетно на вакансию смотрим кандидатов 2+ опыта работы, но если у вас даже чуть меньше, но вы чувствуете, что мы с вами смэтчимся, то пишите 😎 (кстати если у вас есть лидовский опыт, то тоже пишите, такое нужно!) Все сюда — @senatorous Обнял!

A/B без A/B (ч.2) В прошлом посте я рассказал про разные способы проводить А/В тесты без А/В тестов, но остался подвешенным вопрос — а когда эти методы нужны вообще? А/В тесты лучше всех, так давайте всегда использовать — а вот нет 😶 Топ причин, почему мы не сможем провести A/B тест: ▶️Этика/законы В мире денег и такое встречается)) Говоря технически, мы не всегда можем выделить рандомный контроль/тест для которых мы: отключим кэшбэки, ухудшим цену, насуём багов, или сделать сотрудников поддержки грубиянами. Классический пример: нельзя заставить людей курить, чтобы доказать вред курения (поэтому социальные исследователи изощряются с другими методами Causal Inference) ▶️Неделимый тритмент — нельзя раскатить на часть Тритмент (treatment) — это наше воздействие. И часто мы не можем воздействовать на Ваню и скрыть воздействие от Серёжи. Это часто бывает с ТВ-рекламой, ребрендингами, новыми законами, новыми комиссиями — в общем чем-то глобальным. И мы не можем это глобальное разбить на куски для честного А/В теста 🔪 ▶️Крупная единица и мало наблюдений Вы раскатили вашу фичу на 5 городов-миллионников. Ваша единица наблюдения — это не 5млн человек, это просто 5 (городов). Тут стат-критерии посмеются только 😳 У нас в Тиньке я как-то погружался в аналитику банкоматов. Там с единицами наблюдения и А/В тестами все тоже очень несладко Для гео-методов хорошо могут сработать Synthetic control, Matched market testing (когда находим «близнецов» по городам), а если изоляция по гео невозможно, можно попробовать разбивать по времени — это метод Switchback ▶️Интерференция и сетевые эффекты Представьте, вот вы раскатили фичу и клиенты из тестовой группы «заражают» клиентов из контрольной. — Один рассказал своим друзьям о новой промоакции, а они были в контрольной группе — Два кореша переписываются, но у одного из них вместо нового эмодзи отправляется ⍰ — Представьте, что водители Uber из теста и контроля дерутся за один пул клиентов. Из-за фичи одна из групп может отжирать клиентов у другой и оценить эффект может быть сложнее. Неважно: сетевые эффекты, баг, двухсторонние рынки — интерференция генерится по ряду причин, и это может мешать честному А/В ▶️Слишком дорого делать контроль На самом деле частная причина на практике! Часто на ухудшающие тесты надо перелопатить всю айтишную архитектуры, чтобы отключить клиенту какие-то фичи. Или при разработке новой сложной фичи предусмотреть, чтобы она не работала у части людей — может стоить очень дорого в человеко-часах разработки. И тогда надо просто трезво оценить профит от полученных знаний и риски. И если цена разработки выше, то забить и применить другие методы Causal Inference Мир А/В тестов полон неожиданностей! Третьей части не будет, лонгриды жесть. Я подумаю, что еще накопать в А/В, а с вас наш аналитик-поваренок за пост! 🧑‍🍳🧑‍🍳🧑‍🍳