Коммуналка аналитиков

Ежегодное исследование Хабра и ЭКОПСИ Голосование за лучшего IT-работодателя. В прошлом году его прошли 34 000 человек, 90% из которых — мидлы и специалисты более высокого уровня. Итоговые цифры отражают реальную ситуацию на рынке. Детали опроса 2025 года можно найти в статье. Для нас это важный рейтинг, он показывает, как нас воспринимают в профессиональном сообществе. Два года подряд мы в топ-3 — это приятно и мотивирует не сбавлять темп. Голосование занимает 6–9 минут. Поделитесь вашим мнением! ⬇️ Выбрать лучшего работодателя в IT

Раньше главной проблемой аналитиков было отсутствие данных. Мы строили логирование, собирали события, запускали A/B-платформы, внедряли BI. Казалось, чем больше данных, тем лучше мы понимаем продукт. И, кажется, немного перестарались. Сегодня данных так много, что иногда мы начинаем изучать их вместо самого продукта 😬 Мы знаем конверсию на каждом шаге, можем разложить любое изменение по сегментам и построить ещё десять разрезов. При этом можем месяцами не проходить пользовательский сценарий, не читать обращения в поддержку и не замечать, что продукт стал сложнее или непонятнее. Идея data-driven в последние несколько лет стала настолько навязчивой, что данные начали восприниматься как последняя инстанция. Если цифры подтверждают решение — значит, оно правильное. Если не подтверждают — обсуждать нечего. Но данные — лишь один из ключевых аргументов. Часто самый сильный, но не единственный. Они хорошо показывают, что сделал пользователь, и гораздо хуже объясняют, почему он так сделал и что изменилось для него в продукте. Поэтому иногда полчаса внутри собственного продукта или несколько разговоров с пользователями дают больше, чем ещё один разрез метрики. Не вместо данных, а чтобы вернуть им контекст. А у вас данные помогают принимать решения или уже принимают их за вас? 🔥 — я главный! 👀 — вот блин #АртемК

Свежий сборник ценнейших рекомендаций от аналитиков Авито 🧐 Всем привет! С вами хардворкер-Вика, делюсь советами продуктивного дня) Бывает такое, что устала, хочется отвлечься от работы, попить кофеёк, перекинуться парой слов с коллегами. Но не хочется, чтобы весь рабочий день превратился в сплошное чаепитие. Что же делать, чтобы не угробить целый день «на кофеёк»? Да фиг знает, если вы думали увидеть тут полезный пост, то ошиблись 🥹 Я не тот человек, кто будет советовать пропускать поболтушки за чашечкой кофе с коллегами 😘 А дальше это текст, чтобы пост не казался слишком коротким. Ля-ля-ля-ля, бу-бу-бу-бу-бу, ыыыыыыы, пупипупипупипу, авито тоооооп, кек кек кек, эчпочмак, лабрадор А, и вот ещё, и ещё один абзац, чтобы текст не казался коротким. Папипапупауа, чиназееес, скибиди папа, скибиди папапапа, скибиди пайпупу, скибиди пупу Ну вроде не слишком короткий пост получился, достаточно Поддерживаете? 🔥 — если согласны 👀 — если нет

Идеальный аналитик Привет! Мы довольно много рассказываем про наш взгляд на аналитику, а сегодня хотим спросить вас: 💗 Кто для вас идеальный достойный аналитик? 💗 Какие качества вы больше всего цените в себе и хотели бы видеть в коллегах аналитиках?

Оффер на Senior Data Science роль за неделю — реально? 🚀 Да. Авито запускает Fast Track — ускоренный отбор для Senior и Senior+ Data Science специалистов. Одна неделя на все технические этапы и финал → оффер в классифайд №1 в мире по количеству пользователей. 🗓 Основные этапы — 20–26 июля. Регистрация открыта до 15 июля. Как проходит: 🔵 До 15 июля — заявка + HR-скрининг 🔵 До 24 июля — техническая секция (ML-теория + Python) 🔵 25 июля — ML System Design 🔵 26 июля — финал 🔵 До 28 июля — оффер Преимущества фаст-трека: 🔵 Быстрый отбор и совмещённые этапы 🔵 Все даты известны заранее 🔵 Возможность оценить свои скилы — результат закрепляется на год Кого ждём: 🔵 От 4 лет опыта в крупных российских и международных IT, BigTech и FinTech компаниях 🔵 Полный цикл разработки моделей — от ресёрча до выкатки в прод 🔵 От 1 года самостоятельного лидирования проекта, автономность и инициативность Команды на выбор: антифрод и модерация, монетизация и реклама, поиск и рекомендации, вертикальные DS-команды. 🔔 Регистрация — до 15 июля. Успей оставить заявку → Рекрутеры проведут тебя через все этапы за рекордные сроки.

Скоро будет суперпати 😎 На горизонте видно AVITO.TECHNO! Ждём вас на жарком ИТ-рейве: выступают коллеги из AvitoTech, Ozon и Т-Банка, а также приглашённые артисты.

В лайнапе ⚡️THE DAWLESS ⚡️LAVBLAST ⚡️BÖRIS REDWÄLL ⚡️SALAMÉ ⚡️РЕСПЕКТ АГЕНТСТВО (Dj-сет) ⚡️Коллеги из AvitoTech, а ещё из команд Ozon и Т-Банка ⚡️⚡️ и BiiCLA!

Никаких докладов — только биты, коктейли и танцы до утра. Где: ДК Кристалл Когда: 17 июля Условие: зарегистрироваться 💗Мест немного, так что торопитесь 💗

Вчера начался плей-офф чемпионата мира по футболу. Первый в новом формате с 32 командами в играх на выбывание. До старта ЧМ расширение до 48 команд многие критиковали: ждали затянутого группового этапа и большого количества проходных матчей. Но именно благодаря новому формату есть место сенсациям. Например, в плей-офф вышла сборная Кабо-Верде — дебютант турнира теперь сыграет с Аргентиной. Есть и менее очевидный эффект. Раньше будущему чемпиону нужно было выиграть четыре матча на выбывание, теперь — пять. Представим сборную, которая в каждом матче плей-офф побеждает с вероятностью 80%. Четыре победы подряд (все же помнят правило умножения вероятностей?): 0,8⁴ = 41% Пять побед подряд: 0,8⁵ = 33% Один дополнительный матч снижает вероятность чемпионства примерно на 20% относительно прежнего шанса. Если вероятность прохода каждого раунда составляет 70%, получаем уже 24% против 17%. Конечно, это упрощённый расчёт: соперники и погодные условия разные, от сетки плей-офф и усталости игроков тоже многое зависит. Но принцип сохраняется. Чем больше раундов на выбывание, тем выше шанс, что фаворит хотя бы один раз не реализует своё преимущество. Удаление, пенальти, травма лидера или плохая реализация и турнир закончен. Поэтому новый формат одновременно даёт маленьким сборным больше шансов на свою историю, а фаворитам — ещё один матч, в котором всё может пойти не по плану. Для команд это, конечно, дополнительный риск, зато для зрителей — ещё один шанс увидеть сенсацию. А за кого вы болеете на этом ЧМ? 🔥 — за фаворитов ⚡️ — за андердогов 🐳 — за hydration break

Как не надо делать Привет, я Лёша Авраменко, acting Division Lead в Авито Услугах, и вот мои 5 тимлидовых факапов, которые стараюсь не повторять: 🍻 Не ставил 1-1 с сотрудниками. Это было ещё до Авито, и культуры 1-1 там не было. А значит, я упускал возможность узнать о проблемах команды. Сейчас у меня постоянные 1-1 с каждым аналитиком в команде. 🕸️ Спросил о рабочих задачах в соцсетях. В начале тимлидового пути я где-то между рилсами спросил у аналитика какой-то рабочий вопрос и не придал никакого значения случившемуся. Уже позже на 1-1 я узнал, что так лучше не делать и оставить для рабочих вопросов рабочий мессенджер, потому это аналогично рабочему звонку в выходные. Даже рилс про это снял! И с тех пор душню только в Маттермосте =) 🕵️ Челленджил аналитика на общей встрече. Делал я это с целью найти оптимальное решение для проблемы, однако аналитик воспринял всё как публичную критику его работы. Об этом я также узнал позже на 1-1, и мы договорились критичные моменты обсуждать до общей встречи. 🚴 Не сказал сразу, что аналитик делает ненужную фигню. Я не хотел расстраивать, поэтому смягчал формулировки. В итоге часть времени потратили впустую. Теперь я стараюсь говорить более ясно и однозначно, но при этом поддерживать сотрудника, чтобы вместо самозакапываний он сфокусировался на новом решении. 💖 Не хвалил за «обычную» работу. Это одна из самых сложных вещей для меня, но сейчас я хотя бы осознаю это. Всем хочется похвалы за работу, а моего мимолетного «спасибо» было решительно недостаточно. Теперь я периодически выделяю время, чтобы даже в текущей работе найти за что поблагодарить. Какой вывод из всего этого? Ошибиться — это нормально. Но важно понять, где ты ошибся! А для этого надо настроить взаимодействие с командой и явно запрашивать обратную связь. А какие ошибки в отношениях с командой были у вас?

Сейчас в Авито проходит цикл полугодового перформанс ревью, поэтому сегодня я даю вредные советы, как его завалить. Поехали 🚀 1️⃣ Постарайся поругаться со всеми заказчиками Выстраивать хорошие отношения нам ни к чему. Советы, как выбесить заказчиков, я давала здесь. 2️⃣ Не открывай матрицу компетенций Ни в коем случае не сверяйся с матрицей в середине полугодия, чтобы убедиться, что ты не проседаешь по компетенциям своего грейда. Иначе у тебя будет время что-то улучшить к ревью, и ты не сможешь его завалить — с ума сошёл? 😀 3️⃣ Никогда не проси промежуточный фидбэк Есть сомнения по своей работе в проекте? Ни за что не проси обратную связь у заказчика или руководителя — наверняка они бы её уже дали, если бы хотели. Пусть этот фидбэк будет сюрпризом на ревью, сюрпризы мы любим! 4️⃣ Не управляй своей нагрузкой Тебя завалило эдхоками и из-за них вообще не успеваешь заниматься проектом из ОКРов? Делаешь задачу от самого громкого заказчика и поэтому профакапил сроки по всем остальным задачам? Ни в коем случае не пытайся что-то с этим сделать, не подсвечивай проблему руководителю. Грамотное управление ожиданиями и выстраивание приоритетов никому не интересны. Ты ведь был чем-то занят всё это время, ну и что, что результатов нет 😩 5️⃣ Постарайся просто плохо работать Знаю, это самое сложное, но при желании ты сможешь 💅 А у вас все перф ревью проходили гладко или иногда грешили чем-то из этого? ❤️ — я прохожу ревью как по маслу 💔 — иногда грешил #МашаАн

💘💘💘💘 💘💘💘💘💘 💘💘💘 Всем привет, напоминаем, что скоро начинаем трансляцию. Разберём распространённые вопросы, которые появляются перед отбором в Академию Авито. Встречу ведут преподаватели Академии: 🖇 Дима Кротов 🖇 Алина Щукина 🖇 Миша Пирожков Когда: сегодня в 17:00 Где: онлайн, в Контур Толк Подключайтесь! ⬆️

Испытательный срок? Нет, полноценный движ 🔥 Всем привет, меня зовут Никита Егоров, и я новый аналитик в направлении запчасти. Кто-то может меня знать как автора канала Дата аналитикс. Здесь уже многие рассказывали о продвинутых методах анализа, АБ-тестах и задачах аналитика, а я захотел написать, как проходит мой Испыт 😀 Первое, на чём был фокус — вкатиться в продукт, понять домен, разобраться в нюансах запчастей, процессах, людях и том, как здесь вообще принимаются решения. Но у меня этот онбординг как-то очень быстро перестал быть просто испытательным сроком и начал превращаться в полноценный движ ✨ 1️⃣ Уже успел пробежать полумарафон 21.1 км от лица Авито за 1ч 48м. А впереди ещё марафон 42.2 км на белых ночах в Питере! 2️⃣ Съездил на стратсессию в Казань с командой. 3️⃣ Сгонял в горы Дагестана на границу с Азербайджаном и захватил туда флаг Авито. Да, это тоже часть моего онбординга, получается 🤩 4️⃣ Написал пост про удалённую работу в основном канале Avito team. 5️⃣ Успел залететь на внутренний курс по машинному обучению от очень сильных ребят. Параллельно основным задачам развиваю подкаст-направление. Это мой искренний интерес и точка роста. Сейчас в копилке 2 подкаста и интервью с ребятами из Авито, а ещё я пишу 3 статьи для Хабра. Планируем масштабировать! Активности прекрасны, но главное, я попал не только в команду профессионалов, но и в круг замечательных людей! 😺 А хороший онбординг — это возможность влиять, пробовать новое и чувствовать, что находишься на своём месте. Поэтому могу сказать уверенно: Гори идеями и жизнью — и ты зажжёшь сердца других. А Авито будет ветром для твоего огня 💓 #Никита_Е

Приходите к нам учиться Привет, на связи Миша — старший аналитик в команде медиамаркетинга. Сегодня хочу пригласить вас в Академию Авито. Это ежегодная бесплатная программа, на которой мы готовим аналитиков данных и Data Science-инженеров. Во время обучения вы сможете: 🖇 учиться у настоящих экспертов и сотрудников Авито; 🖇 решать реальные кейсы и прокачивать скилы; 🖇 получать рекомендации и советы от личного ментора; 🖇 развиваться в комьюнити единомышленников; 🖇 пополнить портфолио кейсами с программы после завершения. В этом году я веду техническую часть набора в Академию и хочу помочь вам пройти путь поступления с максимальным комфортом ❤️ Чтобы вам было проще, мы запланировали прямой эфир, на котором разберём всё, что обычно вызывает больше всего вопросов перед отбором: 💚 как в этом году изменятся тестовый и экзаменационный этапы; 💚 что будет с прокторингом и как к нему подготовиться; 💚 какие задачи могут встретиться на каждом этапе; 💚 какой уровень сложности ждать; 💚 какие темы стоит повторить заранее; 💚 как понять, какой трек подходит именно вам. Если сомневаетесь, какой трек выбрать, не уверены, что вашего бэкграунда достаточно или просто хотите узнать больше об Академии, — приходите на эфир 22 июня в 17:00. Разберём ваш путь в Академию вместе с экспертами Авито! 💓 Подключайтесь по ссылке и задавайте вопросы 💗 Учёба начнётся 1 сентября, НО подать заявку можно только до 2 июля! Подать заявку на поступление

🌻 Этой весной я проходила курс по управлению командой от Яндекс Практикума, а предыдущей весной — внутреннюю менеджерскую программу Авито. Так зачем же я пошла учиться менеджменту снова? И нет — не потому, что не усвоила всё с первого раза. Скорее наоборот: программу Авито я закончила в топ-3 студентов потока. Просто взрослые учатся немного иначе, чем дети. 💚 Есть такая штука, как петля Колба. Она объясняет, почему одного курса или книги почти всегда недостаточно. Петля состоит из 4 этапов 1️⃣сначала что-то пробуешь на практике; 2️⃣ потом останавливаешься и разбираешь, что получилось, а что нет; 3️⃣ затем формулируешь для себя вывод: «в следующий раз сделаю иначе»; 4️⃣ наконец, снова идёшь в реальность и проверяешь новый подход. А дальше — снова по кругу. И ещё. И ещё. В этом смысле обучение взрослого человека выглядит как спираль: вроде возвращаешься к тем же темам, но уже на другом уровне ⬆️ Сначала обратная связь — это слайд в презентации, а через год — уже реальные разговоры. Давайте покажу, как это работает на моём примере. Первый круг весной 2025-го Когда я пришла на курс в Авито, управленческого опыта у меня практически не было. Инструменты звучали логично, фреймворки — стройно, кейсы на занятиях — убедительно. Я внимательно конспектировала, разбирала задания и старалась впитать как можно больше нового. Мы изучали теорию, разбирали кейсы и отрабатывали инструменты в группах. Учились ставить задачи по SMART, обсуждали мотивацию сотрудников, давали друг другу обратную связь по модели SBI и разыгрывали сложные управленческие ситуации. На занятиях всё выглядело понятным, а теория — стройной. Но смысл этих инструментов я поняла только тогда, когда начала применять их в работе. Второй круг весной 2026-го Спустя год на курсе Практикума те же самые темы — обратная связь, мотивация и конфликты зазвучали совершенно иначе. 💗 За год появился опыт, которого мне не хватало на первом курсе. Были удачные и неудачные решения, сложные разговоры, ошибки и выводы из них. Мы снова разбирали кейсы и обсуждали управленческие ситуации. Но теперь за каждым примером из презентации стояли реальные ситуации из собственной практики. То, что год назад казалось просто хорошей теорией, стало узнаваемым опытом. И тогда я поняла, почему одного курса почти никогда не бывает достаточно. Между первым и вторым кругом должно произойти самое важное — практика. Именно она превращает идеи из презентации в собственный опыт, а опыт — в понимание. А вам приходилось возвращаться к темам, которые когда-то уже изучали? Что изменилось во второй раз: материал или ваш собственный опыт ❓ #Даша

Как оценить эффект от концерта Макса Коржа 📢 В прошлую субботу я жёстко отжигала под «Малый повзрослел» Макса Коржа на стадионе в Стамбуле. Потом мы с друзьями-аналитиками гуляли по столице Турции и видели, как из-за десятков тысяч фанатов изменился туристический контингент. Задумались, а можно ли оценить влияние концерта на экономику города? 🤔 Вот если есть данные и задача (но последнее и не обязательно ): ❓ Что измерять. Точно не экономику всего Стамбула. Здесь живут 16 млн жителей, поэтому эффект от концерта утонет в шуме. Лучше оценить выручку отелей, кафе, такси и метро в городе и, может, сузить список до района, где находился концертный стадион. ❓ Как измерять. Сравнить до и после? Не, в Стамбуле как раз начинается туристический сезон, поэтому продажи в отелях и кафе растут и так. Вот что можно: 💚 Сравнить динамику выручки с прошлым годом в этот же период. Так нивелируем сезонность, но упустим другие события в городе. 💚 Собрать синтетический контроль: взять похожий город и сравнить динамики. Хорошего двойника я не знаю, поэтому строим «синтетический Стамбул» из Дубая, Еревана, Барселоны и смотрим, насколько выручка отелей отклонилась в дни концерта по сравнению с оригинальным Стамбулом. 💚 Сравнить районы внутри города. Самый доступный вариант, т. к. один город, погода, сезонность и макроэкономика. Берём районы у стадиона и на окраине, а затем смотрим на разницу в их динамиках. По сути, это difference-in-difference, только внутри города. Думаю, идеального метода нет, потому что качественное исследование — комбинация выводов из разных моделей. ‼️ Так-то подобные мысленные эксперименты давно стали реальными исследованиями Эконометристы изучали эффект Октоберфеста и Супербоула на отелях. А в 2025 году вышла работа про туры Тейлор Свифт: авторы использовали динамический DiD на данных по 30 американским городам (про такой DiD писала в предыдущем посте). Доказали, что в дни концертов выручка отелей выросла на ~ 45%. 💞 на карточке к посту на полном серьёзе регрессия с переменными «Тэйлор Свифт», «Бейонс», «Эд Ширан» и др. из исследования выше 😍 😎 — если рады, что я была на концерте Макса Коржа Ну и перекличка в комментах фанатов)) ⬇️ Я начну: «Горы по колено, если держишь шаг» #Вика

Как конкретно съесть слона 🐘 Чем выше ты поднимаешься по грейду, тем меньше тасок формата «посчитай метрику» и больше — «разберись, что происходит». Задачи становятся крупнее, неопределённость растёт. В какой-то момент я столкнулся с проблемой, что, решая большую задачу, стараюсь думать сразу обо всём и просто тону в этой горе рассуждений. В итоге задача не двигается, а напряжение нарастает. Пришлось подойти к вопросу более системно и найти решение. Что делаю теперь: 📍 Бью задачу об коллег. Самое простой и недооценённый подход. Прежде чем лезть в данные, иду к тому, кто рядом, и проговариваю задачу вслух, рассказываю, что хочу посмотреть. Половина вопросов решается тем, что я сам понимаю недостатки предложенного решения, остальное разрешает взгляд со стороны. 📍 Декомпозирую на бумаге, а не в голове или в Jira. В голове задача крутится бесконечно и кажется огромной. На бумаге она внезапно структурируется, оказывается вполне понятной, а каждый из базовых шагов можно сделать за пару часов (если не за 10 минут). Про декомпозицию говорят все, но меня спасла именно бумага. 📍 Представляю, что советую это другому. Магия в том, что чужую задачу мы решаем легко, а в своей тонем. Поэтому спрашиваю себя: «Если бы это принёс джун — что бы я ему сказал первым делом?» Сразу всплывает очевидное: «сначала посмотри, не сломался ли сбор данных, прежде чем строить теорию заговора». Дистанция включает здравый смысл. Все же помнят, как мы другу даём лучшие советы, которыми сами не пользуемся? Здесь то же самое. Проблема в том, что ты пытаешься удержать всё в голове и решить в одиночку. Из этого замкнутого круга легче всего выйти в самом начале, пока глаз ещё не замылился. А у вас какой ритуал, когда прилетает крупная задача? Что первым делом — кофе, бумага, коллега? Делитесь в комментариях ⬇️ Хочешь, соберу эти рекомендации в таблицу, чтобы можно было распечатать и повесить на рабочее место? 😀

Если бы дата-функции были персонажами из «Смешариков» 💗 Всем привет, на связи Армен. Аналитику часто описывают через инструменты и процессы: SQL, AB-тесты, дашборды, модели, пайплайны, витрины. Но если честно, дата-команда — это же не только инструменты, но и характеры. Один постоянно несёт новые гипотезы. Другой не может спокойно жить, пока в двух отчётах разные цифры. Третий чинит пайплайн с лицом человека, который уже преисполнился в этом мире. В этом смысле аналитика очень похожа на мультик: есть разные персонажи, у каждого своя роль, свои суперсилы и свои способы немного бесить остальных. Так что пробуем новый формат: мультики глазами аналитиков. Первый выпуск — про дата-функции. Листайте карточки и ищите себя ⬆️ 💞 Дополнительную пару карточек найдёте в комментариях

Принесли вакансии Собрали несколько карьерных возможностей для тех, кто хочет работать в Авито. Руководитель команды аналитики Авито Работы Главная задача — развивать платформу для работодателей и соискателей, чтобы им было удобно находить друг друга. Что будете делать: 📍Руководить командой из 6 аналитиков. 📍 Адаптировать общеплатформенные антифрод-системы под специфику объявлений о работе. 📍 Создавать модели взаимодействия работодателей и соискателей, чтобы оптимизировать монетизацию. Откликнуться → Старший аналитик данных в команду Маркетинга Здесь надо работать над телевизионной, цифровой и наружной медиарекламой. Что будете делать: 📍Разрабатывать систему оценки долгосрочного влияния медиа на бизнес через бренд-метрики и свяжете их с выручкой, 📍Участвовать в создании LLM-фреймворка для улучшения рекламных роликов с доказанным эффектом, 📍Оценивать эффективность рекламы в телеграм-каналах. Откликнуться → Старший аналитик данных в команду Trisigma Это работа над аналитическим инструментом для AB-экспериментов и автоматизации аналитики в больших организациях. Что будете делать: 📍 Проводить R&D в области AB-экспериментов. 📍 Проектировать технический дизайн продуктовых инкрементов. 📍 Вести исследовательские и консалтинговые проекты с крупными IT-компаниями. 📍 Участвовать в развитии движка и языка аналитических метрик (Semantic Layer). 📍 Представлять выводы и обосновывать рекомендации для внутренней команды и клиенту. 📍 Развивать методологическую базу платформы: документировать подходы, формировать best practices, участвовать в подготовке публикаций. Откликнуться → Старший аналитик данных в команду Monetization Efficiency Задача направления — создавать и оптимизировать механизмы, которые распределяют трафик между платящими продавцами. Что будете делать: 📍 Искать точки роста эффективности услуг продвижения и проводить эксперименты. 📍 Рекомендовать продавцам оптимальные настройки услуг продвижения. 📍 Проводить теневые тесты CPx Promo в ранжировании. 📍 Мониторить эффективность услуг продвижения. Откликнуться →

Продолжение про diff-in-diff За последнее десятилетие метод сильно вырос. Выяснилось, что классический DiD даёт неверные результаты в очень распространённой ситуации: когда разные группы получают воздействие в разное время. Например, если фича раскатывается на пользователей волнами. Goodman-Bacon (2021) и Callaway & Sant'Anna (2021) разобрали, почему так происходит, и предложили решения (даже библиотеку в R написали). Отдельное направление — что делать, если вы не уверены в параллельности трендов. Rambachan & Roth (2023) предложили подход, который помогает в ситуации, когда тренды немного расходятся до воздействия и хочется понять, достаточно ли это серьёзно, чтобы не доверять результату. И тоже написали библиотеку в R. Это не полный фикс проблемы непараллельности, но попытка всё же поработать с данными, тренды которых не идеально параллельны на предпериоде. Я надеюсь, у вас большинство фичей катится через АБ-тесты и можно не париться с такими методами, как Diff-in-Diff, спите спокойно 😘 👀 — спасибо, плюс одна причина, почему я не смогу уснуть 🔥 — крууууутоооо, diff-in-diff 🏆 — а я всё уже знал #Вика

В прошлом посте я познакомила вас с методом diff-in-diff — когда мы можем сравнить разницу изменений показателей в 2 группах. Если подзабыли, что за метод — перечитайте пост. Вы в комментариях спрашивали про нюансы метода, раскрою тут подробнее. Одно из главных требований к использованию diff-in-diff — параллельные тренды метрик. То есть надо, чтобы у одной группы метрики изменялись параллельно метрикам второй группы ещё до выкатки фичи. Тогда мы можем предположить, что без фичи эти метрики и дальше шли бы параллельно. Как это проверить на своих данных? 1️⃣ Предположить логически: на словах доказать, что 2 группы без воздействия развивались бы параллельно. «Ты мне веришь? — Верю» 2️⃣ Построить графики: да, мы с вами взрослые аналитики, просто графикам не верим, но начать можно и с них. 3️⃣ Event study регрессия с дамми на каждый период до воздействия. Если коэффициенты до релиза статистически не отличаются от нуля, то параллельность правдоподобна. Это академический стандарт последних лет. Скажу по секрету, когда Card & Krueger (1994) впервые применили этот метод, они никаких event-study регрессий не делали, просто предположили, что 2 региона достаточно схожи, чтобы развиваться одинаковыми темпами. Простим исследователям такую уверенность, поскольку это было более 30 лет назад. Да и вообще, они основоположники метода, а кто мы такие, чтобы их осуждать 😆 Помимо параллельности трендов, стоит в принципе посмотреть, адекватно ли сработает DiD на ваших данных: 🖇 Если будете использовать этот метод, проверьте его на плацебо: возьмите периоды в ваших группах, когда не было никакого изменения и посмотрите на результат. Будет странно, если разница в изменениях метрик найдётся там, где нового воздействия не было 🖇 Продолжу в следующем посте ⬇️ #Вика

Продолжение про diff-in-diff За последнее десятилетие метод сильно вырос. Выяснилось, что классический DiD даёт неверные результаты в очень распространённой ситуации: когда разные группы получают воздействие в разное время. Например, если фича раскатывается на пользователей волнами. Goodman-Bacon (2021) и Callaway & Sant'Anna (2021) разобрали, почему так происходит, и предложили решения (даже библиотеку в R написали). Отдельное направление — что делать, если вы не уверены в параллельности трендов. Rambachan & Roth (2023) предложили подход, который помогает в ситуации, когда тренды немного расходятся до воздействия и хочется понять, достаточно ли это серьёзно, чтобы не доверять результату. И тоже написали библиотеку в R. Это не полный фикс проблемы непараллельности, но попытка всё же поработать с данными, тренды которых не идеально параллельны на предпериоде. Я надеюсь, у вас большинство фичей катится через АБ-тесты и можно не париться с такими методами, как Diff-in-Diff, спите спокойно 😘 👀 — спасибо, плюс одна причина, почему я не смогу уснуть 🔥 — крууууутоооо, diff-in-diff 🏆 — а я всё уже знал #Вика