аналитика на кубах

Я не люблю задачки вида “ползут три черепашки”, но они все же встречаются, даже в отлаженных системах трекинга. И заставляют извращаться с всяким манипулированием данными. Ситуация: есть выгрузка о платежах из консоли стора. Есть выгрузка из своей системы трекинга платежей. В ней потерялись некоторые платежи. Надо найти и изучить потеряшек. Из условий: есть только общий идентификатор пользователя и таймстампы транзакций в каждой выгрузке. Будем считать, что идентификаторов транзакций, SKU и прочих полезных данных нет. Данные выгружены в csv из разных баз, никакого SQL. Для упрощения ситуации будем считать, что таймстампы одной транзакции в двух системах различаются незначительно (допустим, меньше 30 секунд). И что разница времени двух разных транзакций больше, чем разница во времени одной транзакции в двух системах. В реальности, конечно же, такие предположения еще нужно сделать и, по возможности, проверить. Как будете решать такую задачку? Я вижу два решения. Одно прям дубовое и прожорливое по ресурсам. Второе поизящнее и поэкономнее. И оба грязные. Впрочем, я вообще не уверен, что такие задачи можно чисто решать, честно говоря. #exercises

У меня сейчас некоторое затишье (команды прототипов ушли в глубокое погружение), поэтому интересных кейсов и осмыслений поменьше. А я больше читаю да ползаю по сети. Недавно попалась на глаза реклама канала Первый продуктовый. Канал вполне хорош, хотя его вайбы и стиль мне не близки. В рекламном посте попалась фраза, которая меня и зацепила. “…метрики тщеславия типа MAU, DAU и новых зарегистрированных пользователей”. Я бы еще добавил NPS сюда. Очень точное определение. Красивые метрики, но абсолютно бесполезные для принятия решения, к тому же сильно зависят от ситуации и цели. Потому что можно потерять в количестве новых пользователей, но выиграть в окупаемости. Можно дешевым и нерелевантным трафиком вырастить DAU, но эти пользователи могут уйти на следующий день. MAU может быть стабильным, но меняется структура платящих. И так далее. Впрочем, вырвать из контекста или взломать можно любую метрику. Например, раздать всем стартерпак со скидкой в 99% за $0.99 и конверсия в платящих улетит к Плеядам. У меня так один из проектов как-то хотел пройти бенчмарки в тесте монетизации. Поэтому надо смотреть на совокупность метрик. Я вот активно использую группу метрик “Revenue + ARPU / ARPDAU + конверсия в платящих + средний чек + среднее количество платежей + доля платящих в DAU”. Иногда еще добавляю конверсию во второй платеж. Сравнил несколько когорт (например, по версиям игры) или проектов, и сразу видно различия в модели монетизации или проблемные зоны.

Сергей Матроскин (X5 Tech, автор канала Не AБы какие тесты) опубликовал лонгрид про тест Манна-Уитни. Статья действительно большая, я читал ее в несколько подходов и еще буду перечитывать. На мой взгляд, ее стоило бы разделить на две или три части, да и некоторые определения показались мне шероховатыми. Но это все вкусовщина, у Сергея была такая куча редакторов и итераций правок, что если я буду развивать эту тему, он меня проклянет и будет прав. Первые две части посвящены эволюции критерия — от исходного поэлементного сравнения и вывода о равенстве распределений до сумм рангов и статистики W-Вилкоксона. Попутно есть ряд лирических отступлений про нулевую гипотезу и оценку значимости в симуляционном эксперименте. Последняя треть статьи оказалась для меня одновременно самой сложной и самой интересной. Она посвящена практическому использованию критерия и особенности его реализации в Varioqub. Сергей делает разбор на кейсе Авито, одновременно вступая в полемику. Собственно, для лучшего понимания дискуссии стоить прочитать и статью Дмитрия Лунина. Этот кейс очень близок к тому, с чем регулярно сталкиваемся мы в наших экспериментах — когда мы делаем изменения в стоимости/наполнении оффера, у нас есть и изменения конверсии, и большое количество неплатящих в обеих группах. Мы подобные эксперименты проверяем дедовским способом, простым как топор и вычислительно сложным — перестановочными тестами. Что ж, теперь есть что добавить в бэклог идей для R&D. Помимо обсуждения критерия Вилкоксона-Манна-Уитни, в статье еще есть описание пары трюков про бакетизацию и преобразование данных (как они реализованы в Varioqub, но это непринципиально). И бонусом, уже в посте про статью, есть описание непараметрической меры центральной тенденции, оценки Hodges-Lehman’a. Новая для меня штука, любопытно. #stats

У меня астрологи, видимо, объявили месяц статистики. Так что, пока я читаю и осмысляю (расскажу свои впечатления позже), вот вам немного геймдизайнерско-аналитической теории. В недавнем деконстракте AFK Journey увидел ссылку на классификацию валют, которую предложил Javier Barnes из Tilting Point. Статья достаточно старая, но раньше мне почему-то не попадалась. Сокращенный пересказ на русском здесь. Javier Barnes описывает 11 типов валют, включая харду, софту, энергию, валюты ивентов, гильдий, режимов и т.д. Ключевое в его определении валют:

I’m defining ‘currency’ as an element that has no use value in and of itself, but rather its main purpose and value comes from its ability to be exchanged for something else which has an actual use value.

И это ощутимо отличается от того, как к валютам подходим мы в нашей команде. Для нас валюты имеют ценность. Харда, хард-валюта (hard) — то, что покупается за реальные деньги и практически не может быть получено в игре. И это в какой-то мере измерение времени пользователя, так как за харду пользователь покупает то, что иначе мог бы очень долго гриндить или ждать. Софта, софт-валюта (soft) — измерение опыта пользователя в игре. Сколько он сделал базовых циклов, с какими фичами взаимодействовал и как активно. Поэтому все валюты, кроме харды, из перечисленных Javier Barnes я бы также отнес к софте. Аналитики сталкиваются с валютами как минимум в трех аспектах: Во-первых, интерпретация поведения пользователей, как он оперирует валютами. Например, пользователь не тратит харду, потому что его субъективная оценка стоимости предмета/пака не соответствует выставленной цене. Или он получает слабый эффект за потраченные деньги. Или он не понимает, как ему получить валюту, чтобы что-то купить. Или что он предпочитать покупать. Во-вторых, логирование валют. Это надо обсуждать с разработчиками, но в моем опыте они обычно разделяют валюты и предметы. Валюты стоит трекать отдельно платные и бесплатные, писать количество на руках в событиях старта/конца сессии, сколько и откуда получили, на что потратили и т. д. В идеале — курс валюты и/или стоимость контента в долларах. Нужно для выявления интересов пользователей, да и при аудите потом поможет. В-третьих, причуды монетизации. Остатки на руках, эффективность методов вымывания (когда много раздали в акции и хотим заставить пользователей потратить излишки), профицитность игровой экономики, обесценивание валют при высоких скидках и прочие вещи на грани экономики и чорной магии. К слову, большое количество валют дает чуть больше контроля над экономикой, Javier Barnes об этом тоже говорит.

Антон Марцен очень точно сформулировал мысль, которая крутилась в моей голове после Aha’24: >индустрия постепенно отходит от воронок и чаще начинает оперировать траекториями путей пользователя, а линейные деревья метрик уступают места каузальным графам со сложными неявными связями между метриками Не знаю, насколько это релевантно геймдеву. Все-таки воронки (особенно на старте игры) и в целом прогрессия пользователя у нас более управляемая. А дерево бизнес-метрик достаточно бедное и потому линейное. Поведенческие метрики могут быть сложнее, но пока непонятно, насколько. Тем не менее, тренд есть и соотнести с ним свои задачи и работу может быть интересно.

Всем привет! Рад приветствовать вас. Я Филипп Управителев и это мой канал по продуктовой аналитике в геймдеве. Здесь я пишу о задачах и ситуациях, которые встречаются в моей работе, делюсь методологическими размышлениями. Эпизодически делаю обзоры учебных курсов по аналитике и книг по аналитике, комментирую интересные посты. Также иногда даю практические задачки. Посты для знакомства с каналом: Фреймворки продуктовой аналитики Продуктовое мышление игровых аналитиков (текст выступления с митапа Особенности монетизации на офферах UX-исследования глазами аналитика Ретеншен платящих Метрики второго порядка Основные тэги: #courses — комментарии по курсам продуктовой аналитики #books — про книги об аналитике и статистике #exercises — задачки и кейсы #links — что попалось хорошего в сети #datamodel — про разметку данных, логирование и т. д. Продуктовой аналитикой я занимаюсь больше десяти лет. Последние годы работаю в студии Pixonic (входит в My.Games) и занимаюсь новыми проектами. У меня базовое психологическое образование, одновременно и экспериментально-академическое, и терапевтическое (гештальт). Какое-то время преподавал мат.методы в психологии, фрилансил, написал учебник по R. Был одним из админов в ODS, сейчас админю каналы по R и когнитивной психологии, веду курсы по анализу данных в ВШЭ. И вот я здесь. Подписывайтесь на канал, комментируйте, рассказывайте коллегам. Приходите в личку просто пообщаться или с запросами на консультацию/менторство. Рекламу на канале не делаю, но могу порекомендовать, если мы лично знакомы.

Сегодня день конференции Aha'24. Рассказывать ничего не буду (геймдевные темы обычно слишком узкие для таких конференций, да и в целом рынка аналитиков, где доминирует e-com). Но зато буду слушать и разговаривать. Если вы собираетесь прийти — давайте встретимся. Ну и моя любимая картинка, которая идеально подходит в тему.

По пятницам мы собираемся малым курултаем — рабочей группой из продюсера, геймдизов, аналитиков, спецов по монетизации и оперированию. Обсуждаем гипотезы, что и как можно сделать, чтобы достичь нужных метрик, какие результаты экспериментов и т. д. Я рассказывал результаты последнего радикального изменения метагейма. Жаль, но ожидаемых изменений в метриках не случилось (без названий и значений, простите). Постмортемы написаны, внутренняя рефлексия аналитиков почти завершена. Команда уже работает над новыми идеями. Я тоже в скором времени перейду на другие прототипы. Это были интересные несколько лет. Много экспериментов, качели от энтузиазма до разчарования в том, что и как делаешь, и обратно. Именно при работе над этим проектом я стал нащупывать, что мне важно в игровой продуктовой аналитике, как-то выстраивать собственную методологию. В принципе, в этом канале много отголосков идей и осознаний про это. Что ж, завтра будет. Лучше. Устал от ощущения, что из года в год рисую звездочки на фюзеляже. И хочу, в конце концов, научиться отвечать на вопрос “почему пользователи играют в нашу игру”.

Уже совсем скоро будет конференция Aha (6 июня оффлайн, 30 мая онлайн-трек). Ее организуют Алексей Никушин и его команда МатеМаркетинга. А это, кажется, единственные, кто делает именно продуктово-аналитические, а не датасаентистиские конференции (кому нужна техничка — велкам на ODS-датафест, а за продакт-менеджментом надо идти на ProductSence или Epic Growth). Если получится, попробую заглянуть. В прошлые года то просто не получалось, то программа не вызывала энтузиазма. В этом же году очень симпатичный трек по экспериментам и A/B-тестам в частности. Посмотрите программу — и global control, и работа с метриками в экспериментах, и графы, и воршопы. Даже про GrowthBook расскажут, про который я давно слышал, но еще ни разу не смотрел. Притом, как я понимаю, часть выступлений в оба дня будет доступна бесплатно в режиме live-трансляции. Так что как минимум стоит ее посмотреть.