Product Science by Anton Martsen

Поговорим про Product Science? Aha'24 на этот раз проходит с припиской Product Science (все совпадения случайны👀). Спектр тем: продуктовая аналитика, продуктовые подходы и все более проникающим в продукты и процессы ИИ. В этом году не выступаю, но веду и модерирую секцию персонализации и рекомендательных систем. Обещаю вдумчивых вопросов для спикеров и приятной атмосферы в зале для всех слушателей. P.S. А что бы вы спросили у спикеров? В комментариях к этому посту предлагаю написать вопросы, которые бы вы хотели задать. Вот тут список докладов (F43:F49), чтобы понять кто и о чем будет рассказывать. P.S.S. Уверен, что немалая часть аудитории этого канала уже приобрела себе билетик, но если нет, то вы знаете что делать на сайте https://matemarketing.ru/aha (промо LASTCHANCE дает приятный скидон)

Кто такой локальный артист? Spotify — популярный стриминговый сервис, который хорошо умеет рекомендовать и подсвечивать глобальных исполнителей, но уделяет недостаточно внимания местным. Гипотеза заключается в том, что люди будут больше вовлекаться во взаимодействие с локальными артистами. https://research.atspotify.com/2024/05/exploring-local-musics-place-in-global-streaming/ Чтобы понять, кто такой локальный исполнитель, команда аналитиков и исследователей Spotify провела исследование, разбитое на несколько частей. Первая часть включала сбор качественных данных от пользователей «на местах». Для этого были выбраны локации в Бразилии, Нигерии и США. Интервью в стиле cultural probe позволили получить много информации, в том числе и о том, что думала команда. На основе полученных данных исследователи выделили три аспекта «локальности», которые отмечали респонденты в разных странах: - Артист «вышел из этих мест» — страна, город, район. Причём не обязательно рождаться в конкретном месте, главное — связать свою жизнь на достаточное время с этой локацией. - Использование характерных для района языка, фраз, инструментов, звуков. - Доступность местных для посещения концерта. Второй этап - сбой количественных и поведенческих данных командой аналитиков. Вышеописанные аспекты легли в основу поиска масштабируемого алгоритма, который предсказывает популярность артиста на конкретной геолокации. Те артисты, которые в разных местах популярнее прогноза, помечаются как локальные/аномальные для этого места. Этот скоринг лёг в основу подбора исполнителей для каждого слушателя.

Прим. @martsen - как практикующий аналитик в этой сфере подмечу, что аспект №1 сложно формализовать на маштабе (этож как надо парсить внешний интернет, чтобы собрать данные), №2 по-лучше, но надо очень много инвестировать в контентную аналитику, №3 - наиболее простой критерий с точки зрения сбора данных.

Завершающий штрих - проверка гипотезы на практике. Был разработан блок на главной странице с локальными артистами и запущен АБ-тест. Приёмка шла по стандартным для контентных продуктов сигналам (клики, стримы, лайки), и тестовая группа получила аплифты по всем показателям. Сегментация по возрасту слушателей дала дополнительный инсайт — зумеры оказались драйверами слушания локальных артистов. Это интересный кросскомандный проект, который улучшает продукт для миллионов слушателей по всему миру. Подробный пейпер с методологией в следующем сообщении. Изучать всем, кто стремится прокачать навыки дизайна исследований.

Два месяца назад забежал в гости на подкаст. Контент настоялся и можно делиться. Самое то послушать в дороге в пятницу перед выходными. Подкаст получился длинный, поэтому вместо вырезания хронометража ускорили аудиодорожку, чтобы уместиться в 50 минут. Любителям слушать на х2 должно быть довольны :) Без лишних задротских терминов обсудили продуктовые исследования и как их проводить для пользы дела. Ваш покорный поделился: - Удачными и неудачными проектами - Любимым стыдным кейсом - как я смешивал исследования и продажи в рамках одного интервью - Мнением про автоматизацию качественных исследований (привет языковым моделям) - Эмпирическими наблюдениями когда стоит делать ресерч и когда нужно остановиться Это и многое другое слушаем в Яндекс Музыке 🎵

Лена: - Выпуск выложен, пишите пост) Я: - Пишем🫡 Если вы пропустили долгожданный (ну да ира) пуш о публикации нового выпуска - то вот он вам!!! В гостях Антон Марцен - лид продуктовой аналитики Яндекс Музыки (теперь-то наш подкаст войдет в топ), автор телеграм-каналов Product Science (тут мясо) и Collective Intelligence (тут жесть). Поговорили про исследования, покекали, а вы слушайте и расскажите как вам Лена собрала для вас ссылки, скажите Лене спасибо♥️ Лена: - Даю ссылки: на Яндекс.Музыку на Apple Podcasts на Youtube на остальные платформы

Самый важный SQL-запрос в моей карьере. Сегодняшний пост про анализ аб-тестов. Будет полезен всем аналитикам и bi-девелоперам. Создатель in-house платформы для A/B-тестирования в Авито Данила Леньков делится лайфаком: как свести задачу расчета Minimum Detectable Effect к простому SQL-запросу. Читайте и делитесь в комметриях своими лайфхаками про анализ #аб!

Papers с тулами для анализа и визуализации sequential data. Sequential data встречается много где, но в моей практике это анализ...: - ...последовательности шагов в процессах - ...действий пользователя в сессиях https://docs.google.com/presentation/d/1fJBku_-BIet8k45POYJiHuIE7R52Lpg9Ts4nb6g_ng4/edit?usp=sharing

Люблю статьи от Бюро, в них много смысла на единицу текста. Парочка статей, на которые ссылаются в предыдущем тексте. Про созданице ценности (https://blog.buro.cx/tiekhnologhiia-sozdaniia-tsiennosti-kak-zashchita-ot-kopirovaniia-bizniesa-2/):

Разбираясь в том, как она [прим. martsen, стратегия создания ценности] устроена, Томпсон приходит к классификационной модели, которая нам интересна прежде всего тем, что на её основе можно выделить три (всего!) фундаментальных типа деятельности, лежащих в основе любого процесса создания ценности. Далее эту тему очень подробно развили Ч. Стабелл и О. Фьельдстад в 1998 году. Именно благодаря их работе сейчас можно утверждать, что при всём многообразии продуктов существует всего три логики, к которым сводится всё это многообразие. Это Value Chain, Value Shop и Value Net.

Про технология создания добавленной стоимости (https://drive.google.com/file/d/18H8JpGUT0UfwWZYDe27htvWRaaUCGRfw/view):

Интуитивный план – прокачивать все три [прим. martsen, технологии создания добавленной стоимости]. Однако, на практике в условиях конкуренции нельзя быть одновременно самым доступным и дешевым, при этом лидировать по качеству, да еще и максимально удовлетворять каждого отдельного клиента – чем-то всё равно придётся жертвовать. Как минимум одним, а то и двумя векторами. Причин две: [читайте во второй ссылке, прим. martsen]

Старый релевантный пост: https://t.me/product_science/265

В прикладном плане, стал чаще подмечать как различные авторы анализируют ту или иную область как "систему". Из недавно прочитанного рекомендую текст про способы изучения предметной область от Бюро Сервисного Дизайне: https://blog.buro.cx/kak-poghruzhatsia-v-novuiu-priedmietnuiu-oblast/ Весь текст хорош и начинается там как раз с представления предметной области как черного ящика с входами и выходами. Т.к. у меня на канале часто про метрики, то приведу релевантную цитату с которой не могу не согласиться:

Метрики рождают легко достижимую иллюзию понимания: — какая наша цель? Вырастить NPS! — Чем мы занимаемся на работе? Увеличиваем конверсию! Все это дает ни с чем не сравнимую возможность абсолютно все объяснить, абсолютно ни в чем не разбираясь. Поэтому сначала понимание и только потом метрики.

Прикладные инструменты, где замечаю проникновение теории сложных систем - стратегии принятия решений. Когда-то давно в недрах IBM разработали CYNEFIN - фреймворк как принимать решения в бизнесе. Авторы вывели ряд правил изучая тонны реальных ситуаций приправляя теорией из complexity science. Ключевая идея в том, что разные ситуации или проблемы требуют разных способов реагирования. Порядок действий такой: - определить, с какой ситуацией мы имеем - выбрать подходящий алгоритм действий с помощью этого фреймворка. Звучит просто в теории, но на практике как всегда будут возникать нюансы. Автор методологии до сих пор развивает фреймворк, зарабатывает на обучении и его внедрении в больших корпорации и гос.структуры. Коротко + набор основополагающих ссылок - https://untools.co/cynefin-framework/ Рекомендации для еврокомиссии - https://publications.jrc.ec.europa.eu/repository/handle/JRC123629