Product Science by Anton Martsen

Два месяца назад забежал в гости на подкаст. Контент настоялся и можно делиться. Самое то послушать в дороге в пятницу перед выходными. Подкаст получился длинный, поэтому вместо вырезания хронометража ускорили аудиодорожку, чтобы уместиться в 50 минут. Любителям слушать на х2 должно быть довольны :) Без лишних задротских терминов обсудили продуктовые исследования и как их проводить для пользы дела. Ваш покорный поделился: - Удачными и неудачными проектами - Любимым стыдным кейсом - как я смешивал исследования и продажи в рамках одного интервью - Мнением про автоматизацию качественных исследований (привет языковым моделям) - Эмпирическими наблюдениями когда стоит делать ресерч и когда нужно остановиться Это и многое другое слушаем в Яндекс Музыке 🎵

Лена: - Выпуск выложен, пишите пост) Я: - Пишем🫡 Если вы пропустили долгожданный (ну да ира) пуш о публикации нового выпуска - то вот он вам!!! В гостях Антон Марцен - лид продуктовой аналитики Яндекс Музыки (теперь-то наш подкаст войдет в топ), автор телеграм-каналов Product Science (тут мясо) и Collective Intelligence (тут жесть). Поговорили про исследования, покекали, а вы слушайте и расскажите как вам Лена собрала для вас ссылки, скажите Лене спасибо♥️ Лена: - Даю ссылки: на Яндекс.Музыку на Apple Podcasts на Youtube на остальные платформы

Самый важный SQL-запрос в моей карьере. Сегодняшний пост про анализ аб-тестов. Будет полезен всем аналитикам и bi-девелоперам. Создатель in-house платформы для A/B-тестирования в Авито Данила Леньков делится лайфаком: как свести задачу расчета Minimum Detectable Effect к простому SQL-запросу. Читайте и делитесь в комметриях своими лайфхаками про анализ #аб!

Papers с тулами для анализа и визуализации sequential data. Sequential data встречается много где, но в моей практике это анализ...: - ...последовательности шагов в процессах - ...действий пользователя в сессиях https://docs.google.com/presentation/d/1fJBku_-BIet8k45POYJiHuIE7R52Lpg9Ts4nb6g_ng4/edit?usp=sharing

Люблю статьи от Бюро, в них много смысла на единицу текста. Парочка статей, на которые ссылаются в предыдущем тексте. Про созданице ценности (https://blog.buro.cx/tiekhnologhiia-sozdaniia-tsiennosti-kak-zashchita-ot-kopirovaniia-bizniesa-2/):

Разбираясь в том, как она [прим. martsen, стратегия создания ценности] устроена, Томпсон приходит к классификационной модели, которая нам интересна прежде всего тем, что на её основе можно выделить три (всего!) фундаментальных типа деятельности, лежащих в основе любого процесса создания ценности. Далее эту тему очень подробно развили Ч. Стабелл и О. Фьельдстад в 1998 году. Именно благодаря их работе сейчас можно утверждать, что при всём многообразии продуктов существует всего три логики, к которым сводится всё это многообразие. Это Value Chain, Value Shop и Value Net.

Про технология создания добавленной стоимости (https://drive.google.com/file/d/18H8JpGUT0UfwWZYDe27htvWRaaUCGRfw/view):

Интуитивный план – прокачивать все три [прим. martsen, технологии создания добавленной стоимости]. Однако, на практике в условиях конкуренции нельзя быть одновременно самым доступным и дешевым, при этом лидировать по качеству, да еще и максимально удовлетворять каждого отдельного клиента – чем-то всё равно придётся жертвовать. Как минимум одним, а то и двумя векторами. Причин две: [читайте во второй ссылке, прим. martsen]

Старый релевантный пост: https://t.me/product_science/265

В прикладном плане, стал чаще подмечать как различные авторы анализируют ту или иную область как "систему". Из недавно прочитанного рекомендую текст про способы изучения предметной область от Бюро Сервисного Дизайне: https://blog.buro.cx/kak-poghruzhatsia-v-novuiu-priedmietnuiu-oblast/ Весь текст хорош и начинается там как раз с представления предметной области как черного ящика с входами и выходами. Т.к. у меня на канале часто про метрики, то приведу релевантную цитату с которой не могу не согласиться:

Метрики рождают легко достижимую иллюзию понимания: — какая наша цель? Вырастить NPS! — Чем мы занимаемся на работе? Увеличиваем конверсию! Все это дает ни с чем не сравнимую возможность абсолютно все объяснить, абсолютно ни в чем не разбираясь. Поэтому сначала понимание и только потом метрики.

Прикладные инструменты, где замечаю проникновение теории сложных систем - стратегии принятия решений. Когда-то давно в недрах IBM разработали CYNEFIN - фреймворк как принимать решения в бизнесе. Авторы вывели ряд правил изучая тонны реальных ситуаций приправляя теорией из complexity science. Ключевая идея в том, что разные ситуации или проблемы требуют разных способов реагирования. Порядок действий такой: - определить, с какой ситуацией мы имеем - выбрать подходящий алгоритм действий с помощью этого фреймворка. Звучит просто в теории, но на практике как всегда будут возникать нюансы. Автор методологии до сих пор развивает фреймворк, зарабатывает на обучении и его внедрении в больших корпорации и гос.структуры. Коротко + набор основополагающих ссылок - https://untools.co/cynefin-framework/ Рекомендации для еврокомиссии - https://publications.jrc.ec.europa.eu/repository/handle/JRC123629

Люблю черпать вдохновение и новые идеи для продуктовой аналитики и исследований в смежных областях. До 2022 года мое внимание было обращено в сторону UX, ML, игр, социологии и экономики. Особенно интересно изучать какие знания и процессы из оффлайна адаптируются в онлайн. Глубоко в каждой области разобраться невозможно, но кажется мне удалось почерпнуть оттуда ключевые мысли, теории, концепты и методы. Любовь последних двух лет - системология / теория (сложных) систем / system science / complexity science. В этом домене пытаются вывести общие принципы и закономерности, которые есть в других областях. По правде сказать, в академических кругах до сих пор нет единой позиции о том, является ли это отдельной наукой или нет. Но мне, как практику, это не важно. Главное, что есть люди, которые стараются найти общие знания и способы их переиспользовать в разных областях. К сожалению, готовых "преобразователей мыслей и ситуаций" из академических изложений complexity science в коммерческую продуктовую аналитику я не нашел, но заставляет задуматься. Теперь на рабочие задачи смотрю как на "анализ сложных адаптивных систем" и пытаюсь применять изучаемые подходы. С одной стороны прикольно, с другой - часто себя одергиваю, чтобы не уходить в переусложнения. Для погружения в предмет, можно почитать Вики - https://en.wikipedia.org/wiki/Portal:Systems_science Если хочется по хардкору, то вам дорога на сайт https://santafe.edu/ - это спец.учреждение, где умные дяди и тети двигают эту область вперед в плане теории. #мысливслух

Скрытая суть В «Криптономиконе» Стивенсона герои все окружающее описывают математически, от чего видят скрытую от многих суть явлений. Слушал этот роман и попробовал для себя этот формат размышления с ИИ: когда изучаю какую-то концепцию (философскую, социальную, экономическую) или явление, то смотрю на нее через математический язык описания. За это отвечает очень простой промпт: Представь что эту концепцию надо описать математически - как математический закон или формулу. Опиши с помощью математики, формулы, математической структуры: [концепция для описания] Его можно применять почти ко всему, что вы изучаете, чтобы увидеть математические законы, заложенные в явлении. Несколько примеров применимости подхода (все просим описать по данному выше промпту): 1. Опиши математически этот мем (для image2text моделей) 2. Опиши бизнес-модель сервиса Kindle через формулу 3. Я поругался с котом: он оцарапал меня, я обиделся и не хочу с ним общаться. Опиши это математически. 4. Представь философский принцип абсурда Камю в виде формулы (с философией классно заходит - это мой самый частый случай использования) 5. Я изучаю понятие продуктивность - предложи 3 способа как можно ее описать математически (добираемся до первых принципов явления) 6. Я не могу сделать выбор между А и Б. Опиши математически эту дилемму Для более высокого качества надо попросить модель сначала расшифровать концепцию на естественном языке, чтобы насытить диалог контекстом, и только потом просить описать ее математически - качество будет лучше. В комментариях еще промпты для продолжения диалога и примеры выдачи.

Потихоньку пишу свою документацию по созданию "информационной модели продукта" и здорово посмотреть на опыт коллег по цеху. В целом, идея выкладывать в паблик подобные методики очень хорошая... Так, Антон, сфокусируйся - сначала допиши для внутреннего потребления, а потом думай как опенсорсить лучшие практики.