Growth Lab

На днях прошёл второй курс от GoPractice — «Симулятор управления ростом продукта». Курс вышел совсем недавно, и мало кто делился опытом прохождения. Расскажу о своём. Когда курс анонсировали, и появилась возможность ознакомиться с его программой, я засомневался, а нужно ли мне его проходить. В программе я не увидел чего-то нового для себя. Но по опыту прохождения первого курса (а первый курс мне очень понравился) понимал, что второй будет не хуже, и что-то полезное точно смогу получить. В общем, решил его пройти. И ничуть не пожалел. Во-первых, узнал куда больше нового, чем ожидал. По-другому взглянул на JTBD и product/market fit. Закрыл слепые зоны в моделях и циклах роста. Даже в максимально изученных мною областях, как product/channels fit, всё равно было что почерпнуть. Во-вторых, структурировал накопленные знания. Отдельные методологии, фреймворки соединились в единую картину. В-третьих, стал смотреть на рост продуктов шире — за рамками метрик и воронок. Команда GoPractice большие молодцы, второй курс, как по мне, оказался даже лучше первого.

P.S. Хоть Дуров и писал, что реклама в телеграм будет показываться только в больших каналах, которые и так размещают рекламу, но на деле это не так. Если видите здесь телеграмовскую рекламу, — знайте, я к ней отношения не имею. И будьте осторожны, т.к. реклама ведёт порой на сомнительные каналы.

Поделюсь правилами, которых я придерживаюсь в экспериментах над посадочными страницами. На самом деле, в них нет ничего новаторского – они логичны и просты, но почему-то про них мало кто вспоминает, когда дело доходит до экспериментов. 1. Все эксперименты должны идти последовательно, в виде древовидной структуры, т.е. новый эксперимент наследует результативность предыдущего, а не ломает его. И запускается он после того, как предыдущий уже в проде. 2. Несколько экспериментов можно запускать параллельно, если они не пересекаются -> находятся на разных этапах воронки и имеют разные метрики для оценки. 3. Не делаем выводы по эксперименту и не катим его в прод, пока данные не будут статистически значимыми. 4. Чтобы избежать ошибки преждевременных выводов (peeking problem), перед каждым экспериментом нужно производить расчет. Расчет поможет определить количество пользователей в выборке и продолжительность эксперимента. Продолжаем придерживаться этого расчета до выявления победителя. 5. Данные для выводов должны быть «чистыми» – очищены от фрода, асимметрии в выборках (должны быть репрезентативными), сезонных и недельных перекосов. Также чтобы принять или отвергнуть нулевую гипотезу, выборки в тестовой и контрольной группах не должны отличаться, т.е должны быть одинаковые источники трафика, аудитории/таргетинги, креативы и т.д.

Продолжаю разгребать свои черновики и публиковать заметки. И сегодня мы поговорим про коэффициент конверсии (в дальнейшем CR), а точнее — очевидное заблуждение при её интерпретации. Итак. Жизненная ситуация. Представим, что вы пришли работать продактом или маркетологом в небольшой стартап. На второй месяц работы вы с ужасом наблюдаете, что CR из перехода в лид упал с 10% до 8%. Начинаете проверять все факторы, которые могли бы повлиять на столь резкое падение, и не находите. Что тут не так? Проблема кроется в неправильном понимании значения CR. CR (как и любое другое историческое значение метрики) — не является абсолютным/истинным, это лишь оценка значения в прошлом. А реальное значение лежит в «некоем интервале», которое нужно ещё рассчитать. То есть коэффициент конверсии может «плавать» от месяца к месяцу без изменения продукта или рекламных кампаний, но в заданном интервале. А поможет нам в более точном понимании реального CR — доверительный интервал. Доверительный интервал с заданной вероятностью (уровнем доверия обычно равном 95%) показывает, что действительный показатель конверсии с вероятностью 95% находится в этом интервале значений. В нашем же примере реальная конверсия могла лежать в интервале от 8% до 12%. И падение до 8% не связано с какими-либо изменениями. Я не буду расписывать, как считается доверительный интервал, т.к. в сети огромное количество статей на эту тему и уже готовых калькуляторов (пример бесплатного калькулятора). В общем: если бы все при указании коэффициента конверсии указывали еще и его доверительный интервал — жить стало бы легче) Хороших выходных и увидимся на следующей неделе

Решил возобновить серию еженедельных постов, а точнее заметок. Так что не удивляйтесь, моему частому появлению 😊 учитывая, что это мой пятый пост за год. И первая заметка, о которой сегодня поговорим – альтернативный способ поиска точек роста в продукте при анализе пользовательского пути. Говоря о пользовательском пути, мы часто представляем его в виде воронки, где пользователи двигаются последовательно от шага 1 к шагу 2 и т.д., пока не дойдут до ключевой цели (или не отвалятся по пути). Воронки хорошо описывают путь и помогают верхнеуровнево увидеть проблему на каждом шаге. Но, если детально проанализировать пути пользователей в продукте (от ивента к ивенту), то можно заметить, что он, зачастую, нелинейный и не вписывается в стандартную воронку. И чем сложнее и многосценарнее продукт, тем это заметнее. Нелинейность пути подталкивает нас к поиску нового метода анализа проблемных участков. И один из них – анализ траекторий пользователей на графах. Графы при правильном использовании помогают увидеть проблемы (точки роста) там, где не справляются стандартные методы. Основные проблемы, которые можно найти при анализе траекторий: 1. Петли – повторение одного события в траектории пользователя. 2. Циклы – замкнутые траектории, как и петли, но включающие в себя больше одного события. 3. Точки торможения – точки, препятствующие быстрому прохождению до ключевой цели. 4. Точки отвлечения – лишние действия, которые уводят/отвлекают от целевого действия. Но с графами не так всё просто. Нельзя взять и построить граф на всех данных, что у нас есть, так мы рискуем ничего не увидеть и потеряться в огромном количестве вершин и рёбер. Вначале нужно отходить от гипотез или кластерного анализа и далее переходить к построению и поиску аномалий. Если хотите разобраться в теме подробнее, то копайте в сторону retentioneering. Также есть бесплатная open-source библиотека на GitHub. До встречи на следующей неделе.

Сделал подборку курсов, для тех, кто делает первые шаги в Data Science. Делал изначально для себя, чтобы структурировать и упорядочить знания, но решил, что подборка будет полезна кому-то ещё. Структура курсов: 1. Линейная алгебра и дискретная математика. 2. Статистика и теория вероятностей. 3. Python, SQL, R. 4. Машинное обучение. 5. Алгоритмы и структуры данных. 6. Нейронные сети и Deep learning. Курсы упорядочил по степени необходимости, начиная с базовых знаний, без которых будет тяжело даваться дальнейшее изучение (линейная алгебра, статистика, базовое знание python и т.д.), переходя к более сложным. Старался избавиться от избыточности, оставляя только самые ценные, на мой взгляд, курсы. Эти бесплатные курсы легко заменят вам платные. https://habr.com/ru/post/584964/ Не забудьте поделится статьей с теми, кому она может быть важной.

Начинать изучение новой области (особенно с нуля) всегда трудно. Слишком много вопросов и неопределённостей: с чего начать, в правильную ли сторону двигаюсь и как не выгореть по пути. Под «областью» я понимаю любой большой предмет, к примеру: python, статистика и т.д. Сегодня расскажу о своём подходе к обучению. Америку не открою, но может, что-то полезное, а главное, применимое в подходе найдёте. Дисклеймер: Сжатие большой темы до одного поста естественно привело к n-количеству нераскрытых пунктов. 0. До того как приступить к изучению, стоит задаться вопросом: почему нужно потратить ресурсы на эту область, а не на другую? Сколько времени потребуется, и какой ожидаемый результат от изучения получу. Для меня область должна быть применимой, и, в идеале, применить её можно было уже по ходу обучения. Если нужно выбрать из нескольких областей, то на помощь приходит ICE score. 1. Определившись с областью, перехожу к исследованию. На первом этапе собираю как можно больше информации из всевозможных (проверенных) источников. Максимально широко охватываю область, насколько в изначальном понимании могу охватить. И первый этап переходит во второй. 2. Собрав предельный массив данных, начинаю чистить и валидировать информацию, структурируя её в основные, большие блоки mind map (использую сервисы Miro или Mindmeister). На выходе получается черновой план обучения, но пока без детальной проработки. 3. На третьем этапе выбираю источники получения информации: книги, курсы и т.д. 4. Выбрав источники, определяюсь с дедлайном и распределяю ресурсы — сколько часов могу выделить в день/неделю, и какие временные слоты подходят под это. Далее перехожу непосредственно к обучению. 5. Начинаю изучение с логического понимания области. Стараюсь понять в общих чертах, как всё устроено и работает, пока без погружения в детали, формулы и т.д. Когда логически всё становится понятно — перехожу к деталям. 6. Логическое понимание области перетекает в углубленное изучение. И mind map из этапа 2 декомпозируется на мелкие пункты, те в свою очередь на ещё более мелкие — подпункты. После всех итераций получаю готовый, проработанный план и осмысленный на логическом уровне. Конечно, план ещё будет дополняться с расширением знания в области. Как вы могли заметить, я осознанно исключил поддержание уже изученных областей — это тема для отдельной статьи. Хорошего дня!

Апрель в этом году прекрасен по двум причинам: во-первых — исполняется два года каналу «Growth Lab», и лучшее поздравление — рассказать о канале знакомым, тем, кому он будет полезен; во-вторых — уже год, как я работаю в Геосервисах Яндекса. И с удивлением обнаружил, что ничего о работе в Яндексе вам не говорил. Кем работаю? Что делаю? Просто исчез на год). Пришло время рассказать. Работаю я на позиции Growth Manager. Возможно вы ничего и не слышали о такой профессии, т.к она еще достаточно новая, и обязанности сильно различаются в зависимости от компании. Если объединить Product Growth (сотрудник отвечает за рост продуктовых метрик) и Growth Marketing (отвечает за развитие каналов привлечения и поиск новых) — получится то, чем я занимаюсь. Нахожусь на стыке диджитал-маркетинга и разработки продукта — ращу ключевые метрики через процесс исследований и постоянных экспериментов. Работаю с выделенными под проекты кросс-функциональными командами, разработкой, продактами, продюсерами, аналитиками и еще много кем. Как-то так, если вкратце. В статье (https://t.me/proroas/91) я раскрываю, как работаю по growth-процессу и детально описываю фреймворк. Почитайте, если ещё этого не сделали. Но это всего лишь часть моей работы, есть еще большой пласт аналитики, планирования, менеджерской работы с командами и т.д. Как-нибудь соберусь и напишу статью по росту продуктов и работе growth-команд, ну, или сделаю курс — почему бы и нет)

Сегодня я расскажу про возможности бесплатного обучения в Яндексе, о которых вы могли не знать. В этом году Академия Яндекса открывает бесплатный набор в четыре школы: разработки интерфейсов, бэкенд-разработки, мобильной разработки и дизайна. Ещё есть школа продакт-менеджеров, но набора в нее я пока не вижу. Так что, если интересно изучить новую профессию, или вы только начинаете свой путь в IT-индустрии — вэлкам. Очень хороший старт и возможность поработать с реальными продуктами Яндекса. Набор скоро откроется, тут можете подробнее изучить: https://academy.yandex.ru/schools Также Академия ведёт крутейший YouTube канал: https://www.youtube.com/c/АкадемияЯндекса. Ребята выкладывают записи с прошедших потоков школ и многое другое. Лично я посмотрел всё, что связанно с управлением проектами и продуктом, а также дизайном. Как по мне, из этого YouTube-канала можно почерпнуть гораздо больше, чем из многих платных курсах. Ну и конечно я не могу не упомянуть Школу анализа данных (ШАД) — это бесплатная (если пройдете вступительные испытания) двухгодичная программа для тех, кто хочет стать продвинутым Data Scientist. Следующий набор начнётся в апреле, так что ещё есть время подготовиться. Я поступать в ШАД пока не планирую, но точно буду проходить весь материал, как зритель. Подробнее тут: https://yandexdataschool.ru Как видите, Яндекс предоставляет массу возможностей для бесплатного обучения, было бы желание, а время найдется. 😉 Не забудьте поделится с теми, кому эта информация может быть важной.

Впереди новогодние праздники, а значит будет немного времени (я на это надеюсь) для изучения чего-то нового. Как насчет погружения в индустрию мобильных игр? Сделал для вас подборку бесплатных курсов от devtodev. Разработка, дизайн, аналитика и маркетинг мобильных игр, всё на одной платформе и в удобном формате. Приятного изучения 😉 1. Маркетинг мобильных игр: базовый курс. 2. Игровая аналитика: от основ к продвинутым методам. 3. Введение в геймдев: Первый системный онлайн‑курс об игровой индустрии. 4. App Store Optimization: от простого к сложному. 5. Гиперказуальные игры: просто - не значит легко. 6. Разработка инди-игры: от идеи до релиза. 7. Геймдизайн: как делать игры, которые нравятся и приносят деньги. Это не все курсы от devtodev, посмотрите на сайте, там их немного больше, чем я указал. Изучайте сами и делитесь с коллегами. Всем знаний и увидимся в следующем году.

Я немного запоздал с публикацией статьи, да и вообще давно ничего не писал — исправляюсь. Прежде чем перейдем к новой статье, небольшое объявление. Я переименую канал, т.к. всё больше пишу не о маркетинге, а, в целом, о росте продуктов. А теперь статья) Сегодня поговорим про инкрементальность (как не купить свою органику). Каждый день компании теряют значимую часть бюджета на пользователей, которых получили бы и так, бесплатно. Представьте, что вы могли бы знать, какая часть маркетингового бюджета расходуется впустую, и сэкономить её. Статья в этом поможет. Что вы узнаете из статьи: - Что такое инкрементальность и фундаментальный принцип расчета, который применим ко всем каналам, источникам и нужным вам ключевым показателям (как revenue и т.д.) - Поймете, как инкрементальность пересекается с атрибуцией. - И главное — как с помощью этих данных сделать маркетинговую стратегию эффективнее. Поехали. Как не купить свою органику — гайд по инкрементальности в маркетинге.

У меня есть одна сильная, но недооцененная статья. Немногие из вас её видели, т.к статью публиковал исключительно на своём сайте (на VC или Хабр её не найти). А в то время на канале было меньше 1000 подписчиков. И сейчас, во времена удаленной работы, когда тяжело соблюдать work–life balance и высокий уровень продуктивности, самое время рассказать о ней еще раз. Статья об Agile Results - подходе, направленном на достижение значимых результатов. Метод основан на Agile software development, а автором системы является J.D. Meier — топ-менеджер в команде разработчиков Microsoft Enterprise Strategy. Ключевыми особенностями подхода Agile Results являются: 1. Ориентация на достижение результатов, а не на выполнение задач; 2. Гибкость, постоянная адаптация к происходящим изменениям; 3. Простая, но эффективная методика расстановки приоритетов; 4. Ограничение временных и энергетических ресурсов для достижения лучших результатов; 5. Непрерывное совершенствование и развитие всех аспектов личности и самой системы. Ссылка на статью: https://proroas.ru/agile-results Эта статья поможет вам стать продуктивнее. Добавляйте в закладки и делитесь с коллегами. Скоро увидимся, готовлю для вас крутой материал.

Друзья, делюсь с вами крутым сервисом для маркетологов. Он содержит 374 бесплатных шаблонов, так необходимых нам в работе. Тут вы найдете шаблоны контент-планов, стратегий, анализа конкурентов, SEO-аудита и многое другое. Забирайте: 374 Free Resources for Marketing

Друзья, 29 апреля каналу исполнился 1 год (а вас уже более 3 600 — это очень круто!) За год я опубликовал много статей, гайдов и т.д, а их суммарное количество просмотров превысило 400К. Надеюсь, они помогли вам в работе 😊 И как вы могли заметить, на канале никогда не было рекламы, да и не планируется в ближайшее время. Это я всё к чему, если вам нравится этот канал, поделитесь ссылкой на него с друзьями: https://t.me/proroas Сделаем знания открытыми! Еще я есть на Facebook — добавляйтесь (art.saygin)

Наблюдая за работой множества маркетинговых команд, заметил, что многие допускают одни и те же ошибки в процесс поиска, приоритизации и тестирования гипотез. Написал статью, где пошагово расписываю весь процесс. Старался дать сложный материал максимально просто. Из статьи вы узнаете, как формировать бэклог гипотез и приоритизировать их по ICE Score и PXL-фреймворку. Как проводить A/B-тестирование. Научитесь рассчитывать размер выборки, доверительный интервал, статистическую мощность и статистическую значимость. При написании я ориентировался на маркетинговые и Growth-команды, учтите, что для других команд процесс может не подойти. https://proroas.ru/growth-process Изучайте сами и делитесь с коллегами. Всем знаний!

Давно не делился с вами полезными книгами на канале. Чтобы не спамить вас, я публикую прочитанные книги в таблице ресурсов, но не все оперативно мониторят изменения) И во время карантина и всей этой ситуации можно больше времени уделить чтению. В общем, делюсь. Шесть книг, которые я прочел за последние три месяца и могу вам порекомендовать: 1. «Когда кофе и капуста конкуренты. Станьте непревзойденными в создании востребованных продуктов» Алан Клемент. Книга целиком про один классный фреймворк, о котором, к сожалению, знают немногие: Jobs-To-Be-Done (JTBD) По ссылке можно скачать книгу бесплатно. 2. «Взлом креатива» Майкл Микалко. Автор разбирает разные методы мышления таких людей, как Альберт Эйнштейн, Леонардо да Винчи, Ричард Фейнман и многих других. В книге вы найдете много методов, чтобы мыслить нестандартно и создавать новые идеи. 3. «Измеряйте самое важное» Джон Дорр. Книга про методологию OKR (Objectives and Key Results). Эта система помогла Google и Intel показать значимый рост. Сейчас среди приверженцев OKR — Dropbox, LinkedIn, Oracle, Slack, Spotify и Twitter и т.д. 4. «Вопросы — это ответы» Хэл Грегерсон Продуманная постановка вопросов способна помочь в решении сложных проблем. Лучше всего о важности формулирования вопросов говорил Альберт Эйнштейн: «Если бы у меня был один час для решения проблемы, от которой зависела моя жизнь, я бы потратил первые 55 минут на то, чтобы сформулировать вопрос; потому что если ты задаешь правильный вопрос, проблему можно разрешить менее чем за 5 минут». 5. Intercom on Product Management Название говорит само за себя. Небольшая книга про продакт менеджмент от Intercom. Бесплатную книгу можно скачать тут (Книга на Eng) 6. «Голая статистика. Самая интересная книга о самой скучной науке». На самом деле, статистика очень интересна и практична, так как отвечает на очень много важных вопросов: Как Netflix определяет, какие фильмы вам понравятся? Какое поведение является правильным при решении «Парадокса Монти Холла»? Как определить, какие привычки и поведение вызывают рак, не ставя эксперименты на людях? Книга стоит того, чтобы её прочитать.

Решил сделать единую статью-инструкцию, которая объединит все нужные материалы по работе с Google Tag Manager в одном месте. При любом вопросе, касающимся менеджера тегов, в этой статье вы найдете ответ. От самых базовых вещей (что такое GTM, какие бывают типы триггеров и т.д) до работы с dataLayer и CSS-селекторами. Сгруппировал информацию в статье максимально удобным образом. Начинающий специалист сможет легко и структурированно изучить все тонкости работы с GTM, а опытный специалист может использовать статью, как справочник и обращаться к ней при необходимости. Приятного изучения!) Большая подборка материалов для изучения Google Tag Manager Не забудьте поделиться с коллегами или просто с теми, кому может быть интересна статья. Всем знаний!

Не могу не поделиться с вами переводом прекрасной серии постов про создание и масштабирование маркетплейсов. Автор постов — Lenny Rachitsky, раньше работал в роли Growth продакт-менеджера в Airbnb. Lenny взял интервью у десятков людей, которые строили и масштабировали самые успешные маркетплейсы в мире (Airbnb, DoorDash, Thumbtack, Etsy, Uber и т.д). Далее он объединил их уроки в гайд по запуску, масштабированию и развитию маркетплейса. Большое спасибо «GoPractice!» за перевод! Приятного чтения. Первая часть: Ограничение рынка маркетплейса; Вторая часть: Решение, на какой стороне маркетплейса фокусироваться; Третья часть: Привлечение первоначального предложения. Продолжение следует...

Периодически мониторю producthunt.com, смотрю какие новые продукты появились, и как они могут помочь в работе маркетолога. Сделал подборку интересных сервисов, что вышли совсем недавно. 1. Direktor — сервис для А/B тестирования от Bit.ly. Direktor прост в использовании. Добавляете несколько сайтов, те, что хотите протестировать, и сервис выдаст вам одну ссылку с редиректом. Далее ведете трафик на эту ссылку, а сервис равномерно распределяет трафик по нужным вам страницам. Все просто. 2. UXReality — сервис превращает любое мобильное устройство в инструмент для изучения поведения пользователей. Сможете смотреть глазами пользователей, понимать их чувства, слушать, что они говорят. 3. Popsters 2.0 — сервис позиционирует себя, как первый в мире аналитический инструмент для TikTok. Но умеет анализировать и другие соц.сети (всего 12 соц.сетей) 4. Krisp for iOS — бесшумный конференц-зал с мобильного телефона в любом месте. Сервис с помощю AI приглушает фоновый шум, оставляя только чистый человеческий голос. Как по мне — крутая технология! 5. Obviously AI — Data science без кода. Сервис позволяет запускать сложные прогнозы и аналитику из интерфейса. Никакого кода и никаких хлопот. Потестируйте, может у вас корректно сработает. 6. SEO Heartbeat — Сервис SEO-аудита. Да, таких сервисов много, но SEO Heartbeat утверждают, что они дешевле и производительнее конкурентов. Весомый аргумент, стоит это проверить. 7. 30 seconds of code — для тех, кто хочет научиться программировать. Обучающий ресурс в виде большой коллекции из 500+ коротких фрагментов кода на JavaScript, Python, CSS и React. Вообще на producthunt.com каждый день выходят новые продукты/стартапы. Много интересных, посмотрите на досуге)