A/B testing

Ни для кого не секрет, что качественный сон это залог не только здоровья и продуктивности, но и счастливой жизни. Увы, сейчас многие из-за стресса долго не могут уснуть или тяжело встают по утрам или чувствуют постоянную дневную сонливость. Чтобы решить эти проблемы, бывшие разработчики Яндекса создали телеграм-бота по имени Слипи. Для его создания они изучили более 200 научных исследований, выделили самое важное и сделали увлекательный 30-дневный квест. Каждый вечер Слипи присылает небольшие задания, на которые нужно выделять всего 15 минут перед сном. Что особенно привлекает, все советы бот подкрепляет ссылками на статьи из научных журналов. К этому моменту Слипи попробовали 4200 человек, 93% чувствуют улучшение в первые недели. А 24% — замечают сильный рост качества сна. Для подписчиков канала в ближайшие дни действует скидка 34%. Когда Слипи, спросит откуда о нем узнали, просто выбирайте «Все об АВ тестах». Сон — это хорошая инвестиция, так что познакомьтесь со Слипи: @sleepyrobot

Как автоматизировать А/В-тестирование и сократить время аналитика на полный цикл до 3-х часов? Тут ребята из Data Science Delivery Club рассказали о своем опыте: отказе от Firebase Console, экспериментах и важных метриках оценки результата. via @ABtesting

​​Вроде бы мы знаем, как надо правильно работать, но у многих все равно с этим огромная беда. Вы составляете список рабочих задач, а потом не знаете, как к ним подступиться. Тратите время на просмотр ленты соцсетей и котиков в интернете, а после горите в дедлайнах... Это похоже на замкнутый круг. Но из него можно выйти! Примите участие в Марафоне джедайских техник и победите прокрастинацию. Оплата за участие — свободная. Платите столько, сколько считаете нужным! Регистрация здесь: https://u.to/63BVGw На марафоне день за днём вы: - повысите продуктивность в разы; - превратите свой список задач из демотиватора в помощника; - выстроите деловые отношения со смартфоном; - научитесь концентрироваться на важном и двигаться к своим целям. Программу курса разрабатывали под чутким контролем Максима Дорофеева, автора книг-бестселлеров "Джедайские техники" и "Путь джедая". Его работы помогли тысячам людям найти тот самый баланс между работой и личной жизнью. Регистрируйтесь здесь на участие в марафоне и обретите джедайскую силу продуктивности.

​​Ускорение A/B-тестирования с помощью CUPED от Microsoft, метода уменьшения дисперсии с использованием ранее существовавших данных. via @ABtesting

​​Крутая новость для тех, кто хочет повысить уровень знаний и стать топовым профессионалом в области Data Science. Сейчас идет набор в Big Data Lab School от Vodafone! Что это такое? Big Data Lab - это полугодовой интенсив по подготовке квалифицированных Data Science специалистов. Полный спектр знаний и практических навыков, необходимых для старта карьеры в Data Science. Для кого рассчитан курс? Курс рассчитан на работающих профессионалов, поэтому его можно совмещать с работой. Почему Big Data Lab? Ведь это: - Фундаментальные математические дисциплины и data-science Engineering. - Доменная экспертиза в различных сферах (телеком, финансы, промышленность, Smart City и т.д.). - Преподаватели мирового уровня. В том числе профессионалы-практики с опытом работы в сфере Big Data. - Решение современных бизнес-задач и работа с реальными большими данными. - Постепенное вхождение в материал благодаря новым подготовительным курсам. Продолжительность обучения: 6 месяцев Начало обучения: 22 июня Формат обучения: онлайн Размер группы: 25 студентов Регистрация по ссылке ↙️ https://bit.ly/3slCGyA Если у вас есть друзья или коллеги которым это может быть актуально, пожалуйста, отправьте им это сообщение.

​​Как проводят эксперименты в Tinder. Phoenix - платформа для проведения экспериментов: https://medium.com/tinder-engineering/phoenix-tinders-testing-platform-part-iii-520728b9537 via @ABtesting

​​Почему продакт-менеджмент — не для вас? IT подходит не всем, а профессии, требующие организационных навыков, — тем более, но не все так категорично. С 4 по 27 мая ProductStar запускают свой первый BootCamp и ждут всех, кто загорелся желанием стать продактом и развить свою карьеру! Вас ждут 7 вебинаров от Михаила Карпова (Co-Founder ProductCamp и ProductStar, ex-CPO Skyeng, ex ВКонтакте/Яндекс), проверка домашних заданий и коммьюнити единомышленников Почему вам стоит прийти? — Это онлайн-мероприятие — Без воды. Вы получите практический опыт Михаила Карпова и других продакт-менеджеров — Отдельное коммьюнити с советами от экспертов и других участников — 10 чек-листов, гайды и инструменты для саморазвития — Участие бесплатно, принять участие сможет каждый — Возможность получить гранты и подарки от ProductStar на сумму 536 000 руб. Получите ответы на все вопросы, развейте сомнения и станьте незаменимым сотрудником! Подробнее о мероприятии 👉 https://clck.ru/Ubf9V

Как проводят эксперименты в Spotify: https://engineering.atspotify.com/2020/11/02/spotifys-new-experimentation-platform-part-2 via @ABtesting

​​Об алгоритмах многоруких бандитов и сравнение с классическим A/B-тестированием: https://github.com/raffg/multi_armed_bandit via @ABtesting

Как говорят американцы: Кто SQL не знает, тот всю жизнь в экселе отчеты считает! 😎 Новый курс по SQL от Глеба Михайлова, который уже стал хитом на Udemy, поможет вывести твой SQL на новый уровень. Это SQL именно для анализа данных, и весь SQL Глеб пишет в Jupyter ноутбуке. Это очень удобный подход, потому что весь код хранится в одном месте. А так же можно быстро досчитать что-то в пандас и построить график. Этот курс рассчитан на тех, кто уже что-то знает об аналитике и представяет что такое питон. Если ты знаешь SQL, но не знаешь питон — этот курс тоже будет тебе очень полезен. Совсем новички тоже смогут пройти курс — разобраться с питоном и Jupyter можно на ходу. Ссылка заряжена хорошей скидочкой. Усиль свой SQL! 🔥

​​Как анализировать A/B-эксперименты с использованием Bayesian Expected Loss и как его рассчитывать. via @ABtesting

​​Google Analytics 4 вышла из бета-версии и научилась экспортировать сырые данные. А студенты курса SQL and Visualization от Projector научатся с этими данными работать, составлять правильные запросы и визуализировать все в Data Studio. Куратор объяснит, как разобраться с Google BigQuery и адаптированным для него диалектом PostgreSQL. Тренироваться студенты будут на практических продуктовых кейсах. Полученные данные вы научитесь визуализировать в Google Data Studio. Ведет курс Сергей Яременко — продакт менеджер в ЛУН, бывший продуктовый аналитик в MacPaw. Старт обучения — 8 апреля. Зарегистрироваться на курс можно по ссылке.

​​Хороший материал о рассчете размера выборки для A/B-тесстирования. via @ABtesting

​​Использование модели кластеризации K-means для создания однородных групп людей при A/B-тестировании. via @ABtesting

​​Хочешь круто провести майские? Присоединяйся к Design Regatta! С нами - Илья Красинский (Rick.Ai), Алина Ермакова (Сбер), Артемий Круглов (Visa), Данила Березин (Redmadrobot) и еще 3 лодки дизайнеров и продактов. Научимся ставить паруса, увидим живописные бухты, гроты и античные развалины, будем жечь костры на диких пляжах, пить вино и обсуждать дизайн, продукты и бизнес. Турция, 8 - 15 мая, Геджек. Действуют скидки на ранние билеты. Всем моря и приключений! Подробности: https://designregatta.ru?from=abtest А вот как это было в прошлый раз: https://clck.ru/M67D4

​​Банк ВТБ ищет героев для создания сервисов, которыми будут пользоваться миллионы людей! Программа ВТБ «600 дней» продолжается. Цифровизация клиентского опыта и ускоренное развитие продуктов идут полным ходом, над этим трудится уже более 200 кросс-функциональных команд. Но ВТБ нужны ещё герои, которые будут создавать продукты и сервисы нового поколения для миллионов людей! Никаких длительных согласований — ответственность за продукт перед клиентом и руководством полностью несут команда и её лидер. Дебюрократизация процессов позволяет реализовывать смелые проекты в кратчайшие сроки! Классный коллектив и отличные условия гарантированы. Сейчас ВТБ ищет: Владелец продукта / Product Owner 🚀 Нужно разработать стратегию развития продукта (в т. ч. MVP); 🚀 управлять продуктом (в т. ч. формировать бэклог); 🚀 формировать, управлять и развивать продуктовые команды; 🚀 проверять продуктовые гипотезы и анализировать полученные результаты; 🚀 отслеживать и интерпретировать продуктовые метрики. Вакансия для уверенных специалистов с подтвержденным опытом разработки продукта, roadmap, с пониманием современных гибких методологий продуктовой и IT-разработки (Agile), со знаниями в области cusdev, jtbd и других глубинных исследований Оставляйте отклик по ссылке!

​​Как внешниие факторы влияют на эксперименты и почему важно запускать долгосрочные тесты. via @ABtesting

Материалы по экспериментам от Романа Поборчего. Начнем с простого - A/B-тесты для "нематематиков" о методах грамотного оценивания результатов a/b-тестирования. Особое внимание уделяется вопросу о том, на какую целевую метрику ориентироваться при проведении маркетинговых экспериментов. Продолжим вопросами дизайна эксперимента. Уже пора задуматься о том, на каких допущениях основан эксперимент: по-настоящему случайное распределение пользователей, независимость измеряемых событий и т.д. Бывали ситуации, когда вы или вам говорили, что данных недостаточно для решения? Часто это действительно так, но нередко всё дело в поломках системы экспериментов и учёта пользовательской статистики. Рассмотрим типичные поломки, которые встречаются, и у вас появится возможность, вернувшись на рабочее место найти свои. И на последок - грабли А/В-тестирования. Все изменения в сервисе проходят через эксперимент на пользователях. Выкатываем только то, что показывает значимое улучшение целевой метрики. Да, у нас есть целевая метрика. Да, мы всё знаем про статистическую значимость. Но почему целевая метрика нашего сервиса сегодня находится точно на том же уровне, что и год назад? Разбираемся = = = Но мы пошли дальше, нашли "белые пятна" в доступных материалах (не именно этих, а вообще) и закроем их на нашей конференции по продуктовой аналитике 8-9 апреля. Уже знакомый вам Роман Поборчий расскажет о том, каковы этапы эволюции in-house системы экспериментов в любой компании. Это важно понимать хотя бы потому, что на маленьком и большом трафике абсолютно разные подходы к проведению экспериментов + к этому, Искандер Мирмахмадов, EXPF расскажет как проверять качество систем сплитования трафика на платформах экспериментов с теорией, кейсам и демонстрацией кода на Python. И у вас все сложится в единую систему. Кроме этого, Андрей Кузнецов, Lead Core Analytics ВКонтакте, готовит лекцию о том, почему регрессионные модели в а/б-тестах — это супер полезно. Он математик и ему есть что сказать. И как вишенка на торте - Кирилл Шмидт, lead product analyst, Wrike. Поговорим с ним о том, что делать, когда а/б-тест невозможен: выборки слишком малы, нет ресурсов, когда вообще не запускать эксперимент. Ждем вас на нашей конференции уже через 3 недели: https://aha.matemarketing.ru/ @internetanalytics

Отличная возможность узнать об опыте в аналитике крупных компаний 23 марта в 18:00 состоится онлайн-митап — Avito Analytics meetup. На нём выступят представители Авито, Ситимобила и Skyeng. Расскажут крутые кейсы про аналитику в продуктовой разработке и как найти точки роста с её помощью. Регистрация: http://bit.ly/38D7B1t via @ABtesting

Как проводить умные A/B-тесты в мобильных приложениях с помощью многоруких бандитов? На платформе Appbooster появился сервис усовершенствованного A/B-тестирования мобильных приложений. В его основе алгоритм, который позволяет проводить эксперименты и тестировать гипотезы с меньшими издержками, чем при классическом A/B-тестировании. О том, как работает сервис, как проверяли его состоятельность и кому он будет полезен — кейс на vc.ru от Appbooster.