AB тесты и все вот про это вот все

Всем привет! А еще мы в SberDevices ищем middle продуктового аналитика в наше ТВ-направление. Резюме можете присылать нашему hr (https://t.me/marinatelyuk) или мне (https://t.me/ealexandr). Ниже описание ⬇️ --------------------------------- Чем предстоит заниматься? ▶️ Помогать продуктовым менеджерам принимать решения ▶️ Формулировать и проверять гипотезы для роста продукта ▶️ Анализировать пользовательское поведение и ключевые продуктовые метрики ▶️ Находить инсайты для улучшения продуктовых и бизнес-метрик ▶️ Работать с воронками, когортным анализом, retention и др. ▶️ Строить дашборды и автоматизировать регулярную отчётность ▶️ Проектировать и анализировать A/B-тесты. Мы ожидаем что вы: ▶️ Имеете от 2 лет опыта в продуктовой аналитике ▶️ Понимаете потребности продукта, умеете трансформировать их в задачи, исследования ▶️ Умеете генерировать и проверять гипотезы ▶️ Понимаете основные группы продуктовых метрик ▶️ Умеете формулировать, обосновывать выводы и презентовать результаты анализа ▶️ Уверенно владеете SQL (сложные запросы, джойны, оконные функции) ▶️ Имеете опыт работы с Python и основными библиотеками для анализа данных ▶️ Понимаете статистики и принципы A/B-тестирования, имеете практический опыт проведения A/B-тестов ▶️ Имеете опыт работы с BI-инструментами. Дополнительным плюсом будет: ▶️ Опыт построения базовых ML-моделей (линейная, логистическая регрессия, случайный лес, CatBoost, кластеризация) ▶️ Опыт построения системы метрик продукта ▶️ Навыки взаимодействия с кросс-функциональными командами.

Ребят, привет! 🔵Это Искандер. Мы с командой Trisigma сделали хендбук по A/B-тестированию. В нём собрали качественную и полную базу — на примерах разобрали, как устроены эксперименты и статистический анализ. В общем, внутри всё это нужно, чтобы решения, принимаемые для развития продукта, положительно влияли на целевые метрики. Думаю, что хендбук будет полезен и начинающим аналитикам, и опытным, чтобы освежить в памяти базу. Забрать его можно в боте. Ждём обратной связи! Trisigma — канал про A/B-тестирование #trisigma

Аналитик-инженер Наши устройства и другие системы генерируют большие объемы данных самого разного рода. Необходимо совместно с командой дата-платформы упорядочить данные, настроить процессы и превратить их в удобный инструмент для анализа и визуализации. Твои основные заказчки - это аналитики данных. Что вам предстоит делать? ▶️ Разрабатывать и поддерживать ETL/ELT процессы с использованием dbt/airflow. ▶️ Проектировать и оптимизировать модели в витринном слое. ▶️ Разрабатывать и поддерживать процессы по заполнению мета-данных в дата-каталоге. ▶️ Контролировать качество данных: писать тесты в dbt, осуществлять мониторинг аномалий. ▶️ Документировать данные и процессы (data documentation). ▶️ Адаптировать dbt-core для продуктовых аналитиков. Мы ожидаем, что вы: ▶️ Знаете dbt-core, имеете опыт доработки core/адаптеров. ▶️ Умеете осуществлять оркестрацию с помощью airflow/dagster. ▶️ Хорошо знаете Python. ▶️ Знаете основы хранения данных, различий между БД. ▶️ Отличное знаете SQL и особенности Clickhouse. ▶️ Работаете с git, s3. Будет плюсом: ▶️ Опыт разработки Data Vault. ▶️ Опыт работы с BI. Вакансия на HH

Дата-аналитики Да, мы ищем сразу несколько человек Мы — дата-аналитики виртуального ассистента Салют. В зоне нашей ответственности — метрики качества GigaChat на устройствах SberDevices. В ежедневной работе много Python/SQL, работы с логами, витринами данных, статистики и экспериментов. Что вам предстоит делать? ▶️ Разрабатывать пайплайны для анализа моделей. ▶️ Проводить эксперименты для улучшения метрик базовой модели и других LLM-based систем. ▶️ Работать со сложными пайплайнами разметки. Мы ожидаем, что вы: ▶️ Уверенно владеете Python, SQL, Spark. ▶️ Имеете опыт проведения A/B тестов. ▶️ Понимаете ML-метрики и анализ данных. ▶️ Применяете статистику и теорию вероятностей на практике. ▶️ Умеете работать с BI-инструментами. Будет плюсом: ▶️ Опыт работы с данными для крупных ML-моделей. Вакансия на HH

Всем привет! Мы нанимаем аналитиков. Отличные, прекрасные вакансии в SberDevices. У нас открыто сразу несколько вакансий. Кого ищем? ✅ Дата-аналитики в команду Ассистента (Junior+/Middle) - вакансия на HH ✅ Аналитик-инженер (Senior) - вакансия на HH Ну или можно писать на hr@sberdevices.ru Ниже подробности

Привет, это Вит Черемисинов. 🔵В марте у меня вышло ещё одно большое интервью в подкасте Data Heroes от LEFT JOIN. Точно рекомендую его посмотреть/послушать, если ищете ответы на эти вопросы: — Почему у нас не любят облачные сервисы — Кто главные игроки на российском и западном рынках, и за чьими успехами стоит следить в домене экспериментов — Почему иногда главный конкурент платформы для экспериментов — это не другой поставщик, а внутренний эксперт компании-заказчика? — Как мы используем ИИ в продуктах Trisigma? Выбирайте любую платформу: YouTube VK Apple Podcasts, Яндекс Музыка #trisigma

Чтение новостей сейчас интереснее, чем что бы то ни было. АБ-тесты эти все - так скучно. И все же отвлечемся на них. В последние месяцы по долгу службы приходится много заниматься вопросами культуры АБ-тестирования. Это важнее, чем стат. критерии, mde, бутстрап и, конечно, аб-платформа. Об остальных умных и сложных словах и не говорю. Шаг 0 - это оценка того, что они действительно нужны. Это не шутка. АБ-тесты нужно начинать делать не тогда, когда появились данные, пользователи, или появились аналитики, которые хотят (или умеют). Или потому что все их проводят (кажется, что часто так и бывает). А, наверное, тогда, когда развитие продукта вслепую (наугад, бесконтрольно, безответственно и другие синонимы) становится слишком дорогим удовольствием. Когда становится понятно, что это должно происходить под контролем, понятно, предсказуемо, тогда и становится "пора". Продолжение следует.

Подведены итоги традиционного исследования рынка аналитиков. NewHR проводит его уже не в первый раз и знает в этом толк. Ссылка. Что внутри: - портреты, специализации аналитиков - грейды, зарплаты - география работы, релокация, удаленка - выводы, тренды, неочевидные инсайты - и многое другое В общем, не тратим время впустую, заходим, читаем.

На следующей неделе пройдет оффлайн-митап про АБ-тесты, AI и проч. с участием EXPF Trisigma. Все сплошь трендовые темы. Ссылка тут.

Небезинтересная статья от коллеги из Авито с критикой и проблемами использования критерия Манна Уитни. При этом Яндекс в своем Вариокубе использует Манну Уитни. Тут описывается механика и разбираются некоторые аргументы из первой статьи.

Пересматривал ролик про АБ-платформы, обратил пристальное внимание на часть, где Виталий Черемисинов рассказывает про чувствительность метрик, как ее моделировать и правильно использовать в работе. Ссылка в отметкой времени. Почему это важно? Как в рассказе Виталия, мы можем раз за разом брать какую-то метрику и раз за разом разочаровываться, когда наша фича снова не дала результат. Если заняться исследованием чувствительности метрик, мы можем выяснить, что эти и те метрики у нас малочувствительны и на них не нужно акцентироваться в экспериментах. И наоборот, появится пул метрик, с которыми мы с большей степени можем добиться желаемого. Таким образом сможем сэкономить время, силы, деньги, репутацию.

Нашел тут небольшой курс по Байесовским АБ-тестам на степике. На досуге посмотрю, что там есть, после расскажу

Хочешь превратить встречу в холивар? Предложи обсудить использование mde в аб-тестах. Не нужно благодарностей

Всем привет! совсем недавно поменял работу, и о своих наблюдениях здесь пописываю потихоньку. На себе прочувствовал, что рыночек аналитиков сильно изменился за последние год-два. Более полно оценить, что происходит, в очередной раз поможет NEWHR. Прошу помочь в этом важном деле. NEWHR запустили очередное исследование рынка аналитиков (первое исследование было запущено в 2018 году, последнее — в 2024 (https://newhr.org/data/research-analysts-2024)). Цель: выяснить, как меняется профессия, чего хочет бизнес от аналитиков, чего хотят сами аналитики, сколько зарабатывают и какими технологиями пользуются. Рынок каких аналитиков исследуют: ➤ Дата-аналитиков ➤ Продуктовых аналитиков ➤ BI-аналитиков ➤ Маркетинговых аналитиков ➤ Веб-аналитиков ➤ Системных и бизнес аналитиков ➤ Руководителей аналитики Что именно исследуют? 👉 Сколько зарабатывают аналитики, как эти цифры менялись за последний год и с чем были связаны изменения 👉 Рейтинг работодателей для аналитиков, с нормальной аналитической культурой, например 👉 Где работают аналитики, как работают (удалёнка/офис), какие планы на трудоустройтво 👉 Как меняется зона ответственности аналитиков и чем они хотят заниматься 👉 Как аналитики ищут работу и выбирают работодателя Как принять участие в исследовании? ⏩ Заполнить опросник (https://survey.alchemer.com/s3/8488868/analytics-NEWHR-2025)(займет около 20 минут) 🚀 На данный момент опрос прошли уже 900+ специалистов. Цель — собрать 1500 респондентов. Когда будут результаты? — Итоговый результат исследования будет опубликован в начале 2026 года. — Со всеми участниками исследования команда NEWHR будет делиться промежуточными результатами, а также пригласят на закрытый стрим, где поделятся всеми инсайтами и ответят на вопросы. 👉🏼 Пройти опрос (https://survey.alchemer.com/s3/8488868/analytics-NEWHR-2025) P. S. Опрос можно и нужно шерить с коллегами-аналитиками. Чем больше данных, тем точнее и интереснее результаты!

Что учить, чтобы получить оффер на аналитика в 2025 году? Приглашаем на бесплатный вебинар, где Андрон Алексанян — эксперт в области аналитики и CEO школы аналитики Simulative — в прямом эфире разберет все важные аспекты в работе аналитика, а также расскажет как получить оффер быстрее других. Если вы мечтаете стать аналитиком, но пока не знаете, с чего начать, это будет идеальный старт. А если уже в процессе — сможете ускорить свой путь к офферу и узнаете полезные карьерные лайфхаки. На вебинаре разберём:

🟠

Что нужно учить, если хочешь стать аналитиком; 🟠Примеры проектов по каждой теме; 🟠Что не нужно учить или нужно учить, но не сразу; 🟠Структура хорошего портфолио с примерами; 🟠Как примерно должна выглядеть воронка вакансий и когда лучше начинать отклики; 🟠Что говорят реальные наниматели — какие у них сейчас требования, почему готовы/не готовы брать джунов, и что чаще всего не устраивает (со скринами и конкретикой, никакой теории «из головы»).

🕗 В конце вебинара зрителям дадим файлик с материалами — сможете сохранить и использовать как чек-лист. 😶Зарегистрироваться на бесплатный вебинар

Однажды в одном продукте разработали одно фичу. Что за компания, продукт и фича, не важно. Важно другое. Фича была крупная, она могла достаточно серьезно повлиять на прибыль. Но сверху поступило указание не проводить АБ-тест, так как там были очень уверены в успехе, а АБ-тесты, как известно, для слабых и неуверенных в себе. А мы в команде, рангом пониже, не такие, и отрезали для контроля 10% на всякий случай. По ходу снимали промежуточные результаты, где-то есть профит, где-то нет. Проходит время, сверху приходит запрос сделать выводы об эффективности. Тут как раз и пригодился наш 10-процентный контроль. И, кстати, наверху уже и забыли про нежелание делать АБ и никак не отреагировали на наши выкладки типа "тест-контроль-аплифт". Фича была достаточно сложная и по-разному влияла на разные сегменты пользователей. В результате оказалось, что в одном сегменте у нас стат. значимо есть аплифт (и конверсии и хулиарды денег), в другом было близко к стат. значимости, но нет, а в остальных, самых крупных сегментах было очень далеко от 0,05. Таким образом, благодаря тому, что мы все же сделали контроль: 1. Смогли показать успешность гипотезы и показать прирост конверсии и чистой прибыли компании. 2. Увидели, что наши нововведения по-разному в одних сегментах работают хорошо, а в других не работают вовсе. 3. Получили идеи, что теперь с этим делать дальше. 4. Получили еще одно подтверждение, что все эти чуйки и интуиции без нормального обоснования фактами могут идти лесом.

Разбираем тестовое задание в Яндекс на позицию Junior аналитика данных Тестовое задание — важная часть трудоустройства аналитика. Это шанс показать свои навыки на практике и получить оффер мечты. Приглашаем на бесплатный вебинар, где Андрон Алексанян — эксперт в области аналитики и CEO школы аналитики Simulative — в прямом эфире разберет тестовое задание в Яндекс на позицию Junior аналитика данных. ⚡️На вебинаре вы:

🟠узнаете, какие навыки и знания необходимы для успешного выполнения заданий; 🟠поймёте, что хочет увидеть работодатель; 🟠получите советы и лайфхаки; 🟠вместе с Андроном разберете в прямом эфире реальный пример тестового 🔥

Чему именно научимся на вебинаре:

🟠С помощью Pandas проанализируем Яндекс-запросы за несколько недель, загрузив их из json-файла; 🟠Найдем закономерности и отличия использования сервиса на мобильных устройствах и компьютерах; 🟠Разберем фишки Pandas: сложную агрегацию, маппинг, конкатенацию, чейнинг и др.

🕗 Настоятельно рекомендуем не пропускать — для зрителей у нас есть особый бонус, который обеспечит вам уверенный старт в вашей карьере. 😶Зарегистрироваться на бесплатный вебинар

Новости интересные подъехали. Авито прибирает к рукам платформу Сигма от EXPF. Не готов сейчас обсуждать, к лучшему или к худшему это. Понаблюдаем. https://www.avito.ru/company/press/expfsigma

⚡️Пошаговый план: как стать аналитиком данных в 2025 Хотите попасть в аналитику, но теряетесь в море информации и не понимаете, какие навыки действительно важны? Боитесь, что без опыта вас не возьмут на работу? И да, ещё один популярный вопрос — а что, если мне 30/40/50+ лет? Андрон Алексанян — эксперт по аналитике с 8-летним опытом и по совместительству CEO Simulative — покажет рабочие схемы и чёткий план, как устроиться в аналитику быстрее, даже если у вас нет опыта Что будет на вебинаре? 🟠 Разберёте полный роадмап: что учить, в каком порядке, до какого уровня; 🟠 Лайфхаки трудоустройства: — покажут реальные примеры, как оформить резюме и портфолио, чтобы привлекать внимание; — обсудите, какие отклики работают, а какие сразу отправляют в корзину; — изнанка найма: инсайдерский взгляд на процессы отбора 🟠 Практические техники для новичков: разберёте, как компенсировать недостаток опыта и быстро закрывать пробелы в знаниях 🕗 Важно досмотреть вебинар до конца, чтобы получить бонус от Simulative, который поможет бустануть карьеру 😶Зарегистрироваться на бесплатный вебинар

Тут коллеги из Бургер Кинг рассказывают, как делают оффлайн АБ-тесты. Раз и два