fa
Feedback

فریب کلاهبرداران را نخورید! تل‌متریو این کانال‌ها را شناسایی و برچسب‌گذاری می‌کند 👉 برای مشاهده برچسب، اشتراک تهیه کنید 👈

Yandex for Analytics

Yandex for Analytics

رفتن به کانال در Telegram

Канал для аналитиков от Яндекса. Рассказываем о событиях, обсуждаем кейсы, знакомимся с командами и внимательно смотрим на данные. Чат: t.me/YandexDataDriven Вопросы: @Ekaterina_Lyagina Все каналы Яндекса по стекам: https://t.me/addlist/Hrq31w2p1vUyOGZi

نمایش بیشتر
9 576
مشترکین
+224 ساعت
+217 روز
+13230 روز
آرشیو پست ها
⏬ Как мы ищем иголку в стоге из 5,5 млрд товаров (и зачем это вообще нужно) Привет! Меня зовут Никита Симаков, я руководитель
⏬ Как мы ищем иголку в стоге из 5,5 млрд товаров (и зачем это вообще нужно) Привет! Меня зовут Никита Симаков, я руководитель команды аналитики товарной базы в Яндексе. Наша задача — следить за тем, чтобы пользователь всегда видел актуальную информацию о товарах, а технологии под капотом поиска были удобными и качественными.
В этом посте на примере двух кейсов я расскажу, с какими вызовами мы сталкиваемся и как их решаем. Погнали!
🈂️ Кейс № 1. Как не утонуть в 5,5 млрд оферов Представьте: один и тот же iPhone 17 продаётся на 50 разных сайтах. Чтобы пользователь мог сравнить цены на рынке, на нашей стороне нужно понять, что все эти оферы — один и тот же товар. Звучит просто, но когда в товарной базе хранятся 5,5 млрд предложений, попарно сравнивать их уже труднее. Для этого в нашем сервисе применяется технология под названием «Склейка», а моя команда занимается её оценкой. Мы придумываем, как размечать много, масштабируемо и желательно дёшево, а также пробуем разные варианты: разметку человеком, LLM, VLM и каскады нескольких моделей. Среди всех методов ищем самый эффективный и берём его. 🈂️ Кейс № 2. Почему вчерашняя цена сегодня уже не актуальна Кроме оферов, в нашей базе лежит 300 тыс. магазинов, и каждый может в любой момент изменить цену товара или статус о его наличии. Наша задача — оценивать, как парсятся сайты продавцов, чтобы система работала исправно, а пользователи видели максимально свежие данные. Изначально парсинг — это набор регулярок и правил, которые написаны людьми. Мы автоматизировали этот процесс: создали качественную разметку цен, наличия, названий и картинок на сайте. А потом научили AI писать парсеры самостоятельно. Такая система эффективно работает и легко масштабируется. 📆 О других наших кейсах, работе в команде и в целом о Яндексе я расскажу подробнее на Welcome Time 22 августа. Это неформальная офлайн-встреча для продуктовых и дата-аналитиков, где вы сможете: 🔵 Пообщаться со специалистами из Яндекс Поиска и Независимого Ecom 🔵 Обсудить технологии и задать вопросы о проектах 🔵 Если есть желание, пройти диагностику ваших навыков ⏭️ Ждём вас на Welcome Time! Подписывайтесь: 💬 @Yandex4Analytics

🧑‍💻 Left join через inner join. Часть 1 из 3. Как мы анализируем влияние внедрений Во время A/B-тестов мы обычно смотрим на
+5
🧑‍💻 Left join через inner join. Часть 1 из 3. Как мы анализируем влияние внедрений Во время A/B-тестов мы обычно смотрим на метрики в двух срезах: по всем участникам эксперимента (left join) и только по активным пользователям (inner join). Проблема в том, что аудитория эксперимента может составлять миллионы человек, а целевые действия совершает лишь малая часть. Считать тяжёлые статистики по всем участникам в Spark — долго и дорого из-за огромного количества нулей. ⏭️ Наша коллега из Райдтеха Диля Хакимова нашла изящное математическое решение, как вообще не считать left join на кластере, а получать его за доли секунды из данных inner join. 👳 В карточках коротко описали суть проблемы и решения, а о реализации для ttest и bootstrap расскажем в следующих постах. Подписывайтесь: 💬 @Yandex4Analytics

🎙 Как аналитики драйвят бизнес? Один аналитик исследует поведение пользователей, дизайнит A/B-тесты и в партнёрстве с командой помогает принимать сложные решения. Другой — растит эффективность продукта: настраивает алгоритмы выдачи и мэтчинг курьеров, работает напрямую с продакшен-кодом. Обе роли напрямую драйвят P&L компании, но влияют на него по-разному. ⏭️ В этом выпуске наши ведущие вместе с Костей Бабаляном, руководителем отдела аналитики роста, ценообразования и технологий роста в Яндекс Еде, обсудили два разных подхода: аналитику эффективности и партнёрскую аналитику. 🔵 Есть ли принципиальная разница между ними и может ли аналитик быть визионером и лидером, оставаясь экспертом-одиночкой без команды? 🎁 А всем, кто досмотрит выпуск до конца, — бонус: тост с пожеланием для аналитиков от нашего гостя! 🎧 Смотрите на ютубе и в VK Видео, слушайте в Яндекс Музыке. Подписывайтесь: 💬 @Yandex4Analytics

👨‍💻 Пять советов соискателю, которые помогут на интервью На собеседовании может быть интересно и спокойно, и тогда с большо
+5
👨‍💻 Пять советов соискателю, которые помогут на интервью На собеседовании может быть интересно и спокойно, и тогда с большой вероятностью ваш результат будет лучше, а простой созвон станет классным опытом. На связи Сослан Табуев, старший аналитик-разработчик в отделе аналитики Поиска и супераппа Поисковых сервисов и ИИ. Уже больше трёх лет я провожу лайфкодинг-собеседования на вакансии аналитиков, а до этого сам несколько раз менял работу. Поэтому знаю, как проходит процесс найма аналитиков с обеих сторон — соискателя и собеседующего. 👳 Свой опыт я собрал в карточках: в них я делюсь простыми советами, как кандидат может подготовиться к собеседованию и на что собеседующий обращает внимание во время интервью. А вот два бесплатных курса на Stepik, которые помогут в решении задач: 🔵 Структуры данных 🔵 Методы ⏭️ Больше про аналитику, статистику, данные, AI и здравый смысл рассказываю в своём канале. Подписывайтесь: 💬 @Yandex4Analytics

⏬ Как от целей прийти к задачам Карта гипотез — это технология, которая помогает собрать действенную стратегию для компании и
⏬ Как от целей прийти к задачам Карта гипотез — это технология, которая помогает собрать действенную стратегию для компании или продукта и выстроить логическую цепочку достижения целей. Проще говоря, это точка сборки всех идей в стратегию, которая оформляется в виде ментальной карты. 🈂️ Давайте разберёмся, из каких сущностей состоит карта гипотез и как с ней работать 🔵 Цель. Это то, чего мы хотим достичь. У цели должен быть нарратив («автоматизировать 80% регулярных отчётов к концу 2026 года») и балансирующие метрики (например, «не увеличивать время подготовки отчёта» или «не снижать точность прогнозной модели ниже 95%»), которые защищают от побочных эффектов и не дают схитрить и добиться цели за счёт ухудшения других параметров 🔵 Субъект. Это те, на чьё поведение нам нужно повлиять, чтобы достичь нашей цели. Субъектом может быть кто угодно: конкретный сегмент пользователей, руководитель вашего отдела или продакт, который принимает решение на основе аналитики. Чтобы изменить поведение субъекта, нужно воздействовать на его мотивацию: что он хочет получить и что ему мешает это получить 🔵 Гипотеза. Самое сердце карты — ключевые идеи, которые могут изменить поведение субъекта и приблизить нас к результату. Гипотеза состоит из трёх блоков: ЕСЛИ (наше воздействие), ТО (как именно субъект изменит своё поведение) и ПОТОМУ ЧТО (почему он должен изменить поведение). Гипотезу нужно сформулировать ясно, но не уходить в преждевременную конкретизацию. Воздействие должно влиять на желания субъекта так, чтобы он менял метрики в нашей цели 🔵 Задача. Это конкретные действия, которые необходимо выполнить, чтобы проверить или реализовать гипотезу. В отличие от цели, которая требует разработки стратегии и преодоления неопределённости, задача — это линейный план действий, где всё уже известно и осталось только реализовать его на практике 🈂️ Как это всё работает вместе Суть карты гипотез в том, что все эти сущности связаны в строгую логическую цепочку: ЦЕЛЬ достигается через изменение поведения СУБЪЕКТОВ, на которое мы влияем с помощью ГИПОТЕЗ, для проверки которых мы выполняем ЗАДАЧИ. 💎 Полезный приём: любую задачу, которая приходит в бэклог, стоит проверить — можно ли от неё выстроить цепочку до цели через субъект и гипотезу. Если нет, скорее всего, эта задача не приближает вас к результату и её стоит переформулировать или отложить. Подписывайтесь: 💬 @Yandex4Analytics

🦠 Как COVID-19 помог в продвижении DataLens В разгар пандемии Яндекс выпустил коронаборд — публичный дашборд со статистикой по коронавирусу, который использовали и обычные пользователи, и бизнес, и госструктуры: например, одна ретейл-компания прогнозировала по нему больничные сотрудников. Так внешние обстоятельства дали DataLens новую аудиторию и трафик. Сейчас похожий эффект даёт AI, но в масштабах целой индустрии, только он меняет BI-аналитику. Или дополняет? ⏭️ Об этом в новом выпуске подкаста «Доверительный интервал» рассказал Паша Дубинин, руководитель продуктового развития Yandex DataLens. 🎧 Смотрите на ютубе и в VK Видео, слушайте в Яндекс Музыке. Подписывайтесь: 💬 @Yandex4Analytics

🚀 Погружаемся в технологии на deep tech night 5 сентября пройдёт deep tech night — масштабная онлайн-конференция Яндекса о технологических вызовах, с которыми IT-индустрия сталкивается в эпоху AI: от изменений в разработке до новых требований к архитектуре и инфраструктуре. Это событие для бэкендеров, фронтендеров, тимлидов, аналитиков, продактов и всех, кто работает в IT-индустрии, внедряет AI в процессы, проектирует сложные системы и ищет новые решения. ⏬ В программе доклады экспертов из Яндекса и международных IT-компаний: 🔵 Мо Гавдат, ex-Chief Business Officer, Google X 🔵 Алексей Гусаков, CTO Поисковых сервисов и ИИ 🔵 Сергей Мельник, руководитель сервиса Автономного транспорта и роботов И другие спикеры (некоторые из них пока что секретные — расскажем о них в ближайшее время 🤫). ⏭️ Зарегистрироваться Подписывайтесь: 💬 @Yandex4Analytics

🥤 BI в эпоху AI Классический BI-инструмент — это не просто набор графиков, а огромный пласт инфраструктуры, метаданных и регламентов. Всё это уже сейчас можно автоматизировать при помощи AI или дашборды ещё долго будут частью ручного труда? ⏭️ В этом выпуске подкаста «Доверительный интервал» наши ведущие вместе с руководителем продуктового развития Yandex DataLens Пашей Дубининым обсудили: 🔵 Как AI меняет визуализацию данных 🔵 Зачем в командах нужен «BI-губернатор» 🔵 Преимущества разработки собственных BI-систем, на примере DataLens 🎧 Смотрите на ютубе и в VK Видео, слушайте в Яндекс Музыке. Подписывайтесь: 💬 @Yandex4Analytics

🤖 Как аналитику не писать документацию (самостоятельно) Всем привет, это Роман Гриднев, технический менеджер в подразделении
🤖 Как аналитику не писать документацию (самостоятельно) Всем привет, это Роман Гриднев, технический менеджер в подразделении аналитики Поисковых сервисов и ИИ Яндекса. В Яндексе объёмы данных исчисляются эксабайтами, а уникальных таблиц у нас порядка 30 миллионов. Времени на документацию такого масштаба у аналитиков просто нет. Реальный случай: нам нужно было описать около 40 000 самых востребованных таблиц, а руками за год мы охватили только 500. Ситуация неутешительная: аналитики по-прежнему не находили нужные данные и при этом производили всё больше новых. Как быть? На ум сразу пришла очевидная мысль: что, если использовать LLM? Но любой нейросети нужен контекст, а где взять его в пустой таблице, да ещё и с нетипичным внутренним жаргоном и традициями нейминга? Тогда мы пришли к идее комплексного робота-автописателя, который собирает контекст, отправляет его LLM и генерирует черновики документации. Так задача «напиши с чистого листа» для аналитика превращается в «проверь и поправь» — психологически это проще и быстрее. 🈂️ Как работает робот Сначала он собирает объективные данные: определяет путь к таблице, изучает её схему и берёт образцы данных, если к ним есть доступ. Затем робот обращается к глоссариям — словарям стандартных полей, которые всегда называются и описываются одинаково. Следующий шаг — парсинг Вики, внутренней базы данных Яндекса. Робот ищет в корпоративных знаниях описания полей и контекст данных, чтобы использовать их в дальнейшей работе. Далее система анализирует граф связей через Memgraph: она выясняет, откуда берётся таблица и куда она идёт дальше в цепочке обработки данных. Робот также учитывает «соседей по папке»: таблицы, расположенные в одной директории хранилища, часто имеют схожий контекст и назначение. Система анализирует совпадения названий и типов полей, но исключает служебные поля, например ID или дату. После того как робот собрал и структурировал всю информацию, он передаёт её модели. LLM дописывает недостающие поля с учётом накопленного контекста — так получается полноценный черновик описания. На следующем этапе система добавляет технические детали: анализирует SQL-код, с помощью которого формируется таблица, и на его основе поясняет логику каждой колонки. В результате в документации появляются блоки с активными ссылками на таблицы-источники. Наконец, робот делает финальный запрос к LLM. Он передаёт модели собранное описание полей и техническую логику их формирования и просит сформулировать краткую характеристику таблицы — до 2000 знаков. Это очень полезно для внутреннего поиска по дата-каталогу. 🈂️ К каким метрикам мы пришли 🔵 Смысл описания, которое подготовил робот, с тем, которое ранее подготовил человек, совпал на 92% 🔵 Полей, в которые аналитики не вносили правок, — 71% 🔵 Наши аналитики довольны описанием таблицы на 93%, а описанием схемы данных — на 85% 🈂️ Что получилось в итоге За 6 месяцев робот помог описать 15 000 таблиц вместо 500 за год ручной работы. На каждой сущности экономим в среднем 2 часа — итого около 5 лет рабочего времени аналитиков. 🈂️ К чему мы стремимся 🔵 Интегрировать систему с потоками регулярных данных, чтобы получать знания о графе формирования каждой колонки напрямую, а не из логов 🔵 Реализовать поколоночную проброску описания: отслеживать, как колонка перетекает из одной таблицы в другую 🔵 Сделать инструмент доступным по кнопке прямо в дата-каталоге — чтобы любой пользователь мог получить описание таблицы в один клик Мы создаём технологии, которые меняют внутренние процессы: автоматизируют рутину, высвобождают время для творчества и сложных задач. Хотите так же? Попробуйте начать с малого: соберите контекст, дайте его LLM — и получите заготовку для документации. Уже первый черновик ускорит работу и запустит цепную реакцию: проверенные описания станут новым контекстом, качество вырастет, а люди будут участвовать в процессе. ⏭️ Кстати, в этом году я выступлю на Data Driven — конференции для аналитиков от Поисковых сервисов и ИИ Яндекса. Встретимся 26 сентября в Москве или онлайн. Подписывайтесь: 💬 @Yandex4Analytics

🎙 Почему капча больше не про светофоры В новом выпуске подкаста Podlodka Руслан Сабиргалиев, руководитель группы коммерческих проектов Антиробота, рассказал, как эволюционировала капча, зачем боты атакуют сервисы (и сколько это может стоить бизнесу), а также объяснил, что такое невидимые проверки и что делать, когда обычного пользователя система внезапно считает подозрительным. 💎 Ещё поговорили про хороших ботов, AI-агентов, DDoS, защиту логина, форм, SMS и API. ⏭️ Слушайте все подробности в подкасте на ютубе Подписывайтесь: 💬 @Yandex4Analytics

🤩 Анализировать можно всё, что вас окружает Например, то, чем вы пользуетесь каждый день. Попробуйте сами: посмотрите на свои приложения в смартфоне и подумайте, какие задачи важны этому бизнесу или какую бизнес-модель выбрали бы вы. И тогда, кажется, вы всегда будете готовы перейти в другой бизнес-домен или сменить контекст безболезненно, потому что вы постоянно проделываете такую работу. Но смена бизнес-домена — это и другие вопросы: как объяснить свой опыт на новом рынке и чего ждать в первые месяцы. 🎙 В подкасте «Доверительный интервал» обсудили это и многое другое вместе с Антоном Кирьяновым, руководителем службы аналитики роста и эффективности Финтеха Яндекса. ⏭️ Смотрите полный выпуск на ютубе и в VK Видео и слушайте в Яндекс Музыке. Подписывайтесь: 💬 @Yandex4Analytics

💠 Welcome Times для аналитиков Ребята из разных команд Яндекса приглашают в гости, чтобы познакомиться, рассказать про специ
💠 Welcome Times для аналитиков Ребята из разных команд Яндекса приглашают в гости, чтобы познакомиться, рассказать про специфику своей работы, поделиться опытом и ответить на все вопросы. На ивентах вы сможете пройти диагностику: проверить уровень своих технических навыков по Python и SQL. Интервьюеры подготовят фидбэк, расскажут о ваших сильных сторонах и подскажут, над чем ещё стоит поработать. Успешные результаты диагностики будут актуальны в течение двух лет: при найме в Яндекс их зачтут как успешное прохождение одного из этапов собеседования. 📆 Ближайшие встречи: 🔵 26 июля — команда Алисы и Умных устройств 🔵 22 августа — Поиск и Суперапп, Яндекс Поиск, Независимый Ecom и Международный Поиск 🔵 17 октября — команды Коммерческого департамента и Рекламы 🗺 Москва, улица Льва Толстого, 16 ⏭️ Подробности и регистрация Подписывайтесь: 💬 @Yandex4Analytics

⏬ Страх смены бизнес-домена Стоит ли аналитику годами развиваться в одной индустрии, или регулярная смена контекста — это тож
⏬ Страх смены бизнес-домена Стоит ли аналитику годами развиваться в одной индустрии, или регулярная смена контекста — это тоже выгодная стратегия роста? Как преодолеть страх неизвестности, если вы всю жизнь считали метрики в ретейле, а теперь хотите уйти в финтех или образование? Сегодня у нас в гостях Антон Кирьянов, руководитель службы аналитики роста и эффективности Финтеха Яндекса. Вместе мы разобрались, как правильно упаковать свой прошлый опыт для незнакомого рынка и с какими сложностями можно столкнуться в первые месяцы работы. 🎧 Если вы думаете о смене бизнес-домена, но боитесь неизвестности — этот выпуск для вас 📺 Смотрите на ютубе и в VK Видео. Подписывайтесь: 💬 @Yandex4Analytics

🧑‍💻 Поможем подготовиться к собесу и прокачать резюме Мы перезапускаем наш MVP-проект с бесплатными карьерными консультация
🧑‍💻 Поможем подготовиться к собесу и прокачать резюме Мы перезапускаем наш MVP-проект с бесплатными карьерными консультациями для разработчиков от опытных рекрутеров Яндекса. Приходите к нам, а мы поможем с резюме или профилем LinkedIn, расскажем о наших карьерных треках и ответим на все интересующие вопросы о наймовых процессах в IT. Кого зовём: аналитиков уровня мидл+ с опытом от 3 лет. Как всё устроено: 🔵 Отправляете заявку 🔵 Выбираете удобную дату и время 🔵 Узнаёте всё, что хотели, на 45-минутном созвоне ⏭️ Узнать подробности и отправить заявку Подписывайтесь: 💬 @Yandex4Analytics

🧠 Как руководителю правильно подбирать состав команды? Есть разные способы построить сильный коллектив. Можно искать людей, похожих друг на друга, а можно — тех, кто дополняет коллег и усиливает команду. 🎙 Об этом и не только поговорили с Михаилом Эюбовым, новым CDO Яндекс Лавки, в последнем выпуске «Доверительного интервала». Обсудили: 🔵 как понять, когда пора становиться лидом; 🔵 каким образом выстраивать химию в команде; 🔵 должен ли руководитель быть сильным аналитиком. 📺 Смотрите на ютубе и в VK Видео, слушайте в Яндекс Музыке. Подписывайтесь: 💬 @Yandex4Analytics

🍫 Как устроены А/B-тесты в Лавке В продуктовой аналитике Лавки проводятся десятки A/B-тестов в неделю. Но чтобы понять, что
🍫 Как устроены А/B-тесты в Лавке В продуктовой аналитике Лавки проводятся десятки A/B-тестов в неделю. Но чтобы понять, что получилось в итоге, нужно много времени, часть которого съедает рутина. В этом посте мы покажем несколько простых пунктов, которые помогли значительно ускорить работу аналитиков с экспериментами. ⏬ Единая база всех А/B-тестов Наша очередь в трекере LavkaAB — это реестр, который хранит: 🔵 Запущенные тесты и выводы по ним 🔵 Проблемные А/B 🔵 Тесты, готовящиеся к запуску в будущем ⏬ Создание тикетов через форму Дерево решений и набор метрик в тикете проставляются автоматически. Например, для экспериментов с поиском в Лавке у нас такой набор метрик: 🔵 GMV товаров, купленных из поиска 🔵 Глубина доскролла 🔵 Конверсия из поисковой сессии в добавление в корзину 🔵 Доля запросов с добавлением в корзину 🔵 Число поисковых запросов с пустой выдачей ⏬ Что нужно прикладывать к тикету 🔵 Описание изменения: визуальное, техническое, в каких частях приложения, для какой группы пользователей 🔵 Гипотеза и ответ на вопрос «Зачем?»: например, если пользователи будут видеть в поиске переключалку на AI-режим, то им начнут больше пользоваться 🔵 Пространство в приложении: поиск, рекомендации, каталог. Это нужно, чтобы коллеги понимали, что изменение может коснуться и их экспериментов тоже ⏬ Автопроверка наблюдений и метрик Если метрики прокрашиваются — AI-модель сигнализирует о самом важном и отправляет алерты. Раньше мы могли заметить проблему через пару недель, а теперь оперативно подхватываем все ошибки. ⏬ AI в анализе А/B-теста Когда эксперимент завершается, модель автоматически собирает из тикета гипотезу, дерево решений и ссылки c рассчитанными метриками на АБшнице — нашей A/B-платформе. Затем модель формирует ответ по интегральному и целевому наблюдению и дополняет его аномалиями — нетипичными приростами или падениями метрик. Далее AI связывает всё в общую картину в таком духе: «Мы изменили экран N, его метрики изменились, пользователи начали переходить на другой, суммарные изменения дают положительный эффект». Человеку остаётся проверить и отредактировать выводы. ⏬ В итоге мы: 🔵 Сократили время аналитиков на анализ одного эксперимента с 1 рабочего дня до 1 часа 🔵 Организовали быстрый вход в A/B для продакт-менеджеров: теперь тесты запускает в два раза больше продактов 🔵 Снизили число ошибок по запущенным экспериментам Подписывайтесь: 💬 @Yandex4Analytics

🤨 Руководитель = самый сильный аналитик? Или руководителю необязательно быть центром технической экспертизы? Как меняется уровень ответственности, стресса и круг задач на разных ступенях — от первой лид-позиции до CDO? 🎙 В новом выпуске подкаста «Доверительный интервал» вместе с новым CDO Яндекс Лавки Михаилом Эюбовым обсудили, как понять, что пора идти в руководство (и стоит ли), как сохранить сильную экспертность и что самое сложное в работе руководителя аналитики. ⏭️ Смотрите на ютубе и в VK Видео, слушайте в Яндекс Музыке. Подписывайтесь: 💬 @Yandex4Analytics

🧠 Как в Спамообороне Яндекс Почты обучали детектор логотипов На связи Никита Подледнев, ML-инженер в Спамообороне Яндекс Поч
+8
🧠 Как в Спамообороне Яндекс Почты обучали детектор логотипов На связи Никита Подледнев, ML-инженер в Спамообороне Яндекс Почты. Однажды мы столкнулись с проблемой картиночного спама: в нём рекламировались назойливые онлайн-казино и использовались логотипы известных брендов, чтобы вводить пользователей в заблуждение. ⏬ Существующие методы не всегда справлялись с такими атаками, поэтому мы решили разработать новый подход. Сегодня я расскажу, как мы научились бороться с картиночным спамом с помощью детектора логотипов. 👳 Читайте в карточках Подписывайтесь: 💬 @Yandex4Analytics

🧑‍💻 Признаки в рантайме без тикетов разработчикам: как мы построили Avalon Меня зовут Паша Попов, я руковожу группой разраб
🧑‍💻 Признаки в рантайме без тикетов разработчикам: как мы построили Avalon Меня зовут Паша Попов, я руковожу группой разработки технологий эффективности Такси. В этом посте я расскажу про Avalon — наш Feature Store. Он позволяет хранить пользовательские признаки любой структуры и получать их из рантайма с задержкой в миллисекунды — без тикетов команде разработки. 🈂️ Всё началось с задачи: «Раз в сутки мы размечаем атрибуты пользователей. А дальше, в рантайме, хотим принимать решения в зависимости от того, проставлен атрибут на пользователя или нет». 🈂️ Что нам нужно было сделать: Дать сервисам универсальный способ получать обновляемые данные с низкой latency без участия разработчиков или других команд. 🔍 Что было до Avalon В Городских сервисах уже существовал сервис на PostgreSQL для бинарных признаков. Аналитики использовали его для экспериментальной разметки аудитории: смотрели на результат, а затем заказывали нормальную доработку в нужном продукте. ♾ Инструмент быстро стал популярным и с ростом аудитории столкнулся с двумя ограничениями: 1️⃣ Пользователи хотели загружать всё больше данных. PostgreSQL нельзя масштабировать автоматически — каждый раз нужна операция с участием инженеров 2️⃣ Признаки — только бинарные: «есть» или «нет». Хранить количество поездок водителя или сумму заказов клиента невозможно 🈂️Так появился Avalon Мы создали инструмент с тремя ключевыми принципами: 🔵 Любой тип данных. Бинарный флаг, число, структура с любой глубиной вложенности — схему описывает сам аналитик 🔵 Масштабирование без участия команды. Если нужно больше данных — просто принесите их. Под капотом YDB берёт шардирование на себя 🔵 Реестр признаков. Видно, кто потребляет каждый признак в рантайме, с каким объёмом нагрузки, как долго он должен жить 🈂️Как аналитик работает с системой Разработчик один раз описывает логическую схему данных и настраивает интеграцию. После этого аналитики сами обновляют наборы признаков — никаких согласований с другими командами. Данные приходят из YT-таблицы. Внешний сервис считает разницу между текущим состоянием и новым набором, а Avalon загружает изменения батчами и записывает прогресс, чтобы при сбое продолжить с нужного места. После загрузки признак доступен через эндпойнт fetch. Сервис запрашивает конкретный атрибут по идентификатору: /service-general/123/features/with_attribute Или весь набор признаков по одному ID: /service-general/123/features 🈂️ CDC: история изменений для аналитики Для аналитических задач Change Data Capture — одна из самых ценных функций. Часто важно знать не только актуальное значение признака, но и его историю: когда и что поменялось, каким оно было раньше, кто инициировал изменение. Например, есть сервис, который хранит текущий размер скидки для каждого пользователя. Аналитику нужна полная картина: когда цифра росла, когда падала, что на неё влияло. Механизм фиксирует каждое изменение в потоке событий с метаданными: старое и новое значение, метку времени, контекст запроса. Подписчики топика получают эти события и строят на их основе любую аналитику. 🈂️ Жизненный цикл признака В реестре видно, кто потребляет каждый признак, кому он нужен и с каким RPS. Удаление происходит безопасно и предсказуемо — с этим и помогает явный контроль над жизненным циклом данных в системе. ⏬ Результат Сейчас в системе хранится около 3 Тб данных и 6,5 млрд ключей. Всего используется 2048 шардов YDB. Нагрузка — 100 000 RPS на чтение, 30 000 RPS на запись, при этом задержка в P95 — около 5 мс. Главное — после первичной настройки аналитики добавляют данные самостоятельно. На дежурство разработчиков крупные запуски не влияют: мониторинг молчит, система справляется. ⏭️ Все технические подробности: устройство YDB, шардирование, механизм CDC и схемы данных — в статье на Хабре. Подписывайтесь: 💬 @Yandex4Analytics

🍔 Как мы показываем пользователям выгоду в Яндекс Еде Привет! Меня зовут Ингвар Сильницкий, я руковожу продуктовой аналитико
🍔 Как мы показываем пользователям выгоду в Яндекс Еде Привет! Меня зовут Ингвар Сильницкий, я руковожу продуктовой аналитикой в Яндекс Еде. Моя главная задача — следить за целостностью продуктовой воронки: вовремя находить проблемы и делать так, чтобы выбор заведения и блюда был для пользователя быстрым и приятным. Сегодня расскажу про один интересный кейс. В какой-то момент команда Еды решила запустить сквозную дистрибуцию скидок — транслировать выгоду пользователю на каждом этапе воронки, чтобы он видел максимально привлекательные условия для заказа. А что получилось в итоге — читайте ниже. 🈂️ Элементы, которые подсвечивают выгоду для пользователя В приложении Еды таких фич несколько. В каталоге заведений мы показываем: 🔵 Бейджи на карточке места. Рассказывают про скидки на меню 🔵 Чипсы. Показывают условия доставки А внутри заведения пользователь видит: 🔵 Информеры. Подсвечивают все актуальные скидки на меню — от Еды и от партнёра 🔵 Футер с прогресс-баром. Показывает скидку на доставку или то, сколько нужно добрать, чтобы она стала бесплатной 🈂️ Мы хотели показывать выгоду на каждом этапе максимально прозрачно После разработки мы перешли к тестированию — и сразу получили холодный душ. Результаты по основным метрикам оказались красными. Гипотеза казалась железной: чем прозрачнее показываешь пользователю выгоду, тем выше конверсия в заказ. Начали разбираться. Разделили аудиторию на сегменты и обнаружили, что в разных сценариях тест вёл себя неодинаково: в одном был рост заказов, в другом эффект отсутствовал, а в третьем мы просели по основной метрике. 🈂️ Начали искать, чем сегменты отличаются друг от друга Быстро нашли базовый критерий — количество заказов на сервисе за последний период. Спустились глубже и начали разбираться, как пользователи вообще доходят до выбора заведения. Мы разделили сценарии на два типа: 🔵 Исторический. Знакомое пользователю место, в котором он уже что-то заказывал 🔵 Дискавери. Новое для пользователя заведение Мы знаем, что в исторических местах конверсия в заказ выше. Пользователь заранее понимает, чего ожидать. Но дальше стало интереснее — оказалось, что количество заказов напрямую влияет на то, как люди пользуются приложением: 🔵 Частотники хорошо ориентируются внутри 🔵 Редкие пользователи легко теряются 🈂️ Картина начала проясняться Скидки — мощный инструмент вовлечения. Чем ярче они подсвечены, тем лучше пользователь их замечает и тем сильнее они его магнитят — даже туда, куда без скидки он изначально бы не зашёл. Нередко получалось так, что яркий бейдж заводил пользователя именно в незнакомое ему ранее заведение. А конверсия в таких местах, как мы уже знаем, значительно ниже. 🈂️ Почему это критично Внимание пользователя не бесконечно. Особенно когда он голоден и хочет сделать заказ как можно быстрее. У нас же получилась система, которая тратила этот ресурс на нерелевантные заведения: пользователь заходил не туда, не находил то, что хотел, — и уходил без заказа. В итоге мы стали показывать скидки по-разному в зависимости от сегмента пользователя. Персонализировали и размер бейджа, и то, в каких заведениях он вообще отображается. Для этого с ML-командой мы вытащили ключевой сигнал — коэффициент вероятности покупки в конкретном месте для конкретного пользователя. 🈂️ В результате — рост заказов Сейчас мы адаптируем решение дальше: формируем понятные продуктовые сегменты, в которых видим разное поведение пользователей внутри приложения. А объяснять, почему оно именно такое, мы уже умеем. Подписывайтесь: 💬 @Yandex4Analytics