Yandex for Analytics

🥤 BI в эпоху AI Классический BI-инструмент — это не просто набор графиков, а огромный пласт инфраструктуры, метаданных и регламентов. Всё это уже сейчас можно автоматизировать при помощи AI или дашборды ещё долго будут частью ручного труда? ⏭️ В этом выпуске подкаста «Доверительный интервал» наши ведущие вместе с руководителем продуктового развития Yandex DataLens Пашей Дубининым обсудили: 🔵 Как AI меняет визуализацию данных 🔵 Зачем в командах нужен «BI-губернатор» 🔵 Преимущества разработки собственных BI-систем, на примере DataLens 🎧 Смотрите на ютубе и в VK Видео, слушайте в Яндекс Музыке. Подписывайтесь: 💬 @Yandex4Analytics

🤖 Как аналитику не писать документацию (самостоятельно) Всем привет, это Роман Гриднев, технический менеджер в подразделении аналитики Поисковых сервисов и ИИ Яндекса. В Яндексе объёмы данных исчисляются эксабайтами, а уникальных таблиц у нас порядка 30 миллионов. Времени на документацию такого масштаба у аналитиков просто нет. Реальный случай: нам нужно было описать около 40 000 самых востребованных таблиц, а руками за год мы охватили только 500. Ситуация неутешительная: аналитики по-прежнему не находили нужные данные и при этом производили всё больше новых. Как быть? На ум сразу пришла очевидная мысль: что, если использовать LLM? Но любой нейросети нужен контекст, а где взять его в пустой таблице, да ещё и с нетипичным внутренним жаргоном и традициями нейминга? Тогда мы пришли к идее комплексного робота-автописателя, который собирает контекст, отправляет его LLM и генерирует черновики документации. Так задача «напиши с чистого листа» для аналитика превращается в «проверь и поправь» — психологически это проще и быстрее. 🈂️ Как работает робот Сначала он собирает объективные данные: определяет путь к таблице, изучает её схему и берёт образцы данных, если к ним есть доступ. Затем робот обращается к глоссариям — словарям стандартных полей, которые всегда называются и описываются одинаково. Следующий шаг — парсинг Вики, внутренней базы данных Яндекса. Робот ищет в корпоративных знаниях описания полей и контекст данных, чтобы использовать их в дальнейшей работе. Далее система анализирует граф связей через Memgraph: она выясняет, откуда берётся таблица и куда она идёт дальше в цепочке обработки данных. Робот также учитывает «соседей по папке»: таблицы, расположенные в одной директории хранилища, часто имеют схожий контекст и назначение. Система анализирует совпадения названий и типов полей, но исключает служебные поля, например ID или дату. После того как робот собрал и структурировал всю информацию, он передаёт её модели. LLM дописывает недостающие поля с учётом накопленного контекста — так получается полноценный черновик описания. На следующем этапе система добавляет технические детали: анализирует SQL-код, с помощью которого формируется таблица, и на его основе поясняет логику каждой колонки. В результате в документации появляются блоки с активными ссылками на таблицы-источники. Наконец, робот делает финальный запрос к LLM. Он передаёт модели собранное описание полей и техническую логику их формирования и просит сформулировать краткую характеристику таблицы — до 2000 знаков. Это очень полезно для внутреннего поиска по дата-каталогу. 🈂️ К каким метрикам мы пришли 🔵 Смысл описания, которое подготовил робот, с тем, которое ранее подготовил человек, совпал на 92% 🔵 Полей, в которые аналитики не вносили правок, — 71% 🔵 Наши аналитики довольны описанием таблицы на 93%, а описанием схемы данных — на 85% 🈂️ Что получилось в итоге За 6 месяцев робот помог описать 15 000 таблиц вместо 500 за год ручной работы. На каждой сущности экономим в среднем 2 часа — итого около 5 лет рабочего времени аналитиков. 🈂️ К чему мы стремимся 🔵 Интегрировать систему с потоками регулярных данных, чтобы получать знания о графе формирования каждой колонки напрямую, а не из логов 🔵 Реализовать поколоночную проброску описания: отслеживать, как колонка перетекает из одной таблицы в другую 🔵 Сделать инструмент доступным по кнопке прямо в дата-каталоге — чтобы любой пользователь мог получить описание таблицы в один клик Мы создаём технологии, которые меняют внутренние процессы: автоматизируют рутину, высвобождают время для творчества и сложных задач. Хотите так же? Попробуйте начать с малого: соберите контекст, дайте его LLM — и получите заготовку для документации. Уже первый черновик ускорит работу и запустит цепную реакцию: проверенные описания станут новым контекстом, качество вырастет, а люди будут участвовать в процессе. ⏭️ Кстати, в этом году я выступлю на Data Driven — конференции для аналитиков от Поисковых сервисов и ИИ Яндекса. Встретимся 26 сентября в Москве или онлайн. Подписывайтесь: 💬 @Yandex4Analytics

🎙 Почему капча больше не про светофоры В новом выпуске подкаста Podlodka Руслан Сабиргалиев, руководитель группы коммерческих проектов Антиробота, рассказал, как эволюционировала капча, зачем боты атакуют сервисы (и сколько это может стоить бизнесу), а также объяснил, что такое невидимые проверки и что делать, когда обычного пользователя система внезапно считает подозрительным. 💎 Ещё поговорили про хороших ботов, AI-агентов, DDoS, защиту логина, форм, SMS и API. ⏭️ Слушайте все подробности в подкасте на ютубе Подписывайтесь: 💬 @Yandex4Analytics

🤩 Анализировать можно всё, что вас окружает Например, то, чем вы пользуетесь каждый день. Попробуйте сами: посмотрите на свои приложения в смартфоне и подумайте, какие задачи важны этому бизнесу или какую бизнес-модель выбрали бы вы. И тогда, кажется, вы всегда будете готовы перейти в другой бизнес-домен или сменить контекст безболезненно, потому что вы постоянно проделываете такую работу. Но смена бизнес-домена — это и другие вопросы: как объяснить свой опыт на новом рынке и чего ждать в первые месяцы. 🎙 В подкасте «Доверительный интервал» обсудили это и многое другое вместе с Антоном Кирьяновым, руководителем службы аналитики роста и эффективности Финтеха Яндекса. ⏭️ Смотрите полный выпуск на ютубе и в VK Видео и слушайте в Яндекс Музыке. Подписывайтесь: 💬 @Yandex4Analytics

💠 Welcome Times для аналитиков Ребята из разных команд Яндекса приглашают в гости, чтобы познакомиться, рассказать про специфику своей работы, поделиться опытом и ответить на все вопросы. На ивентах вы сможете пройти диагностику: проверить уровень своих технических навыков по Python и SQL. Интервьюеры подготовят фидбэк, расскажут о ваших сильных сторонах и подскажут, над чем ещё стоит поработать. Успешные результаты диагностики будут актуальны в течение двух лет: при найме в Яндекс их зачтут как успешное прохождение одного из этапов собеседования. 📆 Ближайшие встречи: 🔵 26 июля — команда Алисы и Умных устройств 🔵 22 августа — Поиск и Суперапп, Яндекс Поиск, Независимый Ecom и Международный Поиск 🔵 17 октября — команды Коммерческого департамента и Рекламы 🗺 Москва, улица Льва Толстого, 16 ⏭️ Подробности и регистрация Подписывайтесь: 💬 @Yandex4Analytics

⏬ Страх смены бизнес-домена Стоит ли аналитику годами развиваться в одной индустрии, или регулярная смена контекста — это тоже выгодная стратегия роста? Как преодолеть страх неизвестности, если вы всю жизнь считали метрики в ретейле, а теперь хотите уйти в финтех или образование? Сегодня у нас в гостях Антон Кирьянов, руководитель службы аналитики роста и эффективности Финтеха Яндекса. Вместе мы разобрались, как правильно упаковать свой прошлый опыт для незнакомого рынка и с какими сложностями можно столкнуться в первые месяцы работы. 🎧 Если вы думаете о смене бизнес-домена, но боитесь неизвестности — этот выпуск для вас 📺 Смотрите на ютубе и в VK Видео. Подписывайтесь: 💬 @Yandex4Analytics

🧑‍💻 Поможем подготовиться к собесу и прокачать резюме Мы перезапускаем наш MVP-проект с бесплатными карьерными консультациями для разработчиков от опытных рекрутеров Яндекса. Приходите к нам, а мы поможем с резюме или профилем LinkedIn, расскажем о наших карьерных треках и ответим на все интересующие вопросы о наймовых процессах в IT. Кого зовём: аналитиков уровня мидл+ с опытом от 3 лет. Как всё устроено: 🔵 Отправляете заявку 🔵 Выбираете удобную дату и время 🔵 Узнаёте всё, что хотели, на 45-минутном созвоне ⏭️ Узнать подробности и отправить заявку Подписывайтесь: 💬 @Yandex4Analytics

🧠 Как руководителю правильно подбирать состав команды? Есть разные способы построить сильный коллектив. Можно искать людей, похожих друг на друга, а можно — тех, кто дополняет коллег и усиливает команду. 🎙 Об этом и не только поговорили с Михаилом Эюбовым, новым CDO Яндекс Лавки, в последнем выпуске «Доверительного интервала». Обсудили: 🔵 как понять, когда пора становиться лидом; 🔵 каким образом выстраивать химию в команде; 🔵 должен ли руководитель быть сильным аналитиком. 📺 Смотрите на ютубе и в VK Видео, слушайте в Яндекс Музыке. Подписывайтесь: 💬 @Yandex4Analytics

🍫 Как устроены А/B-тесты в Лавке В продуктовой аналитике Лавки проводятся десятки A/B-тестов в неделю. Но чтобы понять, что получилось в итоге, нужно много времени, часть которого съедает рутина. В этом посте мы покажем несколько простых пунктов, которые помогли значительно ускорить работу аналитиков с экспериментами. ⏬ Единая база всех А/B-тестов Наша очередь в трекере LavkaAB — это реестр, который хранит: 🔵 Запущенные тесты и выводы по ним 🔵 Проблемные А/B 🔵 Тесты, готовящиеся к запуску в будущем ⏬ Создание тикетов через форму Дерево решений и набор метрик в тикете проставляются автоматически. Например, для экспериментов с поиском в Лавке у нас такой набор метрик: 🔵 GMV товаров, купленных из поиска 🔵 Глубина доскролла 🔵 Конверсия из поисковой сессии в добавление в корзину 🔵 Доля запросов с добавлением в корзину 🔵 Число поисковых запросов с пустой выдачей ⏬ Что нужно прикладывать к тикету 🔵 Описание изменения: визуальное, техническое, в каких частях приложения, для какой группы пользователей 🔵 Гипотеза и ответ на вопрос «Зачем?»: например, если пользователи будут видеть в поиске переключалку на AI-режим, то им начнут больше пользоваться 🔵 Пространство в приложении: поиск, рекомендации, каталог. Это нужно, чтобы коллеги понимали, что изменение может коснуться и их экспериментов тоже ⏬ Автопроверка наблюдений и метрик Если метрики прокрашиваются — AI-модель сигнализирует о самом важном и отправляет алерты. Раньше мы могли заметить проблему через пару недель, а теперь оперативно подхватываем все ошибки. ⏬ AI в анализе А/B-теста Когда эксперимент завершается, модель автоматически собирает из тикета гипотезу, дерево решений и ссылки c рассчитанными метриками на АБшнице — нашей A/B-платформе. Затем модель формирует ответ по интегральному и целевому наблюдению и дополняет его аномалиями — нетипичными приростами или падениями метрик. Далее AI связывает всё в общую картину в таком духе: «Мы изменили экран N, его метрики изменились, пользователи начали переходить на другой, суммарные изменения дают положительный эффект». Человеку остаётся проверить и отредактировать выводы. ⏬ В итоге мы: 🔵 Сократили время аналитиков на анализ одного эксперимента с 1 рабочего дня до 1 часа 🔵 Организовали быстрый вход в A/B для продакт-менеджеров: теперь тесты запускает в два раза больше продактов 🔵 Снизили число ошибок по запущенным экспериментам Подписывайтесь: 💬 @Yandex4Analytics

🤨 Руководитель = самый сильный аналитик? Или руководителю необязательно быть центром технической экспертизы? Как меняется уровень ответственности, стресса и круг задач на разных ступенях — от первой лид-позиции до CDO? 🎙 В новом выпуске подкаста «Доверительный интервал» вместе с новым CDO Яндекс Лавки Михаилом Эюбовым обсудили, как понять, что пора идти в руководство (и стоит ли), как сохранить сильную экспертность и что самое сложное в работе руководителя аналитики. ⏭️ Смотрите на ютубе и в VK Видео, слушайте в Яндекс Музыке. Подписывайтесь: 💬 @Yandex4Analytics

🧠 Как в Спамообороне Яндекс Почты обучали детектор логотипов На связи Никита Подледнев, ML-инженер в Спамообороне Яндекс Почты. Однажды мы столкнулись с проблемой картиночного спама: в нём рекламировались назойливые онлайн-казино и использовались логотипы известных брендов, чтобы вводить пользователей в заблуждение. ⏬ Существующие методы не всегда справлялись с такими атаками, поэтому мы решили разработать новый подход. Сегодня я расскажу, как мы научились бороться с картиночным спамом с помощью детектора логотипов. 👳 Читайте в карточках Подписывайтесь: 💬 @Yandex4Analytics

🧑‍💻 Признаки в рантайме без тикетов разработчикам: как мы построили Avalon Меня зовут Паша Попов, я руковожу группой разработки технологий эффективности Такси. В этом посте я расскажу про Avalon — наш Feature Store. Он позволяет хранить пользовательские признаки любой структуры и получать их из рантайма с задержкой в миллисекунды — без тикетов команде разработки. 🈂️ Всё началось с задачи: «Раз в сутки мы размечаем атрибуты пользователей. А дальше, в рантайме, хотим принимать решения в зависимости от того, проставлен атрибут на пользователя или нет». 🈂️ Что нам нужно было сделать: Дать сервисам универсальный способ получать обновляемые данные с низкой latency без участия разработчиков или других команд. 🔍 Что было до Avalon В Городских сервисах уже существовал сервис на PostgreSQL для бинарных признаков. Аналитики использовали его для экспериментальной разметки аудитории: смотрели на результат, а затем заказывали нормальную доработку в нужном продукте. ♾ Инструмент быстро стал популярным и с ростом аудитории столкнулся с двумя ограничениями: 1️⃣ Пользователи хотели загружать всё больше данных. PostgreSQL нельзя масштабировать автоматически — каждый раз нужна операция с участием инженеров 2️⃣ Признаки — только бинарные: «есть» или «нет». Хранить количество поездок водителя или сумму заказов клиента невозможно 🈂️Так появился Avalon Мы создали инструмент с тремя ключевыми принципами: 🔵 Любой тип данных. Бинарный флаг, число, структура с любой глубиной вложенности — схему описывает сам аналитик 🔵 Масштабирование без участия команды. Если нужно больше данных — просто принесите их. Под капотом YDB берёт шардирование на себя 🔵 Реестр признаков. Видно, кто потребляет каждый признак в рантайме, с каким объёмом нагрузки, как долго он должен жить 🈂️Как аналитик работает с системой Разработчик один раз описывает логическую схему данных и настраивает интеграцию. После этого аналитики сами обновляют наборы признаков — никаких согласований с другими командами. Данные приходят из YT-таблицы. Внешний сервис считает разницу между текущим состоянием и новым набором, а Avalon загружает изменения батчами и записывает прогресс, чтобы при сбое продолжить с нужного места. После загрузки признак доступен через эндпойнт fetch. Сервис запрашивает конкретный атрибут по идентификатору: /service-general/123/features/with_attribute Или весь набор признаков по одному ID: /service-general/123/features 🈂️ CDC: история изменений для аналитики Для аналитических задач Change Data Capture — одна из самых ценных функций. Часто важно знать не только актуальное значение признака, но и его историю: когда и что поменялось, каким оно было раньше, кто инициировал изменение. Например, есть сервис, который хранит текущий размер скидки для каждого пользователя. Аналитику нужна полная картина: когда цифра росла, когда падала, что на неё влияло. Механизм фиксирует каждое изменение в потоке событий с метаданными: старое и новое значение, метку времени, контекст запроса. Подписчики топика получают эти события и строят на их основе любую аналитику. 🈂️ Жизненный цикл признака В реестре видно, кто потребляет каждый признак, кому он нужен и с каким RPS. Удаление происходит безопасно и предсказуемо — с этим и помогает явный контроль над жизненным циклом данных в системе. ⏬ Результат Сейчас в системе хранится около 3 Тб данных и 6,5 млрд ключей. Всего используется 2048 шардов YDB. Нагрузка — 100 000 RPS на чтение, 30 000 RPS на запись, при этом задержка в P95 — около 5 мс. Главное — после первичной настройки аналитики добавляют данные самостоятельно. На дежурство разработчиков крупные запуски не влияют: мониторинг молчит, система справляется. ⏭️ Все технические подробности: устройство YDB, шардирование, механизм CDC и схемы данных — в статье на Хабре. Подписывайтесь: 💬 @Yandex4Analytics

🍔 Как мы показываем пользователям выгоду в Яндекс Еде Привет! Меня зовут Ингвар Сильницкий, я руковожу продуктовой аналитикой в Яндекс Еде. Моя главная задача — следить за целостностью продуктовой воронки: вовремя находить проблемы и делать так, чтобы выбор заведения и блюда был для пользователя быстрым и приятным. Сегодня расскажу про один интересный кейс. В какой-то момент команда Еды решила запустить сквозную дистрибуцию скидок — транслировать выгоду пользователю на каждом этапе воронки, чтобы он видел максимально привлекательные условия для заказа. А что получилось в итоге — читайте ниже. 🈂️ Элементы, которые подсвечивают выгоду для пользователя В приложении Еды таких фич несколько. В каталоге заведений мы показываем: 🔵 Бейджи на карточке места. Рассказывают про скидки на меню 🔵 Чипсы. Показывают условия доставки А внутри заведения пользователь видит: 🔵 Информеры. Подсвечивают все актуальные скидки на меню — от Еды и от партнёра 🔵 Футер с прогресс-баром. Показывает скидку на доставку или то, сколько нужно добрать, чтобы она стала бесплатной 🈂️ Мы хотели показывать выгоду на каждом этапе максимально прозрачно После разработки мы перешли к тестированию — и сразу получили холодный душ. Результаты по основным метрикам оказались красными. Гипотеза казалась железной: чем прозрачнее показываешь пользователю выгоду, тем выше конверсия в заказ. Начали разбираться. Разделили аудиторию на сегменты и обнаружили, что в разных сценариях тест вёл себя неодинаково: в одном был рост заказов, в другом эффект отсутствовал, а в третьем мы просели по основной метрике. 🈂️ Начали искать, чем сегменты отличаются друг от друга Быстро нашли базовый критерий — количество заказов на сервисе за последний период. Спустились глубже и начали разбираться, как пользователи вообще доходят до выбора заведения. Мы разделили сценарии на два типа: 🔵 Исторический. Знакомое пользователю место, в котором он уже что-то заказывал 🔵 Дискавери. Новое для пользователя заведение Мы знаем, что в исторических местах конверсия в заказ выше. Пользователь заранее понимает, чего ожидать. Но дальше стало интереснее — оказалось, что количество заказов напрямую влияет на то, как люди пользуются приложением: 🔵 Частотники хорошо ориентируются внутри 🔵 Редкие пользователи легко теряются 🈂️ Картина начала проясняться Скидки — мощный инструмент вовлечения. Чем ярче они подсвечены, тем лучше пользователь их замечает и тем сильнее они его магнитят — даже туда, куда без скидки он изначально бы не зашёл. Нередко получалось так, что яркий бейдж заводил пользователя именно в незнакомое ему ранее заведение. А конверсия в таких местах, как мы уже знаем, значительно ниже. 🈂️ Почему это критично Внимание пользователя не бесконечно. Особенно когда он голоден и хочет сделать заказ как можно быстрее. У нас же получилась система, которая тратила этот ресурс на нерелевантные заведения: пользователь заходил не туда, не находил то, что хотел, — и уходил без заказа. В итоге мы стали показывать скидки по-разному в зависимости от сегмента пользователя. Персонализировали и размер бейджа, и то, в каких заведениях он вообще отображается. Для этого с ML-командой мы вытащили ключевой сигнал — коэффициент вероятности покупки в конкретном месте для конкретного пользователя. 🈂️ В результате — рост заказов Сейчас мы адаптируем решение дальше: формируем понятные продуктовые сегменты, в которых видим разное поведение пользователей внутри приложения. А объяснять, почему оно именно такое, мы уже умеем. Подписывайтесь: 💬 @Yandex4Analytics

От выбора удобной IDE зависит скорость работы и удовольствие от неё.

CLI-агенты помогают разработчикам писать код и напрямую взаимодействуют с файлами проектов.

Сейчас LLM вовсю автоматизируют рутину и внедряются в рабочие процессы.

🤨 А точно ли я всё делаю правильно? Работу аналитика сложно оценить по результату здесь и сейчас: она часто не приводит к «видимому эффекту», и из-за этого легко начать сомневаться в себе. В новом выпуске «Доверительного интервала» ведущие разбираются: 🔵 Как справляться с синдромом самозванца 🔵 Что даёт понять, что ты правда хорошо работаешь 🔵 Как отвлекаться от задач правильно (нет, скроллинг ленты не считается) 🔵 Почему даже сильные специалисты продолжают сомневаться в себе 🎙 В этот раз в гостях Маша Медведева, аналитик-разработчик Техплатформы Городских сервисов. ⏭️ Смотрите на YouTube и в VK Видео, слушайте в Яндекс Музыке. Подписывайтесь: 💬 @Yandex4Analytics

🧠 Готовые датасеты: почему они важнее, чем могут казаться Для начинающих аналитиков и ML-специалистов это отличная тренировка навыков. Готовые датасеты позволяют быстро проверить идею, собрать воспроизводимый пример, сравнить методы на нейтральной территории и отладить пайплайн без доступа к продовым или персональным данным. ⏬ Датасеты можно разделить по классам источников: 🔵 Kaggle, OpenML. Для сравнения методов, baseline и быстрого эталонного пайплайна 🔵 Hugging Face Datasets, TensorFlow Datasets. Для NLP/CV/Audio и быстрого старта 🔵 BigQuery Public Datasets, Registry of Open Data on AWS, Azure Open Datasets. Для SQL-анализа в больших объёмах 🔵 Common Crawl, Wikimedia Dumps, Stack Exchange Data Dump. Для работы с масштабными текстовыми корпусами 🔵 Data.gov, World Bank Open Data, Eurostat Database. Для надёжных временных рядов 🔵 OpenStreetMap, OpenAlex, NOAA. Для геоданных, анализа климата и графов Кстати, ссылки на все эти датасеты вы можете найти в комментариях 😉 👳 А ещё мы сделали для вас чек-лист, который поможет выбрать датасет и не наступить на грабли. Подробности — в карточках выше Этот пост нам помог подготовить Александр Вальд, старший эксперт и академический руководитель магистратур по аналитике данных в Яндекс Практикуме. Заглядывайте в его канал Thinking Face. Там он вместе с коллегами рассказывает про исследования в маркетинге и data-driven-аналитику 📊 Подписывайтесь: 💬 @Yandex4Analytics

🚕 Динамическое ценообразование в Такси и как мы его строили Привет, это Тимур Шаймуханов, аналитик-разработчик в группе алгоритмов ценообразования. Одна из ключевых метрик в Такси — эффективность платформы. Это доля времени, которую водитель проводит в машине с пассажиром, от всего рабочего дня. В идеальном мире вместе с исполнителем всегда должен быть клиент. ♾ Но раньше у нас была проблема: спрос пользователей мог концентрироваться в каком-то конкретном тарифе. И когда такое происходило, остальным водителям приходилось пересаживаться на него — или тратить время в ожидании заказов. Чтобы исправить эту проблему, мы научили «Эконом» и «Комфорт» работать согласованно — и в итоге повысили эффективность всего сервиса. 👳 Читайте в карточках, как у нас это получилось Подписывайтесь: 💬 @Yandex4Analytics

🤔 Почему «серые» результаты в экспериментах нужны Иногда тесты показывают «серые» результаты, но при этом бизнес продолжает настаивать на развитии продукта. Порой причина в том, что результаты отражают текущие состояния и решения, которые могут измениться при развитии продукта и его дальнейшей стратегии. 🎙 Мы ответили на этот и многие другие вопросы подписчиков в шестом выпуске подкаста «Доверительный интервал». В этот раз к нам в гости пришёл Роман Васильев, руководитель аналитики международного Поиска. ⏭️ Смотрите на ютубе, в VK Видео и слушайте в Яндекс Музыке. Подписывайтесь: 💬 @Yandex4Analytics