Интернет-аналитика // Алексей Никушин

🧪 Ошибка в эксперименте дороже самой фичи. Знакомо? Трек «Подходы и методы системного снижения стоимости проверки гипотез» в зале «Атом» (3 этаж) раскроет тему экспериментальной аналитики. Поговорим не о бинарном «прокрасилось/не прокрасилось», а о том, где на самом деле теряются деньги и искажается результат: пересечения тестов, побочные эффекты, неоднородные аудитории, проблемы воспроизводимости и ложные выводы. Что уже успели разобрать 👀 Марк Хабаров и Михаил Рязанский (VK, Дзен) показали, как автоматизировать пост-анализ A/B-тестов и использовать LLM для поиска скрытых проблем: когда метрики выглядят хорошо, а продуктовый эффект вызывает вопросы. 🧠 Дальше по программе — еще 4 повода остаться в «Атоме»: 1️⃣ 10:35–11:20 | Иван Мочилин (Циан) Синтетический Difference-in-Differences для региональных экспериментов. Как тестировать гипотезы на уровне гео и сохранять статистическую валидность. 2️⃣ 11:25–11:55 | Дмитрий Казаков (Kolesa Group) Uplift-сегментирование: как спасать непрокрасившиеся тесты, повышать success rate и точнее находить аудитории, где гипотеза действительно работает. 3️⃣ 12:00–12:30 | Андрей Андреев (METRO) Отраслевой бенчмарк A/B-тестов: достоверные UX-паттерны, репликации и реальные эффекты. Где winner’s curse завышает результат, и чему вообще можно доверять. 4️⃣ 12:35–13:40 | Артем Кугушев (Авито) Мастер-класс: парная стратификация и дизайн пересекающихся A/B-тестов — чтобы снижать MDE и держать корректное распределение трафика без очередей на запуск. Если вы проверяете гипотезы не ради галочки, а хотите быстрее получать выводы, которым можно доверять, — вам в «Атом».

Впервые на AHA — AI-ребята из Cloud.ru! Заходите пообщаться с экспертами и поучаствовать в розыгрыше худи в коллабе Cloud.ru х .solutions А еще на стенде можно: 🎮 Доказать, что знаете ИИ-модели лучше, чем покемонов 🤖 Создать своего ИИ-агента всего за несколько минут ⚙️ Собрать сквозной пайплайн работы с данными 🃏 Познакомиться с командой и поиграть в 500 горячих спринтов Розыгрыш худи — в 16:00! Приходите знакомиться и забирать призы. Стенд Cloud.ru — на втором этаже 🙌

AI в проде: контекст плывет, алерты шумят, а документации нет❓ Трек «Инженерия вокруг ML/AI и архитектура прикладного AI» — про практическую сторону: как готовить и размечать данные, собирать контекстно-осведомленных AI-аналитиков, автоматизировать документацию DWH через LLM и графы, наводить порядок в ML-инфраструктуре и не усложнять систему раньше времени. 📍 Зал «Кинетика» (1 этаж) 🔴 Прямо сейчас на сцене Илья Жбанов и Михаил Дремин из Cloud.ru. Спикеры представляют честный инженерный разбор эволюции мультиагентной системы «было/стало»: почему «в лоб завернуть API в tools» не работает, как пересобирали Control Plane, MCP-серверы, context engineering (progressive disclosure) и что делать с главной болью — тестированием недетерминированной среды (E2E-оценка, LLM-as-a-judge). Если вы переводите агентов из «демо» в enterprise — это оно. Продолжим трек подборкой тем: 1️⃣Контекст и знания — чтобы LLM понимала ваш бизнес • 10:35–11:20 | Роман Гриднев (Яндекс) — роботная документация DWH на базе LLM и графов: автогенерация описаний, контекст через графовую базу, метрики качества и борьба с галлюцинациями (спойлер: 92% совпадения смысла). • 12:00–12:30 | Анастасия Рыхлик и Юрий Николаев (АвитоТех) — «AI без контекста — просто калькулятор»: три слоя контекста (Core/Semantic/Knowledge), golden set, eval-пайплайн и мониторинг качества. На выходе — чек-лист «AI-ready аналитика». 2️⃣Эксплуатация и контроль — чтобы прод не съедал команду 11:25–11:55 | Даниил Понизов и Роман Лазовский (Wildberries) — AIOps с LLM и auto-workflow: единая точка алертов, обогащение контекстом (Prometheus+k8s), оркестрация действий и рост утилизации GPU/ресурсов. 3️⃣Адаптация и прагматичный дизайн — чтобы система росла без лишней сложности • 12:35–13:05 | Сергей Бажин (Иннотех) — test-time learning: адаптация LLM во время инференса без разметки, какие метрики качества реально ожидать и какой стек нужен. • 13:10–14:00 | Андрей Жуков (Faust Consulting) — прагматичный ML System Design: минимально достаточная сложность, фазы зрелости и чек-лист «когда усложнять», чтобы не нарастить техдолг и косты. Ждем вас!

R&D и экономика масштабирования — трек для всех, кто устал верить в оценку эффективности «на глаз» 💸 Когда AI и эксперименты становятся рутиной, дороже всего обходятся ошибки в оценке эффекта и выборе решения. В «Молекуле» спикеры разберут, как переводить гипотезы, исследования и экспериментальный дизайн в управляемую экономику роста — от e-grocery до CVM. До перерыва — 6 докладов. Вот короткий маршрут: 🕙 10:00 | Алан Караев (Wildberries & Russ) Эконометрика для панельных данных: метод «within-group regression» как способ снижать дисперсию оценок и быстрее считать ретроспективные исследования при оптимизации объема поставок на торговые точки. 🕥 10:35 | Никита Бобух (Авиасейлс) Как не остановить рост во время миграции техстека: перенос логики экспериментов в DWH, запуск A/B без разработчиков и превращение аналитического слоя (SQL + хранилище) в часть продакшена. 🕦 11:25 | Антон Марцен (Yandex Autonomous Vehicles) Аналитика автопилотов: что происходит с привычными воронками, LTV и A/B, когда продукт выходит в физический мир — и какими метриками/аналогами это заменяется в робототехнике. 🕛 12:00 | Никита Новиков (Lenta Tech) EBITDA по описанию фичи: как ML помогает планировать разработку и приоритизировать инициативы еще до реализации (ошибка в ставке на фичу стоит слишком дорого). 🕧 12:35 | Ян Пиле (Magnit Tech) Эксперименты в офлайне без самообмана: качество разбиения групп и кластерные тесты — где именно ломается методология и как это чинить до того, как вы «увидели эффект». 🕐 13:10 | Никита Никитченко (X5 Tech) Глобальная контрольная группа для CVM: как оценивать эффект тысяч кампаний не по ощущению и не по красивым прокрасам, а так, чтобы выводы выдерживали вопросы бизнеса. Если вы в поисках практик, которые помогают превращать R&D в предсказуемый инструмент развития продукта — приходите в «Молекулу» 👀

День AHA'26 💙 Добро пожаловать! Ждем вас у стойки регистрации — для входа понадобится паспорт. Официальное открытие конференции состоится в 9:50 в зале «Молекула». А пока можно пройти в холлы и торжественно перекусить 🥂 Две полезные ссылки на сегодня: • Лендинг NOW — все актуальные новости, активности и программа (ищите QR-код на своём бейдже). • Бот для нетворкинга: @mm_networking_bot Если что-то пошло не так с билетами/входом/доступами — пишите в @MateMamont, оперативно разберемся. Всем продуктивного дня и классных инсайтов 🦣

Напоминаем: двери кластера «Ломоносов» и стойки регистрации откроются в 9:00. Официальное открытие конференции — в 9:50 в зале «Молекула». До встречи завтра! 🎉

📈 Подключайте интеграции без сложных ручных настроек В Яндекс Тег Менеджере появился новый способ интеграции сайта с партнёрскими сервисами — бандлы.

📌 Это готовые связки тега, триггера и переменной для конкретного сервиса, которые не требуют дополнительных ручных настроек. Чтобы подключить нужный сервис, достаточно выбрать бандл из каталога и опубликовать изменения.

Сейчас через бандлы можно подключить Яндекс Пэй, Вариокуб, Рекламную сеть Яндекса, Вебмастер и Mindbox. Каталог будет пополняться, чтобы вы могли ускорить работу с аналитикой и интеграциями на сайте. 🔗 Подробности — уже на Портале Рекламы.

Налево пойдешь — в киберклуб попадешь, направо пойдешь — ИИ-лимонад найдешь 👀 Прямо пойдешь — встретишь бигтех для бизнеса, промышленности, банков и государства. Никакой сказки. Только реальный план действий на стенде ИТ-холдинга Т1.

➡️ Т1 ИИ — это полный цикл управления данными на отечественном ПО с открытым кодом: корпоративные хранилища, платформы для анализа неструктурированных больших данных, машинное обучение и современные методы моделирования.

Что вас ждет на стенде: 1️⃣ Завайбкодить игру — почувствовать себя творцом нейросетевого хаоса. 2️⃣ Щелкнуть полароид — забрать кусочек живого ретро с собой. 3️⃣ Попробовать ИИ-лимонады и получить классный мерч. 4️⃣ А еще — познакомиться с экспертами и продуктами. Запоминаем маршрут: второй этаж → стенд Т1.

Уже завтра! Погрузитесь в атмосферу инноваторства на стенде МТС Web Services: ⏺Попробуйте задеплоить модель с помощью платформы Inference Valve ⏺Решите кейсы с использованием ИИ-инструментов платформы для управления данными MWS Data ⏺Соберите фичи MWS Tables для решения кейсов: построить автоматизацию, интеграции, умные таблицы и не только ⏺Попробуйте себя в роли ИТ-предпринимателя и запустите свой ИИ-стартап Участвуйте в активностях и получите шанс выиграть стильный мерч: термокружки, картхолдеры, шопперы и уникальный сап-борд!

MTC Web Services — бигтех с продуктами для цифровой трансформации бизнеса. Компания предлагает комплексные решения в области ИИ, облачной инфраструктуры, технологических платформ для работы с данными и разработкой. В компании 11 000+ сотрудников, создающих уникальные цифровые решения. True Tech Team — это инноваторы и инженеры с предпринимательским мышлением, которые не боятся идти на риск. Вместе мы стремимся стать ведущим бигтехом России и развиваем крупнейшее True Tech комьюнити в стране.

Уже завтра ждем вас на панельной дискуссии VK «Джуны-аналитики в эпоху GenAI» в зале «Атом» Тема горячая: как нейросети повлияют на позиции джунов-аналитиков? Заходите, чтобы: 🔹Понять, насколько нуждается сейчас рынок в джунах 🔹Узнать прогноз по найму на ближайшие 1–3 года 🔹Разобраться, как стартовать в аналитике сегодня и какие навыки помогут оставаться востребованным Спикеры: Виктор Кантор, MLinside / Владимир Абазов, Т-Банк / Павел Бухтик, No Data No Growth Ведущий — Никита Гурьянов, VK Расставим все точки над AI 🤖

Скоро увидимся на конференции — и Cloud.ru уже готовится удивлять 👀 На стенде партнера вас ждет четыре активности, где каждый найдет что-то свое: 🎮 Покемон или ИИ? Угадайте, что скрывается за загадочным названием: имя покемона или ИИ-модель 🃏 500 горячих спринтов Познакомьтесь с командой через айтишный юмор 🤖 Создайте своего ИИ-агента Протестируйте новый сервис Evolution AI Agents и запусти своего первого агента ⚙️ Соберите пайплайн работы с данными А также поучаствуйте в розыгрыше худи из коллабы Cloud.ru х .Solutions Заходите — будет интересно!

🚀 Завтра в 10:00 в зале «Оптика» пройдет воркшоп «AI-агент Нейроаналитик DataLens в деле: от инсайтов до кастомных визуализаций с AI» На практическом воркшопе вместе с архитектором Глебом Беловым вы освоите работу с AI-агентом в Yandex DataLens и узнаете, как автоматизировать рутинные задачи в анализе данных. Теория Разберем, что такое Нейроаналитик, где в DataLens используется AI и как он работает. Практика. Вы сами: • Сгенерируете кастомные чарты через AI в Editor • Разберетесь в формулах с помощью Нейроаналитика • Найдете инсайты по готовым дашбордам • Попробуете вайб-чартинг и новый формат общения с данными через AI Кому будет полезно: аналитикам и BI-авторам, дата-командам и всем, кто хочет освоить AI-подход к анализу данных. Ждем вас!

AHA'26 — уже завтра! А сегодня начинаем делиться новостями и предстоящими активностями партнеров ⬇️

Мы задаем вопрос Почему вы решили посетить нашу конференцию? всем, кто оформляет билеты. Таким образом мы пытаемся найти какие-то новые смыслы. Но они, как правило, всегда самые обычные - люди говорят о классных докладах, о качественном нетворкинге, о том, что ежегодно посещают и о том, что эти материалы очень пригодятся им в работе Причины покупки и должности здесь Программа: https://ahaconf.ru/program

14 мая AHA и hh.ru готовят для вас настоящую находку! Перед конференцией AHA'26 проведем митап и поговорим про реальную пользу от нейросетей, интеграцию AI со Spark и обсудим будущее профессии аналитика. В программе два доклада и горячий круглый стол: Михаил Марыгин, продуктовый аналитик, hh.ru: расскажет, как ИИ в их команде прошел путь от экспериментов до рабочего стандарта, и покажет способы получать предсказуемый профит от нейросетей. Дмитрий Кузин, менеджер продукта, Cloud.ru: поделится фреймворком разработки рекомендательных систем (Uplift recsys) и объяснит, как оптимизировать Spark-задачи с помощью AI. Круглый стол о будущем профессии: обсудим, устареют ли классические аналитики, исчезнут ли позиции по ручной выгрузке данных и за что теперь на рынке будут платить джунам и сеньорам. Модератором дискуссии выступит руководитель продуктовой аналитики hh.ru Кирилл Кочнев. Остальных участников объявим позднее. Когда: 14 мая. Сбор гостей с 18:30, начало в 19:00. Где: Москва, офис hh.ru (2-я Брестская улица, 48, БЦ Afi2b). Участие: офлайн (количество мест ограничено, дождитесь подтверждения заявки) и онлайн Регистрируйся по ссылке

Завтра в Москве обещают отключить интернет до 9 мая. В связи с этим, я написал письмо с ключевыми новостями по нашей конференции. Последний раз я писал вот такое вот письмо по всей базе от себя лично в августе 2020 года, когда вовсю был COVID-19. Вот ссылка на письмо - читать Вот самое важное из письма: - до конференции 3 недели - в программе около 60 важных докладов и мастер-классов  - делаем митап с HeadHunter - на площадке сейчас около 800 человек и ждем еще около 200 - цена на билеты не растет, но комбо-билеты отменим 15 мая - промокод MIRTRUDMAY дает скидку 12% на любой билет = = = По ссылке на док - много подробностей. Спасибо!

Как бесплатно попасть на Aha'26 и/или Матемаркетинг? Многие думают, что невозможно, но это не совсем так. 1. На наши конференции есть квота для магистрантов ведущих вузов, обучающихся по специальностям computer science. Предпочтение отдаем магистрантам второго года таких вузов как ИТМО, ВМК МГУ, ФКН ВШЭ, МФТИ, МГТУ. Всего 120-150 человек. В первую очередь пропускаем тех, кто впервые хочет прийти на нашу конференцию. Нужно заполнить заявку на сайте. Почему это бесплатно? Потому что мы растим знание о конференции среди новой аудитории, а также все магистранты при регистрации дают согласие на передачу своего резюме нашим партнерам. В итоге все довольны. 2. Мы ежегодно приглашаем порядка 20-25 человек волонтерами. Фактически, эти люди координируют небольшие кусочки процессов. Например, помогают пару часов с регистрацией, а потом идут в зал слушать доклады и помогать спикерам укладываться в тайминг. Или например, заняты тем, что помогают функционированию залов - там много мелочей от кондиционирования и экранов, до взаимодействия со стриминговой командой и технарями. Есть задачи коммуникационного характера в холлах - например, подсъемы и короткое интервьюирование гостей. От волонтеров просим также заполнить заявку , а потом либо выходим на созвон, либо просим прислать видеокружок с коротким рассказом о себе. Почему это бесплатно? Потому что волонтеры и координаторы помогают нам делать конференцию лучше, атмосфернее, задают вопросы, которые показывают нам как иначе можно посмотреть на процессы и в целом, это классные люди 3. Стать +1 для спикера. Изучить программу, найти там спикера из своей компании, прийти к нему, напроситься стать "плюсодином". Если не удается найти спикера из своей компании, найти спикера из чужой компании. Даже из онлайна! Почему это бесплатно? Потому что это часть нашей благодарности спикерам за то что они тратят свое время. 4. Внести неоценимый вклад в конференцию. Например, купить билет написать серию постов о нас в своем телеграм/нетелеграм канале до/после конференции и мы, скорее всего, вас пригласим (чтобы это случилось, пишите Алине @alinacortner) . Квота для микроблогеров-инфлюенсеров у нас человек 25-30. Тут же все ясно, да? Мы немного экономим на рекламе. Итого, 120 шансов для магистров, 20 шансов для волонтеров, 60 шансов для +1, 25 шансов для микроблогеров - 200+ возможностей. Надо брать! До конференции остался месяц - очень вас ждем! Программа - смотреть Билеты - покупать

Андрей Карпаты навайбкодил свой собственный Твиттер для разработчиков. Только для живых людей. https://karpathytalk.com Оно и видно))

Тем временем, нам в рамках одной конференции собрать вместе и лекции о том, как из разрозненных пайплайнов, хранилищ собрать цельную технологическую среду, способную выдерживать рост нагрузки и организационной сложности и требования к AI-решениям (Инженерия доверия к данным) и лекции о практической архитектуре прикладного AI: как готовить и размечать данные, как строить контекстно-осведомленных AI-аналитиков, как применять LLM и AIOps для управления ML-инфраструктурой. (Инженерия вокруг ML/AI и архитектура прикладного AI) Посмотрете какая консистентная и практичная программа получилась

Поговорим немного про телевизор и телесмотрение. Буквально на прошлой неделе ФОМ выкатил результаты опроса о телесмотрении и результаты неутешительны: из телевизора новости узнают 47% населения (а из интернета 44%); уровень доверия к телевидению снизился в 2 раза за 10 лет (с 63% до 31%). Если условный Валдберрис/Озон сейчас купит себе еще и телеканал и устроит из него магазин на диване, то это может быть и улучшит позиции телевизора. Но сейчас не об этом. Когда мы слышим о блокировке мессенджеров, запрете социальных сетей, "белых списках" интернета, мы же понимаем, что теряется право (если есть такое право) на бродкаст, то есть на распространение информации один ко многим. Мне сложно предположить что такого важного может произойти о чем нельзя распространяться, что даже оповещение населения об атаках БПЛА, ракетных атаках в регионах не так важно на этом фоне. Социальные сети строились на теории 6 рукопожатий - свойстве, когда вы через знакомых знакомых можете дотянуться до кого угодно. Также механизмы социальных сетей умеют в ноль снижать охват постов содержащих те или иные слова. Следовательно если вдруг что, то просто невозможно будет распространить информацию о чем-то. Открытый вопрос о чем нельзя говорить, что нельзя называть. Представим среднестатистического жителя, который где нибудь в Сибири стоит посреди необъятной тоски рядом со своим сарайчиком (в котором еще недавно жили коровы) и загадочно смотрит то вдаль, то на вилы, то на окирпиченный смартфон, который потихоньку перестает быть средсвом связи и думает о том, что же делать с освободившимся временем на медиапотребление. Вполне возможно, что он потратит это время на занятия спортом, повышение качества жизни, чтение художественной литературы, уроки нотной грамоты или новое хобби, но есть вероятность, что и не потратит, а пойдет и включит телевизор, радио или пойдет в библиотеку. Я думаю, что снижение инфопотока — осознанного ограничения потребления информации для борьбы с когнитивной перегрузкой, «туманом в голове» и стрессом, включающая новостную аскезу, фильтрацию подписок, установку временных лимитов на гаджеты и приоритет живого общения, что означает выгорание и повышение стабильности в итоге благоприятно скажется на будущем, но пока не знаю на чьём. Радует, что скоро лето, прогулки, шашлыки, рыбалка, картошка, комары и полный спектр радостей - все равно все лето без телефона. А к осени привыкнем, по телевизору будет новый сезон "Что? Где? Когда?" и можно будет укутаться в плед, пить чай и задумчиво смотреть в окно или телевизор