MWS AI
رفتن به کانال در Telegram
Мы разрабатываем решения и продукты на базе технологий NLP, CV и Gen AI. Формируем AI-сообщество, сотрудничаем с ведущими технологическими компаниями и экспертами, проводим исследования, инвестируем в перспективные проекты и команды.
نمایش بیشتر7 133
مشترکین
اطلاعاتی وجود ندارد24 ساعت
-97 روز
-1230 روز
در حال بارگذاری دادهها
کانالهای مشابه
ابر برچسبها
اشارات ورودی و خروجی
---
---
---
---
---
---
جذب مشترکین
اکتبر '26اکتبر '26
اکتبر '26
+79
در 6 کانالها
سپتامبر '26
+59
در 3 کانالها
Get PRO
اوت '26
+42
در 11 کانالها
Get PRO
ژوئیه '26
+57
در 13 کانالها
Get PRO
ژوئن '26
+77
در 12 کانالها
Get PRO
مه '26
+45
در 8 کانالها
Get PRO
آوریل '26
+124
در 6 کانالها
Get PRO
مارس '26
+63
در 8 کانالها
Get PRO
فوریه '26
+73
در 4 کانالها
Get PRO
ژانویه '26
+160
در 6 کانالها
Get PRO
دسامبر '25
+88
در 15 کانالها
Get PRO
نوامبر '25
+82
در 5 کانالها
Get PRO
اکتبر '25
+67
در 3 کانالها
Get PRO
سپتامبر '25
+628
در 2 کانالها
Get PRO
اوت '25
+264
در 3 کانالها
Get PRO
ژوئیه '25
+156
در 2 کانالها
Get PRO
ژوئن '25
+291
در 4 کانالها
Get PRO
مه '25
+325
در 5 کانالها
Get PRO
آوریل '25
+274
در 4 کانالها
Get PRO
مارس '25
+301
در 8 کانالها
Get PRO
فوریه '25
+354
در 9 کانالها
Get PRO
ژانویه '25
+599
در 3 کانالها
Get PRO
دسامبر '24
+473
در 4 کانالها
Get PRO
نوامبر '24
+645
در 5 کانالها
Get PRO
اکتبر '24
+689
در 3 کانالها
Get PRO
سپتامبر '24
+1 178
در 8 کانالها
Get PRO
اوت '24
+900
در 0 کانالها
Get PRO
ژوئیه '24
+1 126
در 4 کانالها
Get PRO
ژوئن '24
+48
در 3 کانالها
Get PRO
مه '24
+624
در 4 کانالها
Get PRO
آوریل '24
+878
در 5 کانالها
Get PRO
مارس '24
+1 864
در 2 کانالها
Get PRO
فوریه '24
+197
در 4 کانالها
Get PRO
ژانویه '24
+106
در 1 کانالها
Get PRO
دسامبر '23
+332
در 3 کانالها
Get PRO
نوامبر '23
+612
در 4 کانالها
Get PRO
اکتبر '23
+513
در 3 کانالها
Get PRO
سپتامبر '23
+342
در 0 کانالها
Get PRO
اوت '23
+134
در 0 کانالها
Get PRO
ژوئیه '23
+185
در 0 کانالها
Get PRO
ژوئن '23
+74
در 0 کانالها
Get PRO
مه '23
+71
در 0 کانالها
Get PRO
آوریل '23
+21
در 0 کانالها
Get PRO
مارس '23
+54
در 0 کانالها
Get PRO
فوریه '23
+39
در 0 کانالها
Get PRO
ژانویه '23
+78
در 0 کانالها
Get PRO
دسامبر '22
+126
در 0 کانالها
Get PRO
نوامبر '22
+176
در 0 کانالها
Get PRO
اکتبر '22
+32
در 0 کانالها
Get PRO
سپتامبر '22
+410
در 0 کانالها
Get PRO
اوت '22
+566
در 0 کانالها
| تاریخ | رشد مشترکین | اشارات | کانالها | |
| 28 اکتبر | +1 | |||
| 27 اکتبر | 0 | |||
| 26 اکتبر | +2 | |||
| 25 اکتبر | 0 | |||
| 24 اکتبر | +2 | |||
| 23 اکتبر | +3 | |||
| 22 اکتبر | +1 | |||
| 21 اکتبر | +1 | |||
| 20 اکتبر | +2 | |||
| 19 اکتبر | +2 | |||
| 18 اکتبر | +1 | |||
| 17 اکتبر | 0 | |||
| 16 اکتبر | +2 | |||
| 15 اکتبر | +5 | |||
| 14 اکتبر | +4 | |||
| 13 اکتبر | +5 | |||
| 12 اکتبر | +3 | |||
| 11 اکتبر | +2 | |||
| 10 اکتبر | +1 | |||
| 09 اکتبر | 0 | |||
| 08 اکتبر | +1 | |||
| 07 اکتبر | +31 | |||
| 06 اکتبر | +1 | |||
| 05 اکتبر | +2 | |||
| 04 اکتبر | +4 | |||
| 03 اکتبر | 0 | |||
| 02 اکتبر | +1 | |||
| 01 اکتبر | +2 |
پستهای کانال
+8
Привет, это Cowork, с какой задачи начнём? 👀
При работе над проектом много времени уходит на сбор материалов, сверку цифр и подготовку документов. Мы создали MWS AI Cowork, чтобы эти операции можно было поручить ИИ-исполнителям и быстрее переходить от исходных данных к решениям.
Это универсальный ИИ-агент с чат-интерфейсом. Он самостоятельно планирует и выполняет задачи в режиме одного окна: ищет и анализирует информацию, работает с файлами, сайтами и подключёнными приложениями, создаёт документы, таблицы, презентации и отчёты.Познакомимся? Ваш Cowork 🤖
| 2 | Новостной дайджест MWS AI 📔
Собрали в один пост главные обновления и научные достижения MWS AI за две недели.
🤖 Представили MWS AI Agents Platform 4.0
Создание ИИ-агента теперь можно начать с обсуждения задачи во встроенном модуле «ИИ-команда». Платформа также распознаёт текст в сканах, хранит общие правила организации и помогает разбирать ошибки по шагам диалога.
Что ещё появилось в версии 4.0
🤖 Обновили WordPulse для более глубокого анализа клиентских диалогов
ИИ-агент платформы управления качеством коммуникаций теперь разбирает более чем втрое больше диалогов за один запрос и учитывает теги и атрибуты сессий. Вопросы о функциях и настройках WordPulse тоже можно задать агенту — ответ он дополнит ссылкой на инструкцию или обучающее видео с таймкодом.
Подробнее об обновлении
👩🎓 Стаматис Лефкиммиатис среди самых цитируемых учёных мира
Руководитель центра фундаментальных исследований MWS AI вошёл в международный список Top 2% Scientists, опубликованный Elsevier, а в категории «Искусственный интеллект и обработка изображений» оказался среди 1% наиболее влиятельных исследователей. При составлении рейтинга анализируют показатели около 11 миллионов учёных, учитывая цитируемость работ и вклад авторов в совместные исследования.
Посмотреть список
👀 Что будет с сайтами, если за ответами все пойдут к ИИ?
Елизавета Ермакова, руководитель центра исследований и аналитики MWS AI, в колонке для «Ведомостей» разбирает, как нейросети меняют экономику поиска. Пользователи получают готовые ответы без перехода на сайты, а распространение ИИ-агентов может ещё сильнее изменить привычный способ искать информацию.
Читать колонку | 661 |
| 3 | Как ИИ помогает контакт-центру расти 🔍
Антон Оцепов, руководитель направления ИИ-продуктов для клиентского сервиса MWS AI, рассказал, как ИИ-агент позволяет масштабировать опыт одного оператора контакт-центра и обрабатывать в 10 раз больше обращений. При этом команда сохраняется, а сотрудники получают более интересные задачи.
Полную запись вебинара по автоматизации работы контакт-центра можно получить здесь. А ещё вы узнаете, как рассчитать экономику внедрения ИИ и оценить результаты пилота 👩🎓 | 683 |
| 4 | Ещё одно важное обновление WordPulse ⚡️
В WordPulse, платформе для управления качеством коммуникаций, ИИ-агент теперь разбирает втрое больше диалогов за один запрос. У него можно спросить, почему клиенты снова обращаются с тем же вопросом и что стоит изменить в работе поддержки. А с функциями и настройками WordPulse агент поможет разобраться, подкрепив ответ ссылкой на инструкцию или обучающее видео с таймкодом.
А что ещё?
👩🎓 Больше контекста при анализе
Агент учитывает не только сами диалоги, но и теги и атрибуты сессий. Например, можно спросить, почему выросло число повторных обращений, а агент отберёт нужные диалоги и поможет выяснить, что осталось непонятным после первого обращения.
👩🎓 Новые критерии для архивных обращений
Семантические теги (смысловые метки) можно применять к диалогам за прошлые периоды. А при создании тега — проверить его работу на выбранных сессиях.
👩🎓 Ответы о функциях WordPulse со ссылками на инструкции
В разделе «Помощь» агент сам найдёт нужный раздел руководства или пришлёт ссылку на обучающее видео с таймкодом.
Галина Прохорова, директор по продукту WordPulse:
Мы развиваем WordPulse как систему аналитики и управления качеством коммуникаций, которая не ограничивается проверками клиентских диалогов по заранее заданным правилам. ИИ-агент платформы проактивно выявляет проблемы в коммуникациях и предлагает варианты их решения. Это помогает бизнесу находить неочевидные взаимосвязи в данных и принимать более обоснованные решения по улучшению клиентского сервиса.
Узнать больше о WordPulse и записаться на демо ☝ | 729 |
| 5 | Представили MWS AI Agents Platform 4.0
Наша корпоративная платформа объединяет создание, запуск и управление ИИ-агентами для бизнеса. В четвёртой версии модуль «ИИ-команда» помогает проектировать сценарии в диалоге с пользователем, Cotype распознаёт текст в сканах, а общий профиль организации позволяет учитывать правила компании в ответах сотрудникам.
В карточках собрали главные обновления, а узнать больше о платформе и обсудить внедрение можно здесь 🤖 | 1 004 |
| 6 | ⚡️ Выпустили большой гайд по созданию ИИ-команды ⚡️
Собрали в одном документе опыт экспертов и компаний, которые уже системно внедряют искусственный интеллект.
Что внутри
✅ какие специалисты нужны ИИ-команде;
✅ какими компетенциями они должны обладать;
✅ какой бюджет заложить на формирование и развитие команды;
✅ какие цели, KPI и систему мотивации выбрать;
✅ как к созданию ИИ-команд подходят другие компании.
Получить гайд можно здесь
Читайте, применяйте и рассказывайте в комментариях, как устроена работа с ИИ в вашей компании. | 1 094 |
| 7 | MWS AI Vision Bench проверит как нейросети читают документы и замечают подделки 🔍
MWS AI Vision Bench — наш открытый бенчмарк для оценки мультимодальных моделей на русскоязычных документах. Он показывает, насколько хорошо модели распознают текст, восстанавливают структуру страниц, извлекают данные и отвечают на вопросы по содержимому. На этом бенчмарке мы тестируем в том числе наши собственные большие языковые модели Cotype (доступны в MWS AI Agents Platform).
Теперь мы дополнили бенчмарк экспериментальной категорией Anti-fraud, которая показывает, замечают ли универсальные модели изменения в документах и могут ли объяснить, что именно вызвало подозрение.
⚡️ В новый датасет вошли 430 изображений:
- 200 исходных
- 130 с ручными правками
- 100 пересозданных генеративной моделью.
⚡️ Половина итогового балла зависит от правильной классификации, вторая — от того, насколько точно модель указала изменённые элементы.
⚡️ Мы также уточнили формулировки и допустимые ответы в 395 из 400 заданий VQA, чтобы случайные совпадения меньше влияли на результаты.
Категория Anti-fraud не заменяет профессиональные системы защиты от мошенничества и не входит в общий балл бенчмарка. Она помогает предварительно сравнить универсальные модели и понять, насколько хорошо они замечают вмешательство в документы.
Разбор обновлений в MWS AI Vision Bench, лидерборд и примеры заданий собрали в новой статье на Хабре 🗒 | 1 027 |
| 8 | В ИИ-компаниях появились философы, но Аристотель здесь ни при чём 💭
ИИ уже автоматизирует большинство рутинных процессов, разработчики понимают, как собрать такую систему, юристы проверяют ограничения, а бизнес считает эффект. А корпоративного философа подключают, когда нужно определить, какие решения можно доверить алгоритму, где должен вмешиваться человек и не расходится ли автоматизация с тем, что компания обещает сотрудникам и клиентам.
8 октября наши партнеры философский клуб Quercus проведут конференцию «Философия в ответе», где обсудят роль корпоративного философа в эпоху ИИ. Перед встречей разбираемся, что это за профессия и как она уже влияет на поведение нейросетей в больших компаниях 🗒
Забрать промокод на скидку 50% на первые 5 регистраций: QMWSAI50 | 1 103 |
| 9 | ⚡️ Сегодня встречаемся на форуме «Цифровые решения» ⚡️
CEO MWS AI Денис Филиппов примет участие сразу в двух дискуссиях об эффективности ИИ и инфраструктуре, от которой зависят стоимость внедрения и результат для бизнеса.
15:30–16:45, зал №1
«Эффекты применения ИИ в системах управления ресурсами: метрики, кейсы, масштабирование»
17:00–18:15, зал №3
«ИИ на распутье: как выбор инфраструктуры определит эффективность и выгоду на годы вперёд»
Если не сможете присоединиться на площадке, подключайтесь онлайн. Все трансляции доступны на сайте форума 🔍 | 843 |
| 10 | 📩📩📩
Открыли RESON для оценки моделей распознавания речи ▶️
Мы опубликовали RESON — первую открытую разработку MWS AI в области распознавания речи. Инструмент помогает комплексно оценивать качество ASR-моделей, которые используют в голосовых помощниках, контакт-центрах, сервисах расшифровки аудио и голосовом поиске.
Что умеет RESON
Он объединяет подготовку данных, расчёт метрик, сравнение моделей и детальный разбор ошибок, сокращая время анализа с нескольких часов до 10–15 минут.
🔍 сравнивает модели более чем по 10 метрикам и показывает, где именно возникают ошибки;
🔍 приводит расшифровки к единым правилам, чтобы варианты написания слов не искажали результат;
🔍 находит проблемы с редкими, но важными для бизнеса словами, включая названия компаний, продуктов и сервисов;
🔍 помогает определить, какие ошибки нужно исправлять в первую очередь;
🔍 автоматически собирает интерактивный HTML-отчёт для технической и бизнес-команды.
RESON доступен как Python-библиотека, подключается через командную строку или API и разворачивается в инфраструктуре компании, включая закрытый контур.
Вместе с инструментом мы опубликовали бенчмарк MWS RESON ASR OSD с более чем 12 тысячами русскоязычных записей общей длительностью около 38 часов. На нём сравнили модели Сбера, Alpha Cephei, Nvidia и OpenAI. Лучшие средние результаты среди решений, прошедших все четыре набора данных, показали GigaAM v3 с WER 7,42% и Vosk с 11,07%.
✅ Забрать RESON на GitHub
✅ Скачать бенчмарк на Hugging Face
✅ Узнать больше о разработке на Хабре | 920 |
| 11 | Дайджест 😊
Собрали шесть поводов задержаться в ленте ещё на несколько минут перед выходными.
🚫 Билл, ты не прав
Билл Гейтс предлагает заранее «зарезервировать» часть профессий за людьми. Денис Филиппов в колонке для «Известий» объясняет, почему делить работу между человеком и ИИ пока преждевременно.
Читать
👀 Аватары разогнали до 60 FPS на смартфоне
Стаматис Лефкиммиатис и соавторы представили GALA — метод, который ускоряет анимацию нейросетевых 3D-аватаров на CPU до тысячи раз и позволяет запускать её на мобильных устройствах.
Читать
🤖 Трансформеров ускорили без полного переобучения
Исследователи MWS AI вместе с коллегами из ИТМО разработали LATTE — метод для ускорения уже обученных трансформеров без полного переобучения. Статью приняли на ECCV 2026, одну из главных мировых конференций по компьютерному зрению и машинному обучению.
Читать
👩🎓 Зачем технологической компании философ
Выступим 8 октября на конференции «Философия в ответе», где обсудим роль человека в цифровой среде, и зачем бизнесу нужен корпоративный философ в эпоху ИИ.
Регистрация
☝ Новости у партнёров: в МТС Линк появились Почта и Календарь
Платформа для бизнес-коммуникаций расширилась двумя новыми сервисами. Теперь пользователи могут работать с письмами, планировать встречи, бронировать переговорные и добавлять видеозвонки в календарь одним кликом.
Всё о платформе
🔍 79 команд не поверили картинке на слово
Задачу MWS AI и VisionLabs в основном этапе AI Challenge выбрали 79 команд. Они отправили 1 552 посылки с предсказаниями, лучший результат на приватных данных составил 0,9607, а 41 команда представила полное решение для экспертной проверки. Впереди финальный этап и онлайн-защиты.
О конкурсе | 855 |
| 12 | 79 команд не поверили картинке на слово 🔍
Завершился основной этап AI Challenge, где кейс MWS AI и VisionLabs по поиску скрытых ИИ-манипуляций на изображениях и выделению изменённых областей выбрали 79 команд.
Итоги основного этапа:
🤖 Команды отправили 1 552 посылки с предсказаниями
🤖 Максимальный результат на приватных данных составил 0,9607
🤖 41 команда представила полное решение для экспертной проверки
Сейчас организаторы, эксперты MWS AI и VisionLabs оценивают работы, чтобы определить участников финала. О финалистах и самых сильных решениях расскажем отдельно, следите за событиями в канале 🗒 | 886 |
| 13 | ⚡ Через час начинаем вебинар про автоматизацию клиентского сервиса ⚡
Последняя возможность зарегистрироваться 🗒 | 1 032 |
| 14 | Кирилл Дьяков, старший юрист MWS AI, рассказал, какие юридические задачи уже можно передавать ИИ и что важно учитывать при работе с ним 🤖
ИИ работает с судебной практикой и документами, но без проверенной базы знаний может упустить важное или сгаллюцинировать, поэтому финальная проверка остаётся за юристом.
MWS AI Agents Platform позволяет в едином корпоративном контуре создавать и масштабировать ИИ-агентов для разных задач, включая юридические. Их можно подключать к RAG, безопасно встраивать в процессы и предусматривать проверку результата специалистом. Так компания автоматизирует целые участки работы юридической службы, а не отдельные запросы.
✅ Узнать о платформе больше ✅ | 1 459 |
| 15 | Дайджест новостей 😊
Два крупных продуктовых обновления, вебинар о реальной эффективности автоматизации поддержки и новое партнёрство с Вышкой.
⚡️ Обновление WordPulse для клиентского сервиса
На платформе для управления качеством коммуникаций WordPulse появился встроенный ИИ-агент, который находит причины недовольства и повторных обращений, анализирует продажи и проверяет соблюдение скриптов.
Во время тестирования в МТС подготовка новых отчётов сократилась с нескольких дней до нескольких часов.
Подробнее
🤖 Новые фичи MWS AI Agents Platform
Агенты получили песочницу для безопасного выполнения кода внутри инфраструктуры заказчика, долгосрочную память и запуск задач по расписанию. Также появился конструктор интерфейсов, который позволяет собирать для агентов экраны с кнопками, формами, таблицами и графиками.
Подробнее
📔 Уже во вторник разберём, чем чат-бот отличается от ИИ-агента и как понять, что автоматизация поддержки действительно работает
29 сентября в 12:00 (МСК) проведём вебинар, где на реальных обезличенных диалогах покажем, чем ИИ-агент отличается от чат-бота, как считать экономику автоматизации до пилота и какие метрики позволяют оценить реальный результат.
Зарегистрироваться на вебинар
👩🎓 MWS AI и НИУ ВШЭ объединяют экспертизу в технологиях и праве
Факультет права НИУ ВШЭ и MWS AI подписали соглашение о сотрудничестве. Вместе будем развивать образовательные и исследовательские проекты, студенческую науку и практическую подготовку специалистов на стыке права и ИИ.
О партнёрстве | 990 |
| 16 | Обновление WordPulse для клиентского сервиса 🔍
На платформе для управления качеством коммуникаций WordPulse появился встроенный ИИ-агент, который анализирует звонки и переписки, находит причины проблем в клиентском сервисе и предлагает план действий, подтверждая выводы точными цитатами из диалогов.
WordPulse входит в ИИ-клиентский сервис MWS AI — мультиагентную систему для автоматизации и масштабирования клиентского обслуживания.
Что может ИИ-агент:
✅ выявлять причины недовольства и повторных обращений;
✅ сравнивать работу с возражениями в успешных и неуспешных продажах;
✅ определять темы, в которых боты уступают операторам;
✅ находить нарушения скриптов и регламентов;
✅ готовить рекомендации и план действий по итогам анализа.
О первых результатах применения обновления рассказывает Елизавета Алтухова, менеджер продукта в команде «Речевой аналитики» МТС:
Подготовка новых отчётов, которая раньше занимала несколько дней и требовала участия специалистов с прикладными знаниями, теперь занимает несколько часов. Аналитики могут уделять больше времени содержательным выводам и проверке гипотез. Мы прогнозируем, что благодаря такому подходу эффективность аналитической команды вырастет минимум на 30%. Срок адаптации новых специалистов может сократиться с недели до одного-двух рабочих дней.
Галина Прохорова, директор по продукту WordPulse:
Сложные вопросы аналитики по-прежнему разбирали вручную: почему клиенты остаются недовольны, какие факторы в диалогах влияют на продажи, какие приёмы операторов приводят к покупке или положительному отзыву. Для этого приходилось выгружать разговоры, отбирать нужные сессии, читать и сравнивать их — такой анализ мог занимать несколько дней. Теперь агент проводит его по запросу на естественном языке. Пользователь может начать с общего вопроса, затем уточнить его и проверить гипотезу на отдельных сессиях. К каждому ответу прилагаются цитаты из разговоров, поэтому выводы можно проверить.
Узнать больше о WordPulse и записаться на демо 🗒 | 994 |
| 17 | Бот закрыл диалог, а клиент снова звонит. Что может быть не так с автоматизацией поддержки? 👀
29 сентября в 12:00 (МСК) на вебинаре «Чат-бот врёт. ИИ-агент решает» покажем на реальных диалогах, чем чат-бот отличается от ИИ-агента и как понять, что автоматизация поддержки действительно работает.
В программе:
👩🎓 Почему закрытый без оператора диалог может вводить в заблуждение при оценке автоматизации.
👩🎓 Как боты улучшают статистику, не решая вопросы клиентов, на примерах реальных обезличенных обращений.
👩🎓 Как ИИ-агент подключает услуги, оформляет заявки и проверяет качество ответов.
👩🎓 Как рассчитать стоимость диалога и окупаемость внедрения ещё до пилота.
👩🎓 Как провести пилот за шесть недель, выбрать методику оценки, закрепить метрики в договоре с вендором и организовать контроль качества.
В конце ответим на вопросы и обсудим кейсы участников.
Ведущий — Антон Оцепов, руководитель направления ИИ-продуктов клиентского сервиса MWS AI.
🗒 Зарегистрироваться на вебинар 🗒 | 893 |
| 18 | Бот закрыл диалог, а клиент снова звонит. Что может быть не так с автоматизацией поддержки? 👀
29 сентября в 12:00 (МСК) на вебинаре «Чат-бот врёт. ИИ-агент решает» покажем на реальных диалогах, чем чат-бот отличается от ИИ-агента и как понять, что автоматизация поддержки действительно работает.
В программе:
👩🎓 Почему закрытый без оператора диалог может вводить в заблуждение при оценке автоматизации.
👩🎓 Как боты улучшают статистику, не решая вопросы клиентов, на примерах реальных обезличенных обращений.
👩🎓 Как ИИ-агент подключает услуги, оформляет заявки и проверяет качество ответов.
👩🎓 Как рассчитать стоимость диалога и окупаемость внедрения ещё до пилота.
👩🎓 Как провести пилот за шесть недель, выбрать методику оценки, закрепить метрики в договоре с вендором и организовать контроль качества.
В конце ответим на вопросы и обсудим кейсы участников.
Ведущий — Антон Оцепов, руководитель направления ИИ-продуктов клиентского сервиса MWS AI.
🗒 Зарегистрироваться на вебинар 🗒 | 1 |
| 19 | ИИ-агент сам напишет код и запустит работу по расписанию 🤖
Обновили MWS AI Agents Platform, чтобы агенты могли выполнять код в изолированной среде, помнить важную информацию между диалогами и запускаться по расписанию.
Ответы теперь можно проверять автоматически, а в отдельном конструкторе — собирать интерфейс с таблицами, формами и кнопками.
Посмотреть возможности платформы и оставить заявку на демо можно по ссылке 🗒 | 1 299 |
| 20 | Когда хорошая метрика приводит к плохому решению? 🔍
В ролике наш дата-аналитик Николай Курков разбирает кейс, в котором результаты теста выглядели убедительно, но привели команду не к тому выводу.
Проблема оказалась не в цифрах, а в самом подходе к эксперименту. Чтобы такого не происходило, A/B-тест нужно правильно спроектировать ещё до запуска.
Собрали несколько важных пунктов, которые стоит проверить перед стартом и после.
✅ Сразу определите, что именно вы хотите сравнить
До старта зафиксируйте гипотезу, основную метрику и то, как будете её считать.
Для бота результат можно оценивать по пользователям, диалогам или отдельным запросам, и это не одно и то же. Если считать каждый запрос отдельно, человек, который пишет боту сотни раз в день, будет влиять на итог сильнее десятков или даже сотен обычных пользователей.
✅ Сформируйте контрольную и тестовую группы так, чтобы их можно было честно сравнивать
Контрольная группа работает со старой моделью, тестовая — с новой. Важно, чтобы в обеих были похожие пользователи по активности и типу запросов.
Если в тестовую группу случайно попадёт больше активных клиентов, новичков или людей с каким-то специфическим поведением, итог может зависеть именно от состава группы, а не от качества новой модели.
✅ Перед A/B-тестом проверьте, что сами группы не дают разницу
Для этого можно провести A/A-тест, когда двум группам показывают одну и ту же модель и смотрят, насколько похожими получаются результаты.
Если модель одна и та же, а метрики уже заметно отличаются, значит, сначала нужно разобраться с составом групп или способом подсчёта, и только потом сравнивать старую и новую версии.
✅ Даже несколько первых дней часто не дают правильный результат
Заранее определите, сколько будет идти тест и сколько данных нужно собрать.
В начале цифры могут сильно прыгать просто потому, что наблюдений ещё мало. Сегодня новая модель выглядит лучше, завтра хуже, а через несколько дней разница вообще исчезает.
✅ Посмотрите, кто именно повлиял на итог
После теста не ограничивайтесь одной средней метрикой. Проверьте, сколько запросов делали разные пользователи и нет ли среди них нескольких аномально активных.
Если большинство написало боту пару раз, а один пользователь сделал 200 запросов, это важно увидеть отдельно. После этого стоит проверить, сохраняется ли разница между моделями у основной массы пользователей или весь результат держится на нескольких исключениях.
И ещё один уровень проверки можно добавить до выхода на реальную аудиторию. В MWS AI Agents Platform работу агента можно тестировать автоматически: команда заранее задаёт контрольные вопросы и ожидаемые ответы, а платформа прогоняет их и показывает, где агент ошибся и что происходило на каждом этапе.
💬 Узнать подробнее 💬 | 867 |
