Внутри AI | Кейсы ИИ Агентов в бизнесе

Как оценивать качество RAG без дорогого эталонного датасета В академическом подходе измерять качество можно десятками метрик, но для этого нужен «золотой» набор ответов, который требует значительных ресурсов со стороны экспертов клиента.  На практике используют связку LLM-as-a-judge + экспертная проверка, чтобы упростить и ускорить процесс.  Сначала собирают репрезентативную выборку — обычно 50–200 реальных вопросов из поддержки, HR или другого рабочего сценария, прогоняют их через RAG-систему и сохраняют результаты. Дальше LLM-судья оценивает каждый ответ по нескольким критериям: • correctness — правильно ли система ответила по существу • completeness — насколько раскрыла вопрос • groundedness — опирается ли ответ на переданный контекст • conciseness — уровень «воды»  • citation quality — корректны ли ссылки на источники Мы предпочитаем шкалу от 1 до 10 вместо бинарного «хорошо / плохо». Так видно не только общую оценку, но и узкие места.  После автоматической проверки выборку валидирует эксперт заказчика. Это занимает заметно меньше времени, чем вручную собирать эталонный датасет с нуля. Прогон повторяют несколько раз, чтобы получить среднюю оценку в динамике. Например, для 50 вопросов рекомендуем не меньше пяти повторов. После выхода в прод эксперт вручную смотрит 10–20% выборки — в первую очередь кейсы, где LLM-судья поставила от 4 до 6 баллов. Специалист помогает найти причины недостатков, и команда разработки устраняет их.  В результате такого подхода получается воспроизводимая оценка качества: можно одинаковым тестом проверять RAG до запуска и после изменений, сравнивать результаты в динамике и оценивать улучшения по измеримым показателям. При этом основную проверку берёт на себя LLM, а эксперт подключается только в контрольных точках.