Свердловская область: цифровизуем строительство сообща и невзирая на! 📈

В первой части мы рассказывали, как подготовили базу знаний из инструкций по ИСУП и задали 31 одинаковый вопрос трём моделям – ChatGPT, Qwen и DeepSeek. Теперь – о результатах. Ответы каждой модели заносили в таблицу и оценивали по трём критериям: точность, полнота информации и отказ от выдумки. Оценка, конечно, в определённой степени субъективная – проверяет ответы человек. Но в нашем случае это скорее плюс. Все вопросы и оценки заполняла Ирина Дзюба – наш новый сотрудник, которая сравнительно недавно работает с системой. То есть проверку проводил именно тот пользователь, для которого мы и хотим сделать будущего ассистента: человек уже работает с ИСУП, сталкивается с реальными задачами, но ещё не знает наизусть, где искать нужный ответ. Поэтому оценивали практично: – понятно ли, что делать? – хватает ли ответа для выполнения задачи? – не придётся ли после него всё равно перелопачивать инструкции? --- В целом, все три модели справились достаточно хорошо. На многих вопросах они получили максимальные оценки – например, по согласованию КСГ, изменению уже утверждённого графика, отправке заявки в техподдержку и заполнению проектных сроков. Хорошо сработали и вопросы, где ответа в документации вообще не было. В таких случаях модель должна была честно сказать:

В инструкциях нет данных по этому вопросу

Для нас это один из самых важных критериев. ИИ-ассистент должен уметь не только находить ответ, но и вовремя останавливаться. Убедительно написанный неправильный ответ всегда хуже, чем отсутствие какого-либо ответа. Ошибки тоже были показательными. Например, по вопросу об интеграции ИСУП с 1С ответа в контексте не было. ChatGPT и Qwen это распознали, а DeepSeek начал достраивать ответ самостоятельно. В другом случае DeepSeek использовал сведения с других сайтов, хотя условие теста было жёстким: отвечать только из переданного контекста. А по вопросу про атрибут «Подрядные работы» произошло обратное – DeepSeek решил, что ответа нет, хотя ChatGPT и Qwen нужную информацию нашли.

Наши сводные оценки: ChatGPT – 97,3 % Qwen – 88,7 % DeepSeek – 83,9 %.

Все три модели показали вполне рабочий результат, но ChatGPT в нашем эксперименте оказался лучшим. В целом это коррелируется и со стоимостью токенов: более качественная модель обходится чуть дороже, хотя разница в цене заметно меньше разницы в качестве ответов. Если совсем просто, токен – это небольшой фрагмент текста, который ИИ читает или генерирует. При работе через API стоимость зависит от количества переданных и полученных токенов. Поэтому для будущего сервиса важно учитывать одновременно два аспекта: качество ответа и стоимость использования. --- Следующий шаг – превратить эксперимент в рабочий инструмент. Запускать собственную большую языковую модель на мощном сервере мы пока не планируем. Такое оборудование обходится значительно дороже, как и аренда серверов с GPU. Поэтому схема в общем виде видится так: RAG и логика ассистента работают на нашем сервере, а к языковой модели он обращается через API. Сервер принимает вопрос, ищет в базе знаний подходящие фрагменты инструкций, передаёт их вместе с вопросом ИИ-модели и возвращает готовый ответ. Для нашей задачи такой вариант проще и дешевле – не нужна собственная мощная видеокарта, а оплачиваются фактические обращения к модели. --- Ну и последний слой – интерфейс. По нашему замыслу, пользователю не должно быть важно, что внутри работают RAG, API, токены и языковая модель. Он просто задаёт вопрос боту в MAX:

Как загрузить КСГ? Где указать номер договора? Как назначить заказчика? Куда загрузить фотографию объекта?

А в ответ получает либо пошаговую инструкцию, собранную из нескольких документов, либо подсказку, где именно искать нужную информацию. Первоначально такую базу знаний хотим построить для ИСУП и региональной ГИСОГД. Если всё получится так, как задумано, то вместо поиска нужного абзаца среди множества инструкций у пользователя останется одно действие – нормально сформулировать вопрос. А это, как мы уже выясняли раньше, тоже отдельный навык.