В грунте по колено | Геотехника

Нейронки для инженера: парсим мониторинг 🤓   В геотехнике очень полезно сравнивать результаты расчетов с фактическим поведением зданий и сооружений, иными словами – очень важен опыт строительства. Для этого на всех наших объектах мы закладываем геотехнический мониторинг, который впоследствии сравниваем с результатами расчетов. Так мы сравниваем то, как здание или сооружение «должно» себя вести по результатам расчетов, и то, как они ведут себя фактически, и извлекаем из этого немало пользы, особенно при строительстве нескольких объектов на одной территории – каждый построенный объект является «испытательным полигоном» для следующих и позволяет назначать более корректную этапность строительства и заранее калибровать расчетные модели. Но как водится – объектов много, марок еще больше (ну еще бы), циклы измерений раз в месяц, вроде бы одинаковые журналы измерений могут заполняться по-разному – играет человеческий фактор, марки теряются и вводятся вновь. Чтобы обработать это все, надо сильно заморочиться и потратить уйму времени. 🔺И тут в дело вступают нейронки🔺 Один из вариантов применения этих чудесных технологий — парсинг массивных документов, которые приходят в максимально неудобной для дальнейшей работы форме.   Как это выглядит до их применения: мы получаем очередной отчёт по геотехническому мониторингу на n-ое количество страниц, где на первый взгляд всё красиво: таблицы, графики, схемы, фотографии. Но попробуй вытащить оттуда несколько десятков (а то и сотен) измерений марок за все циклы, сопоставить их между собой, привязать к этапам строительства и подготовить данные для дальнейшего анализа. Это куча монотонной ручной работы: как только представляешь этот объем, да помноженный на количество объектов, появляются мысли – а не нужны ли нам еще люди в отдел? Мечты, мечты.   Так что там с нейронками и как мы их используем? Поясним для тех, кто пока не в курсе: парсинг – это автоматическое извлечение нужных данных из документа и укладывание их в заранее заданную структуру. Самый надёжный вариант здесь не просто закинуть PDF в чат и попросить нейронку «разберись, пожалуйста», рабочая схема выглядит немного сложнее: ⚫️обычный парсер вытаскивает из PDF текст и таблицы; ⚫️если документ оказался сканом, подключается распознавание текста — OCR; ⚫️нейронка получает данные и строгую схему: объект, номер марки, дата, цикл, отметка, приращение, накопленное перемещение и другие нужные поля; ⚫️отдельный скрипт проверяет пропуски, дубли, единицы измерения и подозрительные скачки; ⚫️результат собирается в единую таблицу Excel. Дополним для тех, кто шарит: Python + PyMuPDF/pdfplumber + OCR + JSON + pydantic (валидация) + pandas ➡️ Excel. Для текста и разметки отлично справляется PyMuPDF. Но если в отчёте сложные таблицы с объединёнными ячейками подключаются специализированные инструменты вроде pdfplumber или camelot. Нейронка получает распознанный текст и работает в режиме строгого вывода, она знает заранее заданную схему: объект, номер марки, дата, цикл, отметка, приращение, накопленное перемещение и другие нужные поля. Результат на выходе - не свободный текст, а валидный JSON, где каждое поле строго на своём месте.   При этом нейронка не заменяет геотехника – она не рассчитывает деформации и не оценивает их допустимость. Здесь она работает переводчиком между не самым удобным документом и строгой структурой данных. Всё, что не прошло автоматические проверки, отправляется человеку геотехнику на контроль. Как итог мы получаем единую большую таблицу, полностью готовую к анализу и визуализации. Кайф! 😎 Саму визуализацию мы пока что выполняем во внешнем софте – Кредо Деформации. Ключевое здесь «пока что»: структурированные данные и опыт написания приложений у нас уже есть, а значит следующий шаг вполне читаем 🥹   Кстати, зацените: на картинке показан результат обработки мониторинга и поведение расчетной модели на одинаковом этапе строительства. Как по мне, это более чем солидный результат 😋