student
Russian Federation
student
Russian Federation
student
Moscow, Russian Federation
Russian Federation
The article gives an idea of the content of urban planning plans for land plots (UPPLP), their purpose, as well as the relevance of developing a service for automatic recognition of data from an electronic image of a document. The existing services for automatic processing of documents are analyzed, and a technical solution developed by the authors is presented in the form of a web service for parsing and structuring electronic images of UPPLP. The description of the structure and operation of the web service, as well as the data conversion algorithm implemented in the solution is given.
urban planning plan of land plots, UPPLP, automatic data processing, web service
Введение
Основой для строительства и реконструкции объектов капитального строительства является проектная документация. Для ее формирования необходимо иметь представление о территории застройки, существующих зданиях, границах участка и другой информации. Перед началом разработки проекта собираются сведения о территории, на которой возводится здание и формируются в единый документ — градостроительный план земельного участка (ГПЗУ), в котором детально отображаются основные характеристики и параметры территории, ограничения использования земельного участка. В состав градостроительного плана входит информация о местоположении других объектов, находящихся в непосредственной близости как к планируемым объектам нового строительства или реконструкции, так и уже ранее возведенным [1].
Градостроительный план земельного участка выдается в целях обеспечения субъектов градостроительной деятельности информацией, необходимой для архитектурно-строительного проектирования, строительства, реконструкции объектов капитального строительства в границах земельного участка [2]. Это позволяет разработчику проекта верно спланировать возведение объекта капитального строительства и учесть особенности планировки территории. Также в ГПЗУ содержатся актуальные нормативы и многочисленные требования, которые должны учитываться застройщиками при возведении объекта и на основании которых регулируется процесс строительства.
Рис.1. Градостроительный план земельного участка [3,4]
Информация в документе представлена в различном виде и содержит таблицы, чертежи, а также большой объем текстовых данных (рис.1). При работе с такими данными одной из самых больших проблем является процесс их сбора, так как в настоящее время документы преимущественно обрабатываются человеком. Поиск, анализ, структурирование и проверка, полученной информации довольно длительный и трудоемкий процесс.
Вместе с тем, в строительной индустрии автоматизация процессов коснулась практически всех производственных областей: начиная от разработки проектной документации, заканчивая программами, автоматизирующими работу служб снабжения [3].
Данный факт подтверждается значительным количеством публикаций, посвященных цифровой трансформации строительной отрасли [5-11] при управлении жизненным циклом объектов капитального строительства.
При этом стоит отметить, что современные информационные технологии предоставляют широкий спектр методов и инструментов для разработки различных сервисов распознавания и работы с данными электронных образов документов, что позволяет значительно ускорить и упростить работу специалистов, реализовать возможность мониторинга и исправления ошибок, хранить полученную информацию в полном объеме. Необходимость в автоматизации обработки данных Градостроительных планов земельных участков заключается в том, что полученная информация позволяет строить объективную аналитику о застройке территорий в автоматическом режиме, проводить анализ градостроительного потенциала территорий в целях планирования и мониторинга достижения плановых показателей по вводу в эксплуатацию строительных объектов.
Материалы и методы
В настоящее время существует значительное количество программ и сервисов для распознавания и редактирования текстовых документов, таблиц и изображений, требующих извлечения информации. Современные технологические решения позволяют найти и отредактировать текстовые данные из электронных документов, экспортировать файлы, однако они ограничены в скорости обработки данных и объеме загружаемых файлов, некоторые требуют участие человека для настройки системы распознавания. Такие программы обычно используются для сканирования документов, сохранения данных в другом формате, формирования электронной литературы из печатных экземпляров и других операций. Особенность электронных образов Градостроительных планов от большинства других документов состоит в том, что не все содержащиеся в них данные структурированы, это значит, что их нужно не просто извлечь из файла, но и обработать таким образом, чтобы сохранить их целостность.
Кроме того, после распознавания и обработки данных необходимо упорядочить и хранить полученную информацию. На данный момент доступных решений данной задачи не имеется, однако используя современные средства автоматизации, языки программирования и различные модули по обработке электронных документов — это возможно реализовать. Одним из способов является разработка веб-сервиса. У такого решения есть ряд преимуществ – оператору не нужно устанавливать и обновлять программное обеспечение, что позволяет сократить время при работе с приложением, так как пользователь будет выполнять только предназначенные ему действия. Приложение будет работать одинаково на разных операционных системах и их версиях. Масштабируемость веб-сервисов позволяет добавлять новые методы, такое решение можно интегрировать с другими модулями.
Результаты
Проведенные исследования позволили выявить основные недостатки существующих решений и разработать веб-сервис, позволяющий производить автоматизированный разбор документов градостроительных планов земельных участков и структурировать результат обработки. Основные элементы данного сервиса: интерфейс (front-end), сервер (back-end) и модуль, который реализует процесс получения и обработки данных из оцифрованных документов ГПЗУ.
Интерфейс разработан на языке TypeScript с использованием фреймворка React. Спроектирован с учетом того, что оператор, который будет использовать сервис может не обладать достаточным пользовательским опытом для того, чтобы разобраться в сложно организованном меню. Для загрузки документов на сервис создана отдельная страница, на которой с помощью менеджера файлов конкретной операционной системы можно использовать данное решение. После загрузки файлов отображается список документов, для которых успешно завершились операции отправки на сервер и чтения данных. Если во время выполнения одного из вышеупомянутых процессов произошла ошибка, в списке данный файл будет помечен флажком красного цвета, а также будет описана причина ошибки. Все файлы обрабатываются во время загрузки на сервер, а, следовательно, после получения ответа об успешно выполненной операции можно в отдельном окне просмотреть результат обработки в виде сформированной таблицы, где каждый столбец — это параметр, прочитанный из документа, а каждая строка – отдельный файл, который был загружен на сервис (рис.2).
Серверная часть приложения разработана на языке Python с использованием технологии WebSocket. Для создания сервера использован фреймворк FastAPI, который предоставляет удобные инструменты для серверного программирования. Созданы обработчики запросов, которые отвечают за команды: загрузку файлов ГПЗУ, отображение всех файлов и произведение расчета. Одним из ключевых компонентов серверной части приложения является локальная база данных sqlite, в которой хранятся результаты анализа файлов ГПЗУ. Она отлично подходит для локального использования, так как не требует много ресурсов и обеспечивает быстрый доступ к данным.
Для более быстрой передачи информации между интерфейсом пользователя и сервером задействована технология WebSocket, которая позволяет установить двустороннее соединение между веб-браузером и сервером, что обеспечивает обмен данными в режиме реального времени. Это очень важно для приложений, которые требуют постоянного обновления информации на экране. Благодаря технологии WebSocket разработанное приложение может быстро и без задержек передавать информацию между клиентом и сервером, что повышает его эффективность и удобство использования. Также создана swagger документация, по которой можно использовать сервер как API или же создать индивидуальный или более универсальный интерфейс.
Рис.2. Пример вывода данных после обработки файла
Модуль, обрабатывающий цифровые копии документов ГПЗУ реализован на языке Python. Работа алгоритма состоит из трех взаимосвязанных этапов:
На первом этапе алгоритм, используя библиотеку fitz (библиотека, предоставляющая средства просмотра, рендеринга, а также инструменты работы с такими форматами как PDF, XPS, OpenXPS и. т. д.), считывает все текстовые данные, включая таблицы из загруженного документа и сохраняет их в виде строки (тип данных в языке Python позволяющий хранить символы).
На втором этапе алгоритм использует регулярные выражения. Для каждого параметра имеется отдельное регулярное выражение. Для оптимизации чтения и сопоставления данных регулярным выражениям, были определены в каких разделах документа встречаются конкретные параметры.
Список параметров, которые могут быть обработаны алгоритмом:
Рис.3. Список параметров, обрабатываемых алгоритмом
Третий этап работы алгоритма заключается в составлении Python словаря из параметров, выделенных ранее. В случае если все операции по обработке документа были завершены успешно, то результатом работы будет файл в формате JSON и определенными полями данных, в противном случае в данном файле будет содержаться описание и код ошибки.
Выводы
Градостроительный план земельного участка, необходимый документ для формирования проектной документации, в котором детально отображаются основные характеристики и параметры использования территории, содержатся актуальные нормативы и требования, которые учитываются застройщиками при возведении объекта и на основании которых регулируется процесс строительства.
Вместе с тем, информация в документах представлена в различном виде, структурирована не в полном объеме, а так как обработкой этих данных занимается оператор, то их сбор и упорядочивание трудозатратны.
В тоже время существует много методов и инструментов для разработки сервисов распознавания и работы с данными электронных документов, что позволяет значительно ускорить и упростить работу специалистов, реализовать возможность мониторинга и исправления ошибок, хранить полученную информацию в полном объеме.
Автоматизация разбора и упорядочивания информации из ГПЗУ позволит строить объективную аналитику о застройке территорий в автоматическом режиме, проводить анализ градостроительного потенциала территорий в целях планирования и мониторинга достижения плановых показателей по вводу в эксплуатацию строительных объектов.
Основные этапы обработки информации из электронных документов рассмотрены на примере разработанного веб-сервиса, использование которого позволит:
- сократить трудозатраты на ручной разбор и внесение информации в информационные системы;
- повысить качество аналитических данных, предоставляемых для принятия градостроительных решений;
- обеспечить мониторинг градостроительного потенциала жилищного строительства и планирование резервов.
1. Demid E.N. Features of the organization of the reconstruction of industrial facilities // International scientific journal "Symbol of Science" No. 05/2017. P. 191-192.
2. Town Planning Code of the Russian Federation of December 29, 2004 N 190-FZ (as amended on December 19, 2022) (as amended and supplemented, effective from February 3, 2023) [Electronic resource] URL: http://www .consultant.ru/document/cons_doc_LAW_51040/fb76ce1fdb5356574b298a9dcdafcfc8fc6c937b/ (date of access: 02/18/2023)
3. Bondarev M. Town-planning plan of the land plot: preparation and issuance, documents for obtaining [Electronic resource] URL: https://nedexpert.ru/zemlja/gradostroitelnyj-plan-zemelnogo-uchastka/
4. Gordeeva A. Town-planning plan of a land plot: what is it in construction, decoding - terms of issue, obtaining a TPPLP, what documents are needed [Electronic resource] URL: https://avirondevelopment.ru/blog/gradostroitelnyj-plan-zemelnogo-uchastka -chto-eto-takoe-v-stroitelstve-rasshifrovka/
5. Novikov M.A., Belyaev A.V., Yudin S.V. Some issues of creating design documentation in building design // Vestnik MGSU. 2011. No. 6/2011. pp. 458-459.
6. Adamtsevich L.A., Sorokin I.V., Nastychuk A.V. Industry 4.0 technologies that are promising in the context of the digital transformation of the construction industry // Construction and architecture. 2022. V. 10. No. 4. S. 101-105.
7. Ginzburg A.V., Adamtsevich L.A., Adamtsevich A.O. Construction industry and the concept of "Industry 4.0": a review // Vestnik MGSU. 2021. V. 16. No. 7. S. 885-911.
8. A. V. Peshkov, M. V. Matveeva, O. A. Bezrukikh, and D. S. Rogov, Russ. Ensuring quality control processes at all stages of the life cycle of capital construction projects within the framework of the “Construction 4.0” concept. Izvestiya vuzov. Investments. Construction. Real estate. 2022. No. 1 (40).
9. Yantsen O.V., Kankhva V.S., Gogina E.S. Management of technical and technological risks of treatment facilities at all stages of the life cycle//Biospheric compatibility: man, region, technology. 2022 No. 1 (37). pp.97-105.
10. Voskovykh K. A. Features of digitalization in the construction industry as an important factor in its sustainable development // Bulletin of Science and Practice. 2021. No. 12.
11. Matveeva M. V., Adegbola A. A. A. On the issue of organizing 4D-modeling processes and managing them in construction. Izvestiya vuzov. Investments. Construction. Real estate. 2022. No. 2 (41).
12. Peshkov V. V., Zdanovich N. V. Digitalization of management processes for the implementation of municipal capital construction programs // Baikal Research Journal. 2022. №3. URL: https://cyberleninka.ru/article/n/tsifrovizatsiya-protsessov-upravleniya-realizatsiey-munitsipalnyh-programm-kapitalnogo-stroitelstva (Date of access: 03/05/2023).
13. Lapidus A. A. Organizational and technological platform of construction // Vestnik MGSU. 2022. №4. URL: https://cyberleninka.ru/article/n/organizatsionno-tehnologicheskaya-platforma-stroitelstva (date of access: 03/05/2023).
