Russian Federation
Russian Federation
Russian Federation
Monitoring the technical condition of structures is the most important task aimed at improving the reliability and safety of buildings and structures. During the survey, a set of tasks arises to assess visible defects and damages, the solution of which requires the experience and attention of structural survey specialists. Often the omission of visible defects is the most common mistake when examining the engineering and technical condition of a building. Technical vision, as a method of classifying objects in images, can significantly improve the efficiency of visual inspection and reduce the number of errors on the object. In this paper, an algorithm for detecting damage to reinforced concrete structures based on a convolutional neural network model created in the Python programming language is investigated. The neural network was trained and tested on real defects of a monolithic reinforced concrete building. According to the results of the work, the high efficiency of artificial intelligence in determining defects and damages in the framework of the survey of the engineering and technical condition of monolithic reinforced concrete structures of a building under construction was revealed. Automation of works on visual inspection of building structures is a promising direction for the development of artificial intelligence.
artificial intelligence, defects of building structures, neural network technical vision
Введение
Дефекты и повреждения строительных конструкций снижают надежность и долговечность зданий и сооружений, их несущую способность и при отсутствии ремонта и усиления конструкций могут привести к аварии. Для обеспечения безопасных условий эксплуатации зданий первостепенное значение имеет поддержание их технического состояния на нормативном уровне, в том числе путем проведения периодических работ по обследованию инженерно-технического состояния.
Предварительный (визуальный) осмотр, согласно ГОСТ 31937-2011 “Здания и сооружения. Правила осмотра и мониторинга технического состояния”, всегда необходимо выполнять непрерывно на всем этапе жизненного цикла для всех видимых конструктивных элементов здания. Процедура непрерывного визуального осмотра - трудоемкий процесс, на результат которого существенно влияют квалификация и степень внимания и усталости эксперта. С целью повышения качества визуального контроля, снижения его сложности, повышения безопасности работ разработан способ для классификации изображений дефектов в железобетонных конструкциях предлагается в качестве перспективной альтернативы, которая основана на техническом зрении и его программной реализации в виде сверточной нейронной сети.
В последнее время области применения нейросетевых технологий стремительно расширяются, охватывая все больше различных сфер жизни. Именно благодаря способности к обучению искусственные нейронные сети (ИНС) используются для решения сложных задач классификации и регрессионного анализа. В разное время разработкой применения нейросетевых технологий в строительстве занимался Ч.Н. Чонг, Х.С. Исрафилов, Д.А. Ким, А.Е. Наумов, Н. С. Москалев, И. В. Ндайрагидже, О. С. Сикорский, А. С. Соснин, И. А. Суслова и другие [1-12].
Задачи диагностики дефектов железобетонных конструкций решали А.С. Семенов, А.Г. Тамразян, А.И. Бедов, О.В. Кабанцев, Н.Н. Трекин, Ю. Ча, В. Чой, Ю. Ли, В. Чжао, X. Ян, Ким Ин- Хо, Чон Хэмин, Дж. Ченг, М. Ван и др. [13–20].
Использование машинного метода распознавания конструктивных дефектов позволяет снизить роль человеческого фактора при обследовании, повысить качество работ по оценке технического состояния гражданских и промышленных объектов, в том числе конструктивно сложных и уникальных зданий и сооружений.
Методы
ИНС – это математическая модель, в том числе ее программная реализация, построенная на принципе организации и функционирования биологических нейронных сетей живого организма. Такая сеть состоит из нейронов, соединенных между собой синапсами, основная роль которых — суммировать и обрабатывать все поступающие в нее сигналы. Искусственные нейронные сети способны объединять множество таких нейронов и позволяют решать ряд задач, таких как: кластеризация, классификация, регрессионный анализ, техническое зрение, распознавание речи и машинный перевод.
Типичная структура нейронной сети содержит три слоя. Исходные данные подаются на входной уровень ИНС, его задача — обработать информацию и передать ее на следующий уровень. В скрытых слоях происходит анализ и преобразование информации. Выходной слой предоставляет информацию в окончательном виде. Структура ИНС показана на рисунке 1[10-12].
Рис. 1. Структура искусственной нейронной сети
Каждый узел сети представляет собой искусственный нейрон. На рисунке 2 показана модель нейрона, лежащая в основе искусственных нейронных сетей.
Рис. 2. Нелинейная модель нейрона
Математически работу нейрона можно представить уравнениями[1-3]:
$u_k=∑_{j=1}^mw_{kj}∙x_j$ (1)
$y_k=φ∙(u_k+b_k)$ (2)
где uk — значение сумматора;
w — масса;
x — входные данные;
φ∙(uk+bk) — функция активации;
yk — выход нейрона.
Функция активации в зависимости от результата взвешенной суммы входов и порогового значения определяет выходное значение нейрона. Он фильтрует проходящий сигнал и представляет результат работы нейронной сети в нужном диапазоне. Другими словами, функция активации проверяет, должны ли внешние соединения считать этот нейрон активированным или его можно игнорировать. В зависимости от типа задачи, которую решает нейронная сеть, выбирается определенная функция активации.
Основными и наиболее распространенными функциями активации являются: ступенчатая, линейная, сигмоидальная, гиперболический тангенс и ReLu, представленные на рисунке 3[4].
Рис. 3. Основные функции активации:
а) ступенчатая, б) линейная, в) сигмоидальная, г) гиперболическая касательная, д) ReLu [6]
Одной из основных задач технического зрения является задача классификации изображений – определение категории объектов, находящихся на изображении. Сверточные нейронные сети (СНС) — наиболее подходящий тип сетевой архитектуры, используемый для решения этих проблем. Его основная функция – «сканировать» сложные изображения по частям. Основы этой архитектуры были заложены в 1998 году Яном Лекуном как метод распознавания рукописных символов.
Рис. 4. Архитектура сверточной нейронной сети (СНС)
Входом сверточной сети является изображение в виде матрицы пикселей, соответствующей размерности изображения. Если изображение черно-белое, то матрица одна и каждому пикселю присваивается значение яркости от 0 до 255, где 0 — белый, а 255 — черный. Если изображение цветное, то имеется три матрицы, каждая из которых отвечает за один из каналов цветовой модели RGB (красный, зеленый, синий). Некое ядро свертки выступает в роли нейрона — матрицы, элементами которой являются весовые коэффициенты. Начальные значения весов обычно генерируются случайным образом. Операция свертки начинается с умножения ядра фильтра, имеющего определенные размеры, на матрицу исходного изображения со сдвигом на один пиксель по ширине и высоте матрицы. Чтобы свернуть цветное изображение, К каждому цветовому каналу RGB применяется матрица, соответствующая одному из трёх ядер свертки, после чего полученные три матрицы суммируются в одну результирующую. Одним из преимуществ этого слоя является уменьшение размера входных данных, что снижает вычислительные затраты.
После свертки матрица проходит функцию активации. Чаще всего функция ReLU используется как функция активации в сверточных слоях, которая удаляет все отрицательные значения, преобразуя их в 0, и не меняет остальные, математически это можно представить в виде формулы:
$ReLU(x)=\begin{cases}
x | x>0 \\
0 | x≤0
\end{cases} $ (3)
где x — карта объектов сети.
После слоя свертки мы получаем матрицу, называемую картой объектов, которая показывает конкретный объект, например прямую линию, кривую или более сложную форму. На первом слое свертки можно обнаружить только примитивные признаки, на последующих — более высокого уровня.
Как и люди, нейронные сети могут обучаться. Под обучением понимается процесс задания весов, сетевой архитектуры и структуры связей между нейронами. Существует три основных способа обучения: с учителем, без учителя и смешанный. В первом методе веса корректируются человеком, поскольку известны правильные ответы на каждое входное значение. Во втором методе нейронная сеть сама классифицирует выборки путем поиска внутренних связей между входными данными, а затем переобучение до тех пор, пока ошибки не будут минимизированы. Смешанное обучение сочетает в себе два вышеупомянутых подхода.
Результаты
Для оценки работы предложенного алгоритма при решении задачи поиска дефектов при обследовании технического состояния здания были сделаны фотографии дефектов монолитных железобетонных конструкций строящегося административного здания в г. Ярославле. Всего было сделано 75 фотографий с трещинами и 75 фотографий без трещин, которые были далее разделены на 184 x 146 пикселей, в результате чего получилось 300 изображений с трещинами и 300 изображений без трещин. Пример фотографий из набора данных показан на рис. 5 и 6. Специально подобраны изображения с разным расположением трещин (в углу, посередине, сбоку), а также с разной шириной, длиной и конфигурацией проема. Кроме того, в зонах трещин присутствовали различные типы фонового шума, например, от растений, стыков конструкций, концевых участков элементов.
Важной частью подготовки исходных данных является их обработка. В данной работе для улучшения качества и уменьшения шума изображения использовались различные фильтры, преобразующие цветовые каналы. Этот шаг повышает точность модели машинного обучения.
Рис. 5. Изображения поверхностей железобетонных конструкций с трещинами
Рис. 6. Изображения поверхностей железобетонных конструкций без трещин
После создания модели нейронной сети она была обучена и протестирована на тестовом наборе данных. Процесс обучения происходит с преподавателем, набор данных разбит на папки Crack и No Crack, так как нейросеть не умеет различать буквы, присваиваем папке с трещинами 1, без трещин - 0. Результаты теста показаны в таблице 1[9].
Таблица 1
Результаты тестирования
|
Обработанные изображения |
Предполагаемый дефект |
Необработанная прогнозируемый дефект (числовая) |
Истинный дефект |
|
|
Трещина |
0,8345 |
Трещина |
|
|
Трещина |
0,9823 |
Трещина |
|
|
Трещина |
0,9877 |
Трещина |
Средняя точность обучения нейросетевой модели на тестовых данных составила 83%, что является довольно хорошим результатом, учитывая, что трещины не имеют постоянной формы, размера и конфигурации и поэтому их трудно распознать. Результаты оценки представлены на рисунке 7[12].
Рис. 7. Результат оценки точности классификатора
Дальнейшая доработка и настройка нейросети должна проводиться в соответствии с конкретными задачами, которые решает эксплуатирующая организация [13].
Выводы
Для разработки и обучения модели сверточной нейронной сети вручную был подготовлен и собран набор исходных данных, состоящий из 600 изображений с трещинами и без трещин размером 184 х 146 пикселей. Выбраны методы предварительной обработки данных, улучшающие производительность СНС. Сверточная нейронная сеть обучалась в течение 47 эпох, в результате чего минимальная средняя ошибка прогнозирования на тестовых изображениях составила 0,36, а точность определения — 0,9. Для оценки работы алгоритма было использовано 100 тестовых изображений, точность определения которых составила 0,83.
По результатам исследования установлено, что техническое зрение зарекомендовало себя как средство быстрой обработки большого количества изображений, поэтому этот метод может быть успешно использован при анализе результатов фотофиксации дефектов и повреждение строительных конструкций. Их внедрение в исследовательскую деятельность выглядит логичным и закономерным шагом в развитии этого направления.
1. Shi, C. and Pun, C.-M., “Supcrpixcl-bascd 3D deep neural networks for hypcrspcctral image classification”, Pattern Rccognit., Vol. 74, Pages 600-616, 2018.
2. Li, J., Xia, C. and Chen, X., “A Benchmark Dataset and Salicncy-Guidcd Stacked Autocncodcrs for Video-Based Salient Object Detection”, IEEE Trans. Image Process., Vol. 27, Issue 1, Pages 349- 364, 2018.
3. Naumov A.E. Improvement of construction technology and technical expertise using hardware and software complex of automated flaw detection / A.E. Naumov, D.A. YUdin, A.V. Dolzhenko // Bulletin of BSTU named after V.G. Shukhov. - 2019. - № 4. - S. 61-69.
4. Sikorskij O.S. Overview of convolutional neural networks for image classification problem / O.S. Sikorskij // New information technologies in automated systems. - 2017. - № 3. - S. 15-23.
5. Sosnin A.S., Suslova I.A. Neural network activation functions: sigmoid, linear, stepwise, ReLu, tan // The science. Informatization. Technologies. Education. - Ekaterinburg:, 2019. - S. 237-246.
6. A two-stage method for detecting cracks in concrete bridges using convolutional neural networks. / YU. Li, V. CHzhao, S. CHzhan, C. CHzhou // IEICE Transactions on fundamentals of electronics, communications and computer sciences. - 2018. - № E101.D (12). - S. 3249-3252.
7. Automatic detection and measurement of cracks at the pixel level using a fully convolutional network / X. YAn, H. Li, X. YU [i dr.] // Computer-Aided Civil and Infrastructure Engineering. - 2018. - № 33 (4). - S. 1090-1109.
8. Automated detection of cracks in the road surface at the pixel level on 3D asphalt surfaces using a deep learning network / A. CHzhan, K. Van, E. YAng [i dr.] // Computer-Aided Civil and Infrastructure Engineering. - 2017. - № 32 (5). - S. 805-819.
9. CHeng Dzh. Automatic detection of sewer pipe defects in closed-circuit television images using deep learning methods / Dzh. CHeng, M. Van // Automation in Construction. - 2018. - № 95. - S. 155-171.
10. Dorafshan S. Comparison of deep convolutional neural networks and edge detectors for detecting cracks in concrete based on images / S. Dorafshan, R. Dzh. Tomas, M. Maguajr // Construction and building materials. - 2018. - № 186. - S. 1031-1045.
11. Govard Dzh. Unmanned aerial vehicles in construction and labor safety / Dzh. Hovard, V. Murashov, S. M. Bransh // American Journal of Industrial Medicine. - 2018. - № 61.- S. 3-10.
12. Kim B. Automated visual detection of cracks on concrete surfaces using the deep learning method / B. Kim, S. CHo // Sensors. - 2018. - № 18 (10). - S. 1-18.
13. Knyazeva, N. V., Levina D.A. The use of BIM scenarios in the operation of operational services // Bulletin of BSTU named after V.G. Shukhov. - 2019. - № 5. - S. 99-105.
