сотрудник
Россия
Россия
Россия
Контроль технического состояния сооружений является важнейшей задачей, направленной на повышение надежности и безопасности зданий и сооружений. В ходе обследования возникает комплекс задач по оценке видимых дефектов и повреждений, решение которых требует опыта и внимания специалистов по структурным изысканиям. Нередко пропуск видимых дефектов является самой распространенной ошибкой при обследовании инженерно-технического состояния здания. Техническое зрение, как метод классификации объектов на изображениях, позволяет существенно повысить эффективность визуального осмотра и снизить количество ошибок на объекте. В настоящей работе исследован алгоритм обнаружения повреждений железобетонных конструкций на основе модели сверточной нейронной сети, созданной на языке программирования Python. Нейронная сеть была обучена и протестирована на реальных дефектах монолитного железобетонного здания. По результатам работы выявлена высокая эффективность искусственного интеллекта по определению дефектов и повреждений в рамках обследования инженерно-технического состояния монолитных железобетонных конструкций строящегося здания. Автоматизация работ по визуальному осмотру строительных конструкций — перспективное направление развития искусственного интеллекта.
искусственный интеллект, дефекты строительных конструкций, нейронная сеть техническое зрение
Введение
Дефекты и повреждения строительных конструкций снижают надежность и долговечность зданий и сооружений, их несущую способность и при отсутствии ремонта и усиления конструкций могут привести к аварии. Для обеспечения безопасных условий эксплуатации зданий первостепенное значение имеет поддержание их технического состояния на нормативном уровне, в том числе путем проведения периодических работ по обследованию инженерно-технического состояния.
Предварительный (визуальный) осмотр, согласно ГОСТ 31937-2011 “Здания и сооружения. Правила осмотра и мониторинга технического состояния”, всегда необходимо выполнять непрерывно на всем этапе жизненного цикла для всех видимых конструктивных элементов здания. Процедура непрерывного визуального осмотра - трудоемкий процесс, на результат которого существенно влияют квалификация и степень внимания и усталости эксперта. С целью повышения качества визуального контроля, снижения его сложности, повышения безопасности работ разработан способ для классификации изображений дефектов в железобетонных конструкциях предлагается в качестве перспективной альтернативы, которая основана на техническом зрении и его программной реализации в виде сверточной нейронной сети.
В последнее время области применения нейросетевых технологий стремительно расширяются, охватывая все больше различных сфер жизни. Именно благодаря способности к обучению искусственные нейронные сети (ИНС) используются для решения сложных задач классификации и регрессионного анализа. В разное время разработкой применения нейросетевых технологий в строительстве занимался Ч.Н. Чонг, Х.С. Исрафилов, Д.А. Ким, А.Е. Наумов, Н. С. Москалев, И. В. Ндайрагидже, О. С. Сикорский, А. С. Соснин, И. А. Суслова и другие [1-12].
Задачи диагностики дефектов железобетонных конструкций решали А.С. Семенов, А.Г. Тамразян, А.И. Бедов, О.В. Кабанцев, Н.Н. Трекин, Ю. Ча, В. Чой, Ю. Ли, В. Чжао, X. Ян, Ким Ин- Хо, Чон Хэмин, Дж. Ченг, М. Ван и др. [13–20].
Использование машинного метода распознавания конструктивных дефектов позволяет снизить роль человеческого фактора при обследовании, повысить качество работ по оценке технического состояния гражданских и промышленных объектов, в том числе конструктивно сложных и уникальных зданий и сооружений.
Методы
ИНС – это математическая модель, в том числе ее программная реализация, построенная на принципе организации и функционирования биологических нейронных сетей живого организма. Такая сеть состоит из нейронов, соединенных между собой синапсами, основная роль которых — суммировать и обрабатывать все поступающие в нее сигналы. Искусственные нейронные сети способны объединять множество таких нейронов и позволяют решать ряд задач, таких как: кластеризация, классификация, регрессионный анализ, техническое зрение, распознавание речи и машинный перевод.
Типичная структура нейронной сети содержит три слоя. Исходные данные подаются на входной уровень ИНС, его задача — обработать информацию и передать ее на следующий уровень. В скрытых слоях происходит анализ и преобразование информации. Выходной слой предоставляет информацию в окончательном виде. Структура ИНС показана на рисунке 1[10-12].
Рис. 1. Структура искусственной нейронной сети
Каждый узел сети представляет собой искусственный нейрон. На рисунке 2 показана модель нейрона, лежащая в основе искусственных нейронных сетей.
Рис. 2. Нелинейная модель нейрона
Математически работу нейрона можно представить уравнениями[1-3]:
$u_k=∑_{j=1}^mw_{kj}∙x_j$ (1)
$y_k=φ∙(u_k+b_k)$ (2)
где uk — значение сумматора;
w — масса;
x — входные данные;
φ∙(uk+bk) — функция активации;
yk — выход нейрона.
Функция активации в зависимости от результата взвешенной суммы входов и порогового значения определяет выходное значение нейрона. Он фильтрует проходящий сигнал и представляет результат работы нейронной сети в нужном диапазоне. Другими словами, функция активации проверяет, должны ли внешние соединения считать этот нейрон активированным или его можно игнорировать. В зависимости от типа задачи, которую решает нейронная сеть, выбирается определенная функция активации.
Основными и наиболее распространенными функциями активации являются: ступенчатая, линейная, сигмоидальная, гиперболический тангенс и ReLu, представленные на рисунке 3[4].
Рис. 3. Основные функции активации:
а) ступенчатая, б) линейная, в) сигмоидальная, г) гиперболическая касательная, д) ReLu [6]
Одной из основных задач технического зрения является задача классификации изображений – определение категории объектов, находящихся на изображении. Сверточные нейронные сети (СНС) — наиболее подходящий тип сетевой архитектуры, используемый для решения этих проблем. Его основная функция – «сканировать» сложные изображения по частям. Основы этой архитектуры были заложены в 1998 году Яном Лекуном как метод распознавания рукописных символов.
Рис. 4. Архитектура сверточной нейронной сети (СНС)
Входом сверточной сети является изображение в виде матрицы пикселей, соответствующей размерности изображения. Если изображение черно-белое, то матрица одна и каждому пикселю присваивается значение яркости от 0 до 255, где 0 — белый, а 255 — черный. Если изображение цветное, то имеется три матрицы, каждая из которых отвечает за один из каналов цветовой модели RGB (красный, зеленый, синий). Некое ядро свертки выступает в роли нейрона — матрицы, элементами которой являются весовые коэффициенты. Начальные значения весов обычно генерируются случайным образом. Операция свертки начинается с умножения ядра фильтра, имеющего определенные размеры, на матрицу исходного изображения со сдвигом на один пиксель по ширине и высоте матрицы. Чтобы свернуть цветное изображение, К каждому цветовому каналу RGB применяется матрица, соответствующая одному из трёх ядер свертки, после чего полученные три матрицы суммируются в одну результирующую. Одним из преимуществ этого слоя является уменьшение размера входных данных, что снижает вычислительные затраты.
После свертки матрица проходит функцию активации. Чаще всего функция ReLU используется как функция активации в сверточных слоях, которая удаляет все отрицательные значения, преобразуя их в 0, и не меняет остальные, математически это можно представить в виде формулы:
$ReLU(x)=\begin{cases}
x | x>0 \\
0 | x≤0
\end{cases} $ (3)
где x — карта объектов сети.
После слоя свертки мы получаем матрицу, называемую картой объектов, которая показывает конкретный объект, например прямую линию, кривую или более сложную форму. На первом слое свертки можно обнаружить только примитивные признаки, на последующих — более высокого уровня.
Как и люди, нейронные сети могут обучаться. Под обучением понимается процесс задания весов, сетевой архитектуры и структуры связей между нейронами. Существует три основных способа обучения: с учителем, без учителя и смешанный. В первом методе веса корректируются человеком, поскольку известны правильные ответы на каждое входное значение. Во втором методе нейронная сеть сама классифицирует выборки путем поиска внутренних связей между входными данными, а затем переобучение до тех пор, пока ошибки не будут минимизированы. Смешанное обучение сочетает в себе два вышеупомянутых подхода.
Результаты
Для оценки работы предложенного алгоритма при решении задачи поиска дефектов при обследовании технического состояния здания были сделаны фотографии дефектов монолитных железобетонных конструкций строящегося административного здания в г. Ярославле. Всего было сделано 75 фотографий с трещинами и 75 фотографий без трещин, которые были далее разделены на 184 x 146 пикселей, в результате чего получилось 300 изображений с трещинами и 300 изображений без трещин. Пример фотографий из набора данных показан на рис. 5 и 6. Специально подобраны изображения с разным расположением трещин (в углу, посередине, сбоку), а также с разной шириной, длиной и конфигурацией проема. Кроме того, в зонах трещин присутствовали различные типы фонового шума, например, от растений, стыков конструкций, концевых участков элементов.
Важной частью подготовки исходных данных является их обработка. В данной работе для улучшения качества и уменьшения шума изображения использовались различные фильтры, преобразующие цветовые каналы. Этот шаг повышает точность модели машинного обучения.
Рис. 5. Изображения поверхностей железобетонных конструкций с трещинами
Рис. 6. Изображения поверхностей железобетонных конструкций без трещин
После создания модели нейронной сети она была обучена и протестирована на тестовом наборе данных. Процесс обучения происходит с преподавателем, набор данных разбит на папки Crack и No Crack, так как нейросеть не умеет различать буквы, присваиваем папке с трещинами 1, без трещин - 0. Результаты теста показаны в таблице 1[9].
Таблица 1
Результаты тестирования
|
Обработанные изображения |
Предполагаемый дефект |
Необработанная прогнозируемый дефект (числовая) |
Истинный дефект |
|
|
Трещина |
0,8345 |
Трещина |
|
|
Трещина |
0,9823 |
Трещина |
|
|
Трещина |
0,9877 |
Трещина |
Средняя точность обучения нейросетевой модели на тестовых данных составила 83%, что является довольно хорошим результатом, учитывая, что трещины не имеют постоянной формы, размера и конфигурации и поэтому их трудно распознать. Результаты оценки представлены на рисунке 7[12].
Рис. 7. Результат оценки точности классификатора
Дальнейшая доработка и настройка нейросети должна проводиться в соответствии с конкретными задачами, которые решает эксплуатирующая организация [13].
Выводы
Для разработки и обучения модели сверточной нейронной сети вручную был подготовлен и собран набор исходных данных, состоящий из 600 изображений с трещинами и без трещин размером 184 х 146 пикселей. Выбраны методы предварительной обработки данных, улучшающие производительность СНС. Сверточная нейронная сеть обучалась в течение 47 эпох, в результате чего минимальная средняя ошибка прогнозирования на тестовых изображениях составила 0,36, а точность определения — 0,9. Для оценки работы алгоритма было использовано 100 тестовых изображений, точность определения которых составила 0,83.
По результатам исследования установлено, что техническое зрение зарекомендовало себя как средство быстрой обработки большого количества изображений, поэтому этот метод может быть успешно использован при анализе результатов фотофиксации дефектов и повреждение строительных конструкций. Их внедрение в исследовательскую деятельность выглядит логичным и закономерным шагом в развитии этого направления.
1. Shi, С. and Pun, С.-М., “Supcrpixcl-bascd 3D deep neural networks for hypcrspcctral image classification”, Pattern Rccognit., Vol. 74, Pages 600-616, 2018.
2. Li, J., Xia, C. and Chen, X., “A Benchmark Dataset and Salicncy-Guidcd Stacked Autocncodcrs for Video-Based Salient Object Detection”, IEEE Trans. Image Process., Vol. 27, Issue 1, Pages 349- 364, 2018.
3. Наумов А.Е. Совершенствование технологии строительства и технической экспертизы с использованием аппаратно-программного комплекса автоматизированной дефектоскопии / А.Е. Наумов, Д.А. Юдин, А.В. Долженко // Вестник Белгородского государственного технологического университета. ВГ Шухов. - 2019. - № 4. - С. 61-69.
4. Сикорский О.С. Обзор сверточных нейронных сетей для задачи классификации изображений / О.С. Сикорский // Новые информационные технологии в автоматизированных системах. - 2017. - № 3. - С. 15-23.
5. Соснин А.С., Суслова И.А. Функции активации нейронной сети: сигмовидная, линейная, ступенчатая, ReLu, tan // Наука. Информатизация. Технологии. Образование. - Екатеринбург:, 2019. - С. 237-246.
6. Двухэтапный метод обнаружения трещин в бетонных мостах с использованием сверточных нейронных сетей. / Ю. Ли, В. Чжао, С. Чжан, Ц. Чжоу // Транзакции IEICE по информации и системам. - 2018. - № Е101.Д (12). - С. 3249-3252.
7. Автоматическое обнаружение и измерение трещин на уровне пикселей с использованием полностью сверточной сети / X. Ян, Х. Ли, X. Ю [и др.] // Компьютерное гражданское и инфраструктурное проектирование. - 2018. - № 33 (4). - С. 1090-1109.
8. Автоматизированное обнаружение трещин в дорожном покрытии на уровне пикселей на 3D-асфальтовых поверхностях с использованием сети глубокого обучения / А. Чжан, К. Ван, Э. Янг [и др.] // Компьютерное гражданское и инфраструктурное проектирование. - 2017. - № 32 (5). - С. 805-819.
9. Ченг Дж. Автоматическое обнаружение дефектов канализационных труб на изображениях замкнутого телевидения с использованием методов глубокого обучения / Дж. Ченг, М. Ван // Автоматизация в строительстве. - 2018. - № 95. - С. 155-171.
10. Дорафшан С. Сравнение глубоких сверточных нейронных сетей и детекторов краев для обнаружения трещин в бетоне на основе изображений / С. Дорафшан, Р. Дж. Томас, М. Магуайр // Строительство и строительные материалы. - 2018. - № 186. - С. 1031-1045.
11. Говард Дж. Беспилотные летательные аппараты в строительстве и безопасности труда / Дж. Ховард, В. Мурашов, С. М. Бранш // Американский журнал промышленной медицины. - 2018. - № 61.- С. 3-10.
12. Ким Б. Автоматизированное визуальное обнаружение трещин на бетонных поверхностях с использованием метода глубокого обучения / Б. Ким, С. Чо // Датчики. - 2018. - № 18 (10). - С. 1-18.
13. Князева, Н. В., Левина Д.А. Использование BIM-сценариев в работе служб эксплуатации // Вестник Белгородского государственного технологического университета им. В.Г. Шухова. - 2019. - № 5. - С. 99-105.
