Russian Federation
Rostov-on-Don, Russian Federation
from 01.01.2019 to 01.01.2021
UDK 69.059 Повреждения. Обвалы. Разрушения. Ремонт. Усиление. Передвижка. Снос. Реконструкция. Уход за сооружениями
GRNTI 67.53 Инженерное обеспечение объектов строительства
GRNTI 67.01 Общие вопросы строительства
OKSO 08.02.01 Строительство и эксплуатация зданий и сооружений
BBK 382 Изыскания и проектирование в строительстве
BBK 308 Монтаж, эксплуатация, ремонт машин и промышленного оборудования
BISAC ARC024000 Buildings / General
The possibility of using unmanned aerial vehicles in the examination of the technical condition of high-rise civil and industrial structures, even with little discernible defects and damages, photo fixation and damage analysis in hard-to-reach places is being considered. Examples of the main types of layout of unmanned aerial vehicles and a set of auxiliary elements mounted on drones are shown. Possible automated control methods based on digital image processing and artificial intelligence methods applied to the identification of defects and damages during monitoring are presented. The advantages, expediency and prospects of using unmanned aerial vehicles with remote and contact (non-destructive) method of inspection of building structures are indicated.
drones, quadrocopters, unmanned aerial vehicles, inspection, control methods, remote control, monitoring
Типовая программа обследования технического состояния зданий и сооружений [1] в обязательном порядке включает в себя следующие основные этапы:
- выполнение обмерных работ с целью определения объемно-планировочных и конструктивных параметров объекта, составление обмерных чертежей;
- определение необходимых физических и прочностных характеристик материалов конструкций;
- выявление дефектов и повреждений элементов строительных конструкций;
- анализ результатов обследования с выдачей заключения о техническом состоянии объекта.
Неотъемлемой частью работ по обследованию является фотофиксация объектов с использованием телеобъективов. Процесс фотосъемки высотных зданий и промышленных сооружений возможен лишь на значительном удалении от объекта. Выполнение данного условия в большинстве случаев затруднено в виду стесненных условий или ограниченной видимости фасада. Обследование высотных сооружений возможно также с привлечением промышленных альпинистов. Главное преимущество такого способа заключается в том, что альпинист осматривает дефекты в контактной зоне, но для качественного проведения данного вида работ необходимо приглашение альпинистов высокой квалификации, имеющих обширный опыт в обследовании зданий.
Сделать выполнение этапов обследования сложных объектов более эффективным и безопасным для всех, кто участвует в этом процессе, особенно, когда речь идет о многоэтажных зданиях, труднодоступных для освидетельствования производственных объектах (дымовые трубы, градирни, резервуары, мачты и т.д.) возможно при использовании беспилотных летательных аппаратов (БПЛА), оснащенных фотокамерой или другими необходимыми приборами.
Не удивительно, что некоторые вузы планирует интегрировать использование дронов в текущую учебную программу студентов-строителей, что позволит будущим выпускникам быстрее добиться успеха в отрасли. Умение оценить техническое состояние строительных конструкций зданий и сооружений, выявить возможную потребность в техническом обслуживании или восстановлении является одной из заявленных компетенций при подготовке многих направленностей магистратуры по направлению 08.04.01.
Несмотря на то, что на рынке представлено большое количество дронов, в строительной отрасли обычно используются промышленные дроны [2]. В зависимости от типа используемой воздушной платформы [3] существует три основных типа БПЛА (таблица 1):
- БПЛА с роторами;
- БПЛА с неподвижным крылом;
- гибридные БПЛА с неподвижным крылом.
Применение мультироторов в основном эффективно для аэрофотосъемки и видеозаписи. Эти типы дронов можно классифицировать по количеству роторов, например, трикоптеры (три ротора), квадрокоптеры (четыре ротора), гексакоптеры (шесть роторов) и октокоптеры (восемь роторов) [4].
Недостатками мультироторных БПЛА являются их ограниченная выносливость и малая скорость. Из-за этих ограничений такие типы БПЛА не подходят для крупномасштабной аэрофотосъемки, например, трубопроводов, дорог, линий электропередач, автомагистралей и т.д. В зависимости от веса дрона и камеры мультироторные БПЛА в настоящее время находятся в воздухе в среднем не более 20-30 минут [5].
Таблица 1
Основные типы БПЛА в строительной отрасли
БПЛА с неподвижным крылом работают по существу по тому же принципу, что и пассажирские самолеты. Эти БПЛА создают подъемную силу с помощью неподвижных крыльев [4], а не вертикальных роторов, могут достигать большой высоты во время полета, энергия нужна им только для того, чтобы двигаться вперед, а не для того, чтобы удерживаться в воздухе. По этой причине БПЛА с неподвижным крылом являются гораздо более эффективным вариантом для топографического картирования больших площадей и способны преодолевать большие расстояния, чем мультироторные БПЛА. Основным недостатком БПЛА с неподвижным крылом является невозможность оставаться в воздухе на одном месте и способность летать только вперед, что не позволяет им создавать подробные аэрофотоснимки, например, эксплуатируемых сооружений. Для точных воздушных работ, требующих более детальных действий, например, детальной аэрофотосъемки зданий, использование БПЛА с несколькими роторами является лучшим решением, поскольку с ними легко работать в воздухе, а конструкция ротора позволяет им стабильно парить в воздухе [2].
Еще одним недостатком БПЛА с неподвижным крылом является особенность его взлета и посадки. В зависимости от размера дрона необходимо иметь взлетно-посадочную полосу или пусковую установку для катапульты, чтобы поднять его в воздух, и взлетно-посадочную полосу, чтобы безопасно доставить его обратно на землю [5].
Для устранения недостатков БПЛА с неподвижным крылом некоторые производители решили объединить их положительные свойства с преимуществами мультироторных дронов и разработали БПЛА, которые могут взлетать вертикально, а затем переходить в горизонтальный полет с помощью крыла — это гибридные беспилотные летательные аппараты [4]. Гибридный беспилотник летит по заранее запланированному маршруту полета на заданной пользователем высоте и собирает данные с помощью своих цветных и мультиспектральных датчиков. По завершении своей миссии беспилотник может приземлиться вертикально в исходную точку [4].
При обследовании технического состояния строительных объектов с помощью БПЛА могут быть использованы:
- системы визуального контроля — камеры. Их функционал включает в себя получение изображения и видео с высоким разрешением, термальный и спектральный анализ объекта;
- системы трехмерного лазерного сканирования (лидар), которые позволяют получить и обработать информацию об удаленных объектах с помощью активных оптических систем, использующих явления поглощения и рассеивания света в оптически прозрачных средах. С помощью данной технологии возможна геолокация и обнаружение объектов;
- системы сенсоров, которые позволяют определять интенсивность света, давление, наличие паров, газов, УФ-излучения, направление полета, ускорение БПЛА.
Управление БПЛА возможно на различных уровнях контроля:
- при дистанционном управлении - нет автономных возможностей для выполнения задачи, необходим постоянный контроль человека;
- выполнение задачи может быть запрограммировано заранее, действие будет повторяться до тех пор, пока не будет приказано остановиться или произойдет предопределенное выключение. Может выполняться с вмешательством человека или без него;
- полуавтономный или автономный способ управления – аппарат способен решать одну или несколько задач; доступ к данным датчиков выполняется в реальном времени; имеет набор целей для достижения, использует собственный интеллект для восприятия ситуации.
Последние разработки, применяемые к идентификации дефектов и повреждений при обследовании зданий и сооружений, предлагают почти автоматизированные методики контроля, основанные на методах цифровой обработки изображений и искусственном интеллекте, в которых изображения, захваченные беспилотными летательными аппаратами, обрабатываются и анализируются специалистом для разработки плана дальнейших действий [6]. В библиографии представлены два основных подхода к идентификации повреждений на основе цифровых изображений: эвристические методы извлечения признаков [7] и методы, основанные на глубоком обучении [8].
Эвристические методы извлечения признаков основаны на применении фильтров, особенно фильтров обнаружения границ, например, градиентных фильтров Собеля и применения метода Кэнни. Методы решения многих задач в системах технического зрения строятся в расчете на использование контурного изображения, которое формируется из полутонового изображения тем или иным способом. Детекторы границ градиентного типа строятся, как правило, в два этапа. На первом этапе производится сглаживание изображения, а на втором – выделение границ перепада яркости. При этом второй этап также может состоять более, чем из одного шага. Например, оператор Собеля дает градиентное изображение в виде толстых линий, и потому для решения задач более высокого уровня требуется утоньшение линий [9,10]. Эти фильтры могут обнаруживать границы между областями изображения с разной яркостью и выявлять определенные текстуры, позволяя локализовать пиксели на краях трещины.
В качестве альтернативы, несколько алгоритмов глубокого обучения широко используются в компьютерном зрении, особенно для изучения признаков и классификации изображений, однако наиболее широко и успешно применяются сверточные нейронные сети (convolutional neural networks - CNN). CNN были специально разработаны для выявления трещин и включают в себя процедуру обучения, основанную на большом наборе изображений реального мира, репрезентативных для сценариев с трещинами и без них, и определение модели классификации, основанной на группе последовательных слоев, связанных со специальными математическими операторами. Обученная классификационная модель впоследствии применяется к новым изображениям, на которых необходимо обнаружить трещины.
На рис. 1 представлен обзор интегрированной методологии дистанционного осмотра и мониторинга железобетонных конструкций, поддерживаемых БПЛА. БПЛА оснащен высокоточной системой спутниковой навигации (GPS), которой помогает система коррекции положения типа кинематики в реальном времени (RTK - Real Time Kinematic) при поддержке местной станции. БПЛА также оснащен собственной камерой, которая обеспечивает высокоточные изображения с географической привязкой.
Рис.1 Обзор комплексной методологии дистанционного контроля и мониторинга
а; в) RTK (Real Time Correction) — система коррекции положения типа кинематики в реальном времени; б) GNSS (Global Navigation Satellite System) — спутниковая система навигации; г; е) модуль IMU (Inertial Measurement Unit) — инерциальный измерительный модуль; д) система распознавания с помощью нейронных сетей.
Для удаленной проверки методология предлагает два разных метода: один основан на эвристических функциях, а другой основан на CNN, оба реализованы в программном обеспечении MATLAB. В случае CNN может быть выполнена идентификация трещины - обнаружение трещины и оценка ее геометрических характеристик (толщины и длины). Нейронные сети не программируются, а обучаются по исходному набору данных. Возможность обучения – одно из главных преимуществ нейронных сетей перед традиционными алгоритмами. Технически обучение заключается в нахождении коэффициентов связей между нейронами. ИНС (искусственная нейронная сеть) применяются для решения задач классификации и распознавания образов, оптимизации, прогнозирования и автоматизации процессов. C целью наиболее эффективного построения технологических процессов в строительстве с учетом различных факторов риска можно выделить две потенциальные области применения: прогнозирование рисков и анализ накопленной информации. Существующие проблемы прогнозирования рисков связаны с недостаточным качеством и количеством исходных данных, их динамическими изменениями, воздействием различных субъективных факторов. Вследствие чего прогнозирование выполняется с некоторой погрешностью, которая зависит от используемой модели и объема исходных данных. Если увеличивать качество и количество информации для моделирования, то улучшается точность прогноза, а убытки, связанные с рисками, могут быть заметно сокращены. Таким образом, в общем случае задача прогнозирования приводится к получению оценки данных, упорядоченных во времени, на основе анализа ранее собранной информации, введенной в модель, а также тенденций изменения внешних факторов [11].
Дистанционное обследование с использованием БПЛА включает в себя три этапа:
- распознавание конструкции и подготовка к полету;
- кампания по сбору изображений с использованием БПЛА;
- обработка изображений на основе эвристических признаков или CNN.
Первый этап обычно включает в себя сбор информации по элементам объекта и изучение истории осмотра конструкции, а также разработку плана полета, включая разрешение на полет, оборудование и технический персонал. Второй этап включает в себя топографическую съемку реперных точек сооружения, что необходимо для геопривязки изображений, а также съемку изображений с помощью фото/видеокамеры БПЛА. Наконец, третий этап включает в себя автоматическую идентификацию трещин на поверхности железобетона на основе эвристических признаков или CNN. Обработанные изображения с топографической привязкой могут быть использованы для выполнения трехмерного геометрического восстановления структуры путем применения методов фотограмметрии, доступных в программном обеспечении (ПО) Pix4Dmapper. ПО Pix4Dmapper автоматически преобразует изображения, полученные с БПЛА, или изображения наземной съемки и обеспечивает составление высокоточных карт и 3D-моделей с географической привязкой. [12].
Эвристическая обработка изображений для обнаружения трещин включает в себя, во-первых, обнаружение краев, а затем применение морфологических признаков, которые улучшают их визуализацию, в частности, точность ее трассировки. Автоматическое определение края выполняется применением метода Кэнни [13], который позволяет идентифицировать объекты на изображении, объединяя их в разные кластеры, т. е. кластеры, связанные с трещинами и остальной частью изображения. Затем к краям применяется определенный ряд морфологических признаков, в частности расширение изображения, заполнение и эрозия. Наконец, трещина усиливается на исходном изображении с помощью искусственного цвета (красного). На рис. 2 показаны основные этапы автоматического обнаружения трещин на основе эвристических признаков.
Рис. 2 Алгоритм эвристического признака: а) исходное изображение; б) метод Канни; в) расширение краев, пломбирование и эрозия; г) усиленная трещина.
Обследование и техническое обслуживание производственных объектов, а также мостов, туннелей, плотин требуют детального осмотра для выявления коррозии, обнаружения трещин, сколов, вмятин на труднодоступных поверхностях, который нельзя выполнить бесконтактным методом. Дефекты во многих случаях плохо видны на поверхности и не могут быть должным образом оценены. Выполнение контактного освидетельствования на высоте является опасным и дорогостоящим мероприятием, так как рабочие должны добраться до мест, подлежащих осмотру, с помощью тросов, кранов или строительных лесов. В таких ситуациях применение воздушных роботов (рис. 3, 4) очень актуально. С их помощью возможно [14] обнаружение, точная локализация и измерение повреждений.
Рис. 3 Дрон AeroX, с манипулятором
Рис. 4 TRIC (трехколесный инспекционный гусеничный сканер), установленный в дроне AeroX
Однако, есть некоторые проблемы, которые необходимо решить. Первая заключается в поддержании контакта с рабочим прибором, установленным на БПЛА в местах освидетельствования. Во-вторых, требуется подавлять возмущения, вызванные ветром и аэродинамическими эффектами, создаваемыми близлежащими поверхностями. Кроме того, во многих случаях очень важно иметь достаточную точность позиционирования рабочего прибора. Позиционирование должно выполняться и при условиях, когда отсутствует GNSS (например, под мостом), и в местах, где отсутствуют маркеры или маяки. Кроме того, необходимо предусмотреть меры, компенсирующие последствия столкновений и неожиданных контактов с поверхностями. При этом рабочий прибор манипулятора на борту летательного робота должен поддерживать контакт с обрабатываемой поверхностью.
Важным аспектом является установление связи между робототехническими платформами, в частности, воздушными роботами, с соответствующими технологиями неразрушающего контроля и контактными датчиками. Действительно, в то время как бесконтактные освидетельствования с использованием дронов в настоящее время могут выполняться с помощью оптических, инфракрасных, ультрафиолетовых датчиков, все еще необходимы новые разработки для контактного неразрушающего контроля, который может выполняться с помощью воздушных дронов в промышленном масштабе. Технологические проблемы связаны с трудностью манипулирования контактными датчиками неразрушающего контроля (в первую очередь электромагнитными и ультразвуковыми) с той же ловкостью, что и у сертифицированного инспектора по неразрушающему контролю. В частности, управление положением, колебанием, ориентацией, траекторией (точечные измерения, линейное или растровое сканирование), скоростью и прикладываемой контактной силой зонда, прикрепленного к воздушному роботу, все еще требуют усилий по разработке.
На практике контактными методами неразрушающего контроля, которые покрывают большую часть потребностей в освидетельствовании объектов электроэнергетики и нефтегазовой промышленности, помимо визуального контроля, являются электромагнитные методы в основном для поверхностных разрывов, таких как трещины, и ультразвуковые методы для подповерхностного контроля (истончение стенки из-за коррозии или обнаружение пористости). Другие методы, обычно используемые для контроля поверхностных дефектов, такие как цветная дефектоскопия при помощи жидкости и магнитоскопия, трудно интегрировать в БПЛА из-за несовместимости методов работы. Преимущество вихревых токов и ультразвуковых методов заключается в том, что датчики и электроника обнаружения могут быть миниатюрными, что является критическим критерием для интеграции в воздушную робототехнику. Можно показать, что полезная нагрузка на измерительный канал, включая зонд и электронику, может составлять всего 15 г. Следует отметить, что обнаружение коррозии под изоляцией представляет значительные трудности для любого метода, независимо от того, используется ли он с помощью воздушного робота или в процессе ручного контроля.
Применение БПЛА решает проблему обследования малодоступных участков зданий и сооружений, даже с мало различимыми дефектами и повреждениями, позволяет выполнять контактное освидетельствование на большой высоте, кроме того дроны могут быть использованы при контроле безопасности на строительной площадке, инспектировании строительства, измерении объемов и 3D-моделировании.
1. Manual on the survey of building structures of buildings. JSC "TSNIIPROMZDANIY". Moscow. 1997.
2. Zitzman, L. (2018, October). Drones in Construction: How They’re Transforming the Industry.
3. Retrieved August 2, 2019, from https://www.bigrentz.com/blog/drones-construction
4. (2017, February). Types of Drones - Explore the Different Models of UAV’s. Retrieved August 2, 2019, from http://www.circuitstoday.com/types-of-drones
5. Drone Omega. Types of Drones. Retrieved August 2, 2019, from https://www.droneomega.com/types-of-drones/
6. Chapman, A. (2016, June). Types of Drones: Multi-Rotor vs Fixed-Wing vs Single Rotor vs Hybrid VTOL. Retrieved August 3, 2019, from https://www.auav.com.au/articles/drone-types/
7. Evstratov, V.S. On the use of artificial neural networks in construction / V.S. Evstratov // Integration, Partnership and Innovation in Construction Science and Education: Proceedings of the International Scientific Conference, Moscow, November 16-17, 2016 / National Research Moscow State University of Civil Engineering. - Moscow: National Research Moscow State University of Civil Engineering, 2017. - pp. 416-417.
8. Gonzalez R., Woods R. Digital image processing. - Moscow: Technosphere, 2005. 1072 p.
9. Foresight D. A., Pons J. Computer vision. A modern approach. - M.: Williams, 2004. 928 p.
10. A.A. Tikhonov, D.J. Akmatov, Review of programs for processing aerial photography data ISSN 0236-1493. Mining information and analytical bulletin. 2018. No. 12. pp. 192-198. © A.A. Tikhonov, D.J. Akmatov. 2018 DOI:https://doi.org/10.25018/0236-1493-2018-12-0-192-198
11. Dorafshan S, Maguire M (2018) Bridge inspection: human performance, unmanned aerial systems and automation. J Civ Struct Heal Monit 8(3):443-476. https://doi.org/10.1007/s13 349-018-0285-4
12. Ribeiro D, Santos R, Shibasaki A, Montenegro P, Carvalho H, Calçada R (2020) Remote inspection of RC structures using unmanned aerial vehicles and heuristic image processing. Eng Failure Anal 117: 104813. https://doi.org/10.1016/j.engfailanal.2020.104813
13. Tran VP, Tran TS, Lee HJ, Kim KD, Baek J, Nguyen TT (2020) One stage detector (RetinaNet)- based crack detection for asphalt pavements considering pavement distresses and surface objects. J Civ Struct Heal Monit 11(1):205-222. https://doi.org/10.1007/s13349-020-00447-8
14. Anibal Ollero, Bruno Siciliano Aerial Robotic Manipulation, Springer Tracts in Advanced Robotics 129 https://doi.org/10.1007/978-3-030-12945-3
