MS-CNN: multiscale recognition of building rooftops from high spatial resolution remote sensing imagery

MS-CNN: 고해상도 원격 감지 이미지에서 건물 옥상의 다중 스케일 인식

ABSTRACT

The effective recognition and precise positioning of multiscale building rooftop is one of the key scientific problems that have yet to be resolved urgently in the current implementation of highresolution remote sensing.
다중 규모 건물 옥상의 효과적인 인식과 정확한 위치 지정은 고해상도 원격 감지의 현재 구현에서 아직 시급히 해결되지 않은 주요 과학적 문제 중 하나입니다.

In recent years, the automatic recogni tion of high-resolution image targets often employs convolutional neural networks to extract features. However, such traditional methods often ignore multiscale features of geographical objects, while lacking effective multiscale information extraction strategies.
최근 몇 년 동안 고해상도 이미지 대상의 자동 인식은 종종 컨볼루션 신경망을 사용하여 특징을 추출합니다. 그러나 이러한 전통적인 방법은 효과적인 다중 스케일 정보 추출 전략이 부족하면서 지리학적 개체의 다중 스케일 기능을 무시하는 경우가 많습니다.

By utilizing the feature learning capability of deep neural networks, this study proposes a multiscale convolutional neural network named MS-CNN to recognize building rooftops from highresolution remote sensing imagery. In addition, this study con structs a pedigree deep learning sample library based on the remote sensing Tupu theory that considers the spectral and geo metric characteristics of building rooftops.
본 연구에서는 심층 신경망의 기능 학습 기능을 활용하여 고해상도 원격 감지 이미지에서 건물 옥상을 인식하기 위해 MS-CNN이라는 멀티스케일 컨볼루션 신경망을 제안합니다. 또한, 본 연구는 건물 옥상의 스펙트럼 및 기하학적 특성을 고려한 원격 감지 Tupu 이론을 기반으로 가계 딥 러닝 샘플 라이브러리를 구성합니다.

Able to utilize feature segmentation mechanism and fusion enhancement strategy, MSCNN enriches the receptive fields obtained by each convolution layer. The proposed network of this study is also compared with the famous Mask R-CNN method, proving the relative advantages of the MS-CNN method with multiscale characteristics.
기능 분할 메커니즘과 융합 향상 전략을 활용할 수 있는 MSCNN은 각 컨볼루션 계층에서 얻은 수용 필드를 풍부하게 합니다. 본 연구에서 제안한 네트워크는 유명한 Mask R-CNN 방법과도 비교하여 다중 스케일 특성을 갖는 MS-CNN 방법의 상대적인 장점을 입증한다.

The experi mental results show that the precision and recall metrics of the MSCNN are 4.18% (.8655 vs. .8238) and 5.71% (.8380 vs. .7809) higher than those of the Mask R-CNN, respectively. The proposed method has been deployed in practical engineering projects in Vietnam and Myanmar, etc.
실험 결과에 따르면 MSCNN의 정밀도 및 재현율은 Mask R-CNN보다 각각 4.18%(.8655 vs. .8238) 및 5.71%(.8380 vs. 7809) 높습니다. 제안된 방법은 베트남, 미얀마 등의 실제 엔지니어링 프로젝트에 적용되었습니다.

5. Conclusions

Over recent years, the recognition of building rooftops from high-resolution remote sensing images become a hot topic, but also a challenge due to the huge variation in the scale and topography of building rooftops. The scale is considered to be a major challenging factor for processing and analysis of remote sensing data.
최근 몇 년 동안 고해상도 원격 감지 이미지에서 건물 옥상을 인식하는 것이 화두가 되었지만 건물 옥상의 규모와 지형의 큰 변화로 인해 도전 과제이기도 합니다. 규모는 원격 감지 데이터의 처리 및 분석에 있어 주요 도전 요소로 간주됩니다.

This study proposes a multiscale structure called MS-CNN for the recognition of building rooftops in highresolution remote sensing images. The MS-CNN method has the feature learning capability of deep neural networks.
본 연구에서는 고해상도 원격탐사 영상에서 건물 옥상을 인식하기 위해 MS-CNN이라는 멀티스케일 구조를 제안한다. MS-CNN 방식은 심층 신경망의 특징 학습 기능을 가지고 있습니다.

This method is tested on the WorldView-3 high-resolution remote sensing data and compared with the Mask R-CNN algorithm. It is found that the precision and recall indicators of MS-CNN are 4.18% (.8655 vs. .8238) and 5.71% (.8380 vs. .7809) better than those of Mask R-CNN, indicating higher recognition efficiency of the MS-CNN method in practical engineering applications.
이 방법은 WorldView-3 고해상도 원격 감지 데이터에 대해 테스트하고 Mask R-CNN 알고리즘과 비교합니다. MS-CNN의 정밀도와 재현율 지표는 Mask R-CNN보다 4.18%(.8655 vs. 실제 엔지니어링 응용 프로그램에서 MS-CNN 방법.

In addition, this study proposes a pedigree sample feature extraction method, which takes into account the variability within the target class. This idea is implemented as a guide to construct a sample library of building rooftop pedigree for deep learning. The library includes 2,460 images and 68,504 building samples, and is divided into 8 spectral feature subsets and 8 geometric feature subsets.
또한, 본 연구에서는 대상 클래스 내의 가변성을 고려한 가계 표본 특징 추출 방법을 제안한다. 이 아이디어는 딥러닝을 위한 루프탑 가계도 구축 샘플 라이브러리를 구축하기 위한 가이드로 구현됩니다. 라이브러리에는 2,460개의 이미지와 68,504개의 건물 샘플이 포함되어 있으며 8개의 스펙트럼 기능 하위 집합과 8개의 기하학적 특징 하위 집합으로 나뉩니다.

---

1. Introduction

With the rapid development of earth observation technology based on remote sensing, the remote sensing data become increasingly diversified, while growing exponentially.
More timely acquisition and shorter update periods of such data have greatly boosted the research related to the storage, processing, and analysis of remote sensing imagery (Deren, Zhang and Xia 2014). As an important artificial feature (geographic element) in remote sensing imagery, buildings’ accurate recognition and extraction have very impor tant practical values in geographic data updating, resource monitoring, urban planning, and defense security (Alshehhi et al. 2017; Griffiths and Boehm 2019; Ji, Wei and Lu 2019b;
Ahmed, Bin Mahbub and Rahman 2020). Such geographic and social application scenarios require wide coverage, high precision, and rapid update, thus making remote sensing images of high spatial resolution a suitable data source (Huang, Liu and Zhang 2015; Li et al. 2019). Based on such image data, the rapid acquisition, intelligent recognition and comprehensive application of building rooftop information can provide support for indepth analyses of geographic information big data (Tang, Huang and Zhang 2013; Huang, Zhang and Zhu 2014; Maggiori et al. 2017; Zhao, Persello and Stein 2021; Zhu et al. 2021).
In addition, such remote sensing imagery can provide a huge amount of surface features and rich spatial information, so as to explicitly indicate the size, shape and relationship of adjacent features. However, extensive differences in size, structure, material and direction of buildings, as well as their complex external environments in different regions, impose significant challenges on the recognition of building rooftops from remote sensing imagery.
원격탐사를 기반으로 한 지구관측 기술의 급속한 발전으로 원격탐사 데이터는 기하급수적으로 증가하면서 점점 더 다양해지고 있습니다.
이러한 데이터를 보다 시기 적절하게 수집하고 업데이트 기간을 단축함으로써 원격 감지 이미지의 저장, 처리 및 분석과 관련된 연구를 크게 향상시켰습니다(Deren, Zhang 및 Xia 2014). 원격 감지 이미지에서 중요한 인공적 특징(지리적 요소)으로서 건물의 정확한 인식 및 추출은 지리 데이터 업데이트, 자원 모니터링, 도시 계획 및 방위 보안에서 매우 중요한 실용적인 가치를 갖습니다(Alshehhi et al. 2017; Griffiths and Boehm 2019, Ji, Wei 및 Lu 2019b;
Ahmed, Bin Mahbub 및 Rahman 2020). 이러한 지리적 및 사회적 응용 시나리오는 광범위한 적용 범위, 고정밀 및 신속한 업데이트가 필요하므로 높은 공간 해상도의 원격 감지 이미지를 적절한 데이터 소스로 만듭니다(Huang, Liu 및 Zhang 2015; Li et al. 2019). 이러한 이미지 데이터를 기반으로 건물 옥상 정보의 빠른 수집, 지능적 인식 및 포괄적인 적용은 지리 정보 빅 데이터의 심층 분석을 지원할 수 있습니다(Tang, Huang 및 Zhang 2013; Huang, Zhang 및 Zhu 2014; Maggiori et al. 2017). ; Zhao, Persello 및 Stein 2021, Zhu et al. 2021).
또한 이러한 원격 감지 이미지는 방대한 양의 표면 특징과 풍부한 공간 정보를 제공하여 인접 특징의 크기, 모양 및 관계를 명시적으로 나타낼 수 있습니다. 그러나 건물의 크기, 구조, 재료 및 방향의 광범위한 차이와 다양한 지역의 복잡한 외부 환경으로 인해 원격 감지 이미지에서 건물 옥상을 인식하는 데 상당한 어려움이 있습니다.