Feature Split–Merge–Enhancement Network for Remote Sensing Object Detection 제1부
Feature Split–Merge–Enhancement Network for Remote Sensing Object Detection
원격 감지 물체 감지를 위한 기능 분할-병합-향상 네트워크
Recently, multicategory object detection in high-resolution remote sensing images is still a challenge. First, objects with significant scale differences exist in one scene simultaneously, so it is generally difficult for the detectors to balance the detection performance of large and small objects.
최근 고해상도 원격 감지 이미지에서 다중 범주 객체 감지는 여전히 어려운 과제입니다. 첫째, 스케일 차이가 큰 물체가 한 장면에 동시에 존재하기 때문에 일반적으로 검출기에서 크고 작은 물체의 검출 성능 균형을 맞추기 어렵다.
Second, because of the complex background and the objects’ densely distributed characteristics in the remote sensing images, the extracted features usually have noise and blurred boundaries, which interfere with the detection performance of the object detectors.
둘째, 원격탐사 영상에서 복잡한 배경과 물체의 조밀하게 분포된 특성으로 인해 추출된 특징은 일반적으로 노이즈와 흐릿한 경계를 가지므로 물체 감지기의 감지 성능을 방해합니다.
With this observation, we propose an end-to-end scale-aware network called feature split–merge– enhancement network (SME-Net) for remote sensing object detection, composed of the feature split-and-merge (FSM) module, the offset-error rectification (OER) module, and the object saliency enhancement (OSE) strategy.
이러한 관찰을 통해, 우리는 기능 분할-합병(FSM) 모듈, 오프셋 오류 정정(OER) 모듈 및 객체 돌출성 향상(OSE) 전략으로 구성된 원격 감지 객체 감지를 위한 기능 분할-합병-개선 네트워크(SME-Net)라는 종단 간 스케일 인식 네트워크를 제안한다.
FSM eliminates salient information of large objects to highlight the features of small objects in the shallow feature maps. It also transmits the effective detailed features of large objects to the deep feature maps, alleviating feature confusion between multiscale objects.
FSM은 얕은 피쳐 맵에서 작은 객체의 피쳐를 강조하기 위해 큰 객체의 두드러진 정보를 제거합니다. 또한 대형 객체의 효과적인 세부 기능을 딥 피쳐 맵으로 전송하여 다중 스케일 객체 간의 피쳐 혼동을 완화합니다.
OER corrects the inconsistency of the features spatial layout among the multilayer feature maps by the proposed offset loss, so as to achieve supervised elimination and transmission in FSM.
OER은 제안된 오프셋 손실에 의해 다층 피쳐 맵 간의 피쳐 공간 레이아웃의 불일치를 수정하여 FSM에서 감독 제거 및 전송을 달성합니다.
OSE enhances the features of interests and suppresses the background information by the proposed membership function, thus preventing false detection and missed detection caused by noise and blurred boundaries.
OSE는 제안된 멤버십 기능에 의해 관심 기능을 강화하고 배경 정보를 억제하여 노이즈 및 흐릿한 경계로 인한 오탐지 및 누락 탐지를 방지합니다.
The effectiveness of the proposed algorithm has been verified on multiple datasets. Our code is available at: https://github.com/Momuli/SMENet.git
제안된 알고리즘의 효과는 여러 데이터 세트에서 검증되었습니다. 우리 코드는 https://github.com/Momuli/SMENet.git에서 사용할 수 있습니다.
Index Terms— Deep learning, feature enhancement, multiscale objects, object detection, remote sensing images.
V. CONCLUSION
This article proposes a feature SME-Net to improve the performance of multiscale object detection in remote sensing images.
이 기사에서는 원격 감지 이미지에서 다중 스케일 물체 감지 성능을 개선하기 위한 SME-Net 기능을 제안합니다.
Experiments on several datasets have verified the effectiveness of our proposed modules. The FSM module alleviates feature confusion between multiscale objects.
여러 데이터 세트에 대한 실험을 통해 제안된 모듈의 효율성이 확인되었습니다. FSM 모듈은 다중 스케일 객체 간의 기능 혼동을 완화합니다.
The OER module makes the model more robust to the inconsistency of the features spatial layout among multilayer feature maps. The OSE strategy enhances the salient features and suppresses the background information. However, the internal design of our module is more cumbersome, so the computational complexity is relatively high.
OER 모듈은 다층 피쳐 맵 간의 피쳐 공간 레이아웃의 불일치에 대해 모델을 보다 강력하게 만듭니다. OSE 전략은 두드러진 특징을 강화하고 배경 정보를 억제합니다. 그러나 우리 모듈의 내부 설계는 더 복잡하므로 계산 복잡성이 상대적으로 높습니다.
In addition, we use horizontal bounding boxes to outline the detected objects, which are not elegant enough. In the near future, we will tailor the network while maintaining accuracy, design a simpler and more versatile module structure, and calibrate the objects more accurately, making it more suitable for remote sensing object detection.
또한 수평 경계 상자를 사용하여 충분히 우아하지 않은 감지된 개체의 윤곽을 지정합니다. 가까운 장래에 우리는 정확도를 유지하면서 네트워크를 맞춤화하고 더 간단하고 다양한 모듈 구조를 설계하며 물체를 더 정확하게 보정하여 원격 감지 물체 감지에 더 적합하도록 만들 것입니다.
I. INTRODUCTION
Object detection of remote sensing images [1]–[5] has always been a fundamental and significant task in remote sensing image interpretation. It not only needs to determine the categories of the objects but also needs to calculate the correct position of each object.
원격 감지 이미지의 물체 감지[1]–[5]는 원격 감지 이미지 해석에서 항상 기본적이고 중요한 작업이었습니다. 객체의 범주를 결정할 뿐만 아니라 각 객체의 정확한 위치를 계산해야 합니다.
It plays an important role in both civil and military applications, such as military reconnaissance, resource exploration, disaster prediction, etc. However, quickly and effectively using remote sensing image information and achieving more accurate detection is still a challenge.
이는 군사 정찰, 자원 탐사, 재난 예측 등과 같은 민간 및 군사 애플리케이션 모두에서 중요한 역할을 합니다. 그러나 원격 감지 이미지 정보를 빠르고 효과적으로 사용하고 보다 정확한 탐지를 달성하는 것은 여전히 과제입니다.
With the rise of deep learning, especially in natural images, object detection based on deep learning has made significant progress. It can be mainly divided into two-stage object detectors and single-stage object detectors.
특히 자연 이미지에서 딥 러닝이 부상하면서 딥 러닝을 기반으로 하는 객체 감지가 크게 발전했습니다. 주로 2단계 물체 감지기와 1단계 물체 감지기로 나눌 수 있습니다.
Two-stage object detectors [6]–[10] are usually based on the interesting region for detection. They have achieved high detection accuracy, but their speed is usually slow in actual engineering applications.
2단계 물체 감지기[6]–[10]는 일반적으로 감지를 위한 관심 영역을 기반으로 합니다. 그들은 높은 탐지 정확도를 달성했지만 실제 엔지니어링 응용 프로그램에서는 일반적으로 속도가 느립니다.
The single-stage detectors [11]–[16] can be regarded as regression analysis models to analyze the relationship between the pixel value of the input image and the variables, such as object position and category information [17], [18].
단일 단계 검출기[11]-[16]는 입력 영상의 픽셀 값과 객체 위치 및 범주 정보와 같은 변수 사이의 관계를 분석하기 위한 회귀 분석 모델로 간주될 수 있습니다[17], [18].
They transform the object detection task as an end-to-end regression analysis problem of object position and category information, and realize bounding box regression and category prediction through the network models. They have a higher detection speed, but the detection accuracy is less than that of two-stage object detectors.
객체 탐지 작업을 객체 위치 및 범주 정보의 종단 간 회귀 분석 문제로 변환하고 네트워크 모델을 통해 경계 상자 회귀 및 범주 예측을 구현합니다. 감지 속도는 더 높지만 감지 정확도는 2단계 물체 감지기보다 낮습니다.
Most of the object detection methods in remote sensing images are inspired by natural images. However, because of the particularity of remote sensing imaging technology, there are still many challenges under the complex backgrounds in actual scenes. The following challenges are obvious.
원격탐사 영상에서 대부분의 물체 감지 방법은 자연 영상에서 영감을 받았습니다. 그러나 원격탐사 영상기술의 특수성으로 인해 실제 장면의 복잡한 배경 아래에는 여전히 많은 과제가 있다. 다음과 같은 과제는 분명합니다.
1) For the large objects’ scale difference, we propose an FSM module in the network mechanism. It eliminates salient features of large objects to emphasize the features of small objects in the shallow feature maps. It also transmits detailed information of large objects to the deep feature maps to enhance feature aggregation; thus, the large and small objects in one scene are distributed in the multilevel feature maps for subsequent detection, alleviating feature confusion between multiscale objects.
1) 큰 물체의 스케일 차이를 위해 네트워크 메커니즘에서 FSM 모듈을 제안합니다. 얕은 피처 맵에서 작은 객체의 특징을 강조하기 위해 큰 객체의 두드러진 특징을 제거합니다. 또한 큰 객체의 자세한 정보를 심층 피쳐 맵으로 전송하여 피쳐 집계를 향상시킵니다. 따라서 한 장면의 크고 작은 객체는 후속 감지를 위해 다중 레벨 피쳐 맵에 분산되어 다중 스케일 객체 간의 피쳐 혼동을 완화합니다.
2) The OER module is proposed to correct the inconsistency of objects’ spatial layout among the multilayer feature maps, so as to achieve supervised irrelevant feature elimination and effective detailed information transmission (DIT) in the FSM module.
2) OER 모듈은 FSM 모듈에서 감독된 관련 없는 기능 제거 및 효과적인 세부 정보 전송(DIT)을 달성하기 위해 다층 피쳐 맵 간의 객체 공간 레이아웃의 불일치를 수정하기 위해 제안됩니다.
3) For the complex background and dense objects, we propose an OSE strategy, which separates the foreground and background by the proposed membership function.
3) 복잡한 배경과 조밀한 객체에 대해 제안된 멤버십 함수에 의해 전경과 배경을 분리하는 OSE 전략을 제안합니다.
It enhances the features of interests, suppresses the features of no interests, and decreases false detection and missed detection caused by noise and blurred boundaries.
관심 특성을 향상시키고 관심이 없는 특성을 억제하며 노이즈 및 흐린 경계로 인한 오탐지 및 누락 감지를 줄입니다.
The rest of this article is organized as follows.
Section II introduces the work related to the proposed method. Section III elaborates the proposed method in detail.
Section IV introduces the details of datasets used in this article and the experimental setup, then shows the experimental results and the corresponding analysis. Finally, Section V concludes this article.
이 기사의 나머지 부분은 다음과 같이 구성됩니다.
II장에서는 제안된 방법과 관련된 작업을 소개한다. III장에서는 제안하는 방법을 자세히 설명한다.
섹션 IV에서는 이 기사에서 사용된 데이터 세트와 실험 설정에 대한 세부 정보를 소개하고 실험 결과와 해당 분석을 보여줍니다. 마지막으로 섹션 V에서 이 기사를 마칩니다.
