Remote Sensing Image Recognition Based on Multi-attention Residual Fusion Networks
Remote Sensing Image Recognition Based on Multi-attention Residual Fusion Networks
다중 주의 잔류 융합 네트워크 기반 원격 감지 이미지 인식
Abstract
Since each sample in a hyperspectral remote sensing image is made up of high-dimensional features and contains a wealth of remote sensing features, feature selection and mining become more difficult. To address this issue, a multi-attention residual integrated network (MARB-Net) algorithm is proposed, which reduces redundant features while increasing feature fusion and, as a result, improves hyperspectral image recognition.
초분광 원격 감지 이미지의 각 샘플은 고차원 기능으로 구성되고 원격 감지 기능이 풍부하기 때문에 기능 선택 및 마이닝이 더 어려워집니다. 이 문제를 해결하기 위해 다중 주의 잔차 통합 네트워크(MARB-Net) 알고리즘이 제안되어 중복 특징을 줄이고 특징 융합을 증가시켜 결과적으로 초분광 이미지 인식을 향상시킵니다.
First, assign multiple weights to each feature using multiple attention mechanism models; then, deep mine and integrate the features using the residual network; and finally, perform contextual semantic integration on the deep fusion features using the Bi-LSTM network.
먼저 여러 주의 메커니즘 모델을 사용하여 각 기능에 여러 가중치를 할당합니다. 그런 다음 잔여 네트워크를 사용하여 기능을 심층 채굴하고 통합합니다. 마지막으로 Bi-LSTM 네트워크를 사용하여 심층 융합 기능에 대한 컨텍스트 의미 통합을 수행합니다.
The recognition task should be completed by the Softmax classifier. The experimental results on three multiclass public data sets show that the MARB-Net algorithm proposed in this paper is effective.
인식 작업은 Softmax 분류기에 의해 완료되어야 합니다. 3개의 다중 클래스 공개 데이터 세트에 대한 실험 결과는 본 논문에서 제안한 MARB-Net 알고리즘이 효과적임을 보여줍니다.
4. Conclusion
Hyperspectral images contain a large number of redundant features, making feature selection and mining more difficult, and making traditional image recognition models difficult to fully apply.
초분광 이미지에는 많은 중복 기능이 포함되어 있어 기능 선택 및 마이닝이 더 어려워지고 기존 이미지 인식 모델을 완전히 적용하기 어렵습니다.
To address the aforementioned issues, this paper proposes a multi-attention residual ensemble network, which not only selects features using residual multiple attention mechanism models, but also fully excavates a large number of deep features using the residual network and implements it using a Bi-LSTM network.
본 논문에서는 전술한 문제를 해결하기 위해 잔류 다중 주의 메커니즘 모델을 사용하여 피처를 선택할 뿐만 아니라 잔류 네트워크를 사용하여 다수의 심층 피처를 완전히 발굴하고 Bi-LSTM 네트워크를 사용하여 구현하는 다중 주의 잔류 앙상블 네트워크를 제안한다.
The above issues are wellsolved by integrating in-depth features. Three public data sets produced the best results. The feasibility of the MARBNet algorithm has been fully demonstrated. The next step in our research will be to see how we can improve recognition results while lowering parameters and increasing computational efficiency.
위의 문제는 심층 기능을 통합하여 잘 해결되었습니다. 3개의 공개 데이터 세트가 최상의 결과를 생성했습니다. MARBNet 알고리즘의 실현 가능성이 완전히 입증되었습니다. 우리 연구의 다음 단계는 매개변수를 낮추고 계산 효율성을 높이는 동시에 인식 결과를 개선할 수 있는 방법을 알아보는 것입니다.
Instroduction
Hyperspectral images (HSIs) from remote sensing are made up of high-dimensional features. These characteristics describe each sample in the image in great detail, making hyperspectral research easier to categorize.
원격 감지의 초분광 이미지(HSI)는 고차원 기능으로 구성됩니다. 이러한 특성은 이미지의 각 샘플을 매우 자세하게 설명하므로 초분광 연구를 더 쉽게 분류할 수 있습니다.
Ocean remote sensing[1]-[15], desert vegetation[16], urban division[17], and other fields use hyperspectral remote sensing. The rapid development of deep learning [14][19] in recent years has accelerated the classification and recognition efficiency of hyperspectral data while also improving recognition accuracy.
해양 원격 감지[1]-[15], 사막 식생[16], 도시 분할[17] 및 기타 분야에서는 초분광 원격 감지를 사용합니다. 최근 몇 년 동안 딥 러닝[14][19]의 급속한 발전은 초분광 데이터의 분류 및 인식 효율성을 가속화하는 동시에 인식 정확도를 향상시켰습니다.
Feature selection and deep mining are required for removing redundant features and retaining more deep features, as well as ensuring that highdimensional image classification and recognition accuracy improves. Wu Chen et al. [5] used a descriptive dictionary learning method to calculate the sparse coefficients of image features, perform feature selection, and merge the features of each image, improving transfer recognition learning of new types of scenes and proving the method's effectiveness.
특징 선택 및 심층 마이닝은 중복 특징을 제거하고 더 깊은 특징을 유지하는 것은 물론 고차원 이미지 분류 및 인식 정확도를 향상시키는 데 필요합니다. Wu Chen et al. [5]는 기술사전 학습 방법을 사용하여 이미지 특징의 희소 계수를 계산하고 특징 선택을 수행하고 각 이미지의 특징을 병합하여 새로운 유형의 장면에 대한 전이 인식 학습을 개선하고 방법의 효율성을 입증했습니다.
By combining the high-level feature selection of different CNNs, Ge Yun et al. [6] were able to preserve a large number of deep features, eliminate redundant features using maximum pooling and principal component analysis algorithms, and finally show that the method extracts feature retrieval. El-Shafie et al.
다른 CNN의 고급 기능 선택을 결합하여 Ge Yun et al. [6]은 많은 수의 심층 특징을 보존하고 최대 풀링 및 주성분 분석 알고리즘을 사용하여 중복 특징을 제거할 수 있었고 마지막으로 이 방법이 특징 검색을 추출한다는 것을 보여주었습니다. El-Shafie et al.
[7] used CNN to eliminate shallow redundant features in the original image, improve computational efficiency while retaining a large number of deep features, and finally improve recognition accuracy. Fuding Xie [8] used a five-fold crossvalidated support vector machine to perform feature deep mining and hyperspectral image classification after calculating the correlation coefficients of adjacent bands to select the appropriate band subset. based on two publicly available databases Demonstrate the algorithm's efficiency.
[7]은 원본 이미지에서 얕은 중복 특징을 제거하고 많은 수의 깊은 특징을 유지하면서 계산 효율성을 개선하고 최종적으로 인식 정확도를 개선하기 위해 CNN을 사용했습니다. Fuding Xie[8]는 5중 교차 검증 지원 벡터 머신을 사용하여 적절한 대역 하위 집합을 선택하기 위해 인접 대역의 상관 계수를 계산한 후 특징 심층 마이닝 및 초분광 이미지 분류를 수행했습니다. 공개적으로 사용 가능한 두 개의 데이터베이스 기반 알고리즘의 효율성을 보여줍니다.
Machine learning and deep learning both play a role in removing redundant features and mining deep features, as demonstrated by the methods above. As a result, building a deep network to remove redundant features and mine more deep features is possible.
머신 러닝과 딥 러닝은 위의 방법에서 설명한 것처럼 중복 기능을 제거하고 심층 기능을 마이닝하는 역할을 합니다. 결과적으로 중복 기능을 제거하고 더 깊은 기능을 마이닝하는 심층 네트워크를 구축하는 것이 가능합니다.
생략
We discovered that different models can mine different deep features based on the research mentioned above. We propose a residual integrated network based on multi-attention to achieve this goal (MARB-Net). Multiple attention mechanism algorithms are used to assign different weights to each feature..
우리는 위에서 언급한 연구를 기반으로 서로 다른 모델이 서로 다른 심층 기능을 채굴할 수 있다는 것을 발견했습니다. 이 목표를 달성하기 위해 다중 주의를 기반으로 하는 잔여 통합 네트워크(MARB-Net)를 제안합니다. 다중 주의 메커니즘 알고리즘은 각 기능에 서로 다른 가중치를 할당하는 데 사용됩니다.
Simultaneously, we've introduced multiple residual network model blocks in order to better mine and fuse deep features.
The final contextual semantic integration features were obtained by integrating the deep features through a two-way long and short-term memory network.
동시에 심층 기능을 더 잘 채굴하고 융합하기 위해 여러 개의 잔여 네트워크 모델 블록을 도입했습니다.
최종 문맥 의미 통합 특성은 양방향 장단기 기억 네트워크를 통해 심층 특성을 통합하여 얻었습니다.
Finally, while mining deep features, the MARB-Net network eliminates a large number of redundant features, and the deep features gain more contextual semantic integration features thanks to the integration algorithm. The algorithm can better mine the features of high-dimensional hyperspectral images, according to experimental results.
마지막으로 심층 기능을 마이닝하는 동안 MARB-Net 네트워크는 많은 중복 기능을 제거하고 심층 기능은 통합 알고리즘 덕분에 더 많은 컨텍스트 의미 통합 기능을 얻습니다. 알고리즘은 실험 결과에 따라 고차원 초분광 이미지의 특징을 더 잘 마이닝할 수 있습니다.
The main contributions of this article are as follows:
1) This paper proposes a multi-attention mechanism that assigns multiple weights to the original hyperspectral features, allows each feature to be distinguished to the greatest extent possible, and ensures that redundant features are removed.
2) This paper uses a residual network to eliminate redundant features and improve deep feature mining and fusion.
3) This paper employs a Bi-LSTM network to integrate deep features mined by convolution kernels of various scales in order to better integrate the context semantics of deep features.
4) The results of the experiments on three public data sets, Indian, Pavia, and Salinas, were visualized in this article, demonstrating the effectiveness of the MARB-Net algorithm.
이 기사의 주요 기여는 다음과 같습니다.
1) 이 논문은 원래의 초분광 특징에 다중 가중치를 할당하고, 각 특징이 가능한 최대로 구별되도록 하고, 중복 특징이 제거되도록 보장하는 다중 주의 메커니즘을 제안합니다.
2) 이 백서에서는 잔여 네트워크를 사용하여 중복 기능을 제거하고 심층 기능 마이닝 및 융합을 개선합니다.
3) 본 논문에서는 심층 특징의 문맥 의미를 더 잘 통합하기 위해 다양한 규모의 컨볼루션 커널에 의해 채굴된 심층 특징을 통합하기 위해 Bi-LSTM 네트워크를 사용합니다.
4) 세 가지 공개 데이터 세트인 Indian, Pavia, Salinas에 대한 실험 결과를 본 기사에서 시각화하여 MARB-Net 알고리즘의 효율성을 입증했습니다.
The following is a summary of the rest of the paper: The MARB-Net method is introduced in the second part; the experimental results are analyzed in the third part; and the conclusion is presented in the fourth part.
다음은 논문의 나머지 부분을 요약한 것입니다. MARB-Net 방법은 두 번째 부분에서 소개됩니다. 실험 결과는 세 번째 부분에서 분석됩니다. 그리고 결론은 네 번째 부분에서 제시된다.
