논문 링크 : https://arxiv.org/abs/2110.07782?context=cs

Active Learning for Improved Semi-Supervised Semantic Segmentation in Satellite Images

위성 이미지에서 향상된 준지도 의미론적 분할을 위한 능동 학습

Abstract

Remote sensing data is crucial for applications ranging from monitoring forest fires and deforestation to tracking urbanization.
원격 감지 데이터는 산불 및 삼림 벌채 모니터링에서 도시화 추적에 이르기까지 다양한 애플리케이션에 매우 중요합니다.
Most of these tasks require dense pixel-level annotations for the model to parse visual information from limited labeled data available for these satellite images.
이러한 작업의 대부분은 이러한 위성 이미지에 사용할 수 있는 제한된 레이블 데이터에서 시각적 정보를 구문 분석하기 위해 모델에 대한 조밀한 픽셀 수준 주석이 필요합니다.
Due to the dearth of high-quality labeled training data in this domain, there is a need to focus on semi-supervised techniques.
이 영역에서 레이블이 지정된 고품질 훈련 데이터가 부족하기 때문에 반 지도 기법에 집중할 필요가 있습니다.
These techniques generate pseudo-labels from a small set of labeled examples which are used to augment the labeled training set.
이러한 기술은 레이블이 지정된 훈련 세트를 보강하는 데 사용되는 레이블이 지정된 작은 예제 세트에서 의사 레이블을 생성합니다.
This makes it necessary to have a highly representative and diverse labeled training set.
따라서 대표성이 높고 다양한 레이블이 지정된 훈련 세트가 필요합니다.
Therefore, we propose to use an active learning-based sampling strategy to select a highly representative set of labeled training data.
따라서 우리는 레이블이 지정된 훈련 데이터의 대표적인 세트를 선택하기 위해 능동적 학습 기반 샘플링 전략을 사용할 것을 제안합니다.
We demonstrate our proposed method’s effectiveness on two existing semantic segmentation datasets containing satellite images: UC Merced Land Use Classification Dataset and DeepGlobe Land Cover Classification Dataset.
우리는 위성 이미지를 포함하는 기존의 두 가지 의미론적 분할 데이터셋(UC Merced Land Use Classification Dataset 및 DeepGlobe Land Cover Classification Dataset)에 대해 제안된 방법의 효과를 시연합니다.
We report a 27% improvement in mIoU with as little as 2% labeled data using active learning sampling strategies over randomly sampling the small set of labeled training data.
레이블이 지정된 훈련 데이터의 작은 세트를 무작위로 샘플링하는 것보다 활성 학습 샘플링 전략을 사용하여 레이블이 지정된 데이터가 2% 미만인 mIoU가 27% 향상되었다고 보고합니다.

5. Conclusion

This work proposes a method to leverage active learningbased sampling techniques to improve performance on the downstream task of semi-supervised semantic segmentation for land cover classification in satellite images.
이 작업은 위성 이미지에서 토지 덮개 분류를 위한 반 감독 의미론적 분할의 다운스트림 작업에 대한 성능을 향상시키기 위해 능동 학습 기반 샘플링 기술을 활용하는 방법을 제안합니다.

We do this by intelligently selecting samples for which pixel-wise labels should be obtained using coarse image classificationbased active-learning strategies.
우리는 거친 이미지 분류 기반 능동 학습 전략을 사용하여 픽셀 단위 레이블을 얻어야 하는 샘플을 지능적으로 선택하여 이를 수행합니다.
Our method helps the semi-supervised semantic segmentation network start with an optimal set of labeled examples to help it get the right amount of initial information to learn the suitable representation.
우리의 방법은 semi-supervised semantic segmentation 네트워크가 적절한 표현을 배우기 위해 적절한 양의 초기 정보를 얻는 데 도움이 되도록 레이블이 지정된 최적의 예제 세트로 시작하는 데 도움이 됩니다.
We prototype this method for a GAN-based semisupervised semantic segmentation network, where the labeled images were selected using pool-based active learning strategies.
우리는 풀 기반 능동 학습 전략을 사용하여 레이블이 지정된 이미지를 선택하는 GAN 기반 준지도 의미론적 분할 네트워크에 대해 이 방법의 프로토타입을 생성합니다.
We demonstrate the efficacy of our method for two satellite image datasets, both quantitatively and qualitatively, and report sizable performance gains.
양적 및 질적으로 두 개의 위성 이미지 데이터 세트에 대한 방법의 효율성을 입증하고 상당한 성능 향상을 보고합니다.

1. Introduction

Semantic segmentation has found vast applications in the domain of remote sensing, including but not limited to environmental monitoring [60, 62], land use classification, and change detection [11, 27, 4, 12, 18, 51].
의미론적 세분화는 환경 모니터링[60, 62], 토지 사용 분류 및 변경 감지[11, 27, 4, 12, 18, 51]를 포함하지만 이에 국한되지 않는 원격 감지 영역에서 광범위한 응용 프로그램을 발견했습니다.
The largest barrier to applying these segmentation techniques is the availability of representative labeled data across different geographies and terrains.
이러한 세분화 기술을 적용하는 데 있어 가장 큰 장벽은 서로 다른 지역과 지형에 걸쳐 대표적인 레이블이 지정된 데이터의 가용성입니다.
Each pixel in a satellite image can represent a large area on the ground, thus requiring domain knowledge and experience to annotate pixel-level labels.
represent 나타내다
위성 이미지의 각 픽셀은 지상의 넓은 영역을 나타낼 수 있으므로 픽셀 수준 레이블에 주석을 추가하려면 도메인 지식과 경험이 필요합니다.
This makes it significantly expensive in terms of cost and time to collect a large set of pixel-wise labels [23].
이로 인해 많은 픽셀 단위 레이블을 수집하는 데 비용과 시간이 상당히 많이 듭니다[23].
To alleviate this problem, recent work in the computer vision community has explored using fewer pixel-wise labels along with information from unlabeled images in a semi-supervised fashion [17, 31, 48].
이 문제를 완화하기 위해 컴퓨터 비전 커뮤니티의 최근 작업은 반 감독 방식으로 레이블이 지정되지 않은 이미지의 정보와 함께 더 적은 픽셀 단위 레이블을 사용하여 탐색했습니다[17, 31, 48].
However, these small sets of images that are labeled pixelwise are chosen randomly from a dataset [17, 31].
그러나 픽셀 단위로 레이블이 지정된 이러한 작은 이미지 세트는 데이터 세트에서 무작위로 선택됩니다[17, 31].
This might bias the semi-supervised network towards a particular set of classes, degrading its performance.
이것은 반 감독 네트워크를 특정 클래스 세트로 편향시켜 성능을 저하시킬 수 있습니다.
Therefore, we propose to use active learning to select a representative set of labeled examples for semi-supervised semantic segmentation for land cover classification.
따라서 우리는 토지피복 분류를 위한 준지도 의미론적 분할을 위한 대표적인 레이블이 지정된 예 세트를 선택하기 위해 능동 학습을 사용할 것을 제안합니다.

---

This work is the first to explore a semi-supervised approach to semantic segmentation in satellite images to the best of our knowledge.
이 작업은 우리가 아는 한 위성 이미지의 의미론적 분할에 대한 반 지도적 접근 방식을 최초로 탐구한 것입니다.
We use a conditional GAN [30] based on Mittal et al. [31] which takes in a small number of labeled examples and a large unlabeled pool of data.
우리는 Mittal 등에 기반한 조건부 GAN[30]을 사용한다. [31] 이것은 레이블이 지정된 소수의 예와 레이블이 지정되지 않은 대규모 데이터 풀을 가져옵니다.
This conditional GAN generates pseudo-labels based on limited labeled examples to augment the labeled pool.
이 조건부 GAN은 레이블이 지정된 풀을 보강하기 위해 레이블이 지정된 제한된 예를 기반으로 의사 레이블을 생성합니다.
This makes it essential to have a diverse set of labeled training data.
Thus, we propose to use active learning to select a highly representative set of labeled training samples.
따라서 레이블이 지정된 다양한 훈련 데이터 세트가 있어야 합니다.
따라서 우리는 레이블이 지정된 훈련 샘플의 대표성이 높은 세트를 선택하기 위해 능동 학습을 사용할 것을 제안합니다.

---

Active learning aims to select the most informative and representative data instances for labeling from an unlabeled data pool based on some information measure.
능동적 학습은 일부 정보 측정을 기반으로 레이블이 지정되지 않은 데이터 풀에서 레이블링을 위한 가장 유익하고 대표적인 데이터 인스턴스를 선택하는 것을 목표로 한다.
We sample a subset of the images and their corresponding labels at random from a dataset, which serves as our labeled training set for the conditional GAN.
우리는 조건부 GAN에 대한 레이블링된 교육 세트 역할을 하는 데이터 세트에서 이미지의 하위 집합과 해당 레이블을 무작위로 샘플링한다.
We do the sampling again using an active learning-based sampling strategy which would provide a more diverse set of training data and show a performance improvement even when only very few training samples are available.
우리는 보다 다양한 훈련 데이터 세트를 제공하고 매우 적은 수의 훈련 샘플만 사용 가능한 경우에도 성능 향상을 보여주는 능동적인 학습 기반 샘플링 전략을 사용하여 샘플을 다시 수행한다.
With as little as 2% labeled data, we report an improvement of up to 27% in mIoU over random sampling.
2%의 라벨링된 데이터로 무작위 샘플링에 비해 mIoU가 최대 27% 향상되었다고 보고한다.
We demonstrate our proposed method’s efficacy on two existing semantic segmentation datasets containing satellite images: UC Merced Land Use Classification Dataset [46, 59], and DeepGlobe Land Cover Classification Dataset [9].
우리는 위성 이미지를 포함하는 두 가지 기존 의미 분할 데이터 세트에 대해 제안된 방법의 효과를 입증한다. UC Merced Land Use Classification Dataset [46, 59] 및 DeepGlobe Land Cover Classification Dataset [9].
Active learning for semantic segmentation [28, 56] yields patches of the given input image that are most informative.
의미론적 분할을 위한 능동적 학습[28, 56]은 주어진 입력 이미지의 가장 유익한 패치를 산출한다.
However, in this work, we require an active learning-based sampling strategy that gives us the set of most informative images from the given dataset.
그러나 이 작업에서는 주어진 데이터 세트에서 가장 유용한 이미지 세트를 제공하는 능동적인 학습 기반 샘플링 전략이 필요하다.
To achieve this, we propose using active learning for image classification to select entire images from the given dataset, which are the most informative.
이를 위해 이미지 분류를 위한 능동 학습을 사용하여 주어진 데이터 세트에서 가장 유익한 전체 이미지를 선택하는 것을 제안합니다.
We then query and obtain dense-pixel level annotations only for the actively selected samples, giving us our diverse labeled training data for semi-supervised semantic segmentation.
그런 다음 능동적으로 선택된 샘플에 대해서만 조밀한 픽셀 수준 주석을 쿼리하고 획득하여 준지도 의미론적 세분화를 위한 다양한 레이블이 지정된 훈련 데이터를 제공합니다.
Finally, we propose this method for sample selection to act as a guiding process for large-scale dataset creation, requiring the collection of dense pixel-level annotations.
마지막으로, 고밀도 픽셀 수준 주석의 수집이 필요한 대규모 데이터 세트 생성을 위한 안내 프로세스 역할을 하는 샘플 선택을 위한 이 방법을 제안합니다.
It would require significantly less cost and effort to obtain coarse image-level labels for the images and then use our proposed methodology to sample informative images labeled at pixel-level using image-classification-based active learning. The code has been made publicly available .
이미지에 대한 대략적인 이미지 수준 레이블을 얻은 다음 제안된 방법을 사용하여 이미지 분류 기반 능동 학습을 사용하여 픽셀 수준에서 레이블이 지정된 유익한 이미지를 샘플링하는 데 훨씬 적은 비용과 노력이 필요합니다. 코드가 공개되었습니다 .

• We use pool-based active learning sampling strategies to intelligently select labeled examples and improve performance for a GAN-based semi-supervised semantic segmentation network for satellite images.
• 풀 기반 능동 학습 샘플링 전략을 사용하여 레이블이 지정된 예제를 지능적으로 선택하고 위성 이미지에 대한 GAN 기반 반 지도 의미론적 분할 네트워크의 성능을 향상시킵니다.

• We demonstrate the applicability of the proposed method for selecting an optimal subset of data instances for which pixel-level annotations should be obtained.
• 픽셀 수준 주석을 얻어야 하는 데이터 인스턴스의 최적 하위 집합을 선택하기 위해 제안된 방법의 적용 가능성을 보여줍니다.