https://arxiv.org/abs/1907.07484

1.Introduction

model의 robustness를 평가하기 위한 measure/metric, benchmark dataset이 필요하다.

Improving corruption robustness

1. preprocessing 단계에서 denosing -> but, 모든 distortion에 generalize 안됨
2. data augmentation(training에 corrupted data를 포함한다)

2.Methods

2.1 Robust Detection Benchmark

15 corrupted dataset -> model performance 평가
학습은 15 corruption이 적용되지 않은 dataset으로 해야한다

PASCAL VOC, MS COCO, Cityscapes

VOC2007 test -> PASCAL-C
COCO 2017 validation -> COCO-C
Cityscapes validation -> Cityscapes-C

mean performance under corruption (mPC)

relative performance under corruption (rPC)

2.2 Style transfer as data augmentation

1. 각 training image를 stylized version으로 대체
2. existing dataset + stylized version of each image

AdaIN

2.3 Natural Distortions

test시에만 Foggy Cityscape 사용

BDD100k의 weather annotation 사용(clear, rainy, snowy)

3.Results

1. Image corruptions은 model performance를 감소시킨다.

2. backbone capacity가 높으면, Robustness가 증가한다.
   모든 image corruption은 model performance에 fixed penalty를 준다.더 강력한 backbone을 가질 수록 rPC이 높다.

3. Training on stylized data improves robustness
   Faster R-CNN
   combinced data보다 stylized data를 학습시켰을 때 robustness가 더 크다.
   

4. Training directly on stylized data is better than using stylized data only during pre-training

기존 연구
Stylized-ImageNet으로 pre-trained된 backbone을 사용하는 model
+standard clean Pascal VOC and COCO 로 학습

현재 논문
Clean-ImageNet으로 pre-trained된 backbone을 사용하는 model
+stylized Pascal VOC and COCO 로 학습

5. Robustness to natural distortions is connected to synthetic corruption robustness

BDD100k : rainy -> combined, snowy -> stylized, Day/Night -> combined 로 학습 시켰을 때 robustness가 높다.
Foggy Cityscapes : stylized train data로 학습 시켰을 때 robustness가 높다.

synthetic(=combined) corruption
natural corruption

6. Performance degradation은 단순히 perturbation size에 비례하지는 않는다.
   image의 pixel value -> corruption
   model performance -> corruption

추가적인 labelling이나 model tuning, architectural modifications, data augmentation schemes, modifications to the loss function, or a combination of these 없이 robustness를 향상시켰다.

4.Discussion

Robust Detection Benchmark(PASCAL-C, COCO-C, Cityscapes-C)

Mask R-CNN은 object detecion과 instance segmentation 모두에 사용될 수 있다.

Mask R-CNN의 성능을 평가하기 위하여 그와 유사한 Faster R-CNN으로 성능을 평가한다.