재활용 쓰레기 object detection을 주제로 프로젝트를 진행했다. detection을 진행하면서 다양한 것을 알게 되었다. 특히 yolo model을 중점으로 연구해 왔기에 다른 detection을 하더라도 적용능력도 생긴 것 같다. 매력있는 기술로 조금 더 공부해 보고 싶다는 욕심도 생겨 다양한 시도를 진행했다. 지금까지의 시도와 연구를 기록하고자 한다.

1. 프로젝트 개요

바야흐로 대량 생산, 대량 소비의 시대. 우리는 많은 물건이 대량으로 생산되고, 소비되는 시대를 살고 있다. 하지만 이러한 문화는 쓰레기 대란, 매립지 부족과 같은 여러 사회 문제를 낳고 있다. 분리수거는 이러한 환경 부담을 줄일 수 있는 방법 중 하나이다. 잘 분리배출 된 쓰레기는 자원으로서 가치를 인정받아 재활용되지만, 잘못 분리배출 되면 그대로 폐기물로 분류되어 매립 또는 소각되기 때문이다. 따라서 우리는 사진에서 쓰레기를 Detection 하는 모델을 만들어 이러한 문제를 해결해보고자 한다.

• 주제 : 재활용 품목 분류를 위한 Object Detection
• 목표 : 10 종류의 쓰레기 품목 Object Detection 모델 객체 탐지 성능 향상

2. 데이터

0	1	2	3	4	5	6	7	8	9
General trash	Paper	Paper pack	Metal	Glass	Plastic	Styrofoam	Plastic bag	Battery	Clothing

• 전체 이미지 개수 : 9754장
• 이미지 크기 : (1024, 1024)

├── dataset
    ├── train.json
    ├── test.json
    ├── train
    └── test

• train: 4883장의 train image 존재
• test: 4871장의 test image 존재
• train.json: train image에 대한 annotation file (coco format)
• test.json: test image에 대한 annotation file (coco format)

3. 프로젝트 수행 절차 및 방법

[프로젝트 타임라인]

[프로젝트 성능 그래프]

우리는 사진에서 쓰레기를 Detection 하기 위해서 MMDetection 오픈소스 객체 탐지 라이브러리를 활용하여 다양한 객체 탐지 모델을 사용했다. 여러 객체 탐지 모델을 재활용 품목 분류 과제에 맞게 튜닝하고 조합하여 네이버 부스트캠프에서 개최한 “재활용 품목 분류를 위한 Object Detection 리더보드 프로젝트” 에서 mAP50 0.7482를 기록하여 2등을 차지했다. 쓰레기 Detection 성능을 올리기 위해 우리가 한 시도를 요약하면 다음과 같다.

• 하이퍼파라미터를 조정하여 객체 탐지 모델들을 재활용 품목 분류 task에 맞게 튜닝하고 성능을 최대화한다.
• 다양한 객체 탐지 모델들을 앙상블하여 성능을 향상 시킨다.

1. 데이터 처리 및 EDA

1-1 데이터 분할

모델 학습 과정에서 성능을 평가하기 위해서 학습 데이터셋과 검증 데이터셋으로 분할했다. 학습 데이터셋의 클래스 분포 불균형을 보정하기 위해 Startifed group k-fold 방식을 활용하여 각 fold의 클래스 분포가 균등해지도록 했다.

최종적으로 Fold1에 대해서 실험하여 성능을 측정하고 Fold1 의 실험결과를 모든 Fold에 반영하여 5-Fold 앙상블을 통해 최종 결과물을 만들었다.

1-2 Anchor box optimization

• 클래스별 bounding box aspect ratio

	Mean	Q1, Q3 Range
Battery	1.4332	[0.7054, 1.6608]
Clothing	1.3916	[0.7451, 1.6229]
General trash	1.2963	[0.8391, 1.4873]
Glass	1.2395	[0.6954, 1.4824]
Metal	1.0440	[0.4725, 1.3875]
Paper	1.2881	[0.7065, 1.5731]
Paper pack	1.4741	[0.7928, 1.6312]
Plastic	1.1068	[0.6247, 1.3174]
Plastic bag	1.4283	[0.6307, 2.1209]
Styrofoam	1.2283	[0.6537, 1.5352]
All Classes		[0.4725, 2.1209]

주어진 데이터에서 최적의 anchor box ratio를 확인하기 위해 학습 데이터의 각 클래스에 대하여 bounding box aspect ratio를 시각화하여 분석했다.

모든 클래스에서 객체의 aspect ratio의 Q1-Q3 범위가 [0.4725, 2.1209]에 분포하는 것을 확인할 수 있었다. 이러한 분포를 바탕으로 데이터셋에 최적화된 anchor box ratio를 설정하였다.

1-3 모델 Predictions bounding box 및 PR 곡선 시각화

실험 중인 모델의 성능을 평가하기 위해서 검증 데이터셋에 대하여 Predictions bounding box와 Ground Truth bounding box 그리고 PR 곡선을 시각화하였다. 이를 통해 모델의 성능을 눈으로 확인하고 모델의 약점을 파악할 수 있었다. [그림 3]을 보면 작은 객체(General trash)에 대해서 localization을 못하고, 겹쳐있는 객체(Plastic)에 대해 classifiaction을 못함을 알 수 있다.

2. MMdetection

2-1 베이스 라인 초기 실험

베이스라인 초기 실험에서는 MMDetction 라이브러리를 활용해 다양한 객체 탐지 모델들의 성능을 비교하였으며, Fold 1 데이터셋으로 실험을 진행했다. [표1]을 통해 Faster R-CNN, Cascade R-CNN, ATSS, UniverseNet, RetinaNet, VFNet 모델들의 초기 성능을 확인할 수 있다.

Model	Backbone	Neck	Optimizer	lr	Epoch	Test mAP50
faster RCNN	resnet50	fpn	SGD	0.02	12	0.3734
cascade RCNN	SwinL	fpn	SGD	0.02	20	0.5161
ATSS	SwinL	fpn	SGD	0.02	20	0.5015
universenet	SwinL	fpn	AdamW	0.0001	20	0.5545
retinanet	SwinL	fpn	AdamW	0.0001	20	0.5438
vfnet	SwinL	fpn	AdamW	0.0001	20	0.5623

[표1] MMDetection 라이브러리 베이스라인 모델 초기 성능

이후 Backbone, Neck, Optimizer, learning rate, 증강 기법 등의 하이퍼파라미터 튜닝 실험을 진행했다.

2-2 Backbone

Model	Backbone Model	Test mAP50
Cascade RCNN	resnet50	0.3613
Cascade RCNN	SwinS	0.4628
Cascade RCNN	SwinL	0.5161

[표2] Backbone Model에 따른 Cascade RCNN 성능

Cascade R-CNN에 ResNet50, Swin Transformer Small, Swin Transformer Large를 backbone 모델로 사용하여 성능을 비교하였다. ResNet50은 전통적인 CNN 기반 모델로, Swin Transformer에 비해 상대적으로 낮은 정확도를 보였다. Swin Transformer은 Transformer 기반의 backbone으로, 패치 단위로 이미지를 처리하면서도 전역적인 특징을 추출할 수 있다.

결과적으로, 모델의 backbone을 Swin Transformer model로 전환함으로써 성능을 향상시킬 수 있었다.
Swin Transformer model의 경우 ImageNet 22k의 (384x384) 이미지로부터 학습된 가중치를 가져와 fine-tuning 하여 사용했다. git

2-3 Neck

여러 input에 대해 더욱 견고한 모델을 만들고자 1024x1024와 1024x720의 두 종류의 scale 이미지를 사용하여 모델을 학습시켰다. 이러한 특성에 맞추어, 다양한 크기와 형태의 객체를 잘 잡아낼 수 있도록 하기 위해 scale, spatial, task에 대한 attention을 하나의 head로 통합시킬 수 있는 dyhead를 사용했다. ATSS 모델의 head 부분에 dyhead를 결합시킨 구조를 사용할 때, 기존 ATSS 모델에 비해 좋은 성능이 나옴을 확인할 수 있었다.

2-4 하이퍼파라미터 튜닝

a. IOU threshold 와 mAP50

Cascade RCNN 모델에 대해 각각 IoU threshold 값을 다르게 설정하여 inference를 했을 때 임의의 이미지에 대한 결과는 위와 같다. IoU threshold 값을 높인 경우가 score 값이 낮은 박스들을 제거하므로 시각적으로는 더 잘 detection이 된 것처럼 보이지만, 실제로 mAP50은 더 낮게 나온다는 것을 확인할 수 있다.

평가지표인 mAP50의 특성 상 틀린 bounding box에 대해 감점되는 점수보다 ground truth를 맞췄을 때 얻는 점수가 크다. 따라서 bounding box를 많이 생성하는하도록 IOU threshold 값을 낮추어 사용했다.

b. Learning rate 및 scheduler

learning rate가 작아질 때마다 validation 성능이 오르는걸 확인할 수 있고 최종적으로 안정적으로 수렴하게 도와줌을 알 수 있고 실험결과를 바탕으로 StepLR scheduler 기법을 사용하여 각 모델들의 학습과정을 안정화 시켰다.

2-5 증강 기법

a. Image 사이즈 조정 및 multi-scale 적용

작은 크기의 객체에 대해서 예측 성능이 낮은 문제를 해결하기 위해 이미지 사이즈를 늘려 작은 크기의 객체를 잘 포착할 수 있도록 학습시켜 보았다. [그림 7]을 보면 input 이미지 사이즈가 커질수록 성능이 올라감을 확인할 수 있었다.
그러나 원본 이미지 크기인 1024x1024 해상도로 학습시키기 위해선 GPU 성능의 한계로 batch size를 줄여야했고, batch size를 줄였을 때 validation loss나 mAP50 값의 변동이 커지면서 학습이 불안정해지고 test 성능이 낮아지는 문제가 발생했다.
따라서 기존의 batch size를 유지하면서 이미지 내에 포함된 객체에 대한 정보손실을 최소화하기 위해, 증강 기법 중 random crop을 이용하여 이미지 크기를 줄이는 방법을 사용하였다. 이를 통해 객체나 bounding box 자체의 크기는 유지하면서 메모리 소모를 줄이고 성능을 향상시킬 수 있었다.

더 나아가 실제 학습에선 1024x1024 크기의 이미지만 넣어주는 것이 아닌, 1024x720의 이미지도 함께 사용함으로써 모델이 더욱 다양한 시각에서 이미지를 학습할 수 있도록 설계했다. 또한 test 과정에서도MultiScaleFlipAug 기법을 활용하여 두 종류의 scale을 동시에 사용할 수 있게 해주어 성능을 향상 시킬 수 있었다. 위 실험결과를 표로 요약하면 다음과 같다.

Model	Backbone	Neck	Image size	batch size	random crop	MultiScaleFlipAug	Test mAP50
ATSS	SwinL	dyhead	512x512	4	x	x	0.5815
ATSS	SwinL	dyhead	640x640	4	x	x	0.6081
ATSS	SwinL	dyhead	720x720	4	x	x	0.6470
ATSS	SwinL	dyhead	1024x1024	2	x	x	0.5902
ATSS	SwinL	dyhead	1024x1024	4	o	x	0.6680
ATSS	SwinL	dyhead	1024x1024
1024x720	4	o	o	0.6752

[표3] 모델 구조 및 하이퍼파라미터에 따른 ATSS 성능 비교표 (test mAP50)

b. Mosaic

[그림9] 데이터 증강 기법: Mosaic

다양한 크기와 비율의 객체를 [그림9]와 같이 조합하여 모델이 다양한 데이터로 학습이 될 수 있도록 이미지에 Mosaic 증강 기법을 적용하여 학습시키는 실험을 수행하였다.

Cascade RCNN 모델에 효과가 좋았던 증강 및 학습 기법들을 적용하여 결과물을 얻은 뒤 Mosaic 증강 기법으로 3epoch 동안 추가 학습을 진행하였을 때, 성능이 저하되는 것을 확인할 수 있었다.

Model	Backbone Model	random crop + MultiScaleFiipAug	Mosaic fine-tuning	Test mAP50
Cascade RCNN	SwinL	x	x	0.5161
Cascade RCNN	SwinL	o	x	0.6373
Cascade RCNN	SwinL	o	o	0.5210

[표4] 모델 구조 및 증강 기법에 따른 Cascade RCNN 성능 비교표 (test mAP50)

2-6 MMDetection 결론

다양한 객체 탐지 모델 및 backbone, neck 구조, 하이퍼파라미터 튜닝, 증강 및 학습 기법 변경 등을 통해 성능을 향상 시켰다. 여러 모델에 대하여 구조 및 기법에 따른 성능 변화 분석을 요약하면 다음과 같다.

• Swin Transformer 같은 강력한 backbone 모델과 Multi-scale 기법을 조합했을 때 성능이 좋다
• ATSS 모델의 경우 SwinL backbone과 FPN 그리고 다중 스케일 증강을 적용했을 때, 가장 좋은 성능을 보였다. (mAP50 : 0.6752)
• Cascade RCNN 모델과 UniversNet 역시 다중 스케일 증강을 적용했을 때 높은 성능을 보였다.
• Mosiac 증강의 경우 좋지 못한 성능을 보임을 확인했다.

3. Yolo

3-1 베이스라인 초기 실험

Model	Image size	FLOPs	validatoin mAP40
YOLOv5x6	1280	209.8	55.0
YOLO11x	640	194.9	54.7

[표5] YOLO v5 & v11 베이스라인 성능 비교 (validationm mAP50)

YOLO 모델을 선택할 때 YOLOv5와 YOLO11 중 하나를 선택하고자 했다. YOLO11x은 최신 모델로 속도가 빠르며, 낮은 FLOPs를 요구하는 장점을 가지고 있다. 하지만, 이번 대회는 속도와 경량화는 중요하지 않기에 성능 우선으로 YOLOv5x6를 선택했다. YOLOv5x6는 YOLO11x보다 parameter가 2.5배 많아 속도는 느리지만, 높은 정확도를 한다. 또한 Image size로 1024x1024로 YOLOv5x6가 적합하다고 판단했다.

Model	Image size	epoch	Test mAP50
YOLOv5	640	20	0.3620
YOLOv5x	640	20	0.4226
YOLOv5x6	1280	20	0.4770
YOLOv11	640	20	0.3675
YOLOv11x	640	20	0.4415

[표6] YOLO 모델의 Image size 별 성능 비교 (test mAP50)

[표6]을 보았을 때, Yolov5x6의 성능이 제일 좋았던 것으로 알 수 있다. YOLO의 베이스라인 모델을 YOLOv5x6으로 선택하고 성능 향상을 위해 다양한 하이퍼파라미터 튜닝 실험을 진행했다.

3-2 하이퍼파라미터 튜닝

Model	Image size	lr	momentum	decay	Step size	anchor box	test mAP50
YOLOv5x6	1280	0.1	0.937	0.005	3	original	0.4770
YOLOv5x6	1280	0.01	0.937	0.0005	3	original	0.5015
YOLOv5x6	1280	0.01	0.937	0.0005	3	anchor box tunning	0.5303

[표 7] 하이퍼파라미터 및 증강, 학습 기법에 따른 YOLOv5x6 모델 성능 비교 (test mAP50)

성능 향상을 위해 layer freeze, hyperparameter, augmentation, anchor box optimization를 변경하며 실험을 진행했다. 처음에 layer freeze 는 과적합의 위험성 때문에 선택했지만, 성능이 낮아지는 것을 확인하고 layer를 freeze 시키지않고 fine-tuning 하는 방법을 선택했다.

하이퍼파라미터 튜닝을 통해 기본 베이스모델의 성능을 향상시키고 최종적으로 anchor box optimization을 적용해 최적의 anchor box를 찾고 이를 학습에 적용했을 때, 최고 성능을 달성할 수 있었다.

4. Co-DINO

4-1 모델 탐색 및 선정

최적의 모델을 찾기 위해 Papers with Code를 참고하여 SOTA 모델들을 후보로 선정하고 성능을 평가했다.

Model	Backbone	Pre-training Dataset	Fine-Tuning Dataset split	validation mAP50	testmAP50
Co-Deformable-DETR	R50	COCO	Train set		0.3341
Co-DINO	Swin-T	COCO	Train-Validation split	0.4220
Co-DINO	Swin-L	COCO	Train-Validation split	0.7170	0.7071
Co-DINO	Swin-L	COCO	Train set	****	0.7190
Co-DINO	Swin-L	COCO	5-fold CV	****	0.7283

[표 8] DETR 기반 모델의 구조 및 학습 데이터에 따른 성능 비교 (test mAP50)

실험 결과, Model 부분에서는 Co-DINO가 가장 우수한 성능을 나타내었다. Co-DINO 모델의 특성을 분석한 결과, 해당 모델은 Contrastive Denoising 기법을 활용하여 효율적인 앵커 박스를 추출하고 객체 검출 성능을 향상시킬 수 있었던 것으로 판단된다.

Backbone 모델에서는 이전의 실험결과가 증명하듯, Transformer 기반의 Swin-L가 가장 높은 성능을 나타내었다. 실험에서 COCO 데이터셋으로 pre-training된 모델 가중치를 활용하였고, 학습 데이터의 분할 방법을 바꿔가며 성능을 비교했다.

K-fold cross validation testing 방법으로 데이터셋을 분할하여 학습한 뒤 앙상블하여 결과를 냈을 때, 가장 높은 성능을 보임을 알 수 있었다. 이에 따라 데이터셋을 Fold로 분할하고 앙상블하는 방법을 채택하였고, 베이스라인 모델로는 Co-DINO 모델을 선정하였다.

4-2 하이퍼파라미터 튜닝

경진대회라는 특성상 시간적 제약이 존재하였고 Co-DINO Swin-L 모델은 12에폭 학습에 약 36시간 걸리는 문제가 존재하여 기존 논문에서 찾아낸 최적의 하이퍼파라미터를 참고하여 기준으로 사용하였다.

Optimizer는 AdamW, learning rate 0.0002, input image size 1280×1280을 기준으로 사용하였다.

Model	Backbone	Fine-Tuning Dataset	Input image size	validationmAP50	testmAP50
Co-DINO	Swin-T	Train-validation split	(1024, 1024)	0.4160
Co-DINO	Swin-T	Train-validation split	(1280, 1280)	0.4220
Co-DINO	Swin-T	Train-validation split	(1536, 1536)	0.0720
Co-DINO	Swin-L	Train set	(512, 512)		0.6686
Co-DINO	Swin-L	Train set	(1280, 1280)	****	0.7790

[표 9] Co-DINO 하이퍼파라미터에 따른 성능 비교

이전 실험들에서 입력 이미지의 크기가 클수록 해상도가 높아져 다양한 객체를 탐지할 수 있을 것을 확인했다. 이를 Co-DINO 모델에도 적용해보기 위해 다양한 입력 이미지 크기에서의 모델의 성능을 확인하였다.

[표 9]를 보면 이미지가 원본에 비해 작을수록 정보 손실이 일어나 성능이 떨어진 것을 확인할 수 있었다. 그러나 이미지 크기를 1280x1280 이상으로 키웠을 때는 오히려 성능이 떨어지는 것을 확인하였다. 그 이유로 특정 사이즈 이상의 이미지에서는 backbone의 window의 크기 및 모델 아키텍처의 구조 상 feature 정보를 제대로 뽑아내지 못하는 것으로 예상하였다.

4-3 데이터 증강

데이터 증강법으로는 SOTA 논문에서 제공하는 LSJ 증강법을 활용하였다. 이 후 Super resolution 및 Center Crop을 통해 모델의 일반화 성능을 개선하고 작은 box에서의 객체 탐지 성능 향상을 도모했다.

a. Large Scale Jittering

Scale Jittering Augmentation이란, 이미지의 크기를 조정하거나 잘라내는 방식의 증강법이다. 대표적으로 SSJ 방식과 LSJ 방식이 있는데, SSJ는 이미지를 0.8~1.25배, LSJ는 이미지를 0.1~2.0배 이내에서 크기를 조정한 뒤 이미지를 무작위로 자르고 랜덤 좌우 반전변환을 적용하여 데이터의 다양성을 증가시켜 모델이 다양한 상황에서 좋은 성능을 낼 수 있도록 한다.

우리 모델에서는 더 뛰어난 성능을 보여준다고 알려진 LSJ 증강을 적용하였다.

b. Super Resolution & Center Crop

[그림 12] EDSR 기법 예시 (Lim, Bee, et al. "Enhanced deep residual networks for single image super-resolution." Proceedings of the IEEE conference on computer vision and pattern recognition workshops. 2017.)

입력 이미지의 해상도가 증가함에 따라 더 작은 객체를 탐지할 수 있도록 EDSR 기법을 활용하여 원본 Train 이미지를 기존 (1024, 1024)에서 (2048, 2048)로 증가시킨 뒤 학습에 사용하여 성능을 비교하였다. 이때, 해상도는 증가시키면서 입력 이미지의 크기를 (1024, 1024)로 유지할 수 있도록 Center Crop기법을 사용하였다.
이 방법을 통해 높은 해상도의 Center Crop 된 3909장의 이미지를 추가로 생성하여 7818장으로 데이터셋을 확장시켜 학습하였다.

[그림 13]을 보면 학습 데이터셋의 큰 변화로 적은 에폭에서는 오히려 성능이 떨어지는 결과가 나왔다. 이러한 결과는 추가적으로 학습을 진행하거나 하이퍼파라미터를 미세 조정하여 학습을 더 진행하면 성능이 올라갈 가능성이 있는 것으로 보였다. 하지만 학습 시간이 2배로 증가하여 경진대회라는 구조 상 실험을 중단하는 것으로 결정하였다.

4-4 Co-DINO 결론

Model	Backbone	Pretraining Dataset	Fine-Tuning Dataset	Input image size	validation mAP50	testmAP50
Co-Deformable-DETR	R50	COCO	Train set	(400~800)
(multi-size)		0.3341
Co-DINO	Swin-T	COCO	Train-validation split	(1024, 1024)	0.4160
Co-DINO	Swin-T	COCO	Train-validation split	(1280, 1280)	0.4220
Co-DINO	Swin-T	COCO	Train-validation split	(1536, 1536)	0.0720
Co-DINO	Swin-T	COCO	Train-validation split	(1280, 1280)	0.7170	0.7071
Co-DINO	Swin-T	COCO	Train set	(512, 512)		0.6686
Co-DINO	Swin-T	COCO	Train set	(1280, 1280)		0.7190
Co-DINO	Swin-T	COCO	5-fold CV	(1280, 1280)		0.7283

[표 10] DETR 기반 모델 성능 최종 비교 (mAP50)

최종적으로 Co-DINO 모델을 COCO 데이터셋으로 사전학습된 가중치를 가져와서 우리의 학습 데이터로 fine-tuning 하여 사용했다. 학습 데이터는 5개의 Fold로 나누고 이를 앙상블 했을 때, 가장 좋은 결과를 낼 수 있었다.

최종 모델을 선택하는 과정에서 이미지 사이즈를 키워 해상도를 높이는 방법으로 성능을 향상시키고자 하였지만 1280x1280 이상의 해상도에서는 오히려 성능이 떨어짐을 알 수 있었다. 마지막으로 SR 방법으로 학습 데이터의 양을 증가시켜 성능 향상을 도모했지만 학습 시간이 너무 오래 걸리는 문제로 기존의 데이터 lsj 증강 기법만을 사용하여 학습했다.

5. 앙상블

Object Detection Task 에선 대표적으로 NMS, soft NMS, NMW, WBF 4가지의 앙상블 기법이있다. 간단한 기본 모델에 대해서 각 앙상블의 성능을 평가한 뒤, 결과가 좋았던 앙상블 기법으로 최종 결과물을 만들었다.

• 5-Fold 결합 앙상블
  • 모델을 5-Fold cross validation testing 방법으로 학습했을 때, 각 Fold를 합치기 위한 앙상블
• Different 모델 앙상블
  • 서로 다른 모델들의 결과를 합치기 위한 앙상블

5-1 5-Fold 결합 앙상블 기법 탐색

Model	5-Fold 결합 앙상블	test mAP50
ATSS	1 Fold	0.6716
	NMS	0.6869
	Soft-NMS	0.6779
	NMW	0.6895
	WBF	0.6978

[표 11] 5-Fold 결합 앙상블에서 앙상블 기법에 따른 ATSS 성능 비교 (test mAP50)

단일 Fold로 성능이 좋았던 모델 중 하나인 ATSS 모델로 5-Fold 결합 앙상블 기법에 따른 성능을 비교했다. 성능이 가장 좋았던 기법과 두 번째로 좋았던 기법인 NMW와 WBF 2가지로 나머지 단일 모델의 5-Fold 결합과 서로 다른 모델들의 앙상블을 수행하기로 결정했다.

5-Fold 결합 앙상블 기법을 사용하여 Different 모델 앙상블에 재료로 쓰일 모델들을 요약하면 다음과 같다.

Model	5-Fold 결합 앙상블	test mAP50
ATSS	WBF	0.6978
Cascade RCNN	WBF	0.6276
UniversNet	WBF	0.6266
CO-DINO	NMW	0.7283
YOLOv5x6	x	0.5013

[표 12] 5-Fold cross validation testing 방법으로 학습했던 모델들의 5-Fold 결합 앙상블 결과

앙상블 기법	ATSS	Cascade RCNN	UniversNet	Co-DINO	YOLOv5x6	test mAP50
WBF	o	o				0.7055
NMW	o	o				0.7118
NMW	o	o	o			0.6948
WBF	o			o		0.7198
NMS	o			o		0.7217
NMW	o	o		o		0.7327
NMW	o	o		o	o	0.7553

최종적으로 ATSS, Cascade RCNN, Co-DINO, YOLOv5x6 을 NMW 기법으로 앙상블 했을 때, 가장 좋은 성능을 보였고 대회를 2등으로 마무리할 수 있었다. 특이한 점은 YOLOv5x6 의 모델의 경우 다른 모델들에 비해 결과가 엄청 낮은데, 앙상블을 같이 했을 때 높은 성능을 낼 수 있었다. YOLOv5x6 모델이 정확하게 맞출 수 있는 것들에 대해서만 bounding box를 치는 경향성 때문에 앙상블 했을 때 좋은 결과가 나온 거 같다.

(YOLOv5x6 의 경우 Fold를 나누지 않고 학습한 모델을 사용했다.)

5-2 Different 모델 앙상블

성능이 높았거나 bouding box 탐지가 좋았던 [표 12]의 모델들을 여러가지 방법으로 앙상블하고 성능일 비교했다.

개인 회고

모델 개선
Yolo 모델보다는 DETR, DINO 모델이 성능이 38% 이상 좋아서 Yolo는 후순위로 남겨져 있었다. 하지만 Yolo는 앙상블에 좋은 역할을 하고 많이 사용되는 모델이기 때문에 끝까지 구현하고자 했다. 대회의 리더보드도 중요하지만 Object detection에는 Yolo가 많이 사용되기 때문에 이번 기회에 배워보고자 학습했다. 그 결과 Yolo 모델에 대한 이해와 튜닝을 적용할 수 있는 정도가 되었다. 이번 대회에서의 목표를 달성할 수 있었다. 또한 Yolo와 앙상블을 통한 결과가 정확도 2% 향상으로 대회에서 2등을 할 수 있는 결과를 만들었다.
Yolo 모델로 anchor box optimization, hyperparameter, augmentation, layer freeze 등 여러 가지 실험을 해보았고, 최적의 값들을 찾을 수 있었다. Layer freeze는 하지 않는 것이 유리하다고 판단하여 freeze를 진행하지 않기로 결정했다.

배운점
끝까지 포기하지 않고 꾸준히 노력하는 하는 사람은 대가가 온다고 자주 들었다. 이번 프로젝트에서 다시 한번 느낄 수 있었다. Yolo 모델의 성능은 다른 모델보다 낮은 것으로 판단하여 Yolo에 집중보단 다른 모델에 집중하는 것이 좋다고 생각했다. 하지만, 두 가지의 문제가 있었다. 첫 번째는 Confidence Score 순으로 정렬을 해야 한다는 점이다. 이를 고려했다면 test-acc는 더 높았을 것으로 예상한다. 두 번째는 Yolo는 앙상블에 사용하면 성능에 도움이 된다는 점이다. 낮은 정확도였지만, 다양한 모델에 사용하면 정확도를 향상하는 것을 볼 수 있었다. 리더보드 7등에서 2등이 될 수 있었던 이유는 yolo를 활용했기 때문이다. 알고 있었다면 yolo의 성능 향상을 위해 더 노력했을 것이다. 끝까지 노력하는 자세가 배울 수 있는 계기였다.

개선방향
끝까지 포기하지 않는 것이 제일 중요할 것 같다. 충분한 시간이 주어졌지만, 시간에 쫓겨 최종 제출했다는 점에서 반성해야 한다고 생각한다. 궁금한 부분이 있으면 분석하는 자세를 가져야 한다. 앙상블 코드는 10분 이내에 완료되는 것으로 알고 있지만, 이번 앙상블 코드는 2식간 30분이 소요됐다. 의아했지만 csv 파일이 크기 때문에 발생한 일이라 생각했지만, 결국 코드의 문제가 맞았다. 원래 생각했던 것과 다르면 수긍하는 것이 아닌 분석에 따른 이해가 중요하다고 생각한다.