Contextual Transformer Networks for Visual Recognition_3

4 EXPERIMENTS

📌 ImageNet에서 CoTNet 이미지 인식 실험 정리

1️⃣ 실험 개요

✅ 데이터셋: ImageNet

• 1,000개 클래스(Class)
• 128만 개 학습 이미지 (Training Images)
• 50,000개 검증 이미지 (Validation Images)
• ✅ 평가 방식: Top-1 & Top-5 정확도 측정
• Top-1 정확도: 모델이 예측한 1순위 클래스가 정답과 일치할 확률
• Top-5 정확도: 모델이 예측한 상위 5개 클래스 중 하나라도 정답이 포함될 확률

✅ 학습 방식: 기본 학습 설정(Default Setup) vs. 고급 학습 설정(Advanced Setup)

• 기본 학습 (Default Training Setup) → 기존 CNN 모델(ResNet, ResNeXt, SENet 등)에서 사용한 전통적인 방식
• 고급 학습 (Advanced Training Setup) → 최신 백본(ResNeSt, EfficientNet 등)과의 공정한 비교를 위한 강화된 학습 설정

2️⃣ 기본 학습 설정 (Default Training Setup)

✅ 기존 CNN(ResNet, ResNeXt, SENet 등)에서 사용한 표준적인 학습 방식

• 네트워크를 약 100 Epoch 동안 학습
• 기본적인 데이터 전처리(Preprocessing)만 수행

✅ 기본 이미지 전처리 (Standard Image Preprocessing)

1. 입력 이미지는 224×224 크기로 크롭(Crop, 자르기)
2. 랜덤 크롭(Random Crop) → 다양한 위치에서 자름
3. 수평 뒤집기(Horizontal Flip) → 50% 확률로 좌우 반전
   추가적인 데이터 증강(Augmentation) 없음

✅ 기본 하이퍼파라미터 설정

• End-to-End 학습(처음부터 끝까지 한꺼번에 학습하는 방식)
• SGD(확률적 경사 하강법) + 모멘텀 0.9 적용 (더 빠르고 안정적인 학습)
  • Momentum: 학습할 때, 이전 업데이트 방향을 일부 유지하여 학습을 더 빠르고 부드럽게 진행하는 방법
• 라벨 스무딩(Label Smoothing) 0.1 적용 (모델의 과적합 방지)
• 배치 크기(Batch Size) = 512
  • 8개의 GPU를 사용하여 병렬 학습(Parallel Training)
  • 병렬 학습을 하면 더 큰 배치 크기를 사용할 수 있어 학습 속도 향상

✅ 학습률 스케줄링 (Learning Rate Scheduling)

• 첫 5 Epoch 동안 학습률을 0에서 0.1× 256/B 까지 선형적으로 증가 (Warm-up)
• 이후 Cosine Schedule을 사용하여 점진적으로 학습률 감소

✅ 지수 이동 평균 (Exponential Moving Average, EMA) 적용

• 가중치 0.9999를 사용하여 학습 중 모델을 점진적으로 업데이트

3️⃣ 고급 학습 설정 (Advanced Training Setup)

✅ 최신 백본(ResNeSt, EfficientNet, LambdaNetworks 등)과 공정한 비교를 위해 강화된 학습 설정 적용
✅ 350 Epoch까지 학습 (기본 설정 대비 3.5배 더 많은 Epoch 진행)
✅ 향상된 데이터 증강 & 정규화 적용
✅ 추가된 데이터 증강 기법 (Data Augmentation)

• RandAugment → 다양한 데이터 변형 적용
• Mixup → 두 개의 이미지를 섞어서 학습

✅ 추가된 정규화 기법 (Regularization)

• Dropout 적용 → 일부 뉴런을 무작위로 비활성화하여 과적합 방지
• DropConnect 적용 → 가중치 일부를 무작위로 비활성화하여 일반화 성능 향상

📌 최종 정리

✅ ImageNet 데이터셋에서 CoTNet을 학습하여 성능 검증
✅ 기본 학습(Default Setup)에서는 기존 CNN 모델과 동일한 조건에서 실험 진행 (100 Epoch, 기본 데이터 증강 적용)
✅ 고급 학습(Advanced Setup)에서는 최신 모델들과 비교하기 위해 350 Epoch + 추가적인 데이터 증강(Augmentation) 및 정규화(Regularization) 적용
✅ CoTNet은 기존 CNN뿐만 아니라 최신 백본 모델(ResNeSt, EfficientNet)과도 비교 가능하도록 학습됨

Performance Comparison (성능 비교)

ImageNet 데이터셋에서 기존 최신 비전 백본들과 CoTNet을 비교한 성능 결과를 제시한다.
비교 실험은 두 가지 학습 설정(Default Training Setup, Advanced Training Setup)에서 수행되었다.

기본 학습 설정 (Default Training Setup) 성능 비교

✅ CoTNet-50 & CoTNeXt-50은 기존 CNN 백본(ResNet-50, ResNeXt-50)보다 높은 정확도를 기록
✅ SE-ResNeXt-50, LambdaResNet-50과 같은 최신 백본보다도 성능이 우수
✅ FLOPs(연산량)가 적으면서도 높은 성능을 유지 → 효율적인 모델
✅ EMA 적용(CoTNeXt-50*) 시 성능이 더욱 향상됨

Table 4: 고급 학습 설정 (Advanced Training Setup) 성능 비교

✅ 고급 학습 설정에서도 CoTNet 계열(SE-CoTNetD-50, SE-CoTNetD-101)이 기존 ResNet, ResNeXt보다 성능이 우수
✅ EfficientNet, Swin Transformer와 같은 최신 백본과 비교해도 성능이 더 뛰어남
✅ Transformer 계열(Swin, XCiT)은 성능은 좋지만 연산량(FLOPs)이 높아 속도가 느림 → CoTNet은 연산 효율성까지 뛰어남

Table 5: CoT 블록의 문맥 정보 활용 방식에 따른 성능 비교

✅ 정적 문맥 정보(Static Context)만 사용할 경우 정확도가 낮음
✅ 동적 문맥 정보(Dynamic Context)만 사용해도 성능이 향상됨
✅ 정적+동적 문맥 정보를 직접 결합(Concatenate)하는 방식이 가장 효과적
✅ 즉, CoT 블록에서 문맥 정보를 최적화하여 적용한 것이 CoTNet의 높은 성능을 만드는 핵심 요인!

Fig. 3: 기본 학습 설정에서 추론 속도 vs. 정확도 비교

✅ SE-CoTNetD-50, SE-CoTNetD-101이 가장 높은 정확도를 기록하면서도 추론 시간이 빠름
✅ ResNet-50, ResNet-101은 추론 속도는 빠르지만 정확도가 낮음
✅ LambdaResNet, SAN19 등의 최신 모델보다도 CoTNet 계열의 성능이 우수

📌 즉, CoTNet 계열(SE-CoTNetD-50, SE-CoTNetD-101)이 기존 ResNet, ResNeXt보다 성능이 더 뛰어나고, 최신 백본(LambdaResNet, SAN19)보다도 높은 정확도를 기록함! 🚀

Fig. 4: 고급 학습 설정에서 추론 속도 vs. 정확도 비교

✅ SE-CoTNetD-152(320)가 최고 정확도(84.6%)를 기록하며 기존 모델들을 압도
✅ Swin Transformer, XCiT 등 최신 Transformer 모델보다도 정확도가 높음
✅ ResNet-50, ResNeXt-50 등 기존 CNN 모델들은 빠른 추론 속도를 보이지만 정확도가 낮음

📌 즉, CoTNet 계열이 기존 CNN보다 높은 성능을 기록하면서도 연산 효율성을 유지함! 🚀