👀 YOLO(You Look Only Once)

YOLO는 실시간 객체 검출(Real-time Object Detection)을 위해 개발된 딥러닝 기반 모델입니다. 전통적인 객체 검출 방식과 달리, YOLO는 이미지를 한 번에 전체적으로 분석하여 객체를 검출하고, 각 객체의 위치와 클래스 정보를 동시에 예측합니다. 이 접근 방식 덕분에 높은 속도와 비교적 안정적인 정확도를 동시에 달성할 수 있습니다.

핵심 아이디어

• 이미지를 S x S 그리드로 분할
• 각 그리드 셀에서 객체 중심이 존재하면 검출 담당
• Bounding Box + Confidence Score + Class Probability 동시 예측

특징

• 한 번의 forward pass로 전체 이미지 객체 검출 가능
• GoogLeNet 기반 구조 → Convolutional Layer로 특징 추출, Fully Connected Layer로 좌표/클래스 예측
• 다양한 크기, 종횡비의 객체를 동시에 처리 가능
• 실시간 성능 최적화

장점

• 빠른 속도와 안정적인 정확도
• 단일 네트워크로 객체 존재 여부, 위치, 클래스 정보 모두 예측
• 기존 방식(Region Proposal 기반) 대비 단순하고 효율적

📌 Unified Detection

YOLO(You Only Look Once)는 입력 이미지를 𝑆×𝑆 그리드로 분할하여 객체를 검출합니다. 어떤 객체의 중심이 특정 그리드 셀 안에 위치하면, 그 셀에서 해당 객체를 감지합니다. 각 그리드 셀은 𝐵개의 bounding box와 각 박스의 confidence score를 예측합니다.

Confidence score: bounding box가 실제 객체를 포함할 확률과 예측된 박스가 객체에 얼마나 잘 맞는지를 나타내는 지표

각 bounding box는 다음 5가지 정보를 포함합니다.

X, Y: 그리드 셀 내에서 bounding box 중심의 상대 좌표

W, H: 이미지 전체에 대한 상대 너비와 높이

Confidence: 박스의 신뢰도

또한, 각 그리드 셀은 Conditional Class Probability를 예측합니다.

Conditional Class Probability: 그리드 셀 안에 객체가 존재한다는 조건 하에서, 해당 객체가 특정 클래스일 확률

테스트 단계에서는 Conditional Class Probability와 bounding box의 Confidence Score를 곱하여 Class Specific Confidence Score를 계산합니다.

lass Specific Confidence Score: bounding box가 특정 클래스 객체를 포함할 확률과 해당 박스가 객체에 얼마나 잘 맞는지를 나타내는 값

YOLO의 아키텍처는 Google의 GoogLeNet 이미지 분류 모델에서 영감을 받았으며, 24개의 Convolutional Layer와 2개의 Fully Connected Layer로 구성됩니다.

Convolutional Layers: 이미지 특징(feature) 추출

Fully Connected Layers: 클래스 확률 및 bounding box 좌표 예측

GoogLeNet의 인셉션 모듈과 달리, YOLO는 1×1 축소 계층(reduction layer)과 3×3 합성곱 계층(convolutional layer)으로 구성됩니다.

📌 Training

YOLO는 ImageNet 데이터셋으로 사전 학습된 분류 모델을 객체 검출 모델로 전환하여 학습합니다. 기본 구조는 20개의 Convolutional Layers와 2개의 Fully Connected Layers로 이루어져 있으며, 성능 향상을 위해 추가로 4개의 Convolutional Layers와 2개의 Fully Connected Layers가 포함됩니다.

마지막 계층: 선형 활성화 함수
나머지 계층: Leaky ReLU

Loss 함수로는 SSE(sum-squared error)를 사용합니다. SSE는 학습 최적화가 쉽다는 장점이 있지만, Localization Loss와 Classification Loss가 동일한 가중치를 가져 mAP 향상에는 최적이 아닐 수 있습니다.

Localization Loss: bounding box 위치 예측 정확도

Classification Loss: 클래스 예측 정확도

학습 과정에서 대부분의 그리드 셀에는 객체가 없기 때문에, 학습이 불균형적으로 이루어질 수 있습니다.
이를 보완하기 위해

객체가 있는 bounding box: Loss 증가
객체가 없는 bounding box: Loss 감소

또한, 작은 bounding box보다 큰 bounding box는 위치 변화에 덜 민감하므로, Width와 Height에 제곱근(square root)을 적용하여 Loss 가중치를 조정합니다.
bounding box 선택 시, 여러 후보 중 IoU(Intersection over Union)가 가장 높은 박스를 선택하여 객체를 정확히 감싸도록 학습합니다.

이를 통해 YOLO는 다양한 크기, 종횡비, 클래스 객체를 예측할 수 있는 능력을 갖추게 됩니다.

📌YOLO 아키텍처 개요

1. 입력 이미지 -> S x S 그리드로 분할
   └> 각 그리드 셀은 객체 중심이 존재하면 감지 담당

2. 각 그리드 셀 예측
   ├─ B개의 Bounding Box
   │ ├─ X, Y : 그리드 내 중심 좌표
   │ ├─ W, H : 이미지 전체에 대한 상대 너비/높이
   │ └─ Confidence Score : 박스 신뢰도
   └─ Conditional Class Probability
   └> 그리드 셀에 객체가 있을 조건 하에 클래스 확률

3. 테스트 단계
   └─ Conditional Class Probability × Confidence Score
   └> Class Specific Confidence Score
   └> 해당 클래스 객체가 박스에 존재할 확률 × 박스 적합도

4. 네트워크 구조
   ├─ Convolutional Layers (24개)
   │ └> 이미지 특징 추출
   ├─ Fully Connected Layers (2개)
   │ └> 클래스 확률 및 bounding box 좌표 예측
   └─ 특징
   ├─ 1x1 축소 계층
   └─ 3x3 합성곱 계층
   └> GoogLeNet 인셉션 모듈과 다름

5. 학습(Training)
   ├─ 사전 학습: ImageNet 기반 분류 모델 전환
   ├─ 추가 계층: +4 Conv, +2 FC (성능 향상)
   ├─ 활성화 함수
   │ ├─ 마지막 계층: 선형
   │ └─ 나머지: Leaky ReLU
   └─ Loss: SSE (Sum-Squared Error)
   ├─ Localization Loss: bounding box 위치 정확도
   ├─ Classification Loss: 클래스 예측 정확도
   ├─ 학습 불균형 보정
   │ ├─ 객체 있는 박스: Loss 증가
   │ └─ 객체 없는 박스: Loss 감소
   └─ Bounding Box 가중치 조정
   ├─ W, H → sqrt 적용 (작은 박스 민감도 증가)
   └─ IoU 최대 박스 선택 (정확한 객체 감싸기)

6. 결과
   └─ 다양한 크기, 종횡비, 클래스 객체 예측 가능

---

질문 모음

⁉️ 하나의 그리드 셀이 여러 객체를 포함하면 어떻게 처리될까?

YOLO는 한 그리드 셀당 하나의 객체만 담당합니다.
만약 셀 안에 객체가 여러 개면, 모델은 가장 중심이 셀에 가까운 객체만 예측하고 나머지는 다른 셀에서 감지되도록 합니다.

⁉️ B개의 bounding box를 예측하는 이유는 무엇일까?

하나의 셀에서 객체 위치가 정확히 어디인지 모를 수 있으므로 여러 후보 박스(B개)를 예측합니다.
학습 중 가장 실제 객체와 잘 맞는 박스를 선택해 최종 예측에 사용합니다.

⁉️ Loss 함수로 SSE(sum-squared error)를 쓰는 이유는 무엇일까?

SSE는 위치, 크기, 클래스 예측 모두 동일하게 가중치를 두고 계산할 수 있어 구현과 최적화가 쉽습니다.
단점: 작은 객체나 클래스 불균형에는 최적화가 잘 안 될 수 있습니다.

⁉️ Bounding Box 선택 시 IoU가 가장 높은 것을 선택하는 방법은 어떤 의미일까?

IoU(Intersection over Union)가 높은 박스는 실제 객체를 가장 잘 감싸는 박스입니다.
학습과정에서 이를 기준으로 선택하면 모델이 객체 위치를 정확히 예측하도록 유도할 수 있습니다.

⁉️ YOLO가 실시간 객체 검출에 강한 이유는 무엇일까?

이미지 전체를 한 번에 처리해 모든 객체를 동시에 예측하기 때문입니다.
Region Proposal 같은 단계적 처리 없이 단일 네트워크 구조로 끝내기 때문에 속도가 빠릅니다.

⁉️ YOLO가 작은 객체를 잘 잡지 못하는 경우가 있는데, 이유가 뭘까?

작은 객체는 그리드 셀 하나에 완전히 들어가거나, 셀 크기에 비해 너무 작아서 객체 중심이 정확히 맞지 않으면 감지 어려움
그리드 분할 방식과 상대 좌표 계산 때문에 작은 객체에 대한 예측 정확도가 낮아집니다.

⁉️ YOLO 결과를 후처리(NMS 등) 없이 바로 사용할 수 있을까?

보통은 Non-Maximum Suppression(NMS)을 사용해 겹치는 박스를 제거합니다.
후처리 없이 바로 쓰면 동일 객체가 여러 박스로 중복 검출될 수 있어 실무에서는 거의 필수입니다.

---

References

• YOLO paper: https://arxiv.org/pdf/1506.02640
• YOUTUBE Object Detection Part 5: You Only Look Once (YOLO), YOLOv1 Architecture: https://youtu.be/J__DmmGBcdU?si=vzrMkXGzENPt1cvf