1. CSRNet (Congested Scene Recognition Network)
CNN 백본(VGG-16)과 dilated convolution을 활용하여 넓은 수용영역을 확보하고, 군중 밀집 지역의 밀도를 예측하는 방식.
2. MCNN (Multi-Column CNN)
서로 다른 커널 크기를 가진 3개의 병렬 CNN을 사용하여 다양한 스케일의 정보를 학습하는 모델.
3. SCAR (Scale-aware Crowd Counting)
다중 스케일 특징을 동적으로 조절하여 군중 밀도에 맞게 적절한 스케일을 강조하는 모델.
4. SANet (Scale Aggregation Network)
다중 스케일 합성곱을 사용하여 서로 다른 크기의 특징을 효과적으로 조합하는 모델.
5. Transformer 기반 모델 (CCTrans 등)
Self-Attention을 활용하여 이미지 내 여러 스케일에서 정보를 추출하고, 군중 계수를 예측하는 방식.
2️⃣ Multi-Scale Crowd Counting 관련 논문 & 코드 분석
✅ 최신 연구를 통해, 실제 PCB 검사 적용 가능성을 평가
(1) 필수 논문 📄
💡 Multi-Scale 군중 계수 연구 트렌드
📌 논문을 읽을 때, Multi-Scale Feature Extraction 방식에 집중해서 분석
| 논문 | 주요 특징 |
|---|---|
| MCNN (Multi-Column CNN, CVPR 2016) | 다른 크기의 커널을 사용하여 Multi-Scale Feature Extraction |
| CSRNet (Congested Scene Recognition Network, CVPR 2018) | Dilated CNN 활용 (Atrous Conv) |
| SANet (Scale Aggregation Network, ECCV 2018) | 다중 스케일 피처를 효과적으로 결합 |
| SCAR (Scale-Aware Crowd Counting, 2019) | Spatial & Channel Attention 기반 Multi-Scale Feature Fusion |
| CCTrans (Transformer 기반 Counting, 2021) | CNN 대신 Transformer 사용하여 Global & Local Feature 학습 |
🔹 논문 읽기 추천 순서
1️⃣ MCNN → 2️⃣ CSRNet → 3️⃣ SCAR/SANet → 4️⃣ CCTrans
(2) 코드 실습 🔧
✅ 논문만 읽으면 이해하기 어려우니, 직접 코드를 실행하면서 구조를 익히기
- MCNN PyTorch 코드: https://github.com/ZhihengCV/Multi-Column-CNN-Crowd-Counting
- CSRNet PyTorch 코드: https://github.com/leeyeehoo/CSRNet-pytorch
- SANet PyTorch 코드: https://github.com/VisDrone/SANet
💡 분석 포인트
1️⃣ Feature Extractor가 어떻게 Multi-Scale 정보를 처리하는지 확인
2️⃣ Dilated CNN / FPN / Transformer 기반인지 분석
3️⃣ PCB 검사 모델과 비교: 기존 모델과의 차이점 찾기
3️⃣ Multi-Scale Feature 적용 실습
✅ 실무 적용을 위해 PCB 데이터셋으로 Multi-Scale Feature를 실험해 보기
(1) PCB 데이터 준비 & 전처리
✔ 기존 PCB 이미지 데이터 → Crowd Counting 방식으로 변환 가능?
✔ PCB 부품을 작은 객체(사람)처럼 보고 밀도 맵 생성 가능 여부 확인
✔ Data Augmentation 실험: Affine Transform, Color Jitter, Noise, Blur 등
(2) Multi-Scale Feature Extraction 비교 실험
✅ PCB 검사 모델에서 어떤 방식이 가장 효과적인지 실험
| 실험 모델 | 핵심 개념 |
|-----------|----------|
| Baseline CNN (ResNet, VGG) | 기존 모델 (비교 대상) |
| Dilated CNN (CSRNet 방식) | 큰 수용 영역 활용 |
| Multi-Column CNN (MCNN) | 다른 커널 크기로 Multi-Scale 정보 추출 |
| Feature Pyramid Networks (FPN) | 해상도별로 다른 Feature 학습 |
| Transformer 기반 (CCTrans) | Attention 기반 다중 스케일 학습 |
📌 결과 분석
- 어떤 모델이 PCB 검사에서 정확도가 더 높은지 실험
- Multi-Scale Feature가 작은 부품과 큰 부품을 동시에 잘 인식하는지 확인
- 실무 적용 가능 여부 평가
