머신러닝에서 데이터를 넣을 때 df.describe()로 데이터 분포를 확인하고 이상치를 제거하는 등의 과정을 전처리라고 하였다.
딥러닝, 특히 이미지 모델에서는 이러한 전처리가 필요 없을까?
...
있다! 이미지 모델 전처리 과정은 크게 다음과 같이 진행된다.
이미지 로드 -> (선택) Gray scale => 이미지 리사이징 -> 이미지 정규화 -> 이미지 노이즈 처리 -> 이미지 정규화
그 중에서도 이미지 크기와 처리 면에서 중요하게 다뤄지는 리사이징(Resizing)과 정규화(Normalization).
'왜' 위 두 과정이 모델에 이미지 입력전 필요한지 살펴보겠다.
(* 실험환경: 코랩)
(** 실험 이미지 출처)
1. 리사이징(Resizing)
-
뜻:크기를 축소하거나 이미지 크기를 통일시키는 것
-
이유:
- 리사이징 전: 이미지 크기가 크면 그만큼 GPU 메모리를 많이 차지.(변수량 많아져 처리속도가 많인 느려짐)
-리사이징 후: 같은 크기가 되어 한 번에 여러 이미지 처리 가능 & 작은 크기일수록 빠른 연산 가능
=> 이미지 처리 양과 속도에 영향
-
방법
1) 픽셀 단위- 단순:
cv2.resize(image,(width, height)) - 보간:
cv2.resize(image, (width, height)),interpolation=cv2.INTER_AREA)(각 픽셀에 연결지점을 어떻게 연결시켜줄지)
2) 이미지 높낮이: 실제 이미지 배열에 직접 접근
- x,y,width,height 지정 ->
image_resized[y:y+height, x:x+width]
- 단순:
Q. cv2. 란?
A. OpenCV(Open Source Computer Vision Library)의 파이썬 버전으로 이미지 처리를 위한 가장 널리 사용되는 라이브러리이다. 이미지를 BGR(Blue-Green-Red)순으로 읽는다.
Q. 사이즈는 어떻게 결정?
A. 보통 input 이미지 크기에 맞춰 결정(e.g. ResNet 224x224, YOLO 608x608 등)
Q. 사이즈를 줄이는 과정에서 정보 손실이 일어나지 않는지?
A. 일어난다. 하지만 '핵심 특징'만 추출하는 것이 목표이므로 적절한 크기 조정으로 조정해도 괜찮다. (여기서 핵심특징 예시는?)
- 기대 효과: 계산 속도 상승, 성능 개선
2. 정규화(Normalization)
-
뜻: 픽셀 값의 범위를 일정하게 맞춰주는 것
-
이유
- 정규화 전: 픽셀 값 범위는 0~255. 이 큰 값들이 모델 학습에 방해
- 정규화 후: 픽셀 값 범위를 작게 하여 경사하강법이 안정적으로 동작하게 하고 적절한 분포로 활성화 함수가 효과적으로 작동하게 한다. 결과적으로는 학습 속도 향상!
Q. 정규화를 하면 픽셀값 범위를 줄이는 것인데 이미지 변화가 생기는 것은 아닌지?
A.
=> 정규화는 정보 손실 없이 학습 최적화를 위해 단순히 숫자 범위만 바꾸는 과정.(like 온도를 섭씨 -> 화씨로 바꾸는 것 처럼. 실제 의미는 동일한 것!)
- 방법
- <밝기와 대비가 다양한 이미지> Min-Max 정규화- <단순한 전처리, Grayscale 이미지> Mean 정규화
- <Scale에 민감한 모델> Z-score 정규화
- <수치가 큰 이미지 데이터> Decimal 정규화
- <이미지 유사도 분석이나 클러스터링> L2 정규화
- <이상치가 많은 데이터> Robust 정규화
- 기대 효과: 더 빠르고 안정적인 수렴
기술 면접 대비 한 줄 요약: 리사이징은 이미지 크기를 통일 & 메모리 절약 => 더 효율적인 배치 처리 가능하게 함
/ 정규화는 픽셀값 범위를 조정 -> 모델 학습을 안정화하고 수렴 속도를 높임
참고
이미지 전처리 - 리사이징1
이미지 전처리 - 리사이징2
이미지 전처리 - 정규화
