ISP
목차
1. 색 공간(RGB, CMYK, YUV, HSV/HSL/HSI)
2. ISP
3. 3A
색 공간(RGB, CMYK, YUV, HSV/HSL/HSI)
색 공간
• 이미지를 표현하고 처리할 때 기본적으로 사용되는 체계
RGB
• Red, Green, Blue 3가지 주요 채널로 구성.
• 각 pixel의 색상은 이 3 채널의 다른 세기를 조합하여 표현
• 가산 색 모델(Additive Color Model)로, 빛의 ‘가산 혼합’에 기반한 색상 표현 방식
(가산 혼합의 특징 : 색을 섞을수록 밝아진다)
• 각 색상은 0 ~ 255까지의 값으로 표현
• Usage : TV, 컴퓨터 모니터, 카메라 센서의 Bayer 필터, 디지털 카메라, 대부분의 디지털 디스플레이에서 널리 사용
• 단점 : 인간의 눈으로 인식되는 색상을 정확하게 표현하지 못할 수 있다는 점
• RGB 색상을 회색조(Grayscale)로 변환할 수 있다
• 회색조로 색상을 변환하면 색상정보는 손실되지만, 데이터 저장용량이 감소하고, 처리속도는 향상되어 영상처리분야에서 많이 사용된다.
(색을 표현할 때, 가장 직관적이며 일반적인 것이 RGB이지만, 모든 것을 RGB로 처리하기에는 데이터가 너무 많고 처리하기 버겁다. 그래서 고안한게 YUV 색공간)
CMYK
• CYAN, MAGENTA, YELLOW, BLACK
• 인쇄를 하기 위해 선택하는 색상값
• ‘감산 혼합’ , RGB와는 반대로, 색상이 섞일수록 색이 더 어두워진다
RGB CMYK
웹용 디자인
채도 높은 화려한 색상 표현, 인쇄가 필요없는 웹, 모바일용 이미지에 적합 인쇄물 디자인
색 표현 영역이 제한적이므로,
인쇄시에 색감차이가 적어서 인쇄/출력에 사용하는 색상모드
가산 혼합 감산 혼합
색상이 섞일수록 색이 더 어두워진다 색을 섞을수록 밝아진다
YUV
• Y(휘도, 밝기)(휘도=빛의 양), U(청색 색차 / 파란색 – 밝기), V(적색 색차 / 빨간색 – 밝기) 3가지 요소로 분리 / U, V는 색상 정보를 운반
(Y 신호만 받으면, 흑백이 된다)
• Usage : 비디오 압축에 일반적으로 사용 / 비디오 스트리밍, 방송에 이상적인 색 공간
• 흑백 TV에서 유래. 호환성을 유지하면서 색차 신호 추가
1. YCbCr
• YUV의 디지털 방식
• Cb (Chrominance blue), Cr (Chrominance red)
2. YPbPr
• YUV의 아날로그 방식
RGB 방식 (R, G, B) YUV 방식 (Y, U, V)
흰색 255, 255, 255 235, 0, 0
회색 128, 128, 128 128, 0, 0
검정색 0, 0, 0 16, 0, 0
흑백 TV가 없어진 현재도 YUV 신호를 사용하는 이유는, RGB에 비해 압축률을 크게 향상시킬 수 있기 때문
이유 → 사람의 눈은 색차에 민감해서 Cb, Cr의 비중을 낮춰도 차이를 크게 못느낀다.
• 4:4:2/4:2:0 Conversion 수행으로 데이터 크기를 줄인다. 인간은 Y(빛의 세기)에 민감하므로 Y는 4로 유지한다.
HSV / HSL / HSI
HSV
HSL
Value가 높으면 색상이 진해짐
Value가 낮으면 색상이 어두워짐 Luminance가 높다면, 색상이 빠져서 흰색
Luminance가 낮다면, 어두워져서 검은색
• H(Hue, 색상)
• S(Saturation, 채도, 색의 탁하고 선명한 정도)
• V(Value, 명도, 빛의 밝기) / L(Luminance) / I(Intensity)
• H(색상)은 0 ~ 360도의 범위를 갖지만, 8비트 범위내에서 표현할 때는 0 ~ 255까지 밖에 표현하지 못하기 때문에 H 값을 0 ~ 179 범위내로 표현
• S(채도)는 특정한 색상의 가장 진한 상태를 8비트로 표현할 때, 255로 나타내며, 색상의 진함 정도, 선명도를 나타낸다. 0이면 같은 명도의 무채색을 나타낸다, 255 : 색이 있음
• V, L, I(명도, 밝기)는 밝은 정도를 나타낸다. 흰색 : 255 / 검은색 : 0
• Usage : 색상 분할과 물체 감지와 같은 이미지 분석과 컴퓨터 비전 작업에서 주로 사용
ISP
데이터(이미지 신호) 처리 과정
• 빛 → 이미지 센서(정보 → 숫자로 변환) → ISP가 이 raw한 숫자 정보를 이용해 디지털 이미지로 변환 (사람이 보는 것처럼 영상을 보정)
(Image Sensor를 이해하기 위한 사전지식)
Color Filter Array (CFA)
• 이미지 센서(Image Sensor)에서는 흑백의 밝기만을 감지한다. 컬러 정보는 감지 X
(Sensor가 빛을 받으면 CMOS Image Sensor에서 빛 → 전기 에너지로 변환해 영상을 만든다 / 만들어진 영상 Data는 각 8bit의 raw data로 Bayer Pattern의 Image이고, 8bit이므로 Gray로 표현이 된다)
• 따라서 그 화소 위에 특정 color만을 투과시키는 color filter가 결합되어 color를 만든다
• 여기에서 결합되는 Color Filter들의 정렬을 Color Filter Array 라고 한다.
Bayer Filter
• 보편적으로 사용되는 Filter로 R, G, B 3가지 색상으로 이루어진 Filter
• 3가지 색상이 일정한 패턴을 가지고 배치.
• R : G : B = 1 : 2 : 1 이 되도록 교차 배치 (사람 눈이 G 값에 더 민감하게 반응하기 때문에)
• 한 pixel은 Red, Green, Blue 중 하나의 성분만 가진다
• CMOS에서 사용
이미지 센서
• 렌즈를 통해 들어온 빛(아날로그 신호인 광자) → 전기적 영상신호로 변환
이미지 센서 처리 과정
카메라 이미지 센서의 종류
1. CCD (Charge Coupled Device) 센서
빛에너지로 발생된 전하를 ‘축적’한 후, 전송 최종단에서 전하가 전기적 신호로 증폭되어 전환
(Color Filter) RGB Filter 사용
2. CMOS (Complimentary Metal Oxide Semiconductor) 센서
각 pixel의 전하량을 ‘바로’ 빛 → 전기적 에너지, 디지털 신호로 변환하여 전달하는 방식
(Color Filter) Bayer Filter가 붙어있어서 각 pixel에서 색상 정보 수집
(이후 설명할 Demosaicing 과정을 통해 각 pixel에서 완전한 컬러 정보 생성)
• 각 pixel은 1개의 포토다이오드와 4개의 트렌지스터로 구성
(포토다이오드 : 빛 -> 전기 에너지로 변환하는 다이오드)
• CMOS = PMOS + NMOS
(PMOS : 양전하 걸렸을 때 작동 / NMOS : 음전하 걸렸을 때 작동)
• CMOS는 전하를 전송하는 소자가 아닌 디지털 신호를 전송하기 위해 개발된 소자 → 그래서 전하의 손실이나 변형이 있을 수 있다
CCD 센서 CMOS 센서 (CIS)
동작과정 1. 포토 다이오드 위로 빛이 입사되면 전하가 발생하게 된다
2. 생성된 전하들은 수직 전송로를 통하여 전송
3. 전송된 전하들은 다시 수평 전송로를 통해 전송되면서 순차적으로 증폭되어 출력
4. 이후에 A/D 컨버터를 거쳐서 디지털화 됨 1. 빛 에너지를 감지 -> 전기적 에너지로 변환
2. 빛 에너지 중 가시광선 파장 -> 포토 다이오드에 집광
3. 생성된 전자와 정공 pair의 전위는 A/D 컨버터를 거쳐 디지털 데이터로 변환
원리 • 전하량을 직접 전송
• 빛에너지로 발생된 전하를 ‘축적’ 후 전송 최종단에서 전기적인 신호로 증폭되어 신호가 전달 • 각 pixel의 전하량을 디지털 신호로 변환하여 전달하는 방식
장점 • 전하량을 직접 전송하기 때문에 전하 손실이 없어 화질이 선명함
• 상대적으로 noise에 강함
• 칩 size가 작음 • 소자 사이즈가 작아지고 전력효율이 뛰어남
• 병렬 방식의 데이터 전송으로 영상정보를 고속으로 처리 가능
• 크기가 작아 웨이퍼 1장에 더 많은 센서를 집적할 수 있어 상대적으로 가격이 저렴
단점 • 축적된 전하를 순차적으로 전송하기에 영상처리속도가 느림
• 전력 소모량이 높고 가격이 비쌈 • 화질 및 감도가 상대적으로 열세
• 디지털 신호로 변화하는 과정에서 전하의 손실이 발생할 수 있다
• 노이즈에 취약
이미지 센서(CCD, CMOS)의 동작원리
https://sshmyb.tistory.com/75
https://charlezz.com/?p=44815
https://blog.naver.com/laonple/220720653751
ISP (Image Signal Processing)
• 이미지 센서로부터 들어오는 raw(가공되지 않은) 데이터를 가공하여/보정하여 소비자가 원하는 형태의 사진이나 영상을 만들어내는 역할
• 영상개선/복원/변환/압축 등의 처리를 하는 장치
ISP의 기본 구조 / 세부과정
- Pedestal Cut / 블랙 레벨 보정 (Black level Correction)
• 생기는 원인 : Image Sensor는 주변 빛의 영향을 받아 black level이 변할 수 있다. sensor의 어두운 영역에서 발생하는 노이즈나 기타 외부 환경 요소(빛, 노이즈, 색온도 등)에 의해 발생할 수 있다.
• 목적 : 이미지의 검정을 최대한 검정처럼 표현하고 다이나믹 레인지를 높이는 것
• 왼쪽사진의 black의 digital 값이 20이라 가정하면, 20 ~ 255가 다이나믹 레인지가 된다
• 0 ~ 19까지의 data는 사용하지 못한다.
• 따라서 optical black pixel의 값을 빼주고 출력된 값으로 이루어진 사진인 오른쪽 사진은 0 ~ 255 사이의 값들을 가짐
2. LSC (Lens Shading Compensation / Correction)
• Lens Shading : 렌즈의 광학 특성으로(ex. 볼록렌즈처럼) 이미지/영상의 외곽으로 갈수록 어두워지는 현상
• LSC는 Lens Shading을 광량이 가장 많은 가운데를 기준으로 주변부를 펴주는 처리
• Lens Shading 보정 방법
→ 중앙부와 주변부의 Gain을 다르게 적용 (주변부 Gain을 더 많이 쓰도록 설정. ex) 중앙부 Gain은 1배, 코너부 Gain은 5배) 하는 것
(ISP 앞단에 위치하는 이유는, 센서의 그림자 부분을 보정해주어야 그 이후 영상처리에서 손해를 안봄)
Shading 보정 전 Shading 보정 후
Lens Shading 보정 알고리즘
Pixel value = Pixel value * weight / 거리가 멀어질수록 weight를 크게 줌
3. WB (White Balance)
• 이미지의 색상을 실제 값에 최대한 가깝게 맞추는 과정.
• 현재 촬영하고 있는 조명의 색을 알려주는 것. (조명의 색이 붉은 색인지 푸른색인지 판별)
• ISP가 받는 센서의 출력은 Green 채널이 다른 채널에 비해 2배 많이 존재하기 때문에, WB Gain 적용 전의 Raw 이미지는 전체적으로 녹색의 이미지처럼 보이게 된다. (4. Demosaic 에 자세한 설명)
4. Demosaic (= Bayer Interpolation, Color Interpolation)
• CMOS Image Sensor에서 사용한 Bayer Filter는 한 pixel에서 Red, Green, Blue 중 하나의 값만 가진다.
• So, 이 단계에서, 각 pixel들에게 나머지 없는 color를 복원해주는 것
(Demosaic 하기 전에는, pixel 당 하나의 색으로만 이루어져 있는 걸 확인할 수 있다)
4.1. Interpolation 방법
1) Nearest Neighbor Interpolation
• 가장 가까이에 있는 화소를 출력하는 방식
• 장점 : 가장 간단하며, 처리 속도는 매우 빠르다
• 단점 : 인접한 이웃 화소를 그대로 복사해서 사용하므로, 영상 왜곡 발생 가능
2) Bilinear Interpolation
• 주변 pixel들의 평균
• 1)보다는 화질이 좋다
• 단점 : 영상에 따라서 blur 현상이 생김
Original Image Bayer Pattern Bilinear Interpolation
3) Edge-directed Interpolation
• G 성분을 보간할때, Horizontal / Vertical 방향으로 밝기 값의 변화를 구해서, 변화가 작은 방향으로 보간을 하는 방법
• 1,2보다는 edge에서 효과적이지만, 여전히 color artifact는 발생
- CCM (Color Correction Matrix)
• 이미지 센서 특성에 따른 부정확한(좁은 범위의) 색 표현을 보정해 주는 Block
• 센서에서 출력되는 색상은 인간 눈으로 보는 색상과 상당히 다른데(원인은 영상에서 color로 표현하는데 있어서 많은 왜곡이 생김), 이를 인간의 시각과 일치하도록 만드는 역할
→ Color를 왜곡 시키는 요인, 원인
1) 렌즈, 필터에 의한 변화
2) 일광, 형광등, 등의 조명에 의한 변화
3) Image Sensor의 Color Filter의 특성에 의한 변화
• Red, Green, Blue 각각에 Gain을 높이거나 낮춰서 곱해줌으로써, 입력되는 RGB 데이터에 대해 실시간으로 색을 보정
ex) Blue 값을 보정하기 위해서, 입력된 R, G, B에 가중치를 달리해서 더해준다
- Gamma (Gamma Correction)
• 입력된 빛의 강도를 비선형 함수(입출력이 1 : 1이 아닌)를 통해서 변형시키는 것
• 인간 시각의 비선형성을 보완하기 위해 사용
→ 이런 비선형적인 특성 때문에, 상대적으로 어두운쪽보다 밝은 쪽이 넓어보인다
• 베버의 법칙
처음 자극에 대해 일정 비율 이상으로 자극을 받아야 인지할 수 있다.
밝기가 어두울 때 (약한 자극) → 사람의 눈은 밝기의 변화에 민감하게 반응
밝기가 밝을 때 (강한 자극) → 사람의 눈은 밝기의 변화에 둔감하게 반응
→ 그래서, 밝은 쪽보다는 어두운 쪽에 비중을 크게 둠
• 3번 (gamma > 1)이면, 어두운 영역의 변화폭은 크고, 밝은 영역의 변화폭은 작다.
• 2번(gamma < 1)이면, 밝은 영역의 변화폭이 크고, 어두운 영역의 변화폭은 작다
• Gamma 보정 후
- NR (Noise Reduction)
• 이미지/영상 내 노이즈를 줄여주는 Block
• NR 강도와 선명도는 반비례 관계 → 필연적으로 강한 NR 강도는 선명도/디테일의 손실을 가져올 수 밖에 없다.
Noise 가 발생하는 원인
• 이미지 센서 데이터가 영상으로 변환될 때, 입사되는 빛에 대비하여 출력되는 데이터가 달라서 발생
• 센서의 감도나 발열에 의해 발생
Noise 종류
1) Gaussian Noise
• 정규 분포를 갖는 noise / 샘플의 크기 가 크다면, 정규 분포에 가까워짐 / 자연적으로 발생하는 노이즈의 형태를 모델링하는데 사용
• 이미지 압축과 복원을 하는 과정에서 오류가 발생할때 생성.
원본 영상 Gaussian Noise 발생
2) Salt-and-Pepper Noise
• Impulse Noise에 포함된 Noise
• Impulse Noise : 0 ~ 255의 pixel값과 같이 뚜렷하게 잘못된 밝기 값을 갖는 noise
• 검은색 or 흰색 형태로 발생하는 noise
원본 영상 Salt-and-Pepper Noise 발생
3) Uniform Noise
• 균일한 분포
• 영상의 전체 영역에 대해서 같은 패턴을 갖는 noise가 일정하게 발생
원본 영상 Uniform Noise 발생
Noise 제거하는 Filter
1) Median Filter
• 필터의 크기를 정하고 pixel의 크기 순서대로 sort한 후, 중간 값을 찾는다
• Salt-and-pepper Noise와 같이 극단적인 pixel값을 갖는 noise 제거에 효과적 / blurring 현상이 적어 영상의 edge를 잘 보존한다.
• 단점 : Gaussian Noise 제거에는 적절하지X & sort 알고리즘이 필요해서 연산이 복잡하고 메모리 할당량이 크다
2) Average Filter
• 주위 pixel 값들의 평균 값을 이용
• Noise가 전반적으로 분포되어 있는 Gaussian Noise나 Uniform Noise 제거에 효과적
• 단점 : 주변 pixel값과 큰 차이가 있는 Salt-and-pepper의 경우, 주변 pixel 값의 큰 차이에 의해 noise를 제거하기에는 비효과적 & 영상 전체에 blurring이 수행되어 원하지 않는 영역이 흐려질 수 있다
3) Gaussian Filter
• Gaussian 분포를 영상 처리에 적용한 Filter (2D 가우시안 분포 사용)
• 정규분포나 확률분포에 의해 생성된 잡음을 제거하기 위해 사용
• Gaussian Noise 제거에 효과적
• Average Filter보다는 Blurring 현상이 적지만, Median Filter에 비해서는 edge에 대한 손상이 크다
• 필터링 대상 pixel 근처에는 가중치를 크게 주고, 필터링 대상 pixel과 멀리 떨어져 있는 주변부에는 가중치를 조금만 주어서 가중 평균(weighted average)을 구하는 것과 같다
- Sharpen (Edge Enhancement)
• 이미지의 edge나 세부 사항을 강조함으로써 대비를 높여 디테일을 뚜렷하게 만드는 선명도 향상 기법
• NR(Noise Reduction) 에 의한 디테일 손실 or 센서/렌즈 등 하드웨어 성능의 제약으로 인한 디테일/선명도 손실 들을 보상/최적화해주는 Block
• 후보정의 영역 → 주변 pixel과의 차이를 더 벌리는 방법이라, 어느 정도의 noise 증가를 유발. 의도치 않은 여러 가지 이미지 왜곡 현상을 발생시킨다.
(NR과 Sharpen은 반비례 관계)
밝은 부분을 더 밝게, 어두운 부분을 더 어둡게 만들어 대비를 강화
Sharpening Filter 의 종류
1) Unsharp Mask (언샤프 마스크)
• 1. 원본 이미지를 blurring 처리하여 언샤프 이미지 생성
• 2. 원본 이미지에서 언샤프 이미지를 뺀다
• 3. 이 차이값을 원본 이미지에 더한다
2) Laplacian Sharpening (라플라시안 샤프닝)
• 1. 라플라시안 필터 생성 → 2차 미분
• 2. 원본 이미지에 라플라시안 필터를 적용하여 경계선 검출
• 3. 이 경계선 이미지를 원본 이미지에 더하여 선명한 이미지 생성
3) High-frequency Emphasis (고주파 강조)
• 고주파 성분을 더 강조하여 이미지를 샤프닝
3A (AE, AWB, AF)
(사전 지식)
1. 조도 (Illuminance) : 단위 면적당 입사되는 광속 / 피사체에 도달하는 빛의 밝기
2. 휘도 (Luminance) : 피사체의 표면에서 관측자 방향으로 방사되는 빛의 밝기 / 카메라에서 바라보는 밝기
→ 사람과 카메라는 피사체의 반사된 빛만을 인지한다.
→ 같은 조도라도 피사체의 반사 특성에 따라 휘도는 다를 수 있다.
노출(Exposure) 이란?
• 빛이 카메라의 렌즈를 통과해 이미지 센서(CCD, CMOS) 또는 필름까지 도달하며, 이때 이미지 센서나 필름에 기록되는 휘도를 말한다.
• 조리개 크기, 셔터 속도, 센서 감도 라는 3가지 요소를 통해 조절하며 이미지의 밝기를 결정하는 중요한 요소
과한 노출은 이미지를 너무 밝게 만들어 심한 포화가 발생하며,
적은 노출은 너무 어두워 이미지를 식별하기 어렵게 만든다.
따라서, 조리개 크기, 셔터 속도, 센서 감도의 조합으로 사용자는 원하는 적절한 밝기를 만들 수 있다.
이를 자동으로 조절해주는 기능 → AE (Auto Exposure)
조리개 크기, 셔터 속도, 센서 감도
• (이미지 밝기 조절 이외에도) 노출을 조절하는 각 요소
1. 조리개
• 사람의 눈에 있는 홍채처럼 통과되는 빛의 양을 조절하는 역할
• 조리개의 크기가 크면 빛이 많이 통과되어 이미지가 밝아지며,
• 작아지면 그만큼 빛이 통과하지 못해 이미지가 어두워진다.
• 밝기 이외에도 조리개의 크기가 커지면, 배경을 흐리게 만드는 아웃포커싱 효과를 낼 수 있다
→ 초점이 잡힌 거리 근처의 피사체만 잘 보이며, ‘심도가 얕다’ 라고 한다
• 조리개의 크기가 작아지면, 초점이 잡힌 거리부터 먼 거리의 물체까지 모두 잘 보이며 이를 ‘심도가 깊다’ 라고 한다
- 셔터
• 사람의 눈에서 눈꺼풀과 같은 역할
• 셔터 속도 : 셔터가 열렸다 닫히는 속도
• 셔터 속도가 느려지면 → 이미지 센서나 필름이 빛을 받는 시간이 길어져 이미지가 밝아지고 / But, 오래 받으니, noise가 생김
• 셔터 속도가 빠르면 → 빛을 받는 시간이 짧아져 어두워진다 / But, 짧게 받으니, 선명하다
- 센서 감도
• 센서로 수광 된 빛을 얼마만큼 증폭시켜 읽어들일지를 의미
• 센서의 감도는 일반적으로 국제 표준 규격인 ISO 수치를 사용
• 센서의 감도인 ISO가 커지면 → 센서의 증폭(gain)이 높아져 이미지가 밝아진다
• ISO가 작아지면 → 증폭(gain)이 낮아져 이미지가 어두워진다
- AE (Auto Exposure)
• 피사체의 밝기를 카메라가 판단하여, 자동적으로 밝기 노출 시간을 정해주는 것
• 사람이 보기 좋은 밝은 수준을 유지해주는 역할
→ 너무 어두우면 화면을 밝게 해주고, 너무 밝으면 좀 어둡게 할 수 있도록
ex) 역광
역광에서 카메라를 찍으면 사람이 잘 안보인다. 그 이유는, 너무 밝으니까, 밝기를 조정해주는데, 태양의 밝기가 워낙 높다보니, 맞춰도 사람이 잘 안보이는 것.
노출시간이 긴 그림의 pixel값은 높은 곳에 분포되어 있고,
노출시간이 짧은 그림의 pixel값은 작은 곳에 분포되어 있다.
적절한 노출시간인 히스토그램은 가운데에 분포되어 있다.
이처럼 밝기 값이 중간에 분포될 수 있는 노출시간을 찾아야 최적의 화면을 출력 가능
AE 알고리즘
• 기본 알고리즘 : Mean Value Algorithm
• pixel 밝기 평균 값으로 적절한 노출 시간을 찾는 알고리즘
1) Mean Value Algorithm
1. 이미지 평균 밝기 계산 : 모든 pixel의 밝기 값을 측정해서 평균 계산
2. 목표 밝기 설정 : 사용자가 설정 or 기본적으로 정해진 목표 밝기 값을 기준
3. 노출 조정 계산 : 촬영된 이미지의 평균 밝기 값과 설정된 목표 밝기 값을 비교하여, 현재 노출 상태를 평가. 평균 밝기와 목표 밝기를 비교하여 노출을 조정한다.
4. 노출 조정 : 노출을 조정하기 위해 적절한 노출 시간 (셔터 스피드)이나 조리개 크기를 조절
5. 반복 : 이 과정을 일정 시간 간격으로 반복.
• Bl_n : 밝기 평균 값 / Bl_opt : 최적의 밝기 평균 값
현재 밝기 평균 값(Bl_n), 현재의 노출 시간 값(T_n), 최적의 밝기 평균 값(Bl_opt)을 이용하여, 최적의 노출 시간 값(T_opt)을 구할 수 있다.
• 계산량이 적고 구현이 빠르지만,
• 단점 : 역광(back light)을 판단하기에 어렵다
→ 최적의 밝기 평균 값이 127이라고 하면, 역광일 때 주변은 다 밝고, 사물은 어둡기 때문에 밝기 평균 값이 127 근처로 나올 수 있다. 그래서 사물은 어두워도 최적의 밝기라고 판단한다.
2) Weight Mean Value Algorithm
• 역광(Back light)을 판단하는 알고리즘
1) 피사체가 가운데에 있다고 가정(Region1, 4)
2) 배경 지역(Region0, 2, 3)보다 피사체 지역에 더 가중치를 주어 역광을 발견
3) D_b가 높을수록 역광이 많이 발생한다고 판단
4) Luminance(휘도, 빛의 밝기)를 구하는 공식
→ L = 0.299R + 0.587G + 0.114B
• 단점 : 역광인 환경에서도 고려가 되지만, 판단하는 조건이 피사체가 가운데에 위치해 있다고 판단한 알고리즘이므로, 위치 제약이 있는 단점.
3) Spot Metering Algorithm (스팟 측정 알고리즘)
• 사용자가 지정한 특정 영역의 밝기를 측정하여, 그 값을 기준으로 노출을 조절하는 방식
→ 스팟에 해당하는 pixel들의 밝기를 측정, 이를 기반으로 해당 영역의 밝기를 원하는 수준으로 맞추기 위해 노출을 조정
• 주로 관심 있는 대상이나 특정 영역으로 설정
4) Multi-Pattern Metering Algorithm (다중 패턴 측정 알고리즘)
• 이미지를 여러 패턴이나 영역으로 나누어, 다양한 패턴을 고려하여 여러 영역의 밝기를 조합하여 최적의 노출을 계산
• 여러 영역으로 분할하고, 각 영역의 밝기를 측정한 후, 각 영역의 중요도에 따라 노출을 조정
- AWB (Auto White Balance)
색 온도
• 광원이 갖는 고유의 색을 수치화 한 것
WB(White Balance)를 조절한다 = ‘빛의 종류에 따라 색 온도를 조절하는 것’
ex) 새벽, 한낮, 해질녘 등의 시간에 따라, 태양빛, 형광등, 백열등, 네온사인, 촛불 등
WB(White Balance)를 보정하는 원리
• 모든 광원은 색 온도를 가지고 있고, white balance를 맞추기 위한 카메라 내부에도 색 온도가 있는데, 광원의 색 온도와 카메라의 색 온도는 다르다. / 서로 정반대
• 광원의 색 온도 : 높을수록 → 푸른 빛 / 낮을수록 → 붉은 빛
• 카메라의 색 온도 : 높을수록 → 붉은 빛 / 낮을수록 → 푸른 빛
→ Because, 카메라는 White Balance를 맞추어 흰색이 흰색으로 보이게 보정하는 역할을 하기 때문에.
→ 색 온도가 낮은 붉은색 광원에서는, 카메라가 푸른색을 섞어서 보정하고
→ 색 온도가 높은 푸른색 광원에서는, 붉은 색을 섞어서 보정한다.
AWB (Auto White Balance)
• 무채색(흰색)을 무채색(흰색)으로 표현하는 것
• 조명(색 온도)에 따라 이미지의 색상을 자동으로 조정하여 자연스러운 색감을 나오게 보정
→ 태양빛은 R, G, B 값이 거의 똑같이 존재 (R == G == B)
→ 형광등에선 G > R > B 순으로 G가 제일 많다
AWB 동작 기본 원리
• 카메라 시스템에서 표현되는 R, G, B를 기준으로 WB를 맞춘다는 것
• == 사람의 눈에 무채색으로 표현되어야 하는 부분의 R, G, B 비율을 1 : 1 : 1로 맞춰주는 과정
AWB 알고리즘
1. Gray World Assumption
• 세상의 평균 색이 Gray색이라고 가정하여 (R == G == B) 하나라도 높은 값이 있으면, 다른 두 값들도 높여서 같게 바꿔줌
• 문제점 : 만약 들어온 빛이 파란색만 통과되면 R, G, B = (0, 0, 255) 이므로, R, G값 다 올려서 R, G, B = (255, 255, 255)로 다 바꿔서 흰색으로 보여줌
2. Least Mean Square
• 가장 낮은 색상 노이즈를 가진 pixel을 사용. 노이즈가 적은 지점을 기준으로 백색을 설정
3. White Patch Retinex (화이트 트레일리 역투옴)
• 이미지에서 가장 밝은 pixel을 찾아내서, 이걸 white로 설정
CCM (Color Correction Matrix)
• AWB를 거친 이미지는 무채색을 무채색으로 표현하더라도, 유채색 색상에 대해서는 어색한 결과물이 나오게 된다
• 그래서 3x3 행렬의 추가 색상 보정을 필요. → 이것이 CCM
• AWB의 기준이 되는 White와 Black의 꼭짓점은 맞춰졌지만, 나머지 꼭짓점들은 영역이 좁아서 제대로 표현이 안되있다
• 이를 각 꼭짓점에 맞춰 늘려주는 과정 → CCM
- AF (Auto Focus)
• 특정 물체(피사체)에 초점을 자동으로 맞추는 카메라의 기능
• 렌즈를 움직여서 상이 이미지 센서에 제대로 맺히게 하는 것
3.1. Active AF
• 카메라 본체에서 거리 측정을 위해 직접 초음파나 적외선, 레이저 등을 쏴서 거리측정
Active AF의 종류 - 초음파 이용 : 카메라는 초음파를 방출 → 물체에 반사되어 돌아오는 시간을 계산하여 거리를 측정
- 적외선 이용 : 적외선 방출 → 물체에 반사되어 돌아오는 시간, 거리를 측정해 초점을 맞춤
장점
• 빛이 부족한 곳에서도 사용 가능
단점
• 카메라 앞에 투명한 물체가 있으면 정확히 초점을 잡기 어렵다. (유리 등의 물체가 Active AF에 이용되는 파장을 반사하기 때문에)
• 원거리의 초점을 잡을 수 없다 (적외선, 초음파는 먼 거리 X)
3.2. Passive AF
Passive AF의 종류
1. 위상차(phase) 검출
(위상 : 반복되는 파형의 한 주기에서 첫 시작점의 각도 or 어느 한 순간의 위치)
• 렌즈를 통해 들어오는 피사체의 화상 정보를 AF 검출센서 내의 렌즈를 사용해 2개의 상을 만듬
• 이후 2개의 상 사이의 상간격을 라인 센서로 계측하고 초점이 얼마나 어긋났는지 계산
• 안맞는다면, 순간적으로 계산해 렌즈를 움직인다
장점
• 콘트라스트 AF에 비해 빠르다
• 움직이는 상황에서도 효과적으로 작동 & 어두운 조건에서도 비교적 잘 작동
단점
• 정밀도가 떨어진다.
• TTL(Through the lens) 위상차 AF는 콤팩트 카메라나 미러리스 카메라에 적용하기 어렵다. 카메라 내부 공간이 작아 렌즈와 센서 사이의 거리가 너무 가깝기 때문에. (그래서 이런 카메라들은 보통 콘트라스트 AF 센서 사용)
- 콘트라스트(Contrast, 대비) 검출
(대비 : 물체를 다른 물체와 배경과 구별할 수 있게 만들어주는 시각적인 특성의 차이)
• 렌즈를 계속 이동시키면서, 대비(밝은 부분, 어두운 부분의 차이)를 구별해서 초점을 잡는 방식
• 대비가 최대가 되는 순간(High)을 측정 (피사체에 초점이 맞다 = 이미지 대비가 가장 높을 때)
검출 방식
• Sharpening Filter를 사용해서 검출
장점
• 정밀도가 높다
• 정적인 촬영에서 성능이 우수, 넓은 지역 커버 가능
단점
• 속도가 느리다 (위상차 AF는 들어온 빛을 계산해, 렌즈를 앞으로 or 뒤로 움직일지 결정하면 되지만, 콘트라스트 AF는 렌즈를 앞뒤로 모두 움직여가며 정확한 초점을 찾기 때문에)
• 대비가 없는 상황에서는 초점 잡기가 힘들다(ex. 하늘, 흰 벽면 등) & 액션 사진 or 뮤비 촬영에 약하다
• 빛이 부족한 곳에서는 불리
- 하이브리드 자동 초점
• 위상 검출과 콘트라스트 검출을 결합한 형태
• 빠른 초점 속도와 정확한 초점 조정을 동시에 제공
• 위상 검출을 사용해 정확한 초점 근처까지 빠르게 찾고, 그 후 대비 검출을 통해 정밀한 조정을 수행
