획득과 표현
사람의 눈과 카메라
영상을 획득하는 장비인 카메라는 사람의 눈과 비슷한 구조를 가집니다. 사람 눈의 수정체는 카메라의 렌즈 역할이고, 망막은 필름(CCD 센서)에 해당합니다.
Electromagnetic spectrum (전자기 스펙트럼)
전자기파를 파장에 따라 분해하여 배열한 것으로, 크게 자외선, 가시광선, 적외선으로 나뉘어 집니다. 보라색으로 가면 자외선, 빨간색이 적외선, 그 사이가 가시광선입니다. 사람의 눈으로 볼 수 있는 것은 가시광선 뿐이고, 가시광선에서도 주파수의 범위에 따라 우리가 볼 수 있는 색상의 범위가 달라집니다.
A photon’s life choices
- 흡수
- 확장: 여러 방향으로 반사합니다
- 반사: 한 방향으로 반사합니다 (입사각과 동일한 각도로 반사됩니다) → 카메라의 색상이 여기에 속하며, 컴퓨터비전의 중요한 개념입니다.
- 투명: 람다 에너지가 그대로 통과 (ex. 유리)
- 굴절: 표면에서 굴절이 생겨 람다 에너지 통과
- fluorescence: 입력된 람다 에너지와 출력된 람다 에너지가 다릅니다 (ex. 광학현미경)
- Subsurface scattering: 굴절이 일어나 난반사 형태로 일어나며, 입력된 람다 에너지와 출력된 람다 에너지가 동일합니다
- Phosphorescence: 일정 시간이 지난 후 출력 에너지가 발생합니다
- Interreflection: 두 개 물질 사이에서 빛이 반사되며 나갈 수 있도록 합니다 (ex. 광통신)
Fundamental radiometric relation: 이미지를 형성하고 처리하는 과정
P: 물체의 한 점
P': 이미지 평면의 한 점
L: P에서 P'를 향해 방출되는 휘도(Radiance), 즉 물체에서 나오는 빛이 렌즈를 통해 카메라의 이미지 평면으로 투영되는 강도를 뜻합니다.
E: 렌즈에서 P'로 떨어지는 조광도(Irradiance), 즉 이미지 평면에 도달하는 빛의 에너지 양을 뜻합니다.
f(focal length): 렌즈의 중심에서부터 필름까지의 거리로, 길수록 에너지의 양이 줄어듭니다. 또한 focal length가 길수록 줌 기능이 강화되어 멀리 있는 피사체를 크게 촬영할 수 있지만, 빛의 양이 줄어들어 어두워질 수 있습니다. (ex. 길어지는 핸드폰 카메라, 기자의 카메라 등)
z: 물체와 카메라까지의 거리
d: 렌즈의 크기
L과 E의 관계는 어떻게 될까요?
이미지 평면에 도달하는 빛의 양인 E는 L보다 작습니다. 이미지 평면에서 받아들이는 빛의 양은 애초에 P에서 보내는 휘도를 넘어설 수 없기 때문입니다. 이는 렌즈가 빛을 모아 이미지 평면에 전달하는 과정에서 발생하는 손실 때문입니다.
관계는 다음과 같은 특징을 가지고 있습니다:
- 조광도(Irradiance)는 물체에서 나오는 빛의 양으로, 렌즈의 크기(d)에 비례합니다. 즉, 렌즈가 클수록 더 많은 빛을 모읍니다.
- 조광도는 렌즈에서 이미지 평면까지의 거리(f)의 제곱에 반비례합니다. 거리가 길어지면 에너지가 줄어들어 이미지가 어두워집니다. 또한 빛이 광축에서 벗어나는 각도가 커질수록 조광도는 떨어집니다.
(수학식 외울 필요 없으나, 에너지에 대한 관계식을 유추해볼 수 있음)
From light rays to pixel values
- CCD (Charge-Coupled Device)는 카메라의 이미지 센서로, 렌즈를 통해 들어온 빛을 전기 신호로 변환하여 픽셀 값을 만듭니다. 빛의 양이 CCD에 저장되면서 각 픽셀에 대응되는 이미지가 형성됩니다.
- 카메라는 들어오는 빛(조광도)을 픽셀 값으로 변환하는 응답 함수를 가지고 있습니다. 이 함수를 사용하여 빛의 강도에 따라 이미지의 밝기와 색상이 결정됩니다. 응답 함수는 카메라의 센서 특성에 따라 다를 수 있으며, 이를 사용하면 하이 다이내믹 레인지(HDR) 이미지를 생성할 수 있습니다. HDR 이미지는 밝은 영역과 어두운 영역 모두를 잘 표현하여 더 생동감 있는 이미지를 만듭니다.
정리
L과 E는 물체에서 카메라로 들어오는 빛의 양을 나타내며, 이 빛은 렌즈의 크기, 거리, 각도에 의해 영향을 받습니다.
CCD 센서는 들어온 빛을 픽셀 값으로 변환하며, 카메라의 응답 함수에 의해 이미지가 형성됩니다. 이 과정은 컴퓨터 비전에서 이미지를 처리하고 분석하는 기초적인 단계입니다.
여기까지는 카메라에 빛이 얼마나 맺히느냐에 따라 밝음과 어두움이 구분되는 것에 대한 이야기였습니다. 이후로는 3차원 물체를 2차원 이미지로 투영하는 과정을 설명합니다.
Perspective projection (원근 투영): 3차원 물체(Object)에서 2차원 이미지 평면(Film)에 투영되는 과정
- 물체의 깊이, 즉 거리 정보가 2차원 이미지에서는 사라집니다. 예를 들어, 나무가 건물 앞에 있더라도 사진에서는 둘의 위치 관계를 알기 어렵습니다.
- 현실에서 평행한 선도 사진에서는 사라지거나 왜곡되어 보일 수 있습니다. 예를 들어, 천장이 평행하더라도 이미지에서는 그렇지 않게 보일 수 있습니다.
Modeling projection (투영 모델링): 수학식을 통해 3D 좌표를 2D 이미지 평면으로 변환하는 과정
- P’ (x, y) → 영상 / P (x, y, z) → 3차원 공간
- x:X = f:z → x = f (x/z)
- y:Y = f:z → y = f (y/z)
Perspective projection matrix (원근 투영 행렬)
- 앞선 수학식을 행렬로 표현
Projection of a line (직선의 투영)
직선의 투영은 원근법에서 매우 중요한 개념
- 소실점(Vanishing Point): 멀리 있는 평행한 직선이 한 점으로 모여 보이는 현상을 말합니다. 예를 들어, 철도 레일이나 도로가 멀리 가면서 한 점으로 모이는 것처럼 보이는 것이 바로 소실점입니다.
- 수평선(Horizon): 원근법에서 모든 소실점은 수평선 위에 존재합니다. 하지만 수평선 자체는 원근 투영에 의해 왜곡되지 않습니다. 이 때문에 수평선과 가까운 물체들은 왜곡이 적게 보이게 됩니다.
the perspective cues (원근감 단서)
원근 투영을 통해 3차원에서 2차원으로 변환된 이미지에서는 원근감이 표현됩니다. 이 원근감은 물체의 크기, 위치, 거리 등과 관련된 단서들로 인해 형성됩니다. 즉, 물체가 멀리 있으면 더 작게, 가까이 있으면 더 크게 보이는 것과 같은 원근 단서를 말합니다.
최종 요약 정리
- 사람의 눈과 카메라 간의 상관관계
- 카메라와 빛 간의 상관관계
- 3차원과 2차원 간의 기하학적인 상관 관계
- focal length로 인해 100배 줌, 기자의 카메라가 긴 이유가 정리됨!
