📌 Color Camera

Image formation

Let’s design a camera
– Idea 1: put a piece of film in front of an object
– Do we get a reasonable image?

• 모든 위치에 모든 빛이 가서 내가 원하는 느낌이 안나옴
• 모든 스펙트럼 빛이 와서
• 원하는 빛이 원하는 곳에만 도달하지 않는다는 것을 알게됨. → 머리가 커진 포유류들이 이를 해결하려고 했다.
  
• 특정 위치에서 오는 빛은 특정 곳에만 닿도록 한다. → aperture(구멍)가 필요함
  

• 구멍을 통해 가능해졌다.
• 3d 디스플레이 → 한 픽셀에서 서로 다른 빛을 낼 수 있어야 한다. → 이게 안된다 지금은…!
  

• 렌즈를 달아서 문제를 해결했다 → 퍼져서 없어지는 빛을 렌즈를 통해 4개 들어올 것을 20개 들어오도록 했다. ⇒ 하지만, 기술적으로 여전히 문제 나가려는 빛 10개가 과연 동일한 정보를 가지고 있는가? 밝게 만들기 위해 모두 합쳐서 하나로 만든다면 같다고 할 수 없지만 상대적으로 멀리 있으면 그렇게 크게 문제가 되지 않나봄. 아직도 렌즈를 쓴다.
  

Pinhole camera

Dimensionality Reduction Machine (3D to 2D)

3D world에서 2D image로 변할 때 어떤 문제가 발생할까?

• data의 왜곡이 발생한다.
• data의 손실이 발생한다

→ 공간적, 단계적, 빛의 양 등이 소실될 수 있다.

⇒ 하지만 보통 사람은 둔감하기에 무시해도 되는 부분도 있지만 3D→2D의 치명적인 손실이 존재한다. 이에 대해 다루어본다.

Projection can be tricky…

흔히 착시 라고 이야기하는 것. (3D → 2D)

우리가 보는 정보와 실제 정보가 1:1로 대응이 안되어 착시가 발생한다. 사람의 눈이 갖는 어쩔 수 없는 한계이다.

Projective Geometry

💡 What is lost?

앞서 우리가 3d → 2d* * 로 오면서 소실되는 정보들이 존재한다고 언급했다. 소실되는 정보들은 다음과 같다. 이것을 명시적으로** 끌어내보고자 한다.

• Length
• Angles

✔ Length

길이 정보가 사라진다. Length is not preserved.

이미지만 주어졌을 때 우리는 상대적, 절대적 길이를 알 수 없다.

아래 사진을 통해 예시를 설명하고자 한다.

3개의 공 중 어떤 것이 가장 크냐고 묻는 다면 빨간공이라 대답할 것이다. 뭔가 그런 것 같지만 그 이유를 설명하는 것은 쉽지 않다. 근거를 명시적으로 표현하기가 어렵다.

우리는 2차원 space에서 아래쪽이 우리랑 더 가깝다는 사실을 알고 있다. 하지만 Computer는 이를 모른다!!

• occlusion : 앞에 있는 사람이 뒤를 가릴 수 있다는 것을 추론 가능

✔ Angles

각도 정보가 소실된다. Angles are not preserved.

우리는 사진에서 표시된 부분의 각도를 90도로 인지한다. 하지만 명시적으로 90도보다는 크다.

💡 그렇다면 보존되는 정보는 무엇이 있을까?

• Straight lines are still straight
• Vanishing points and Vanishing lines

✔ Straight lines

직선은 여전히 직선이다!

✔ Vanishing points and Vanishing lines

3d → 2d 가 되는 과정에서 각도와 길이 정보는 사라졌지만 직선은 여전히 직선이었다. 이런 straight line으로 추론할 수 있는 근거가 Vanishing points and lines이다.

→ 평행한 선들은 이미지에서 하나의 vanishing point에서 만나게 된다.

• flat한 영역에 있는 parallel한 직선들은 모두 한 점에서 만난다. → 바닥이 flat하다는 전제조건이 있어야 한다.
  
• vanishing line : vanishing point를 모은 것
  • 수평선, 지평선이 이에 해당한다. 더 이상 정보가 보이지 않는 것.
  • projection이 data를 소실시켜서 vanishing line 뒤로는 보이지 않는다.

우리는 직선은 여전히 직선이라는 clue를 통해 각 flat한 영역의 평행선들은 모두 하나의 vanishing point 로 모아진다는 것을 알았다.

즉, vanishing point를 통해 3차원 공간을 추론이 가능해지는 것이다.

---