Introduction

Flare란

• Lens flare : 강렬한 빛이 산란하거나 반사되는 광학 현상으로, 촬영된 사진에 방사형 모양의 밝은 영영과 빛의 반점이 형성됩니다.

• 특히 이러한 플레어의 영향은 다른 인공광원(ex 가로등 불빛,etc)으로 인하여 야간 환경에서 flare의 영향이 더욱 커지게 됩니다.

  • 이러한 현상은 주위의 낮은 조도와 광원 주변의 억제된 세부사항(광원 주변은 광원의 빛으로 인하여 기존의 배경이 잘 보이지 않음)으로 이어져 영상의 시각 품질과 vision 알고리즘의 성능을 저하시킬 수 있습니다.

• 렌즈 플레어로 인한 문제를 방지하기 위해서, 특별히 설계된 렌즈 그룹을 사용하거나 반사 방지 코팅을 적용하는 등의 하드웨어 설계를 최적화하는 것이 주류입니다.

  • 전문 렌즈는 플레어 효과를 완화시킬 수 있지만 플레어로 인한 문제를 해결할 수는 없습니다.
  • 렌즈 앞의 지문, 먼지 및 마모는 하드웨어로 완화할 수 없는 예기치 않은 플레어를 초래합니다.

Flare의 분류

• 플레어는 크게 세 가지 주요한 형태(scattering flare, reflective flare, lens orb(일명 후방산란))로 분류할 수 있습니다.
  • 광원의 움직임에 대한 반응에 따라 이 세 가지 플레어를 구분합니다.

Scattering flares

• 먼지와 렌즈의 긁힘에 의해 발생합니다.
• Scattering flares는 보통 방사형 라인 패턴을 생성합니다.
  • 렌즈나 광원을 움직일 때, 산란은 항상 광원을 감싸고 촬영된 사진에 동일한 패턴을 유지합니다.

Reflective flares

• 렌즈 시스템에서 공기-유리 경계면 사이의 다중 반사에 의해 발생합니다.
• 반사 플레어의 패턴은 조리개와 렌즈 구조의 모양에 의해 결정됩니다.
  • 반사 플레어의 flare 패턴은 종종 촬영된 사진에서 일련의 원과 다각형으로 나타납니다.
• 산란 플레어와 달리 카메라를 움직일 때 반사 플레어는 광원과 반대 방향으로 이동합니다.

Lens orbs

• 렌즈 표면에 있는 먼지나 방울의 집속되지 않은 입자에 의해 유도됩니다.
• Lens orbs는 사진촬영에서 동일한 위치에 고정된 조리개 모양의 다각형으로 나타납니다.
• 광원 주위의 렌즈 오브만 조명을 받기 때문에, 광원이나 카메라의 움직임에 따라 움직이지는 않습니다.
  • 렌즈 오브의 위치는 비교적 고정되어 있기 때문에, 제거하기 용이합니다.

Nighttime Flares의 제거가 어려운 이유

1. 플레어의 패턴이 매우 다양합니다.
   • 플레어의 패턴은 광원의 다양한 위치와 스펙트럼, 렌즈 제조의 불안정한 결함, 일상적인 활용 중 무작위 스크래치와 기름진 먼지등의 영향을 받습니다.
2. 다른 파장에서 빛의 분산과 작은 광학 구조 사이의 간섭은 무지개와 같은 헤일로와 색 모이어레(물결무늬가 있는 비단)로도 이어질 수 있습니다.
   

플레어 /플레어가 없는 이미지 쌍을 수집

• deep models을 훈련하기 위하여, 대규모 데이터는 필수적입니다.

• Wu et al : 물리적 기반 플레어와 플레어 사진을 암실에서 촬영하여 플레어가 없는 이미지에 덮어씌워 쌍으로 된 데이터를 형성
• Sun et al : 모든 플레어가 동일한 2점 별 점 확산 함수(PSF)로 생성된다고 가정
  • Sun et al. 의 방법에서 생성된 이 모든 플레어는 비교적 균질함

• 주간 플레어와 달리 가로등의 휘도는 햇빛보다 현저히 낮기 때문에, 렌즈 제작에서의 결함은 야간 장면에서 항상 허용 가능한 작은 산란 플레어만 초래합니다.
  • 전문 카메라는 항상 명확한 야간 경관을 포착할 수 있는 반면,
  • 모니터 렌즈, 스마트폰 카메라, UAV 및 자율주행 카메라의 경우, 지문, 일상의 마모 및 먼지가 격자로 기능하여 야간에 분명한 줄무늬(줄무늬 모양 플레어)를 생성할 수 있습니다.
• 인공 조명의 스펙트럼은 태양과 상당히 다르며 다양한 회절 패턴을 도입할 수 있습니다.
  • 낮과 밤 사이의 플레어 패턴의 차이로 인해 주간 플레어 데이터 세트에서 훈련된 모델은 야간에 거의 성능을 발휘하지 못합니다.

Lens flare dataset in How to train Nrural Networks for flares removal

이 논문에서는 플레어 이미지와 플래어가 없는 배경이미지를 합성하여 플레어로 인하여 손상된 이미지를 만듬으로써 반합성 플레어 데이터 세트를 제안하였습니다.

• 이 논문의 촬영된 모든 플레어 사진은 동일한 거리내에서 동일한 광원 아래에서 촬영되었습니다.
  • 이러한 균일한 설정은 촬영된 이미지를 유사하게 보이게 하며, 다양한 종류의 렌즈 및 광원으로 생성된 플레어를 제거하는 것에 제한적인 효과를 갖습니다.
• 이 논문의 물리적으로 사실적인 플레어는 실제 야간 플레어와 상당한 차이가 있습니다.
  • 

Physics on nighttime lens flare

산란 플레어 및 반사 플레어는 할로, 줄무늬, 홍채, 유령, 밝은 선, 포화 블로우, 연무, 눈부심, 반짝임, 반짝임, 스파이크 볼, 링, 후프 및 가성을 포함한 많은 구성 요소로 구성되어 복잡합니다. 패턴을 기반으로 이러한 이름을 몇 가지 일반적인 유형으로 그룹화합니다.

Scattering flare

산란 플레어는 일반적으로 glare, shimmer, streak로 나눌 수 있습니다.

Glare

Glare는 광원 주변의 부드러운 안개 같은 효과로, glow 효과라고도 합니다.

• 이상적인 이상적인 렌즈 시스템에서도 반지름이 제한된 렌즈는 여전히 저역 통과 필터로 기능하여 광원을 흐릿하게 보이게 만듭니다.
• 렌즈의 마모나 점선 불순물은 렌즈의 불균일한 두께로 이어져 눈부심 효과의 면적을 현저하게 증가시킵니다.
• 분산은 Glare의 색상을 전체적으로 일정하지 않게 만듭니다.
  • 위의 이미지에서 광원에서 멀리 떨어진 Glare의 픽셀은 광원 주변의 픽셀보다 더 푸릅니다.

• 충분한 조명이 있는 낮 시간에는 광원 주변이 glow 효과를 덮을 수 있을 정도로 밝습니다.
  • 빛이 적은 상태에서는 장면보다 눈부심이 상당히 밝으므로 Glare를 무시할 수 없습니다.

Shimmer

Shimmer(a.k.a., sparkles, glint, spike balls)는 조리개의 모양과 선 모양의 불순물 및 렌즈 결함으로 인해 여러 개의 방사형 줄무늬가 있는 패턴입니다.

• 조리개의 구조 때문에, 렌즈은 완벽한 둥근 모양이 아니므로 별 모양의 플레어를 생성합니다.
  • 조리개와 달리 선 모양의 렌즈 결함은 항상 균일하지 않은 Shimmer로 이어집니다.
• 높은 세기의 광원으로서 태양은 화면 전체에 밝은 빛을 남기는 반면 인공광의 세기는 더 낮고, Shimmer의 면적은 항상 Glare효과와 유사합니다.
  • Shimmer는 무늬만 Glare과 다르기 때문에 눈부심의 고주파 성분으로도 볼 수 있습니다.

Streak

Streaks (a.k.a., bright lines, stripes)는 더 밝은 빛보다 훨씬 길고 밝은 선 모양의 플레어입니다.

• 방향을 맞춘 기름 얼룩 또는 전면 렌즈의 마모는 격자로 작용하여 빔 모양의 PSF를 유발할 수 있습니다.
  • 낮 동안에는 Streaks가 더 밝은 Shimmer와 같습니다.
  • 조도 상태에서는 강도가 낮은 광원조차도 화면 전체에 Streaks를 생성할 수 있습니다.
  • 스마트폰의 렌즈 또는 차량에 장착된 카메라를 항상 깨끗하게 유지할 수 없기에 이러한 현상은 밤에 두드러집니다.

Reflective flare

Reflective flares(a.k.a., ghosting)는 다수의 공기 유리 렌즈 표면에서의 반사에 의해 발생합니다.

• n개의 광학 표면을 가진 렌즈 시스템의 경우, 빛이 정확히 두 번 반사되더라도 n개의 표면에서 두 개의 표면을 선택할 수 있는 n(n-1)/2 종류의 조합이 존재합니다.

반사 플레어는 이미지에 원, 다각형 또는 링과 같은 다양한 패턴의 조합을 형성합니다. 렌즈 사이의 다중 반사로 인해 물리학에서는 반사 플레어를 합성하는 것이 어렵습니다.

Flare7K dataset

Scattering flare generation

Reflective flare generation