초분광 이미지 기술동향 논문을 기반으로 작성되었습니다.
초분광 이미징
= HSI: Hyper-Spectral Imaging
: 공간 정보에 분광 기술을 더한 것으로, 전자기파의 스펙트럼 밴드에 따른 2차원적인 영상정보를 초분광 큐브 형태로 구성하여 대상체의 상태, 구성, 특징, 변이 등을 도출하는 기술을 의미한다.
주로 적용되는 분야는 헬스케어, 국방, 환경, 식품 및 농업, 머신비전, 자원탐사 등이 있음
이 중 헬스케어 분야가 전체 시장 중 19.2%, 국방 분야가 19.5%의 비중을 차지하여 가장 큰 시장을 형성함.
특히, 헬스케어 분야는 연평균 성장률 14.1%로 가장 큰 성장세를 보일 것으로 전망됨
스펙트럼 밴드
전자기파(빛)를 특정한 파장 범위로 나눈 것을 의미한다.
즉, 빛을 여러 개의 좁은 파장 구간으로 나누어 분석하는 단위
>> RGB 영상은 3개의 밴드를 갖고 있다 (Red, Green, Blue)
>> 초분광 영상(HSI)은 수십~수백 개의 밴드를 가지고 있다
초분광 큐브 (초분광 데이터)
공간 정보(이미지)와 스펙트럼 정보를 결합한 3차원 데이터 구조.
일반적인 이미지가 2차원의 픽셀 데이터만 포함하는 반면,
초분광 큐브는 각 픽셀마다 여러 개의 스펙트럼 밴드 정보를 포함한다. --> 3차원 텐서 형태
초분광 이미징 기술의 분류
데이터 습득 형태에 따른 분류
>> 데이터 습득형태는 크게 공간스캐닝, 스펙트럼 스캐닝 방식으로 구분
공간 스캐닝
: 센서가 한 번에 전체 스펙트럼 데이터를 얻고, 공간 정보를 점진적으로 수집하는 방식
- 점 스캐닝(Point-Scanning)
- 한 번에 하나의 점(픽셀)의 스펙트럼 데이터를 측정하며, 점을 이동하면서 전체 초분광 데이터(초분광 큐브)를 구축 - 라인 스캐닝(Line-Scanning)
- 한 번에 한 줄(라인)의 스펙트럼 데이터를 측정하며, 줄을 이동하면서 전체 초분광 데이터(초분광 큐브)를 구축
스펙트럼 스캐닝
: 한 번의 촬영으로 이미지의 전체 공간 정보를 한 번에 얻고, 스펙트럼 정보를 수집하는 방식
- 영역 스캐닝(Area-Scanning)
- 전체 공간 정보를 한 번에 촬영한 후, 스펙트럼 정보를 각 필터마다 특정 파장대만 걸러서 저장하는 방식
- 필터를 바꿔가며(파장을 변화시키며) 초분광 데이터(초분광 큐브)를 구축 - 스냅샷(Snapshot imaging)
- 한 번의 촬영으로 초분광 큐브 전체 데이터를 획득하는 방식
- 초분광 카메라 내부에서 특수한 광학 시스템을 사용하여 전체 스펙트럼을 동시에 촬영
파장 대역에 따른 분류
측정 스펙트럼 대역은 초분광 카메라의 응용분야를 결정하는 주요한 결정하는 주요한 분류기준이다.
스펙트럼의 범위에 따라 아래와 같이 구분됨
- UV (200~400nm)
- VIS (400~600)
- NIR (700~1,100nm)
- SWIR (1,100~2,500nm)
- MWIR (2,500~7,000nm)
분야별 사용 대역
- 바이오 분야: UV ~ SWIR 대역
- 대기환경 분야: VIS ~ SWIR 대역
- 국방 분야 : SWIR ~ MWIR 대역
스펙트럼 밴드(해상도) 수에 따른 분류
밴드 수에 따라 아래와 같이 구분된다.
이에 더해, 스펙트럴 해상도를 통해 초분광 이미징을 구분하기도 한다.
다분광 이미징: Δλ / λ ~ 0.01 이하
초분광 이미징: Δλ / λ ~ 0.01
극초분광 이미징: Δλ / λ ~ 0.01 이상
초분광 이미징 시스템
광원, 광학계, 스펙트럼 분산 장치, 이미지 센서로 구성
광원은 실외 환경에서는 자연광을, 실내에서는 별도의 조명을 사용하고, 각 환경에 맞는 조건(기하학적 상태 등)을 고려하여 운용해야 한다.
이미지 센서는 초분광 이미지 데이터를 얻는 방식에 따라 1D 또는 2D 이미지센서를 사용하고, 광학계 및 측정 스펙트럼 대역에 따라 단일 센서/다중 센서 방식으로 나뉜다
분광 분산 장치는 모노크로메터 방식과 광학 가변 필터 방식으로 구분된다.
분광 분산 장치
- 빛을 여러 개의 파장으로 나누는 역할을 하는 장치
- 초분광 이미징 시스템에서 하나의 광원에서 들어온 빛을 개별적인 스펙트럼 밴드로 분리하는 핵심 요소
- 이렇게 나뉜 스펙트럼 데이터를 이미지 센서가 감지하여 초분광 이미지를 생성함
모노크로메터 방식
>> 프리즘, 격자(Grating) 등을 이용
프리즘: 굴절률에 따른 파장의 진행 속도 차이 및 이동 경로차를 이용하여 분산시키는 소자이다. 주로 가시광(VIS)와 근적외선(NIR) 대역에서 사용됨
격자 소자(Grating): 유리 또는 광학 물질 기저에 등간격으로 선이나 일정 패턴을 새겨 넣은 형태로, 빛의 회절과 간섭 현상을 이용하여 입사빔을 파장 별로 분산시키는 기능을 함.
최근엔 프리즘과 격자를 결합한 형태의 Prism-Grating-Prism 소자가 개발됨.
의료 분야를 비롯한 다양한 분야에서 연구가 진행줌
가변 필터 방식
>> 가변 필터는 크게 고정형과 가변형으로 나누어짐
고정형 가변 필터
- 필터 휠 방식
- 측정 밴드 수를 늘리기 위해 여러 개의 필터를 Wheel에 쉽게 장착 가능한 장점
- 필터 수에 따라 크기가 커짐, 필터 회전에 따른 이미지의 편심 발생이 쉬운 다점
- 패브리 페롯 간섭계 필터
- 다파장의 빛이 필터에 입사되면 공진층에서 다중간섭현상을 일으키고 그 결과 특정한 파장만을 투과, 나머지는 반사시키는 원리
- 이런 간섭계 원리를 이용하여 이미지 센서 픽셀에 서로 다른 길이의 필터를 부착하여 여러 파장의 정보를 한 번에 얻을 수 있는 스냅샷 방식의 초분광이미지 카메라가 개발됨
가변형 가변 필터
- 액상결정 가변 필터
- Lyot 복굴절 필터 방식을 사용하며 여러 개의 편광자 사이에 두께가 다른 액살 결정 판을 각각 위치시킨 구조
- 전류 변화를 통해 액상결정 분자의 방향을 변화시켜 투과 파장을 가변시키는 원리
- 높은 공간 분해능과 고해상도의 이미징을 얻을 수 있는 장점
- 느린 파장 튜닝 속도와 필터링 대역폭이 넓다는 단점
- 음향광학 가변 필터
- 압전 트랜스 듀서의 진동을 통해 결정성 물질에 일정 주파수의 섭동을 형성하고 섭동과 입사빔의 광자와의 상호 작용으로 일정한 파장만을 통과하는 원리
- 매우 빠른 튜닝 속도, 넓은 시야각 및 미세 파장 변조 가능한 장점
- 음파의 음향-광학 효과에 의존하기 때문에 영상 품질은 좋지 않은 단점
초분광 이미징 분석 기술
분광 혼합분석
분광 혼합: 초분광 큐브의 공간상의 화소에서 하나 이상의 물질에서 나오는 반사에너지가 정량적으로 혼합되어 나타나는 것.
>> 이런 혼합 화소를 분석하는 방법을 분광 혼합분석이라 함
분광 혼합분석: 각 화소에 포함되어 있는 여러 물질의 고유한 분광반사특성을 이용하여 각 화소를 구성하는 물질의 비율을 분석하는 방법
>> 이때 각 화소를 이루고 있는 단일의 순수한 물질을 엔드멤버라 하고, 각 화소는 여러 엔드멤버의 구성 비율의 합으로 나타낼 수 있음
화소에 영향을 미치는 각 스펙트럼 성분을 독립적으로 가정할 수 있는가에 따라 선형 분광 혼합분석, 비선형 분광 혼합분석으로 나뉨.
- 선형 분광 혼합분석
- 화소값이 엔드멤버의 합으로 표현됨
- 비선형 분광 혼합분석
- 각 엔드멤버의 분광신호가 얽혀있거나 서로 영향을 주어, 화소값이 엔드멤버의 비선형 조합으로 표현됨
>> 엔드멤버의 특성을 도출하는 것은 매우 어려운 문제임
분광 혼합분석의 목적은 혼합모델에서 엔드멤버를 찾는 것!
이는 아래의 과정을 거친다.
1) Dimensionality reduction
- 분광영상에서 분광정보를 줄여 원하는 특정정보만을 추출하는 것
- 비지도학습인 PCA와 LDA 등을 주로 이용
2) Endmember detection
- 화소에서 엔드멤버의 종류와 각 엔드멤버의 분광신호를 정의하고 영상에서 엔드멤버를 도출하는 것
- 동시 알고리즘 / 순차 알고리즘으로 나뉨
- 동시 알고리즘은 먼저 엔드멤버의 수를 알고 있다고 가정하고 엔드멤버를 도출
- 순차 알고리즘은 엔드멤버가 순차적인 세트로서 구성되어 있다고 가정하고 엔드멤버를 도출
3) Abundance estimation
분류
= 각 픽셀을 특정한 클래스로 할당하여 같은 특성을 가진 영역을 구분하는 방법
분류방식은 크게 스펙트럼 분류와 분광공간 분류로 구분할 수 있음
- 스펙트럼 분류
- 공간 정보를 고려하지 않고 단순히 각 픽셀의 스펙트럼 정보에 따라 분류 - 분광공간 분류
- 스펙트럼 정보와 공간 정보를 함께 고려하여 분류
- 픽셀이 속한 주변의 이웃 픽셀들도 고려하여 더 정확한 분류를 수행
분류 알고리즘은 지도학습 / 비지도학습 / 반지도 접근법으로 구분할 수 있음
- 지도학습
- 이미 알려진 훈련 샘플을 이용하여 새로운 입력데이터를 분류함
- 대표 알고리즘으론 SVM, ELMs이 있다 - 비지도학습
- 훈련 샘플 없이 픽셀의 스펙트럼 유사성에 의존하여 초분광영상의 물질을 군집화함
- 대표 알고리즘으론 SDS, K-means algorithm, SCS이 있다
딥러닝의 발전에 따라 신경망 기반 알고리즘에 대한 연구도 크게 증가함
밴드 선택
분석의 계산 복잡성을 줄이기 위해, 중복 데이터를 제거하거나 목적에 적합한 파장 대역의 데이터만을 선택해 사용하는 등의 불필요한 이미지 밴드를 제거하는 방식이 사용된다.
이후 feature 선택 접근법인 '유사도 전파 알고리즘을 통해 잡음이 제거된 데이터로부터' 대표적인 밴드를 선택한다.
압축 및 전송
초분광 큐브는 고용량의 분광 데이터를 생성하므로, 데이터의 압축이 요구된다.
데이터 압축은 크게 무손실 압축 / 손실 압축으로 나누어진다.
- 무손실 압축
- 직접적으로 찹축된 데이터에서 원본 영상 그대로를 복원할 수 있음 - 손실 압축
- 원본영상의 근사로만 이루어져 데이터의 손실이 있음
>> 초분광 큐브의 모든 부분이 사용되는 것은 아니기 때문에 손실 압축으로도 충분히 데이터 복원이 가능함
딥러닝 기반 초분광 이미징 분석 기술
분광공간 분류
해상도 개선
분광혼합 분석
합성 학습데이터 생성
