Saliency Detection 기술

1. 기술 개요

Saliency Detection은 이미지나 영상에서 사람의 시각적 주의를 끌 만한 중요한 부분을 자동으로 식별하는 기술입니다. 이 기술은 컴퓨터 비전, 이미지 처리, 객체 인식 등 다양한 분야에서 활용됩니다. 주목할 만한 영역을 강조하여 분석 및 처리의 효율성을 높이고, 불필요한 정보를 제거하는 데 도움을 줍니다.

https://pyimagesearch.com/2018/07/16/opencv-saliency-detection/

2. 대표적인 방법론

전통적 방법

• Itti-Koch 모델: 생물학적 시각주의 이론을 바탕으로 한 모델로, 색상, 강도, 방향 등의 특징을 이용해 주목 영역을 검출합니다.
• Graph-based Visual Saliency (GBVS): 그래프 이론을 기반으로 한 방법으로, 이미지의 피처 맵을 그래프로 변환한 후 주목도를 계산합니다.

딥러닝 기반 방법

• DeepLab: CNN을 사용하여 픽셀 단위로 이미지의 주목 영역을 예측하는 방법입니다.
• U-Net: 의료 이미지 처리에 주로 사용되지만, 다양한 이미지 분할 문제에 적용 가능한 신경망 구조입니다.
• DSS (Deep Supervision for Saliency Detection): 깊은 네트워크 구조와 중간 계층의 감독을 결합하여 더 정확한 주목 영역을 검출합니다.

3. 예제

import cv2
import numpy as np
import matplotlib.pyplot as plt

# OpenCV를 사용한 간단한 Saliency Detection 예제
image = cv2.imread('example.jpg')
saliency = cv2.saliency.StaticSaliencySpectralResidual_create()
(success, saliencyMap) = saliency.computeSaliency(image)
saliencyMap = (saliencyMap * 255).astype("uint8")

# 결과 출력
plt.figure(figsize=(10, 5))
plt.subplot(1, 2, 1)
plt.title('Original Image')
plt.imshow(cv2.cvtColor(image, cv2.COLOR_BGR2RGB))
plt.axis('off')

plt.subplot(1, 2, 2)
plt.title('Saliency Map')
plt.imshow(saliencyMap, cmap='gray')
plt.axis('off')

plt.show()

4. 관련 논문 레퍼런스

Itti, Laurent, Christof Koch, and Ernst Niebur. "A model of saliency-based visual attention for rapid scene analysis." IEEE Transactions on Pattern Analysis and Machine Intelligence 20.11 (1998): 1254-1259.
Hou, Xiaodi, and Liqing Zhang. "Saliency detection: A spectral residual approach." 2007 IEEE Conference on Computer Vision and Pattern Recognition. IEEE, 2007.
Wang, Lijun, et al. "Deep networks for saliency detection via local estimation and global search." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2015.
Ronneberger, Olaf, Philipp Fischer, and Thomas Brox. "U-net: Convolutional networks for biomedical image segmentation." International Conference on Medical image computing and computer-assisted intervention. Springer, Cham, 2015.
Li, Guanbin, et al. "Deep visual saliency detection via progressive representation learning." IEEE Transactions on Image Processing 28.1 (2018): 428-438.