기존 Mirror Detection은 거울과 비거울 영역 사이의 의미적⋅구조적 특징을 통합하거나, depth, chirality 같은 거울 속성을 추가 정보로 활용하는 방식에 집중해왔다.

chiarlity: reality와 reflected 사이의 '좌우반전'의 기하학적 특성으로, 글자가 뒤집히는 것을 예로 들 수 있겠다.

반면 SATNet은 거울의 본질적 물리 현상 관찰에 집중한다. 실제 물체와 거울 속 반사 이미지는 항상 의미적(semantic) 또는 밝기(luminance) 일관성을 유지한다. 위치나 방향이 엄격히 대칭이 아니더라도 말이다. 이것을 loose symmetry(느슨한 대칭)이라고 정의하고, 이 관계를 모델링하는 것이 핵심이다.

기존 모델 대비 차별점

기존 모델들의 한계

MirrorNet은 경계가 불명확한 장면에서 실패하고, PMDNet은 유사서어 의미론(similarity smenatics)을 고려하지만 대칭 쌍을 검출하지 못하고 비거울 영역을 거울로 오검출하기 쉽다. SATNet은 SAAM의 대칭 어텐션으로 경계 없이도 거울 영역을 식별한다.

깊이 정보를 쓰는 방법들은 depth값이 비신뢰적일 때 쉽게 오도되고, chirality 기반 방법은 거울에 반사된 장면에 기하학적 chirality 단서가 없을 때 효과가 줄어든다.

---

SATNet의 구조적 혁신

1. Dual-Path 구조
기존 모델들은 단일 입력 이미지에서 거울의 경계를 찾다보니, 거울 안의 반사된 객체와 거울 밖의 실제 객체간의 기하학적 연관성을 놓치기 쉬웠다.

• 매커니즘: SATNet은 입력 이미지$(I)$와 이를 좌우로 반전(Horizontal Flip)시킨 이미지 $(I_{flip})$을 동시에 입력받는 Dual-Path 구조를 선택하였다.

• 혁신점: 트랜스포머 백본(Swin Transformer 등)을 통해 두 경로에서 각각 멀티스케일 Global Feature를 추출한다. 원본 이미지와 반전 이미지를 동시에 처리함으로써, 공간적으로 떨어져있는 실제 객체와 거울 속 가상 객체를 동일한 위상 혹은 비교 가능한 공간 선상에 배치하여 대칭성을 쉽게 인지할 수 있는 기반을 마련한다.

2. SAAM (Symmetry-Aware Attention Module)
거울에 비친 객체는 완벽한 수학적 대칭을 이루지는 않고, 각도, 거울의 프레임, 촬영 환경 등에 따라서 왜곡되거나 일부만 보인다. SATNet은 이를 Loose Symmetry 라고 정의한다. 이를 포착하기 위한 전용 Attention Module이 바로 SAAM이다.

• 매커니즘: 백본의 High-level layer에서 나온 원본 경로의 Feature Map과 반전 경로의 Feature Map을 SAAM으로 교차 입력한다. Cross-Attention을 약간 변형하여, 원본 이미지의 특정 객체 영역이 반전 이미지의 어떤 대응 영역(거울 속 반사 이미지)와 매칭되는지 Global Context 만에서 연관 가중치를 계산한다.
• 혁신점: 단순 기하학적 대칭 위치를 고정해서 보는 것이 아니라, 트랜스포머의 멀리 떨어진 요소 간의 연관성도 파악할 수 있는 장거리 의존성(Long-range dependency)를 활용하여 원본 객체와 거울 속 반사체의 상관관계를 픽셀 단위로 추적한다.

3. CFDM (Contrast and Fusion Decoder Module)
대칭성을 확인했다 하더라도, 최종 거울 Mask를 정밀하게 따내기 위해서는 거울 경계면의 시각적 이질성과 디테일을 잡아야 한다.

• 매커니즘: CFDM은 디코더 단에서 원본 경로의 특징과 반전 경로의 특징을 단순히 더하는 것이 아니라, 두 경로 간의 '대조(Contrast)' 정보와 '융합(Fusion)' 정보를 동시에 처리한다.
• 혁신점: 멀티스케일(Low-to-High) Feature Map들을 거치며, 거울 내부와 외부의 시각적 차이점을 극대화하여 경계를 뚜렷하게 만들고, SAAM이 찾아낸 대칭성들을 점진적으로 결합한다(Upsampling + Refinement). 이 과정을 통해 거울의 미세한 edge까지 완벽하게 분할할 수 있는 것이다.

---

Related Work

Mirror Detection

사실 SATNet이 Reality와 Reflected된 영역의 특정 관계를 모델링한 것이 첫 시도는 아니다.
대표적으로 MirrorNet과 PMDNet이 있는데, 이러한 방법들은 그들이 일치시키는 관계가 너무 단순하거나 너무 엄격하기 떄문에 일반적인 거울 탐지 사례에서 거의 적용할 수 없었다고 한다.

MirrorNet의 한계: 단순함

MirrorNet과 같은 초기 모델들이 거울 안팍을 비교하는 방식은 기하학적 구조가 아닌, 주로 '시각적 이질성(Contextual Contrast)'에만 의존했다.

• 기존 방식: 이 모델들은 거울 내부와 외부의 미세한 색상 차이, 질감의 불연속성, 혹은 조명의 반사 광도 차이를 대조하는 모듈을 사용하였다.
  
  이는 실제 물체와 거울 속의 관계(Relationship)을 보는 것이 아니라, 여기는 경게선이 같고, 안쪽과 바깥쪽의 색감이 살짝 다르네? 수준으로만 특징을 비교한 것이다.
  
• 실패 케이스: 거울이 매우 깨끗하고 주변 환경과 완전히 동질적으로 이어져있는 경우에는 안팎의 시각적 이질성이 거의 존재하지 않는다. (벽면 전체가 거울인 경우를 예로 들 수 있겠다.) 이 경우에 MirrorNet은 거울 안팍의 Feature가 너무 유사하다고 판단되어 거울을 전혀 잡아내지 못한다.
  즉, 고차원적인 대칭 구조를 보지 못하고 단순 표면 정보만 비교했기 때문에 실패하는 것이다.

Chirality 및 기하학적 대칭 모델의 한계: 엄격함

이를 극복하기 위해 일부 후석 연구(SATNet 등)들은 물리적 특성인 Chirality나, 명시적인 기하학적 대칭성을 수식으로 강제하려고 했다.

• 기존 방식: 이미지 내에서 완벽하게 좌우가 뒤집힌 물리적 대칭 쌍이나 고정된 대칭축을 수학적으로 매칭하려고 했다.
• 원인: 현실 세계에서 촬영된 거울 사진은 수학 책에 나오는 것처럼 완벽하게 정면에서 예쁘게 찍히지 않는다.
  - 거울이 비스듬하게 있으면 반사된 상이 왜곡된다.
  • 카메라의 앵글에 따라 실제 물체는 크게 나오고 거울 속 물체는 작게 보일 수 있다.
  • 거울 프레임에 걸려 거울 속 물체의 일부분만 잘려서 보일 수 있다.
    
• 실패 케이스: 기존의 엄격한 대칭 매칭 알고리즘은 조금만 각도가 틀어지거나 왜곡이 싱겨도 "이 둘은 대칭이 아니다"라고 판단한다. 즉, 현실 세계의 가변적인 기하학적 변화를 수용하지 못하는 치명적 단점이 있다.

SATNet의 해결 방법: Loose Symmetry

아까부터 계속 Loose Symmetry가 나오는데, 이 부분이 바로 핵심이다.
SATNet은 기존 연구들의 '너무 단순해서 놓치는 문제'와 '너무 엄격해서 부러지는 문제' 사이에서 완벽한 절충안인 Loose Symmetry를 제안한다.

• Dual-Path를 통한 유연한 비교: SATNet은 원본과 반전 이미지를 동시에 입력받아 트랜스포머의 전역 어텐션(SAAM)을 통과시킨다.
• 이 어텐션 메커니즘은 고정된 픽셀 위치나 딱딱한 수식으로 대칭을 검사하지 않고, "이쪽 영역에 있는 실제 의자의 고차원적 Feature가 반대 영역의 왜곡된 상과 맥락적으로 깊은 Correlation이 있다는 것을 인지하도록 한다.

---

Method

Overview

Loose Symmetry는 두 가지 측면에서 탐지 과정에서 이점을 보인다.
1. loose symmetry의 존재는 거울의 존재 가능성을 암시한다. 모델은 거울이 어디에 존재하는가를 포착하기 위해 Dual-Path 구조와 *새로 제안한 SAAM(Symmetry-Aware Attention Module)을 설계하여 대칭적 특징을 강화하고 뽑아낸다.

2.거울 영역의 구체적 경계 구분(Localization)
대칭을 이루는 쌍 사이의 미세한 차이점들을 분석함으로써, 이미지의 어느 부분이 실제 객체이고 어느 부분이 반사된 영역인지 짚어낼 수 있다.
모델은 이 두 번째 측면을 명확히 구분하고 세밀하게 정제하기 위해 트랜스포머 백본과 CFDM을 활용한다.

이번에 새로 도입한 SAAM 모듈?

SAAM은 백본 네트워크의 High-level 레이어에서 추출된 원본 경로의 특징($F$)와 반전 경로의 특징($F^f$)를 입력으로 받는다.

논문의 Figure 2(b)를 보면 구체적인 연산 과정을 알 수 있다.
1. Spatial Alignment: 채널 방향으로 두 경로의 특징을 합치기 전에, 뒤집혀 있는 반전 특징($F^f$)을 기하학적으로 다시 똑바로 뒤집어서 ($flip(F^f)$) 원본 이미지의 위치와 픽셀 수준에서 정렬시킨다.

2. Feature Fusion ($\varphi$함수): 정렬된 두 특징을 Concat한 후, $1\times 1$ 및 $3\times 3$ 컨볼루션과 Batch Norm, ReLU를 거쳐서 두 경로의 정보가 통합된 증강 특징 $F^c$를 생성한다.


3. Symmetry-Aware Cross-Attention: 원본 특징의 강화($\hat F$): 원본 특징 $F$를 Query로 사용하고, 융합 특징 $F^c$를 Key, Value로 사용하여 어텐션을 수행한다.
- 반전 특징의 강화 ($\hat F^f$): 반전 특징 $F^f$를 Query로 사용하고, 동일하게 $F^c$를 Key와 Value로 설정하여 어텐션을 수행한다.
$\hat F = ECA(Attention(F, F^c, F^c))$
$\hat F^f = ECA(Attention(F^f, F^c, F^c))$

4. ECA(Efficient Channel Attention)적용: 크로스 어텐션을 거친 후 경량화 된 채널 어텐션 모듈인 ECA를 통과시켜 채널 간의 상호작용을 한 번 더 정제한다.

그럼 기존과의 차이는 무엇인가?

기존 모델들은 이미지 한 장에서 두 가지의 장면이 얼마나 다른지, 혹은 특정 위치에 거울이 있는가? 만 보았지만, '실물'과 '반사체'를 일대일로 대조하는 어텐션 구조는 아예 없었다.


기존에는 하지 않던 '원본 이미지($I$)와 '좌우를 고의로 뒤집은 이미지 ($I^f$)를 동시에 넣는 Dual-Path 구조를 도입한 것이다.
또한, SAAM 안에는 일반적인 어텐션을 하지 않는다.
원본과 반전 이미지를 공간적으로 합친 증강 $F^c$를 Key, Value, 원본 특징($F$)를 Query로 던지는 이것은 Attention Score자체가 원본과 반전 이미지 사이의 Loose symmetric을 찾아내는 일종의 Indicator로 작동하는 것이다.

---

입력 이미지 $I$와 뒤집한 반전 이미지 $I_f$를 공유 가중치 트랜스포머 백본에 입력하여 Multi-Scale 특징 $\{F_0, ..., F_3\}$와 해당 뒤집힌 특징 $\{F_f^0, ...,F_f^3\}$을 각각 얻는다.

대칭 관계를 모델링하기 위해, 두 레벨의 가장 높은 두 레벨에서 특징을 선택하고, SAAM에 입력하여 $\hat F$와 $\hat F_f$를 얻는다.

다중 스케일 특징 $\{F_i/\hat F_i\}$와 뒤집힌 특징 $\{F_f^i/\hat F_f^i\}$를 CFDM에 입력하여 점진적으로 다른 스케일의 거친 출력 특징 $F_{out}^i$를 생성한다. (위에 첨부한 [Figure 2]와 같이 CFDM은 모든 레벨에서 진행한다.)

$F_{out}^0$을 제외한 $F_{out}^i$는 다음 디코더로 업샘플링하여 추가적인 예측 정제를 위한 참조 특징 $D_{i-1}$로 사용한다.

동시에 각 디코더에서 Segmentation Head를 통해 예측 맵 $P_i$를 업고, 이를 실제 마스크 $M$을 통해 지도(Supervise)한다.

디코더의 각 단계($i$)마다 $M$을 대조하여 학습시키면, 모델의 상위 레이어부터 하위 레이어까지 거울의 경계면과 대칭성 정보를 잊지 않고 점진적으로 정밀하게 마스크를 깎아 나갈 수 있게 된다.

---

Dual-Path Structure

대부분의 실제 환경에서 만들어지는 Loose Symmetric은 복잡한 시각적 배경 속에 숨겨져 있다. 때문에 기존의 베이스라인 모델들은 감지를 잘 하지 못하여, 연구진들은 양방향을 모두 강화하는 Dual Enhancement 방식을 제안한다.

데이터 증강에서 흔히 쓰이는 'Horizontal Flip'은 이미지 전체의 전역적 의미 구조를 변화시키지만, 거울이 가진 본질적 대칭 관계는 이미지 안에서 사라지지 않고 그대로 유지된다.

따라서 저자들은 이 대칭적 특징을 추출하기 위해 두 개의 경로를 가진 네트워크를 도입하는데, 겉보기에는 $F$와 $F^f$가 서로 다르지만, 동일한 loose symmetry 가 존재한다고 기대하는 것이다.

저자들은 이 둘을 concat하여 $F_C$라는 거대한 Feature Map을 만드는데, 이미지 내에서 대칭을 이루고 있던 영역들이 서로 시너지를 내며 증폭되는 원리이다.

$F^c = \varphi(F, \text{flip}(F^f))$
$\varphi(a_1, ..., a_n) = \sigma(\text{BN}(\psi_{3\times 3}(\psi_{1\times 1}([a_1,...,a_n]))))$

• $F^f$는 애초에 뒤집힌 이미지 ($I^f$)로부터 추출되었기 때문에, 원본 특징 $F$와 그대로 합치면 픽셀 위치가 맞지 않는다. 따라서 Concat을 통해Spatial Level에서 완벽하게 정렬하기 위해, 저자들은 SAAM이나 CFDM 모듈에 집어넣기 직전에 반전 특징 $F^f$를 다시 원래 방향으로 한 번 더 뒤집은 뒤 ($\text{flip}(F^f)$)와 결합한다.

이 완벽한 공간적 정렬과 대칭 정보의 물리적 결합이 선행되었기 때문에, 후속 모듈인 SAAM에서 크로스 어텐션을 통해 Loose symmetric을 정밀하게 추적할 수 있게 되는 것이다.

---

Symmetry-Aware Attention Module

SAAM을 통해 이미지 내에서 거울의 존재 가능성을 나타내는 Loose symmetric을 인식하고자 한다.
이러한 대칭 관계가 거울이 존재할 가능성을 강력히 시사하기 때문에 매우 중요하다.

SAAM은 두 가지 병렬 작업을 수행한다.

• 특징 강화: 입력 원본 이미지의 특징 $F$ 자체를 더욱 강력하게 강화한다.
• 대칭성 모델링: 원본 이미지와 반전 이미지 사이의 상호 의존성을 모델링하여, 대칭을 인지하고 있는 정보를 확보한다.

SAAM은 원본 특징 $F$, 반전 특징 $F^f$, 그리고 Dual-Path 구조에서 두 특징을 정렬하여 합친 융합 특징 $F^c$까지 총 3개의 Feature Map을 입력으로 받는다.

$F^c$는 양쪽 경로의 특징을 모두 취합한 결과물이면서 동시에 원본 특징 $F$와 Spatial한 특징까지 일치하기 때문에, 원본 특징 $F$가 대칭 정보로 한 단계 업그레이드 된 증강 표현으로 취급될 수 있다.

$\hat F = \text{ECA}(Attention(F, F^c, F^c))$
원본 특징 $F$를 Global Contextual 에 맞게 강화하기 위해, 저자들은 원본 특징 $F$를 Query로, 대칭 정보가 증강된 $F^c$를 Key, Value로 설정하여 Cross-Attention을 수행한다.

그 직후, 연산 효율성이 높은 채널 어텐션 모듈인, ECA를 통과시켜 채널 간의 상호작용을 정제함으로써, 최종적으로 전역 대칭 맥락이 풍부해진 원본 특징 $\hat{F}$를 얻는다.

$\hat F^f = \text{ECA}(Attention(F^f, F^c, F^c))$
대칭성 인지 특징 추출을 위해서는 반전 특징 $F^f$를 Query로, F^c를 Key, Value로 설정한다.

Query인 $F^f$는 뒤집힌 이미지에서 온 것이고, Key 인 $F^c$는 원본 이미지의 공간 방향을 따른다.

따라서 둘 사이의 어텐션 Score를 계산한다는 것은, 원본 이미지의 영역과 반전 이미지의 영역 사이에 'Loose symmetric'이 존재하는지 판별하는 지표(Indicator)로 쓰이게 됨을 의미한다

이 과정에서 나온 출력물은 비로소 대칭성을 인지한 상태이므로 Symmetry-Aware 특징 ($\hat F^f$)가 된다.

왜 상위 두 개의 레이어에서만 적용하는가?

SAAM을 굳이 상위 마지막 두 개의 레이어(Scale 2, 3)에서만 진행하는 이유는 두 가지 이유가 존재한다.

1. 딥러닝 레이어별 특징의 특성

2. 연산 효율성 및 노이즈 방지

---

Low-level 레이어

이미지의 국소적 특징(선, 면, 질감) 같은 정밀한 기하학적 디테일은 Scale 0, Scale 1과 같은 Low-level 레이어에서 학습한다.

이 단계에서는 Receptive Field가 좁아서 이미지 반대편에 있는 실제 객체와 거울 속 객체를 연결하는 '대칭 관계'를 인지할 수 없다.

High-level 레이어

Receptive Field가 이미지 전체로 확장되며, 객체의 추상적 형태, 종류, Global Context를 다룬다.

---

저자들이 정의한 Loose Symmetry는 '자잘한 픽셀의 비교'가 아닌 '추상적 의미가 서로 대칭을 이루는 고차원적 맥락'이다. 따라서 이 관계성을 인지하는 SAAM은 고차원적인 의미 정보가 완성되는 상위 레이어에서만 작동해야 비로소 유의미한 대칭 쌍을 찾을 수 있다.


(물론 저자들이 하위 레이어에서 진행한 결과도 Ablation Study와 Table 3에서 나온다.)

---

Contrast and Fusion Decoder Module (CFDM)

MirrorNet 연구 이후, 거울의 안팍 차이를 포착하는 CCL(Context Contrasted Local) 디코더는 Mirror Detect Network에서 일종의 표준처럼 널리 쓰여왔다.

기존 모델들은 거울의 경계를 더 예쁘게 깎기 위해 Edge Extractor라는 별도의 신경망 모듈을 추가하여 함께 학습했다고 한다.

저자들은 기존 방식을 확장하여 Dual-Path에서 나오는 Multiple Featues을 한 번에 다룰 수 있는 CFDM을 제안한다. CFDM은 무거운 Edge 정보를 추가로 주입하지 않음에도, Top-down 구조를 통해 Multi-level 특징을 점진적으로 정제하여 정밀한 거울 경계를 효율적으로 그린다.

CFDM은 디코더 층의 높이에 따라 입력받는 특징이 다르다.

• 하위 레이어 ($i=0,1$): SAAM을 거치지 않은 일반 백본 특징인 $F_i$와 $F_i^f$를 입력받는다.
• 상위 레이어($i=2, 3$): SAAM을 거치며 대칭성이 정밀하게 모델링 된 $\hat F_i, \hat F_i^f$를 입력 받는다.

어떤 층이든 상관없이, CFDM은 가장 먼저 앞서 Dual-Path에서 배웠던 융합 수식($\varphi$)을 이용하여 원본과 반전 특징이 하나로 묶인 융합 특징 $F_i^c$를 획득하며 연산을 시작한다.

---

Top-down Mechanism

바로 위 단계의 디코더($i+1$)가 내뱉은 출력 특징($F_{i+1}^{out}$)이라고 한다. CFDM은 이 상위 스케일의 결과를 받아 3x3 Conv, BN, ReLU를 수행한 뒤, Bilinear Interpolation을 통해 해상도를 2배 키워 현재 레이어의 참조 특징인 $D_i$를 만들어낸다.

즉, 상위 레이어가 찾은 거울의 대략적 위치 정보가 하위 레이어로 상속되는 과정이다.

---

                                                 <br>

상위 레이어에서 내려온 참조 특징 $D_i$를 현재 층의 세 갈래 특징에 각각 Element-wise로 주입한다.
(최상위 층인 $i=3$은 위에서 내려온 정보가 없으니 자기 자신으로 한다.)

상위 맥락이 덧칠해진 세 갈래 특징은 각각 독립적으로 CCL 모듈에 들어가서 거울 안팍의 대조적 의미를 추출하게 된다.

$CCL(\tilde F_i) = \sigma (BN(f_l(\tilde F_i) - f_{gl}(\tilde F_i)))$

• CCL 연산의 핵심은 뺄셈($-$)이다. 국소적 특징에서 전역적 주변 문백 특징을 빼버리는 연산으로, 거울 내부의 특징과 거울 외부의 특징 차이점만 극대화되어 경계선이 아주 뚜렷하게 도드라진다.

SAAM, CFDM 하나라도 부재한다면?

• SAAM (O), CFDM (X): 대칭성은 매우 잘 찾아, 거울의 대략적 위치는 알지만, 거울의 Boundary 깎는 능력이 떨어져 마스크가 뭉뚱그려진다.
• SAAM (X), CFDM (O): 거울의 경계면은 칼로 딴 것처럼 매우 선명하지만, 대칭 맥락을 모르기 때문에 거울 내부에 대칭된 객체가 있으면 그걸 거울이 아니라 일반 실제 물체인줄 알고 마스크에서 파버린다.

---

Trasnformer for Mirror Detection

기존 Mirror Detection 모델들은 대부분 Multi-Scale 특징을 뽑아내기 위해 CNN을 백본으로 사용했다. 하지만 일반적인 Convolution 연산은 커널 크기의 한계로, Receptive Field의 크기가 제한적이다. 이 때문에 CNN은 이미지 내에서 멀리 떨어진 요소들 간의 관계를 파악하는 데에 한계가 있다.

Mirror Detect에서는 Global Information이 매우 중요하다. 거울은 대게 멀리 떨어진 풍경을 반사하며, 그 결과 '실제 객체'와 그에 대응하는 '거울 속 반사체'가 이미지 상에서 서로 아주 멀리 떨어져 배치되는 경우가 빈번하기 때문이다. 이 둘을 하나로 엮어 대칭성을 인지하려면 이미지 전체를 한눈에 조망할 수 있는 눈이 필요하다.

저자는 이를 위하여 CNN 대신 Swin Transformer를 백본으로 사용한다.

Swin-S 백본은 이미지를 계층적으로 처리하며 총 4가지 스케일의 Feature Map을 만든다. 이를 수식 $F_i$로 정의한다.

Loss Functions

$\mathcal{L} = \sum \limits_{i=0}^3w_i \mathcal{L}_{ce}(P_i, M)$
저자들은 단 하나의 최종 출력증만 보는 것이 아니라, 디코더의 모드느 스케일을 종합적으로 고려하도록 설계한다.

디코더의 각 레이어($i$)에서 출력되는 예측맵 $P_i$와 GT $M$ 사이의 Cross Entropy Loss를 각각 계산한다.

---

Experiments

Datasets & Optimization

기존 Mirror Detect 분야에서 표준으로 쓰이는 MSD와 PMD를 사용하였다. RGB-D 기반 모델들과의 비교를 위해 depth 정보가 포함된 RGBD-Mirror 데이터셋 또한 활용한다.

Adam weight decay를 사용하여 20K 이터레이션 동안 학습을 진행한다.

초기 학습률은 $6 \times 10^{-4}$이며 Poly 에 따라 점차 감쇠된다. 총 학습 시간은 6시간이며, 단일 GPU에서 이미지 1장을 테스트하는 데에 걸리는 시간은 0.08초이다.

Quantitative Comparison

RGB 데이터셋 결과 (MSD, PMD)

• MSD 데이터셋: IoU 85.41%, $F_\beta$ 0.922, MAE 0.033으로, 기존 SOTA인 PMDNet보다 약 3.8% 높은 수치를 보인다.

• PMD 데이터셋: IoU 69.38%, $F_\beta$ 0.847, MAE 0.025를 달성하여, 데이터셋을 구축했던 PMDNet이나 SANet을 제치고 새로운 SOTA를 달성한다.

  ---

RGB-D 데이터셋 결과 (RGBD-Mirror)

• SATNet은 Depth 정보를 전혀 사용하지 않는 RGB 모델임에도 불구하고, 실제 depth map을 주입받아 학습한 최신 RGB-D Mirror Detect 모델보다 더 높은 성능을 기록했다.
• IoU 78.42%, $F_\beta$ 0.906, MAE 0.031을 기록하며, 깊이를 사용한 PDNet을 뛰어넘었다. 이는 값비싼 depth 카메라 정보 없이 단지 'loose symmetry'를 모델링하는 것 만으로도 공간 왜곡을 더 잘 파악할 수 있음을 증명한다.

---

Conclusions

저자들은 본 논문을 통해 Mirror Detect 분야에서 가장 중요한 물리적 관찰을 다시 한번 강조한다. 바로 실제 객체와 거울 속 반사체 사이에는 언제나 Loose symmetric이 형성된다는 점이며, 이것이 해당 Task에서 결정적인 역할을 한다는 것이다.

이 현상을 유연하게 활용하기 위해 쌍방향 경로를 가진 SATNet 아키텍처를 제안한다. 특히 CNN의 좁은 RF를 극복하고 이미지 전체의 Long Range 맥락을 완벽히 수집하기 위해, 트랜스포머 백본을 도입하였다.

---

하지만 SATNet이 기존 모델들을 엄청난 격차로 성능 측면에서 압도하긴 했지만, 극도로 가혹하고 복잡한 환경에서는 여전히 오작동할 가능성이 있다고 시사한다.

만약 방 안에 거울이 여러 개 배치되어 있어서 거울 속에 또 다른 거울이 비치거나, 실물 하나가 여러 거울에 동시에 반사되는 경우가 있다.

이 때는 대칭 관계의 가중치가 기하급수적으로 복잡해지기 때문에, 모델이 대칭 쌍을 놓치고 거울 영역을 일부분만 찾아내는 불완전한 검출을 하게 된다.

---

Code Implementation

---