https://arxiv.org/abs/2401.14846

Introduction

• 최근 수많은 Domain Generalization 알고리즘이 개발되었으나, 표준 벤치마크에서 일반적인 Empirical Risk Minimization (ERM)보다 뚜렷하게 우수하다는 증거가 부족
  • ERM이 이미 충분히 좋은 표현을 학습했을 가능성이 제기되면서, DG 알고리즘이 언제, 왜 필요한지에 대한 이해가 절실한 상황임
• 유한한 샘플로 학습할 때 레이블 노이즈가 존재하면, ERM은 일반화에 도움이 되는 불변 특징 (invaraint features) 대신 데이터 내의 가짜 상관관계 (spurious correlation)에 더욱 의존하게 되어 성능이 저하됨
• IRM, V-REx, GroupDRO와 같은 주요 DG 알고리즘들은 학습 과정 내에서 레이블 노이즈의 영향을 억제하는 암묵적인 강건성을 내포하고 있으나, 이론적 기대와 달리 실제 데이터셋과 사전 학습모델을 사용한 실험에서는 DG 알고리즘의 노이즈 강건성이 ERM 대비 유의미한 성능 향상으로 이어지지 않음을 확인
• 실제 환경에서는 고품질의 사전 학습 표현과 데이터 증강이 노이즈 암기를 방지하며, 가짜 상관관계의 영향이 이론적 가정보다 복잡하거나 덜 치명적일 수 있음을 논의하고자 함.
  • 사전 학습된 모델은 이미 훌륭한 특징 추출 능력을 갖추고 있어, 노이즈를 암기하기도 전에 학습이 끝나버림
  • Mixup같은 단순한 데이터 증강 기법이 노이즈의 영향을 희석시키는 데 매우 효과적이어서, 복잡한 DG 알고리즘 없이도 ERM이 충분히 잘 버팀
  • 합성 데이터에서는 가짜 특징이 배우기 매우 쉽지만, 현실 세계에서는 가짜 특징을 학습하는 것도 모델 입장에서는 꽤 어려운 일일 수 있어 ERM이 가짜 특징에 쉽게 빠지지 않음

→ DG 알고리즘의 노이즈 강건성은 훌륭한 자산이지만, 현실의 강력한 사전 학습 모델과 데이터 증강 환경에서는 그 장점이 희석되고 있기에, 앞으로의 DG 연구는 단순한 노이즈 방어를 넘어, 현실의 복잡한 상관관계를 어떻게 다룰지에 집중해야 함

---

Related Work

Understanding Domain Generalization

• 기존 연구들은 ERM이 spurious correlation에 의존하는 이유로 overparameterization, max-margin principle에 따른 기하학적 실패, feature noise, gradient starvation 등을 제시해 왔음
• 기존 설정들은 invariant features가 레이블을 부분적 또는 완전히 예측한다고 가정했으나, 본 논문은 여기에 레이블 노이즈를 추가하여 더 넓은 범위의 시나리오를 분석al

Algorithms for Domain Generalization

• DG 성능 향상을 위해 다양한 알고리즘이 제안되어 옴
  • 새로운 훈련 목적 함수
  • Gradient alignment
  • 효율적인 데이터 증강
  • 전략적인 학습 스케줄링
• 하지만 최근 여러 연구는 ERM과 그 변형들이 이미 충분히 경쟁력있는 성능을 내고 있음을 보고하며, 다양한 DG 알고리즘의 실용성에 의문을 제기함

Algorithmic Fairness

• 특정 그룹 간의 예측 격차를 줄이려는 공정성 연구의 목표는 DG와 밀접하게 연관되어 있음
• 기존 공정성 연구가 “그룹에 의존적인 노이즈”의 유해성을 분석했다면, 본 연구는 균일한 레이블 노이즈가 ERM에는 해롭지만 특정 DG 알고리즘에는 저항력을 가질 수 있음을 보여줌

---

Domain Generalization with Label Noise

기본 표기법 및 환경 정의

• 데이터 구성: 입력 공간 $\mathcal X$, 레이블 공간 $\mathcal Y$, 그리고 환경 집합 $\Epsilon$으로 구성
• 데이터셋: 노이즈가 없는 원래의 데이터셋 $D$는 각 데이터 포인트 $(x^{(i)}, y^{(i)}, e^{(i)})$가 i.i.d. 에서 샘플링 된 것으로 정의
• Risk 정의: 특정 환경 e에서의 위험 $R_e(f)$는 손실함수 $l$의 기대값으로 정의
  

DG의 목표: OOD risk 최소화

DG의 목적은 학습에 사용되지 않은 환경을 포함하여 모든 환경 중 가장 성능이 낮은(위험이 큰) 곳의 위험을 최소화하는 것.

두 가지 분포 변화

본 논문은 DG에서 마주하는 두 가지 상황을 구분

1. Domain Shifts: 테스트 환경에 학습 시 보지 못한 새로운 특징이나 인구 집단이 등장하는 경우
2. Subpopulation Shifts: 학습과 테스트 환경이 같은 하위 집단을 공유하지만, 그 구성 비율이 달라지는 경우. 이 하위 집단들을 그룹(G)라고 부르며, DG의 성능은 보통 최악의 그룹 오차로 평가

레이블 노이즈 도입

• 노이즈 생성: 원래의 깨끗한 레이블 $y^{(i)}$를 $\eta$의 확률로 다른 클래스로 무작위 변조하여 노이즈가 섞인 데이터셋 $\tilde D$를 만듦
• 노이즈가 섞인 위험 ($R_\eta$): 노이즈가 섞인 데이터 분포 $\tilde P$에 대한 모델의 훈련 위험을 다음과 같이 정의
  

---

Understanding the Effect of Label Noise

Subpopulation shift에서는 training과 test에 같은 group들이 존재하지만, 각 group의 비율이 달라질 수 있음. 예를 들어,

• Majority group: 소가 대부분 초원 배경에 등장
• Minority group: 소가 사막 배경에 등장
• Training에서는 소-초원이라는 spurious correlation이 매우 강함
• Test에서 minority group의 비율이 높아지면 배경에 의존한 classifier의 성능이 급격히 감소하게 됨

따라서 평균 성능보다는 가장 성능이 낮은 group의 위험도인 worst-group risk가 중요해짐.

추가로, 본 논문은 여기에 label noise가 추가되면 ERM의 spurious feature 의존이 어떻게 심해지는지를 분석하고자 함.

직관적 분석을 위해 단순화된 설정은 아래와 같음.

• Binary linear classification
• Environment 정보 없음
• Overparameterized setting:
  • $d >> n$ (feature 차원이 샘플 수보다 큼)

각 input $x$는 세 종류의 feature로 분해

• $x_{inv}$: 모든 environment에서 label과 일관된 invariant feature
• $x_{spu}$: Training environment에서는 label과 강하게 연관되지만 다른 환경에서는 깨질 수 있는 spurious feature
• $x_{nui}$: Task와 무관하지만 모델이 개별 sample을 암기하는 데 사용할 수 있는 nuisance feature

이고, spurious feature와 label의 상관 관계는 $\gamma \in (0.5, 1)$로 표현하는데, 이는 $\gamma$가 1에 가까울수록 training data에서 spurious feature만으로 label을 맞힐 수 있는 비율이 높다는 것을 의미

Nuisance feature는 고차원 Gaussian으로 설정

• 해당 feature는 실제 classification rule과는 관계없지만, 차원이 매우 크기 때문에 training smaple별로 서로 거의 직교하여 모델이 label noise가 있는 개별 sample을 따로 암기할 수 있게 해줌

Assumption 4.1

본 논문은 Noise-free data는 invariant feature만 사용해도 linearly separable하다는 것을 가정하여, 이상적인 상황에서는 $x_{inv}$만으로도 정확한 분류가 가능

• 본 가정의 목적은 invariant feature가 충분히 정보를 가지고 있는데도 label noise가 존재하면 ERM이 이를 무시하고 spurious feature를 선택할 수 있다는 것을 보여주기 위함
• Label noise가 $\eta \in [0. 0.5]$로 들어가는 경우까지 포함하면 invariant classifier가 현실적으로 완벽하지 않은 상황도 어느 정도 포괄한다고 저자들을 설명

Failure-mode Analysis for ERM due to Label Noise

논문은 두 가지 training solution을 비교

• Invariant classifier
  • $w^{(inv)}$는 invaraint feature와 nuisance feature를 사용하며, spurious feature는 사용하지 않음
  • invariant feature로 정상적인 decision rule을 학습하며, label이 잘못된 샘플만 nuisance feature로 암기
• Spurious classifier
  • $w^{(spu)}$는 spurious feature와 nuisance feature를 사용하며, invariant feature는 사용하지 않음
  • Spurious correlation과 일치하는 샘플은 spurious feature로 분류하며, 나머지 샘플은 nuisance feature로 암기

→ Overparameterization 때문에 두 classifier 모두 training loss를 거의 0으로 만들 수 있기 때문에, training accuracy나 ERM losss 만으로는 두 해를 구분할 수 없음

ERM이 spurious classifier를 선택하는 이유?

이 때, ERM이 spurious classifier를 선택하게 되는데, 이는 gradient descent로 학습한 overparameterized linear classifier는 training loss를 최소화하는 해 중에서 l2-norm이 작은 해를 선호하는 implicit bias가 있음. 즉, $\|w\|_2$가 작은 classifier가 선택되기 쉬운데, 본 논문은 invariant correlation이 spurious correlation보다 복잡하고 학습하기 어렵다는 현실적인 상황을 반영하여 $\|w^{(inv)}_{inv}\| > \|w^{(spu)}_{spu}\|$임을 가정함.

• 즉, invariant decision rule 자체가 spurious decision rule보다 더 큰 norm을 필요로 함
• Deep model들은 보통 단순한 pattern부터 학습하는 simplicity bias가 있기 때문에, 학습 초기에 spurious feature를 이용한 작은 norm solution에 먼저 도달함.
  • 그 후 training loss를 낮추려면, 현재 spurious feature를 유지하면서 예외 샘플을 nuisance feature로 암기하거나, 더 복잡한 invariant feature를 새롭게 학습하여야 함. → Invariant classifier의 norm이 크다면 전자를 선택하기 쉬움
    

Label noise가 암기해야 할 sample 수를 어떻게 바꾸는가?

Label noise 비율을 $\eta$라고 할 때, invariant classifier는 원래 clean sample을 정확히 분류할 수 있으므로, label이 뒤집힌 sample만 암기하면 됨.

반면 spurious classifier가 암기해야 할 샘플 수는

가 되고, 두 classifier가 암기해야 할 샘플 수의 차이는

가 되고, 이는 $\eta$가 증가할수록 작아지게 됨

→ 즉, clean data에서는 spurious classifier가 minority 샘플을 추가로 많이 암기해야 하지만, label noise가 증가하면 invariant classifier도 noisy 샘플을 많이 암기해야 하고, 결과적으로 invariant classifier가 갖던 암기 비용 측면의 이점이 사라지게 됨.

이는 아래와 같이 정리할 수 있음.

Theorem 4.2

논문의 핵심 조건은 다음과 같음.

여기서 $C > 0$는 샘플 하나를 nuisance feature로 암기하는 평균적인 norm cost이고, 이 조건이 만족되면 높은 확률로 $\|w^{(inv)}\| ≥ \|w^{(spu)}\|$가 됨.

즉, invariant classifier보다 spuriouis classifier의 전체 norm이 작아지고, gradient descent의 min-norm bias 때문에 ERM은 그러한 spurious classifier를 선호하게 된다는 것.

• $\gamma$가 증가한다면: Training environment에서는 spurious feature가 거의 invariant feature처럼 작동. 따라서 spurious feature를 사용하더라도 암기해야 할 예외 샘플이 거의 없음
• $\eta$가 증가한다면: binary classification에서 label이 거의 무작위가 됨. 이때는 invariant feature도 유용하지 않으므로, 모델은 가장 단순하고 norm이 작은 solution을 선택하게 됨
• $n$ 이 증가한다면: 샘플 수가 증가하면 spurious classifier가 처리해야 하는 minority exception의 절대적인 수가 증가함. 이에 따라 nuisance feature를 통한 암기 비용도 커지므로 invariant classifier가 상대적으로 유리해짐.
  • 따라서 저자들은 충분한 data collection이나 data augmentation이 label noise와 spurious correlation의 악영향을 줄일 수 있다고 주장함

논문은 overparameterized logistic regression을 이용한 synthetic experiment로 이론을 확인함.

• (a): Noise level vs. test error
  • Label noise가 증가해도 majority-group error는 거의 증가하지 않음
  • Minority-group error는 매우 크게 증가
  • 따라서 평균 정확도만 보면 label noise의 위험을 과소평가할 수 있음(소수의 그룹만 에러가 높아지기 때문에)
• (b): Number of training data vs. test error
  • Training 샘플 수가 증가하면 majority와 minority group 모두에서 error가 감소
  • 이는 Theorem 4.2에서 $n$이 커질수록 spurious classifier가 더 많은 예외 샘플을 암기해야 하므로 상대적으로 불리해진다는 결과와 일치
• (c): Decision boundaries
  • Label noise가 증가할수록 decision boundary가 spurious feature 방향으로 기울어짐
  • 즉, label noise가 단지 boundary를 불안정하게 만드는 것이 아니라 classifier가 spurious feature를 더 강하게 사용하도록 유도
• (d): Noise level vs. weight norm
  • Noise-free setting에서는 $\|w^{(inv)}\| < \|w^{(spu)}\|$일 수 있지만, noise가 증가하면 관계가 역전되어 $\|w^{(inv)}\| > \|w^{(spu)}\|$가 됨.
  • 모든 feature를 사용할 수 있는 실제 classifier $w$의 norm과 solution 역시 label noise가 증가할수록 $w^{(spu)}$에 가까워지며, 이는 실제로 ERM이 spurious solution 쪽으로 이동한다는 것을 보여줌

---

The Implicit Noise Robustness of DG Algorithms

해당 섹션에서는 왜 IRM과 V-REx 같은 invariance learning 방법이 ERM보다 label noise에 강한지를 gradient 관점에서 설명

저자들의 핵심 아이디어는 noisy 샘플을 암기하는 것은 특정 샘플 또는 environment에서만 유효한 non-invariant behavior이고, 따라서 여러 environment에서 공통으로 작동하는 표현을 요구하는 IRM과 V-REx의 regularization은 이러한 암기를 간접적으로 억제한다는 것.

실제로 IRMv1의 목적 함수는 다음과 같음.

• 첫 번째 항은 일반적인 ERM loss이고, 두 번째 항은 동일한 classifier가 모든 environment에서 최적이 되도록 유도하는 invariance penalty임.

Binary classification에서 IRM의 gradient는 ERM gradient에 coefficient $\alpha(\phi)$를 곱한 형태로 나타낼 수 있음.

• 여기서 $\phi$는 샘플에 대한 logit.

일반적인 ERM에서는 정답 클래스의 logit을 계속 증가시켜 training 샘플을 높은 확률로 맞히려고 하지만, IRM에서는 logit이 일정 수준 이상 커지면 $\alpha(\phi) < 0$이 될 수 있고, 그러면 gradient 방향이 반대로 바뀌면서 logit 을 낮추게 됨.

즉, IRM은 noisy 샘플까지 지나치게 확신하며 암기하려는 학습을 되돌리는 효과를 가지며, $\lambda$가 클수록 $\alpha(\phi)$가 음수가 되는 영역과 크기가 증가하므로 이렇나 억제 효과가 강해짐.

실제로 Figure 2는 이러한 현상을 보여줌.

• 작은 $\lambda$: gradient reversal이 약함
• 큰 $\lambda$: 음수 영역이 깊어져 noisy 샘플 암기를 강하게 방해
• 실제로 $\lambda$ 값이 100 이상 정도의 강한 regularization에서는 sample loss가 0으로 수렴하기보다 오르내릴 수 있음

---

Is Noise Robustness Necessary in Practice?

본 섹션에서는 앞선 이론적 주장을 synthetic 및 real-world 데이터셋에서 검증하며, 핵심 질문은 IRM과 V-REx의 높은 noise robustness가 실제 OOD 성능 향상으로 이어지는가? 임.

Datasets

사용한 데이터는 크게 세 유형

• Synthetic subpopulation shift - CMNIST
  • 숫자 label과 색상 사이에 인위적인 spurious correlation 설정
• Real-world subpopulation shift - Waterbirds, CelebA
  • 배경 또는 성별과 label의 spurious correlation
• Real-world domain shift - PACS, VLCS, OfficeHome, Terralncognita
  • 학습과 평가 domain 자체가 달라짐

Experiments on Synthetic CMNIST Data

CMNIST에는 복잡한 모델이 아닌 CNN을 사용하며, 총 5,000 training steps 동안 학습하며, 모델 선택 시에는 validation 성능이 좋았던 checkpoint를 선택하는 early stopping을 사용하지 않음. Figure 3b에서는 별도로 20,000 steps까지 확장하여 봄

→ 일반적인 모델을 학습 초기에 비교적 쉬운 패턴을 먼저 학습하고, 이후 시간이 지나면서 noisy label까지 암기하는 경향이 있어, 각 알고리즘이 5,000 steps 동안 noise를 얼마나 암기했는지가 성능에 반영됨

• (a): noise가 거의 없는 환경에서는 모든 방법이 대체로 비슷하나, noise가 증가할 경우 ERM과 Mixup의 accuracy가 빠르게 하락하며, 해당 모델들은 noise memorization이 높은 것을 확인할 수 있음
• (b): 학습을 5k에서 20k로 늘리는 경우 알고리즘 간 차이가 더욱 뚜렷해지며, ERM 계열 모델이 noisy label을 장기간 암기하면서 일반화 성능을 잃는 현상이 강화됨

Experiments on Real-World Data

• 다수 그룹에서 잘 맞히는 것보다, 소수 그룹이나 spurious correlation이 깨지는 group에서도 얼마나 강건한지를 평가
• CMNIST와 달리 IRM이나 V-REx가 일관되게 우수하진 않은 성능을 보여줌
• Synthetic CMNIST에서 나타난 “invariance learning → noise 암기 감소 → OOD 성능 향상” 이라는 관계가 real-world subpopulation shift에서는 일관되게 성립되지 않음
• DG의 이점은 label noise와 spurious correlation이 동시에 강하고, invariant learning에 필요한 환경 차이가 충분히 존재할 때 가장 잘 나타남을 보여줌

• Real world domain shift와 label noise가 함께 있는 경우, 이 표는 IRM이나 V-REx보다 mixup이나 ERM이 더 안정적이고 경쟁력있으며, DG 알고리즘의 label-noise robustness가 반드시 더 높은 OOD accuracy로 연결되지는 않는다는 것을 보여줌

→ 세 가지 실험이 전달하는 핵심은, Noise robustness는 CMNIST처럼 spurious feature가 단순하고 명확한 환경에서는 OOD 성능과 직접 연결이 되지만, real-world dataset에서는 pretraining, augmentation, feature complexity, model selection 등의 영향이 커서 noise robustness만으로는 실제 DG 성능을 예측할 수 없다는 것.

---

Discussion

Why does ERM objective perform competitively on real-world subpopulation-shift datasets?

1. 실제 실험에서는 pretrained model과 augmentation을 사용함. 이로 인ㅇ해 좋은 representation을 빠르게 학습하고 training step도 줄어들어, ERM이 noisy label을 암기하기 전에 학습이 종료될 수 있음
2. 이론에서는 invariant feature가 spurious feature보다 복잡하고 학습하기 어렵다고 가정함. 하지만 실제 데이터에서는 반드시 그렇지는 않음.
   • 예를 들어, CelebA에서는 hair blondness가 label이고 gender가 spurious feature인데, 모델이 gender를 학습하는 것이 hair color를 학습하는 것보다 오히려 어려울 수 있음. 이는 색상만 확인하면 되는 CMNIST의 spurious feature보다 훨씬 복잡함
3. IRM과 V-REx가 invariant feature를 찾으려면 environment마다 spurious correlation의 강도가 충분히 달라야함. 따라서 실제 데이터에서는 environment 간 차이가 너무 작아 invariance learning이 효과적으로 작동하지 않을 수 있음.

Does spurious correlation shift affect domain shifts?

• Training domain에서 학습된 domain-specific spurious correlation은 새로운 test domain에는 존재하지 않을 가능성이 높음. 하지만 그 상관관계가 너무 강하지 않다면 ERM도 의미 있는 invariant representation을 함께 학습할 수 있음.
• 또한 여러 training domain이 각각 서로 다른 spurious feature를 가진다면, 이 모든 spurious pattern을 학습하는 것이 하나의 공통 invariant feature를 학습하는 것보다 오히려 복잡해질 수 있음. 이 경우ERM의 simplicity bias가 invariant feature 학습에 유리하게 작용할 수 있음.

따라서, 저자들은 Training domain의 수와 다양성이 증가하면, 별도의 invariant regularization 없이도 ERM이 invariant feature를 학습하도록 유도될 수 있다고 추측함.