[Paper Review] Identifying Cause and Effect on Discrete Data using Additive Noise Models

요즘 Dag를 활용한 Causal inference에 관심이 있어서, Causal inference에 관련된 논문과 Elements of Causal inference(Peters, Janzing & Scholkoph) 책을 보면서 리뷰형식으로 글을 적으려고 한다. (간단한 요지와 나의 생각)

Identifying Cause and Effect on Discrete Data using Additive Noise Models(Peters.J, Janzing.D, Scholkoph. B, 2009)

Motivation

이산형 공변량과 이산형 반응변수 데이터에서 어떻게 인과관계를 모델링 할 수 있을 것인가?

ANMs for Discrete Variables

다음의 모델을 셋팅하자.

(자세한 조건은 생략)

Identifiability

수 많은 joint distribution 들 중,
1. ANM이 X->Y로 결정되는 분포가 있고, (forward direction)
2. Y->X로 결정되는 분포가 있으며(backward direction)
3. identifiable 하지 않은 분포
4. 두 방향 모두 성립하지 않는 분포가 있을 것이다.

본 논문에서는 3의 영역에 포함되는 분포는 매우 강한 restriction을 만족해야 한다는 Theorem 을 들어 3의 영역에 해당되는 분포의 집합이 소수임을 밝히고 있다.

Practical Method for Causal Inference

프레임워크는 다음과 같다.

(1) iid Data $(X,Y)$가 주어져 있다.

(2) 데이터를 모델 $Y = f(X) + N$에 적합 시킨 후 이 때의 잔차를 $\hat{N}$이라고 하자. 또한 데이터를 모델 $X = G(Y) + N$에 적합 시킨 후 이 때의 잔차를 $\tilde{N}$이라고 하자.

(3)
$\hat{N} \perp X, \tilde{X} \not\perp Y$ : X->Y
$\hat{N} \not\perp X, \tilde{X} \perp Y$ : Y->X
$\hat{N} \not\perp X, \tilde{X} \not\perp Y$ : bad fitting
$\hat{N} \perp X, \tilde{X} \perp Y$ : Not identifiable

그럼 남은 관심대상은 $f(X)$와 independence test에 관한 것이다.

본 논문에서는 f(X)를 구할 때, 단순 $L_p$ loss를 사용하는 것이 아니라 Dependence measure : $DM(N,X)$를 사용할 것을 제안한다. 이는 적합 후 noise와 공변량에 대한 independence 를 통하여 모델을 평가하기 때문이다.

Independence test로는 (이산형 변수이기 때문에) $\chi^2$ test를 사용할 수 있다. 다만 각 cell의 기대도수가 작을 때에는, Fisher의 exact test를 사용한다.

Experiments

Question:

• dependence measure 을 사용한 regression이 가짜 인과관계를 형성할 가능성은 없는가?