인과성에 대한 소개 및 인과적 추론을 위한 기본 개념

What is Causaulity?

하나의 어떤 무엇인가가 다른 무엇을 생성함에 있어 영향을 미치는 것

• Definition of Science
  • Knowledge or a system of knowledge covering general truths or the operation of general laws especially as obtained and tested through scientific method.
    → Cause and Effect
• Causality in various academic disciplines
  • Physics, Chemistry, Biology, Climate Science
  • Psychology, Social Science, Economics
  • Epidemiology, Public Health
    (COVID-19, mask policy, social distancing, # of vaccination, side effects)

How is Causality related to AI, ML & DS?

Artificail Intelligence

a rational agent performing actions to achieve to goal
e.g., reinforcement learning $\pi_{\theta}(action|state)$

Machine Learning

Currently focused on learning correalations, e.g., $\hat{P}_{\theta}(y|x) \approx P(y|x)$

Data Science

Capture, Process, Analyze (e.g., Stat, ML), Communicate with Data

Pearl's Causal Hierarchy

• Level 1: Associated or Observational
  → 가장 기본적인 관측 계측
• Level 2: Interventional or Experimental
  → 실험 계층
• Level 3: Counterfactual
  → 관측값과 실험에 의한 값을 동시에 고려하는 반사실적 계층

Simpson's Paradox

Consider the following scenario:
1. A Patient with Kidney Stone visits a Hospital.
2. A doctor examines the Patient and provides a treatment.
3. The Patient's Health Outcome is later reported.
→ Healthcare Database!

Each cell represents $P(success | treatment, stone)$
신장 결석이 작은 경우와 큰 경우를 각자 살펴보면 $A$ 방법이 더 좋아 보인다.

하지만 두 경우를 합쳐보면 $A$보다 $B$가 더 좋은 것으로 나온다.

Aggregated: $P(succ|treatment)$

What if we administer each treatment randomly?
The causal effect of A

Lesson's Learned form Simpson's Paradox

• Causal analyses need to be guided by subject-matter knowledge
• Identical data arising from different causal structures need to be analysed differently.
• No purely statistical rules exist to guide causal analysed.

→ 각 변수들이 가지는 인과적 관계에 대한 자세한 이해가 필요하다.

---

데이터를 분석하고자 할 때 고려해야 하는 두가지

1. 주어진 데이터가 상관성을 지니고 있는지 아니면 인과성을 지니고 있는지.
2. 우리가 알고자하는 그 질문이 그냥 단순히 조건부 확률같은 상관성에 관한 것인지, 인과성에 관한 것인지
   

인과추론

• 우리가 알 수 없는 실험 결과를 관측 데이터와 연결
  • 이 두가지를 연결을 하려면 블랙박스에 대한 어떤 형식적인, 수학적인 이해가 필요하다.

Intervention - do($\cdot$) operator

• Given a model $M$ the action of fixing any observable variable $X \in V$ to a constant value $x$ is denoted using the do($\cdot$) operator as $do(X = x)$.
• This operation gives birth to a submodel $M_x$ that looks exactly like $M$ but with functions where $f_x$ has been replaced with a constant $x$.
• These two graphs represent the world $before$ and $after$ an intervention $do(X=x)$.
  

Intervention - Causal Effects

Definition (Causal Effect)
Given two disjoint ses of variables, $X$ and $Y$, the causal effect of $X$ on $Y$, denoted as $P(y|do(x))$ or $P_x(y)$, is a function from $X$ to the space of probability distributions of $Y$.

Research may be interested in

• Expectation: $E[Y|do(x)]$
• Difference: $E[Y|do(X=1)] - E[Y|do(X=0)]$ (Average Treatment Effect, ATE)
• Conditional: $E[Y|do(X=1), Z]-E[Y|do(X=0),Z]$ (Conditional ATE)

인과추론 수행을 위한 기본 방법론 제시

Causal Effect Identifiability

Identifiability = 특정할 수 있냐, unique하게 계산할 수 있냐.

Back-door Criterion

Definition Back-door
Find a set $Z$ such that it can sufficiently explain 'confounding' between $X$ and $Y$.
Then,

$P(y|do(x)) = \sum_{z}P(y|x,z)P(z)$

A set $Z$ satisfies the back-door criterion with respect to a pair of variables $X,Y$ in a causal diagram $g$ if;
(i) no node in $\mathbb{Z}$ is a descendant of $\mathbb{X}$; and
(ii) $\mathbb{Z}$ bolcks every path between $X \in \mathbb{X}$ and Y $\in \mathbb{Y}$ that contains an arrow into $X$.

Rules of Do-Calculus

여러가지 다른 중재 조건에서 나오는 확률들끼리 서로 연결고리를 만들어주고, 서로 다른 중재로 어떤 확률 분포를 바꿔주는 역할

Theorem

• Rule 1: Adding/removing Observations
  → 관찰에 대한 것이 추가되거나 삭제될 수 있다; 조건부독립
  $P(y|do(x),z) = P(y|do(x))$
• Rule 2: Action/observation Exchange
  → Action과 Observation을 바꿀 수 있다.
  $P(y|do(x), do(z)) = P(y|do(x), z)$
• Rule 3: Adding/removing Actions
  → Action이 추가되거나 제거될 수 있다.
  $P(y|do(x), do(z)) = P(y|do(x))$

어떤 규칙에 의해 조건부 독립 만족
→ 확률을 다른 확률로 변경시킬 수 있다.

Algorithmic Identification

• Do-calculus is sound and complete but it has no algorithmic insight
• A graphical condition and an efficient algorithmic procedure have developed for identifiability.

인과추론의 다양한 연구 방향 제시

Generalized Identificaion

General Identifiability
→ 여러 데이터가 한 도메인에 주어져 있을 때, 그것을 활용해서 원하는 인과 효과를 계산하는 것.

Transportability

→ 주어져 있는 데이터의 소스와 우리가 인과 효과를 계산하고자 하는 타겟이 서로 다른 도메인일 때의 인과추론을 다룸.

Recovering from Selection Bias

Selection bias, caused by preferential inclusion $s$ of samples from the data, is a major obstacle to valid causal and statistical inferences.

Recovering from Missing Data

데이터 누락 → 어떻게 체계적으로 causal diagram에 정보를 입력하고 그것을 통해서 문제를 풀 수 있을지 생각해보기.

Identification under Missing Data: Reasons for Missingness

누락된 데이터가 만들어지는 과정의 몇 가지 예시

1. 데이터가 누락이 되지 않는 경우
2. 비만도가 누락되는 원인이 랜덤한 경우
3. 나이에 의해서 누락이 되는 경우
4. 실제 비만도 값에 의해 누락되는 메커니즘이 영향을 받는 경우

Three Categories of Missingness

누락되는 원인을 세 가지로 분류

• MCAR = Mising Completely At Random
  → 완전 무작위
• MAR = Missing At Random
  → 메커니즘이 누락된 변수와 어떤 조건부 독립이 성립
• MNAR = Missing Not An Random
  → 랜덤하지 않은 누락

누락된 정보가 있는 줄들을 삭제, 빈 값들을 채우는 알고리즘들
MCAR, MAR에 부분적으로 동작하지만, MNAR에는 동작하지 않음.

Summary for Casual Inference Lecture

This lecture focused mainly on a basic causal effect identification task (SCM, do-operator, Causal Graph, Conditional Independence ...)

There are many interesting future research directions

• Causal Data Science
• Causal Discovery
• Causal Decision Making
• Causality + Machine Learning