블로그에 포스팅하는 내용들은 강의 전체 내용이 아닌 내 기준, 나한테 필요한 내용들 기억하고 싶은 내용들 위주입니다
해당 내용의 출처는 LG Aimers(https://www.lgaimers.ai)에 있습니다
Part 1. Causality
인과성에 대한 소개와 인과적 추론을 하기 위한 기본 개념
- causal effect
인과 효과 - causal discovery
데이터로부터의 인과효과와 인과관계를 계산 - causal decision making
효율적으로 환경과 인터렉션 하는 것을 연구
Causality : 인과성, 인과율
하나의 어떤 무엇인가가 다른 무엇을 생성함에 있어 영향을 미치는 것
부분적인 관계 -> 원인과 결과 사이의 관계는 필요/충분조건일 필요는 없다
AI(artificial intelligence)
agent가 목표를 성취하기 위해 합리적인 action을 취하는 것
강화학습
주어진 상황에서 어떠한 행동을 취할지 학습
기계학습
데이터의 상관성 학습
데이터 사이언스
데이터를 수집,처리,분석. 상관성과 인과성을 복합적으로 고려
--> action을 통해 원하는 상태로 변화시키는 인과관계로 해석 가능
인과 계층
1. Associational / Observational
관측 계증
시스템을 건들이지 말고 그대로 관측. 시스템을 구성하는 변수들의 상관성 파악.
2. Interventional / Experimental
실험 계층
연구하고자하는 system을 intervention(중재, 실험) 함으로써 나오는 결과에 집중.
3. Counterfactual
관측 값과 실험 값을 동시에 고려하는 반사실적 계층
Simpson's Paradox
신장 결석 사이즈에 대해서 비교했을 때는 A가 좋았는데, 총 결과를 보면 B가 더 좋아보임
환자의 상태와 무관하게 처방을 내림 -> 처방과 결석의 사이즈는 무관
"인과적인 분석을 하기 위해서는 주어진 데이터뿐만이 아니라 각 변수가 가지는 인과적 관계를 파악해야한다"
데이터를 분석할때 고려할 점
1. 주어진 데이터가 상관성을 갖는지 인과성을 갖는지
2. 알고자 하는 것이 조건부 확률과 같은 상관성에 관한 것인지 인과성에 관한 것인지
Casual Inference(인과추론)
인과적인 통찰을 이용해서 하는 모든 추론
Associational, Interventional 계층을 넘나드는 추론
우리가 알 수 없는 실험 결과를 관측 데이터와 연결
인과추론을 할 때
상관성만을 지니고 있는 데이터가 주어지고,
우리는 causal diagram을 가정으로 갖게 됌
causal effect를 계산하기 위해서는 causal diagram 정보를 이용해서 인과효과를 계산
조건부 독립성
그래프를 통해 d-seperation을 계산
- SCM(Structural Causal Model)
인과성을 알기 위한 수학적 framework 제공, 4가지 요소로 구성(U,V,F,P(U)) - SCM으로 인과계층 분포 정의 가능
- 모델을 알 수 없으므로 부분적 정보로서 causal diagram을 가정. 이 graph로 조건부 독립성을 읽을 수 있음
- causal diagram은 가정으로 이루어지며 상식, domain 지식으로 만들어짐
- Intervention를 수학적으로 정의, 중재로 submodel을 만들고 이것은 연결선이 끊어진 causal graph로 표현됌
- 우리가 알고싶어하는 것은 causal effect로 중재를 했을 때 어떻게 변화하는지임
Part 2.
인과추론을 수행하기 위한 기본적인 방법론 제시
z 변수 : 교란 변수 / w 변수 : mediator 변수
여기서 데이터가 생성된다면 y는 어떤 식으로 분포될까?
식을 decompose하고 그 결합 분포에서부터 중재하고 있는 변수와 관련된 조건부 확률을 제거해서 계산
그러나 이 경우, 그래프의 모든 변수가 관측 가능해야함
일반화 : 중재하고자 하는 변수x의 parent와 관찰할 변수 y가 주어졌을 때 계산 가능
Adjustment Formular : 인과효과를 구하는 식
Back-door Criterion
X와 Y의 상관성
- X가 Y에 직접 연결되었기 때문에 나타나는 상관성
- 교란 변수에 의해 나타나는 상관성
여기서 교란 변수에 의해 나타나는 상관성을 제거하자!
단 z는 아래를 만족해야함
- z가 X 이후에 나타나는 변수면 안된다 (no descendant of x)
- z가 X와 Y 뒤로 가는 길을 다 막을 수 있어야한다
단점 : sound하다. formula를 찾을 수는 있지만, 모든 formula를 보장하지는 않는다. complete하지 않다
Do-calculus
여러 다른 종재 조건에서 나오는 확률끼리 연결고리를 만들어주고, 서로 다른 중재로 어떤 확률 분포를 바꿔주는 역할
우선 S에서 C로 가는 backdoor가 존재하지 않으므로 back-door criterion은 적용이 불가함
do-calculus를 사용해보자
sound하고 complete하다
- Identifiablility
- Markovian의 경우(모든 변수가 관측 가능할때, x가 집합이 아닌 경우) factor만 제거함으로써 간단히 계산
- back door criterion은 단순하고 널리쓰이지만 complete하지 않음
- do-calculus는 complete하고 sound하다
Part 3.
인과추론의 다양한 연구 방향 제시
데이터에는 여러 특성이 있고 이러한 특성을 고려해서 인과효과를 계산할 수 있어야 함
do-calculus와 실험 데이터를 이용해서 인과효과 계산 가능
General Identifiability(여러 데이터가 한 도메인에 주어져 있을 때, 그것을 활용해서 원하는 인과 효과를 계산하는 것)
기계학습에서 하는 가정 : test dataset은 training dataset과 같은 환경에서 만들어짐. 즉 training set으로 학습을 하면 test set에 그대로 적용이 가능할 것.
transportability : 주어져 있는 데이터의 source와 우리가 인과 효과를 계산하고자 하는 target이 서로 다른 domain인 경우의 인과 추론
일반화, External validity, Extrapolation
실험을 했던 결과를 실험한 곳이 아닌 다른 곳에 어떻게 적용할 수 있을까
즉 인과추론뿐만 아니라 통계적 추론도 포함
source와 target이 같다면 : 실험 결과를 target에 그대로 적용
source와 target이 다르다면 : 실험 환경과 적용 환경이 다르므로, 실험값을 그대로 적용할 수 없다
가정 : source와 target에는 공통점도 존재하지만 부분적으로 어떠한 변수에 대해서는 다를 수 있다
Selection Bias
데이터의 샘플이 선택적으로 포함되는 경우 발생하는 편향
위의 rule은 매우 제한적임
일반화해서 일부 변수에 대해 편향되지 않은 데이터가 있을 때 조건부확률/인과확률을 계산할 수 있을까
Missing Data 데이터 누락
실제 학생의 비만도 O
비만도가 누락되는 매커니즘 R
실제 report된 비만도 O*
MCAR(missing completely at random)
완전 무작위
MAR(missing at random)
메커니즘이 누락된 변수와 어떤 조건부 독립이 성립
MNAR(missing not at random)
랜덤하지 않은 누락
누락된 정보가 있는 줄을 삭제
빈 값을 채우는 알고리즘
--> MCAR, MAR는 부분적으로 동작. MNAR는 동작하지 않음
데이터가 만들어지는 인과 과정 이해
편향이 생기는 이유와 도메인을 이해
- 다른 실험 조건의 dataset을 결합 : General Identification
- 다른 source와 target의 dataset을 결합 : transportability
- 선택 편향 : selection bias
- 데이터 누락 : missingness
