이번 시리즈는 박지용 교수님의 인과추론의 데이터 과학이라 유튜브 채널을 참고하여 작성하였습니다. 많은 좋은 영상 중 Korea Summer Workshop on Causal Inference 2023 시리즈를 참고하여 작성하였습니다. 공부하는 과정이기에 부족한 점이 있다면 알려주시기를 간절히 바랍니다.

출처: 참고 유튜브 채널 링크

빅데이터 시대에 접어들면서 AI가 개발되고 많은 분들이 머신러닝을 배우고 있습니다. 그러면서 함께 떠오른 것이 상관관계의 중요성입니다. Prediction 중심 모델과 빅데이터라는 대수의 법칙은 인과관계보다 상관관계만 있어도 충분히 좋은 모델링을 할 수 있다는 생각이 퍼지게 만들었습니다.

물론 이는 부정할 수 없는 사실입니다. 하지만 모든 연구 주제에서 그렇다고 할 수 있을까요?

만약 어떠한 일에서 원인을 찾아야 한다면 상관관계에 있는 요인을 수정한다고 해서 해결할 수 있을까요? 당연히 아닙니다.

그래서 이번 시리즈는 인과관계를 다루는 분야이자 제가 생각하기에 현재 통계학이라는 분야에서 가장 트렌디한 분야, Causal Inference를 가지고 왔습니다. 재밌게 글을 읽어주셨으면 좋겠습니다.

[Potential Outcome Framework]

우리는 다음 게시물에서 무작위 실험(Randomized Controlled Trual)에 대해 다루고자 한다.

이때 무작위 실험과 같은 실험적 사고방식이 사실 Design-based approach의 가장 핵심이라고 볼 수 있다.

하지만 무작위 실험이 왜 인과추론에서 기준점이 될 수 있을까???

이 질문에 대답하기 위해서는 이번 게시물에서 다룰 Potential Outcome Framework(잠재적 결과 프레임워크)에 대한 이해가 필수적이다.

우리가 어떤 효과를 검증할 때 가장 많이 하는 것이 바로 비교다.
이때 문제는 "무엇과 비교하는냐"이다.

이런 관점에서 Potential outcome Framework는 우리가 인과관계를 정의하고 측정할 때 어떤 대상과 비교를 해야 하는지에 대한 명확한 가이드를 제시하는 역할을 한다고 이해할 수 있다.

여기서 가장 핵심이 되느 개념이 바로 반사실, Counterfactual("What if the treatment was not applied?")이다.

말그대로 반사실이란 개념은 Potential Framework, 잠재적 결과에 관한 것이다.

예를 들어 어떤 특정 Treatment, 특정 원인이 있다고 생각을 해보면 만약 "해당 Treatment가 없었다면? 있었다면?"과 같은 특정 Treatment의 인과적인 효과에 대해 잠재적인 결과의 차이로서 정의하고 측정할 수 있다고 보는 관점이 바로 이 Potential Outcome Framework다.

그러므로 만약 운동의 효과를 측정하고자 한다면 현재의 몸 상태나 내 친구도 아니고 내 과거도 아니고 바로 내가 만약 운동을 하지 않았더라면 있었을 잠재적인 나의 몸 상태와 비교를 해야만 우리가 제대로 된 비교를 할 수 있는 거고 운동의 인과적인 효과를 측정할 수 있다고 주장하는 것이다.

그리고 이때 이 잠재적인 결과를 우리는 "Counterfactual"이라고 하고 이 "Counterfactual" 개념이 바로 Potential Outcome Framework가 인과관계를 정의하는 방식이라고 볼 수 있다.

[Fundamental Problem of Causal Inference]

이때 다음과 같은 질문이 따라올 수 있다.

잠재적 결과와 비교하는 것도 이해되고, 직관적이며 인과적인 효과를 분석하는데에서도 굉장히 합리적인 것은 알겠는데, 문제는 현실에서는 그런 비교가 불가능하지 않나?

자, 어떤 Treatment에 대해서도 두 가지의 Potential Outcome Framework이 있을 것이다.

하지만 현실에서는 두 가지의 잠재적인 결과 중에 하나만 현실에서 나타나고, 한가지의 결과만 우리는 관찰가능하다.

이를 "Fundamental Problem of Causal Inference라고 부른다.

만약 Causal Inference 시리즈의 이전 게시물인 반려동물과 우울증의 관계 사례에서도 우리가 반려동물을 키우는 사람들과 키우지 않는 사람을 직접 비교할 때 만약 우울 성향이 높은 사람들이 반려동물을 키우는 경향성이 높다고 한다면 애초에 이 비교가 공정하지 않을 수 있다.

다시, Potential outcome 관점에서 생각해보면 반려동물 입양 후에 우울증 성향과 반려동물을 입양하지 않았을 경우의 Counterfactual을 비교를 할 때만 비로소 반려동물이 우울증 감소에 미치는 영향을 제대로 분석할 수 있다는 것을 이해할 수 있다.

왜냐하면 특정 사람에 대한 Counterfactual를 구하는 것은 굉장히 어렵기 때문이다.

하지만!

만약 어떤 Treatment 그룹(처치군: Subject 1, 2) 전체를 놓고 본다면 전체의 어떤 평균적인 특성을 생각할 수 있고 한 개개인의 Counterfactual를 구하는 것은 어렵겠지만 어떤 한 집단의 평균적인 특성에 유사한 Counterfactual은 상대적으로 용이하게 유추할 수 있다고 생각할 수 있다.

그렇기 때문에 우리는 이 평균적인 인과관계의 효과는 상대적으로 수월하게 추정해볼 수가 있다.

이런 관점에서 인과추론 분야에서 가장 기본이 되는 추정이 바로 Average Treatment Effect(ATE)다.

ATE는 처치군이 Treatment를 받지 않았다면 있었을 Counterfactual과 Controlled Group(대조군)에서 만약 Treatment를 받았다면 있었을 Counterfactual, 이것들을 모두 고려해서 이 처치군과 대조군 모두의 평균적인 효과를 ATE라고 한다. (즉 위 표의 모든 빈칸을 채웠을 때 비교)

그리고 이때 처치군의 효과만(처치군의 빈칸만) 구하면 ATT(ATE on the Treated), 대조군의 효과만 구하면 ATU(ATE on the Untreated)라고 한다.

이렇듯이 ATE로 평균적인 효과를 구할 수 있겠지만 사실 진짜 궁금하고 현실에서 더 유용할 수 있는 것은 개개인에 대한 인과적인 효과인 Individual Treatment effect(ITE)이다.

그래서 자연스럽게 인과추론의 최종 목표는 ATE에서 ITE로 가는 데에 있고 그래서 완벽하게 개인화된 건 아니더라도 몇 가지 특성에 따라서 인과적인 효과가 다른 거를 측정할 수 있는 방향으로 인과추론 분야가 발전해나가고 있다.

이때 이런 성별, 나이와 같은 특성에 따른 인과적인 효과를 Conditional ATE(CATE) 또는 Heterogeneous Treatment effect(HTE)라고 한다. 이 부분은 나중에 다룰 게시물에서 자세하게 설명하겠다.

정리하면 Potential Outcome Framework는 인과관계를 어떻게 정의할 지 명확한 틀을 제시함으로써 그것의 문제가 무엇인지 그리고 그걸 해결하기 위한 전략이 무엇인지를 명확하게 보여준다.

[Selection bias]

위 설명을 통해 개념적으로는 인과추론이 이해가 되었을 겁니다.

하지만 아직 몇가지 생각할 점이 더 있습니다

우리가 인과적인 효과를 추정하기 위해 필요로 하는 것은 Treatment에 따른 잠재적인 결과, Counterfactual이다. 하지만 현실에서 우리가 관찰가능한 건 실제 Treatment를 받지 않은 대조군 뿐이라는 것이다.

즉, 인과추론의 여러 고려사항 중 하나는 처치군과 대조군이 같지 않다는 것이다.

따라서 우리는 Counterfactual에 가장 가까운 대조군을 찾아야만 한다. 그리고 이렇게 처치군과 대조군이 다르다는 문제를 Selection bias(선택편향)라고 한다.

왜 선택편향이라는 이름으로 부르냐면 우리가 실험을 진행할 때 임의대로 배정을 하지 않는다면 개개인들은 각자의 이유로 Treatment를 받을지 말지를 선택한다. 이때 연구자 입장에서는 그 이유를 알 수가 없다.

즉,Treatment 여부 말고도 그 결정을 내리는 데에 있어서 여러 방면에서 특성이 다를 수 밖에 없고 그렇기에 이를 선택편향이라고 한다.

또한 이렇게 Treatment를 선택할지 말지 이런 선택이 다양한 요인에 얽혀서 내생적으로 결정된다는 측면에서 이를 endogeneity 라고 한다.

그러므로 선택편향이나 endogeneity에 따라서 처치군과 대조군에 있는 두 그룹에 있는 사람들의 특성이 다를 수 밖에 없다는 걸 선택편향이라고 하며 이런 선택편향 때문에 서로 차이가 크다면 단순 치환으로는 제대로 설명되지 않으며 비교가 불가능하다.

그래서 인과추론 문제를 위해서는 처치군과 대조군의 특성을 비슷하게 만들어서 결과적으로 이 선택편향을 없애야 한다. 이런 조건을 라틴어로 Ceteris Paribus 라고 한다.

다시 말해 대조군이 Treatment를 받지 않았다는 조건을 제외하고 나머지 특성에서 처치군과 모두 평균적으로 비교가능한 상태, 이를 Ceteris Paribus 라고 한다는 것이다.

이는 인과추론에서 매우 중요한 대원칙이라고 할 수 있다.

이 Ceteris Paribus 를 만족할 때만 비로소 우리는 이 Counterfactual로 대신할 수 있는 거고 그렇게 해야만 처치군과 대조군의 차이를 통해서 ATT를 구할 수 있게 되는 것이다.

[STUVA]

인과추론에서 Potential Outcome Framework가 성립하기 위한 기본 가정이지만 가장 많이 간과되는 것 중 하나가 바로 Stable Unit Treatment Value Assumption(SUTVA)이다.

이는 두 개의 가정을 하나로 합쳐놓은 가정으로 첫번째 가정은 Counterfactual Consistency이다.

Potential Outcome Framework에서 엄밀히 Causal effect는 이 Potential Outcome들의 차이로 정의된다. 다시 말해 Treatment가 있을 때 Potential Outcome하고 없을 때 Potential Outcome의 차이가 바로 Causal effect라고 정의된다는 의미입니다.

그런데 우리가 사실 Causal effect를 추정할 때는 다시 돌이켜보면 Treatment를 받은 실제 Outcome가 있고, 그리고 만약 Treatment를 받지 않았을 경우의 잠재적 결과가 있고 그 차이를 이용하여 우리가 인과적인 효과를 구할 수 있는 건데 우린 이 Counterfactual을 지금 구할 수가 없다.

그렇기 때문에 우리는 Ceteris Paribus를 만족하는 이 대조군을 통해서 대신 추정함으로써 인과적인 효과를 실질적으로 이제 추정을 할 수 있었다.

근데 이게 성립하려면 한 가지 조건이 더 필요하다.

그건 바로 Treatment가 있을 때의 잠재적 결과가 관찰된 Observed Outcome과 같아야 한다는 가정이고 이것을 이제 Consistency라고 한다.

앞에서 인과추론은 결국 원인에 대해 개입함으로써 결과를 내려고 하는 분야이기에 원인 변수가 manipulability 해야한다는 것이 중요하다고 언급했는데, manipulability가 없는 변수(ex. 비만 - 정도의 차이지, 1 or 0 상태로 명확하게 나눌 수 없음)를 원인변수로 고려한다면 특히 이 Counterfactual Consistency에서 문제가 발생할 수 있다.

예를 들어 비만의 경우 비만일 때의 건강 상태와 비만이지 않을 때 잠재적인 건강 상태를 비교해야 하는데, 사람들이 비만이 될 때는 다양한 원인이 존재할 수 있습니다. 야식을 먹는다거나 칼로리가 높은 식단을 먹는다거나 운동을 전혀 하지 않는다거나 그런 다양한 이유가 있을 수 있겠죠.

그렇게 서로 다른 이유로 비만이 된 사람들에게서 관찰되는 이런 Observed outcome, 그들의 건강 상태는 각각 다를 겁니다.

상식적으로도 야식을 먹어서 비만이 된 사람과 운동 부족으로 비만이 된 사람들의 건강 상태는 다르다는 것은 쉽게 예상이 가는 부분입니다.

다시말해 각자 다른 원인에 의해서 비만이 된 사람들이 있을 수 있기 때문에 그 원인에 따라서 그 사람들의 관찰되는 결과는 다를 수 밖에 없습니다.

그러므로 Counterfactual Consistency에 위배된다는 것이다. 따라서 manipulable하고 그에 따른 Counterfactual과 그리고 잠재적 결과를 명확하게 정의할 수 있는 이런 Treatment를 디자인을 하는 게 이 Counterfactual Consistency 측면에서 굉장이 중요하다.

두번째 가정은 No Interference이다.

이는 각자의 잠재적 결과가 서로 간섭과 영향이 없어야 한다는 것이다. 쉽게 말해 Treatment를 받은 사람의 결과와 Treatment를 받지 않은 사람의 결과는 전혀 관련이 없고 그들에게서 영향도 받지 않아야 된다는 거고 그 반대도 마찬가지라는 것이다.

그리고 Counterfactual Consistency와 No Interference를 합쳐서 Stable Unit Treatment Value Assumption(SUTVA)라고 한다.

이는 Potential Outcome Framework의 기본 가정이지만 간과하기 쉽기 때문에 주의할 필요가 있다.

[ATT, ATU and ATE]

앞에서 ATE, ATU, ATT의 차이를 개념적으로 한번 짚어봤습니다.

그러면 앞으로 인과추론을 배우면서 구하게 될 Causal effect, 인과적인 효과는 과연 ATE일까? ATT일까?

이 부분도 상당히 간과하는 부분이지만 굉장히 중요한 부분이다.

우리가 관찰 가능한 결과를 causal effect와 selection bias로 분리하면 이런 차이를 이해하는 게 훨씬 더 수월하다.

사실 우리는 이론적으로 필요한 것은 Counterfactual이다. 하지만 실제로 관측 가능한 건 처치받은 처치군과 처치 받지 않은 대조군의 결과이다. 하지만 해당 식을 정리하면 관찰되는 처치 효과는 Causal effect와 Selection bias의 합이라는 사실이 도출된다.

그런데 만약에 대조군과 처치군이 비슷하다면 선택편향 값이 무시할 수 있을 정도로 작아지고 그럼 우리가 관찰한 효과가 Causal effect와 같아지게 되는 것이다.

그럼 이제 우리가 여기서 구한 Causal effect란 무엇일까? 이게 ATE일까?

그 해답은 역시 위의 식에 있다.

위 식을 보면 그룹에서 Treatment를 받았을 때 결과와 Counterfactual의 차이를 지금 구할 수 있다. 그러니깐 여기서 사실 말하는 Causal effect는 처치군에서의 효과를 의미한다.

그러니깐 사실 우리가 구한 Causal effect는 사실상 ATE가 아니라 ATT라는 것이다.

결국 이 Potential Outcome Framework 하에서 우리의 어떤 추정 전략은 대조군의 결과를 가지고 처치군의 Counterfactual를 추론함으로써 이 처치군 내의 인과적인 효과를 추정하는 데에 국한 되어 있었다는 것을 의미한다.

그렇기 때문에 만약 반대 상황 즉, 대조군이 Treatment를 받았다면 어땠을지에 대해서 우리가 이 처치군에서의 결과를 활용할 수 있을지에 대해서는 사실 확신할 수 없다는 것이다.

그러면 우리가 구한 ATT는 언제 ATE와 같아질까요??

예를 들어 처치군 샘플이 $\pi$, 대조군이 $1-\pi$만큼 있다고 할 때 ATE는 다음과 같고 이를 ATT를 중심으로 정리하면 위의 두번째 식과 같이 결과가 나오게 된다.

여기서 보면 우리가 데이터에서 관측할 수 있는 효과는 ATE와 Selection bias 말고 추가로 하나의 항이 추가된 것을 확인할 수 있다. 즉 그래서 해당 텀은 ATT와 ATU의 차이에 따른 bias이고 해당 bias를 Differential treatment effect bias라고 한다.

그러니깐 우리가 비교가능한 대조군을 만들고 선택편향을 없애도 실제로 우리가 추정한 결과가 ATE가 되기 위해서는 Differential treatment effect bias에 대한 항까지 없앨 수 있어야 한다.

그러기 위해서 고려해야하는 건 우선 $\pi \neq 1$이라는 것이다. 이는 두 그룹이 존재해야 하기에 당연한 거고 그러므로 Differential treatment effect bias에 대한 항을 없애기 위해서는 $ATT = ATU$를 만족시켜야 한다.

그래서 결국 처치군과 대조군의 특성이 매우 유사해서 각 그룹에서 인과적인 결과가 같을 때에만 우리가 비로소 $ATT = ATU$를 만족시킬 수 있고 그럼 우리가 데이터에서 관찰한 처치효과가 ATE가 되는 것이다.

그러니깐 예를 들어 우리가 실험을 하다가 처치군과 대조군을 반대로 배정하는 경우에도 결과가 동일하게 나와야 한다는 의미이다. 그리고 이는 앞에서 다뤘던 Ceteris Paribus 를 의미하는 것이기도 하다.

그런데 사실 경우에 따라서는 ATT와 ATU가 같지 않을 수 있고 그러면 우리는 ATE를 구할 수가 없게 된다. 그럼 ATT 그 자체로는 의미가 없을까? 그건 사실이 아니다.

ATT만으로 의미가 있는 경우도 많다.

왜냐면 실무적으로 회사에서는 굳이 ATE를 구할 필요가 없을 수도 있다.

예를 들어 회사 입장에서는 모든 고객들에게 동일하게 쿠폰을 제공할 이유는 없다. 그리고 수익성을 극대화하기 위해서는 쿠폰을 활용해서 쇼핑할 의지가 있는 고객들에 대한 쿠폰을 뿌리면 사실 그걸로 충분하다고 할 수 있다. 그러니깐 이런 경우에는 회사의 목적을 생각했을 때 ATE가 아니라 ATT만 알아도 충분하다고 할 수 있다.

따라서 우리가 인과추론을 통해서 구할 수 있는 효과는 ATT이고, 또 경우에 따라서는 ATT면 충분하기에 하고자 하는 연구나 데이터 분석 목적에 따라서 필요한 게 ATT인지 ATE인지 분명히 하는 것이 굉장히 중요하다.

그리고 만약 ATE를 구해야하는 상황이라면 처치군과 대조군 사이 Exchange에 대한 추가적인 검증이 필요하다. 그리고 이는 Potential Outcome Framework 하에서 가장 중요하다고 강조했던 Ceteris Paribus 가 중요한 이유이기도 하다.

결론적으로 인과추론을 진행할 때 우리가 실제로 구한 효과가 무엇이고 그 효과가 어느 집단에 적용될 수 있고 또 우리의 분석 목적이 어떤 효과를 구하고 싶은 건지 이런 점들에 대해 목적과 데이터의 특성을 신중하게 고려하는 것이 중요하다는 것을 유의해야 한다.