CausalAI

📌 TLDR; 시계열 데이터(Time Series Data) 또는 표 형태의 데이터(Tabular Data)에 대한 인과 분석을 위한 오픈 소스 라이브러리인 Salesforce CausalAI 라이브러리를 소개하고자 합니다. Salesforce CausalAI는 다양한 데이터 유형 처리, 인과관계를 가지는 데이터의 생성, 속도 향상을 위한 다중 처리, 도메인 지식 활용 및 사용자 친화적인 인터페이스 제공을 포함하여, 인과 분석의 다양한 요구에 대한 원스톱 솔루션을 제공하는 것을 목표로 합니다.

CausalAI는 지속적으로 개선되고 있으며 향후에는 이기종 데이터 유형(연속 및 불연속 데이터 유형 혼합 형태)에 대한 인과 분석 지원, GPU 기반 컴퓨팅 지원, 인과 관계 발견 및 추론을 위한 더 많은 알고리즘 탑재, 잠재 변수에 대한 분석을 지원하고자 합니다.

Salesforce CausalAI는 무엇인가?

다중 변수 시스템(Multivariate System)에서 하나의 변수/엔티티/특성이 다른 변수/엔티티/기능을 유발하는지 여부를 확인하는 것은 매우 중요합니다. 흡연이 암을 유발하는지 여부를 확인한다고 생각해봅시다. 흡연🚭과 암💊이라는 두가지 변수가 있으며, 사람들은 단순히 원인과 결과를 찾는 것 이상으로 다른 인과적 변수가 개입된 경우 형상의 값 변화에 대한 수치 추정치를 찾는데에 관심이 있을 수있습니다.

Salesforce의 CausalAI는 관측 데이터를 사용하여 위와 같은 인과관계 관련 질문에 답하고자 하는 오픈소스 라이브러리입니다. 이산형과 연속형 변수으로 이루어진 태뷸러 데이터와 시계열 데이터를 지원하며, 변수 간의 선형 및 비선형 인과관계를 처리하는 알고리즘을 포함하며, 속도 향상을 위한 다중 처리 기반 병렬화를 사용합니다.

또한 지정된 구조 방정식 모델(Structural Equation Model; SEM)로 합성 데이터(Synthetic Data)를 생성하는 데이터 생성기가 포함되어 있어 사용자로 하여금 다양한 알고리즘을 조사하면서 실측 인과 과정을 제어할 수 있도록 구현되어 있습니다. 마지막으로 코딩 없이 데이터에 대한 인과 분석을 수행할 수 있는 사용자 인터페이스(UI)를 제공합니다.

CausalAI의 목표는 인과 관계 영역의 다양한 문제에 대한 빠르고 유연한 솔루션을 제공하는 것입니다.

---

CausalAI는 어떤 종류의 문제를 해결할 수 있는가?

인과관계 발견(Causal Discovery)

간단히 말해서 인과적 발견은 관찰 데이터를 사용하여 다변량 시스템에서 어떤 변수가 어떤 변수를 유발하는지에 대한 질문에 대답할 수 있습니다.

보다 구체적으로, 인과적 발견은 변수가 그래프에서 노드로 취급되고 그 엣지를 알 수 없는 관찰 데이터에서 근본적인 방향성 기반의 인과관계 그래프를 찾는 것을 목표로 합니다. 두 변수 사이의 간선(A->B)은 A가 B를 유발한다는 것을 의미합니다. 관찰 데이터는 개입(Intervene) 없이 과거에 기록된 일련의 관찰일 뿐입니다. 일반적으로 변수 간의 인과 관계를 찾으려면 개입을 수행해야 합니다. 그러나 특정 가정 하에서 관찰 데이터에서 변수 간의 기본 인과 관계를 추출하는 것도 가능합니다.

인과추론(Causal Inference)

인과추론은 한 변수 집합이 다른 변수에 개입하는 수치적 추정치(Numerical Estimate)를 찾는 것과 관련됩니다. 이러한 유형의 추론은 훈련 데이터에서 발견된 두 변수 사이의 상관관계를 기반으로 입력을 바탕으로 주어진 다른 변수를 예측할 때 기계 학습 모델이 수행하는 것과 근본적으로 다릅니다.

인과추론은 개입된 변수에서 목표 변수로 방향이 있는 엣지를 따라 인과 관계 그래프를 순회하는 동안 한 변수의 변화가 목표 변수로 전파되는 정도를 추정하는데 주 목적이 있습니다. 이는 두 개 이상의 변수가 상관관계가 있다고 하더라도 그들 사이에 인과 경로가 없으면 개입하는 변수가 다른 변수에 영향을 미치지 않을 수 있음을 의미합니다.

원인 분석 및 개입의 중요성

개입(Intervene)은 상관관계와 근본적으로 다릅니다.

예를 들어 생각해봅시다.

여름에는 사람들이 수영을 할 가능성이 높기 때문에 사람들이 익사할 가능성이 높을 수 있습니다. 또한 아이스크림을 먹는 것 역시 사람들이 여름에 즐겨하는 활동 중에 하나이며, 수영을 하는 것과 아이스크림을 먹는 것 모두 겨울철에 할 가능성은 적습니다.
따라서 익사하는 사람의 수와 아이스크림을 소비하는 사람의 수는 약간의 상관관계를 가질 수는 있습니다. 그러나 우리는 아이스크림을 먹는다고 사람이 익사한다거나, 그 반대의 경우도 발생하지 않는다는 것을 알고 있습니다.

반면, 운동을 콜레스테롤 수치를 낮추는 것으로 밝혀졌습니다. 따라서 사람의 콜레스테롤 수치가 높으면 그 수치를 낮추기 위해 개입하여 운동을 시작할 수 있습니다.

따라서 개입(Intervene)은 일반적으로 자동화에 사용되는 상관관계 기반 기계 학습 모델과 달리 미래 결과를 변경하는 데 사용할 수 있는 실행가능한 항목입니다. 인과 분석 도구는 특정 관심 변수에 대해 원하는 결과를 얻기 위해 개입할 수 있는 시스템의 변수를 발견하는데 도움이 됩니다.

실제 사례

💡항공권 가격이 비싸짐에 따라 가격을 낮출 수 있는 가능한 거시경제적 조치를 찾고자 한다고 가정합시다.

먼저 항공권의 가격이 오르거나 내리는 원인을 찾는 것부터 시작합니다. 원유의 과거 월별 가격과 미국의 평균 월 항공료에 접근할 수 있었으며, 이 데이터는 아래 그림과 같습니다.

원유 가격이 오르면 항공료가 어떻게 되는지, 항공료가 오르면 원유 가격이 어떻게 되는지 알고 싶습니다. 여기서는 상관관계에 대해 말하는 것이 아닙니다. 오히려 한 변수에 대한 개입을 수행하고 다른 변수에 미치는 영향을 예측하는 것에 대해 이야기하고 있으며 이는 상관관계를 파악하는 것보다 더 어려운 작업입니다.

그럼에도 불구하고 이 특정 문제는 상당히 직관적이며, 유가가 상승하면 항공 회사의 연료 비용이 증가하여 항공권 가격이 인상될 것이라는 상식을 기반으로 예측할 수 있습니다. 반면에 항공사가 유가 변동과 무관하게 가격을 인상하기로 결정했다면 이러한 인상은 유가에 영향을 미치지 않아야 합니다. 따라서 유가는 항공료에 영향을 주지만 그 반대는 아닙니다. 보다 광범위하게는, 과거 데이터에 대한 인과 분석을 통해 유가의 상승이 다른 원자재 가격에 연쇄적으로 영향을 미친다는 것을 발견할 수도 있었습니다. 따라서 항공권 및 기타 상품의 상승하는 비용을 줄이기 위한 가능한 거시경제적 해결책 중 하나는 석유 공급을 늘리는 것입니다. 결국 석유 비용을 낮추어야만 가격을 낮출 수 있다는 의미이기도 합니다.

인과 분석의 장점은 단순히 과거 데이터를 기반으로 "상식"없이 이러한 관계를 자동으로 예측할 수 있다는 것입니다. 따라서 이러한 분석 기법은 대규모 다변수 시스템을 다루고자 하지만, 시스템에 대한 완전한 사전 지식이 부족할 때 그 힘을 발휘합니다.

---

CausalAI 라이브러리 개요

Salesforce의 CausalAI는 위에서 설명한 인과관계의 발견 및 인과관계 추론 문제를 해결하는 것을 목표로 합니다. 아래에서 라이브러리의 API 파이프라인, 주요 기능, 지원되는 알고리즘 및 이 라이브러리와 기존 라이브러리와의 비교를 보여드리겠습니다.

API 파이프라인

위의 그림은 CausalAI 라이브러리의 파이프라인을 보여줍니다. 본 라이브러리는 크게 인과적 발견(Causal Discovery)와 인과추론(Causal Inference)를 지원합니다.

• 인과적 발견 모듈은 데이터 객체 및 사전 지식 객체를 입력으로 취하고 인과 그래프(Causal Graph)를 출력하는 형태입니다.
• 인과추론 모듈은 인과 그래프와 사용자가 지정한 개입을 함께 입력으로 사용하고 지정된 대상 변수에 대한 추정의 효과를 출력하는 형태입니다.

주요 기능

• 데이터 : 불연속형과 연속형 Tabular와 TimeSeries 데이터에 대한 인과관계 분석이 가능합니다.
• 결측치 : 데이터에서 누락되어 있거나 Nan 값에 대한 처리를 지원합니다.
• 데이터 생성기(Data Generator) : Tabular 및 TimeSeries 데이터를 생성하기 위해 지정된 SEM(Structural Equation Model; 구조방정식 모델)을 사용하는 합성 데이터 생성기입니다. 인과관계 발견의 측면에서 Ground Truth로 기능할 수 있기 때문에 여러 인과 관계 발견 알고리즘들을 평가하고 비교하는데에 사용할 수 있습니다.
• 분산 컴퓨팅 : 병렬화를 위해 Ray 라이브러리를 사용하여 다중 처리가 가능합니다. 더 빠른 계산이 필요한 대용량 데이터셋 또는 다변수 데이터를 처리할 때 사용자가 선택적으로 켤 수 있습니다. 데이터 크기에 따라 최대 5배의 속도 향상을 제공합니다
• 목표에 대한 인과적 발견(Targeted Causal Discovery) : 경우에 따라 사용자가 전체 인과 그래프를 도출하는 대신 관심이 있는 특정 변수에 대한 인과관계를 찾고자하는 경우 목표에 대한 인과 관계 검색을 지원합니다. 이 옵션을 통해 계산 복잡도를 줄일 수 있습니다.
• 시각화 : 인과 그래프의 시각화가 가능합니다.
• 도메인 지식(Domain Knowledge) : 인과 관계 발견 과정에서 인과 관계 그래프에 대한 부분적인 사전 지식을 제공할 수 있습니다. 사전 지식은 도메인 지식을 바탕으로 SEM에서 특정 노드와 특정 노드가 연결되지 않는다는 형태로 지식을 제공합니다.

알고리즘

제공되는 알고리즘은 다음과 같습니다.

• 시계열 인과 발견을 위해 PC 알고리즘, Granger Causality, VARLINGAM을 제공합니다.
• 표 형식 인과 발견을 위한 PC 알고리즘을 지원합니다.
• 인과추론을 위해, 간섭이 주어진 반사실을 추정하기 위한 데이터 생성 프로세스를 시뮬레이션하기 위해 인과 그래프를 기반으로 조건부 모델을 학습합니다.

향후 인과 관계 발견과 인과추론을 위해 더 많은 알고리즘을 추가할 계획입니다.

기존 라이브러리와의 비교

My Opinion ✅

GroundTruth를 알기 어려운 시계열 데이터나 태뷸러 데이터에 대한 좋은 프레임워크인 것 같습니다.
인과 발견과 인과 추론 기능을 모두 제공해주기 때문에 실무에서 활용 가능성이 높을 것으로 예상됩니다.
Tutorial을 진행하고, 현실 데이터에 대해 적용해보는 것까지의 토이 프로젝트로 CausalAI 라이브러리에 대한 시리즈를 이어가보겠습니다!

감사합니다:)
.
.
.

Reference

• https://blog.salesforceairesearch.com/causalai/
• 논문 : https://arxiv.org/abs/2301.10859
• Github : https://github.com/salesforce/causalai