최근 프로젝트 관련하여 XAI를 적용하고자 하는데,Explainable AI에 대한 정확한 이해가 없는 것 같아서, 이번 기회에 공부해보고자 한다.
그래서 XAI가 뭐야? 왜 필요해?
XAI란 Machine Learning 과정에서 모델이 내리는 각 결정을 추적하고 설명할 수 있도록 하는 특정 기법과 방법들을 의미한다.
XAI의 목적
XAI의 목적은 복잡하게 얽혀있어서, 무엇에 대해(what), 어떤 방법론으로(how), 얼마나 설명할 것인가 등, 여러 요소와 상황에 따라 달라지기 때문에 명확하게 정의하기는 어렵다. 따라서, [3]의 내용을 바탕으로 큰 틀에서 접근해보고자 한다.
Explainability
의사결정자의 정확한 대리자이면서도 모델의 기능을 청자(audience)에게 명확히 이해하기 쉽도록 세부 사항이나 이유를 생성하는 모델의 능동적인 특성.
Interpretability
모델이 인간에게 얼마나 의미가 있는지의 정도(level)를 나타내는 모델의 수동적 특성. 모델이 해석가능(interpretable) 하다는 것은 사용자가(user) 모델의 입력부터 출력까지의 과정을 수학적으로 표현까지 가능하다는 것이다.
Trustworthiness
문제가 주어졌을 때, 모델이 의도한대로 작동하는가를 나타낸다. 모델의 결정을 이해할 수 있을 때, 우리는 모델을 믿고 사용할 수 있다.
Interactivity
유저와의 상호 작용은 XAI의 목표중 하나이다. 이러한 상호 작용들은 [2]에서 말하는 여러가지 관점들에 따라 정해질 수 있다고 생각한다.
Stability & Robustness
센서에서 올 수 있는 노이즈라던가, 현실 세계에서 발생할 수 있는 작은 변화들에 민감하지 않다는 것은 그 모델이 안정적(stable)이라는 것이다. 이와 반대로, 모델이 사람에 의해 의도적으로 발생시킨 노이즈를 견딘다는 것은 그 모델이 견고하다(robust)는 것이다.
Reference
[1] What is explainable AI?
[2] Explainable AI (XAI): A systematic meta-survey of current challenges and future opportunities
[3] Explainable Artificial Intelligence (XAI) on Time Series Data: A Survey
번역 및 정리(Kyyle님의 블로그), 논문
