XAI의 정의
딥러닝 등 복잡한 내부 구조의 AI가 도출하는 예측에 대한 해석 가능성을 높이기 위한 기술이다.
XAI의 목적
- 하나의 입력 데이터가 AI에 전달되어 최종적인 예측을 내릴 때 데이터 중에서 어떠한 부분이 더 중요시되고 있는가?
- AI에서 예측을 분별하는 요소, 파단 기준이 되는 요소는 무엇인가?
- 블랙박스 구조의 AI에 대한 입출력 관계를 알기 쉬운 구조로 만들어 생각할 때. 어떠한 판단 과정에 도달하는가?
Explainable AI , Interpretable AI
- 설명 가능한 AI는 '이유를 설명하는 것'에 중점
- 해석 가능한 AI는 내부 구조를 해석함으로써 예측에 이르는 계산 과정을 확인할 수 있는 AI 자체
Global Explanations, Local Explanations
-
전역 설명은 'AI 모델의 전체적인 동작'을 이해하는 것을 목적으로 하는 설명 방법. 하나의 입력 데이터에 대한 예측 과정을 설명하는 것이 아닌 다양한 사례에서 예측을 통합해 'AI 내부의 지배적인 경향'을 설명한다. '특징량의 중요도'에 주목하여 AI의 예측에 강한 영향을 주는 입력 데이터의 변수나 그 영향도를 점수로 출력해 AI모델의 전체적인 동작을 설명한다.
-
국소 설명은 '각 예측 결과의 판단 사유를 이해하는 것'을 목적으로 하는 설명 방법. 하나하나의 입력 데이터에 대한 예측 경과를 설명한다. 어떠한 데이터의 '기여도'를 산출해 예측의 판단 결과를 설명한다.
설명 방법의 차이점
-
특징량을 활용한 설명 : 입력된 데이터의 종류에 따른 특징량을 사용해 설명한다.
-
판단 규칙을 활용한 설명 : 의사결정트리와 같은 것이 이에 해당. 규칙을 통한 설명은 인간이 이해할 수 있는 정도의 규칙 수의 조합으로 AI 예측의 주요 부분을 포괄할 수 있어야 한다.
-
데이터를 사용한 설명 : 예측을 판단할 때 많이 참고한 학습 데이터를 제시하여 판단 이유의 설명으로 나타낸다. AI의 예측에 악영향을 미치는 학습 데이터를 배제하는 개선사항을 반영하여 직접적으로 연관시킬 수 있다.
모델 의존성
-
모델 의존형 XAI 중에서 딥러닝 모델에 특화된 XAI가 있다. 예를 들어 누적층과 풀링층을 겹쳐 최종 층에서 목적별 예측을 수행하는 이미지 식별 모델 대상 XAI의 경우, 층이 깊은 네트워크를 기반으로 구조 내의 중첩 정보를 잘 활용해 예측 결과(이미지 식별 결과)를 설명할 수 있다.
-
모델 불문형 XAI 은 특별한 제약이 없다. AI 모델을 블랙박스로 가정하고 어떤 데이터가 입력되었을 때 어떠한 예측이 나오는지 그 관계성을 해독하도록 설명한다. 다양한 AI를 일괄적으로 설명 가능하지만, 모델의 정보를 전혀 알 수 없으므로 AI 모델의 구조를 바탕으로 보다 합리적인 설명을 할 수 있는 가능성은 떨어진다.
해당 책을 읽고 내용을 정리함.
XAI, 설명 가능한 AI
