XAI

\*설명가능한 AI(XAI)는 인공지능 모델이 내리는 의사결정 과정을 사람이 이해할 수 있도록 해석하는 연구 분야입니다. 특히 딥러닝과 같은 복잡한 블랙박스 모델\*\*의 결과를 설명해줌으로써, 신뢰성·투명성·책임성을 확보하는 것이 목표입니다.예를 들어, 의료 진단에서

SHAP은 게임이론의 Shapley 값을 이용해, 개별 예측을 “기준값(base value)”에서 각 특징이 얼마나 올렸다/내렸다로 가법(additive) 분해하는 지역(feature attribution) 설명 방법입니다.모든 특징이 “협력 게임”의 플레이어라면, 특

LIME은 복잡한 모델(black-box)의 개별 예측값 하나하나에 대해, 그 주변의 국소적인 영역(local neighborhood)에서 선형 모델을 학습시켜 설명을 생성하는 방식입니다.즉, “이 모델이 왜 이 예측을 했는가?”를 해당 샘플 하나 단위로 설명합니다.L

XAI(설명가능한 AI)에서 Saliency Map(살리언시 맵)은 딥러닝 모델의 입력 중 어떤 부분이 예측에 중요한 영향을 미쳤는지를 시각적으로 강조해주는 방법입니다. 주로 이미지 분류 모델에서 사용되지만, 텍스트나 기타 입력에 대해서도 일반화된 형태로 적용됩니다.S

설명가능한 AI(Explainable AI, XAI) 분야에서 Grad-CAM (Gradient-weighted Class Activation Mapping)은 딥러닝 비전 모델의 결정 과정에 대한 시각적 설명을 제공하는 기법입니다. 주로 CNN 기반 이미지 분류 모델