# XAI

katekimyj02

노션에 정리한 자료 9월 첫주에는 medical image 분야에서의 XAI에 관한 리뷰 논문을 한 편 읽었다. 나오는 개념들을 하나하나 이해하는 데 초점을 두었다. XAI 리뷰 논문을 읽은 이유는 medical 분야에서 AI가 쓰이려면 설명 가능성이 중요하다고 생각했기 때문이다. KoSAIM 행사를 다녀온 후 생각을 정리해봤을 때 의료 AI 분야에서 해결해야 할 문제라고 하면 i) 설명 가능성, ii) 개인화, iii) 분산 학습 이 아닐까 싶었다.

leesungjoon-net

Feature Importance 우선, feature importance에 관해서 알아보자. 먼저 트리 기반 모델들(random forest, xgboost, lightgbm 등)은 기본적으로 feature importance를 API 혹은 모델 내장 함수로 제공한다. 위 그림은 Kaggle의 타이타닉 생존자 예측에서 사용된 Feature Importance 그림이다. 그런데 이렇게 구해진 Feature Importance가 과연 정확할까? 즉, 실제로도 성별이 가장 영향을 많이 미칠까? 실제로는 그렇지 않다. 이를 알기 위해서는, Feature Importance를 구하는 방식을 먼저 알아보겠다. 트리기반 머신러닝 모델에서는 각 Feature별로 엔트로피(Entrophy)[불확실성] 혹은

leesungjoon-net

이 글의 References XAI관련 Velog는 XAI를 공부하기 위해서 위의 책을 참고하고자 했는데, 너무 제한적인 설명때문에 구글링을 찾아봤고 일부는 직접 논문을 읽었다. 시작하겠다. Introduction XAI는 Explanable AI로써 우리는 딥러닝 모델들의 결과가 왜 이렇게 나온건지에 대한 설명을 할 수 없었다. 이러한 문제를 해결하기 위해서 나온 기술이고 파이썬의 XAI 라이브러리인 LIME과 SHAP등을 안내할 것이다. 책을 통해 얻을 수 있는점 → AI의 책임성 → AI를 어떤 업무에 적용할 때 어떤 설명이 필요한지 → XAI의 전역 설명과 국소 설명을 구분해 사용 가능 → XAI의 목표

jsin2475

컨셉 모든 AI 모델에 적용이 가능한 설명 기술로 LIME을 제안한다. 모델의 예측과 예측에 대한 설명이 동시에 나올 수 있도록 문제를 잡는 것이 중요하다. > 해석이 가능한 모델들을 통해 원래는 복잡했던 모델을 이해가능하게 분해하겠다. Introduction 머신 러닝이 많은 분야에서 쓰이는데 종종 간과되는 부분이 모델을 믿을 수 있냐는 것이다. 모델을 믿는 건 2가지 부분이 존재한다. 결과를 믿는 것, 모델의 행동 양식을 믿는 것 위의 두 조건을 충족시켜야 Black Box인 지금 상태를 깰 수 있다. 모델을 실제로 사용하기 전에 이 모델이 실 세계에서 해당 데이터들에 대한 예측을 잘 할 수 있는지 판단해야 한다. 그저 valid set에 대한 평가지표로는 나타낼 수 없는 경우가 많다. > 왜 면접을 보나, 이력서만 봐도 되지 않냐? 라는 질문에 이력서만 봐도 된다는 모델의 성능만 따지면 되는 거고 면접을 보는 거는 내부를 살피는 거라고 생

simon919

머신러닝 모델의 해석 가능성에 대해 공부하고 있다. 내가 보려고 큰 흐름만 정리해둔다. 이후에 디테일한 내용과 예시코드 등을 추가할 예정이다. 1. Partial Dependence Plot 1) Background 먼저 Marginal distribution(주변 분포)와 Marginalizing에 대해 알고 넘어가야 한다. 표 안의 확률값은 joint distribution(결합 분포)를 나타냄 표 양 끝(5행, 6열)이 marginal distribution을 나타냄 이 표는 x와 y의 수준 변화에 따른 확률값의 변화를 보여줌 Marginalizing은 이런 marginal distribution을 계산하는 과정이다. 예를 들어, X1의 주변분포를 구하기 위해 Y의 모든 수준에

njs03332

논문 출처: https://doi.org/10.1145/3477495.3531973 SIGIR 2022에 발표된 논문이다. 내가 관심있는 주제인 설명 가능성과 공정성을 모두 다루는 논문이라 흥미롭게 읽었다. 구체적으로는, 추천 시스템에서의 공정성을 설명할 수 있는 기법을 연구한 논문이다. Facebook Faculty Research Award의 지원을 받은 연구라고 한다. 저자가 Microsoft Research의 Research Talk에서 한 아래 강연을 참고하는 것도 논문을 이해하는 데 도움이 되었다. https://www.youtube.com/watch?v=GArXoRECXFU 0. 추천시스템에서 설명가능성과 공정성이 중요한 이유 이 내용은 논문이 아닌 저자의 유튜브 영상에서 가져온 내용이다. ![](https://velog.velcdn.com/images/njs03332/post/1267950a-2112-4c92-b2d7-9cb

jsin2475

논문 XAI techniques을 다양한 미디어의 관점에서 다룰 예정이다. 장점과 단점 또한 논의 되어 있으니 이를 바탕으로 방향성을 잡아보는 것은 어떤가 Introduction 현 시점에서 AI가 활용되고 있는 것들 그리고 해결할 수 있는 문제들에 대해서 언급하며, 현재는 Machine Learning에 국한되어 "Black Box" 형태 (내부를 알 수 없는)의 구현 물이라는 것을 말함. 왜 XAI가 필요한가? AI를 통해 어떠한 판단을 내리려는 행위를 사람들이 원하는데 이 때 신뢰도와 투명성이 필요하다. (예를 들어, 의사의 진찰) 그렇기에 "wh" 질문들 (whym when, wher,..)와 같은 것에 대답을 할 수 있어야 한다. XAI의 방식 : white box 형태로 가기 위해서 분류, 회귀 결과를 얻기 전에 "wh" 질문들을 수행할 수 있도록 한다. 데이터의 미디어 별로 XAI를 구별하여 판단하였다. 미디어에 따라 방식이 적용되는지 안

minyoungxi

https://arxiv.org/pdf/1602.04938.pdf 본 논문에서는 LIME(Local Interpretable Model-Agnostic Explanations)이라는 새로운 설명 기법을 제안합니다. LIME의 주요 목표는 예측 주변에서 로컬로 해석 가능한 모델을 학습하여 해석 가능하고 충실한 방식으로 모든 분류기의 예측을 설명하는 것입니다. Abstract Despite widespread adoption, machine learning models remain mostly black boxes In this work, we propose LIME, a novel explanation technique that explains the predictions of any classifier in an interpretable and faithfu

hajeongjj

캐글 2021년 경진대회인 PetFinder.my - Pawpularity Contest 를 바탕으로 딥러닝 기반 컴퓨터 비전 연구 프로젝트를 진행한 내용을 정리하고자 한다. 아래 내용은 연구 기획 단계인 중간 발표 자료이다. 이미 종료된 Competition을 기반으로 discussion과 공개 코드를 면밀히 검토하는 방식은 머신러닝을 공부하는 좋은 방법 중 하나라는 것을 알게 되었다. 이 Competition의 목적은 'Predict popularity of shelter pet photos(인기도를 예측하여 더 빨리 입양을 보낼 방법을 도출하자)'이다. 즉,

sangwu99

설명 가능한 머신러닝 모델인 EBM을 소개 Trade Off 로지스틱 회귀, 의사결정 나무와 같이 설명 가능한 white box 모델은 예측 성능이 보편적으로 좋지 않음 이렇듯 대부분의 머신러닝 모델에서 예측 정확도와 설명 가능성은 trade off 관계를 보임 EBM Microsoft에서 개발한 Explainable Boosting Machine은 XGBoost, LGBM 수준의 성능과 설명가능성을 모두 쟁취한 모델 GA2M EBM은 GAM의 발전된 형태인 GA2M 모델의 한 종류 각 feature의 연산 값을 합하는 Genrelaized Additive Model에 상호작용 쌍을 추가한 모델이 GA2M 모델 구조 한 연산이 1개 feature를

h-wi

설명가능한 AI XAI의 필요성 딥러닝 모델은 편향(bias)된 정보일 수 있다. 따라서 모델이 예측한 결과에 대해 어떻게 이런 결과가 일어났고, 이 결과를 얼마나 신뢰할 수 있는지 판단되고 평가될 필요가 있다. 위 말의 이미지 경우에는 PascalVOC7의 결과를 분석해보면, 판단에 중요한 영향을 끼친 Pixel이 말이 아닌 왼쪽 밑을 가르키고 있는 것을 알 수 있다. 따라서 해당 모델은 말의 모습이 아니라 말의 사진마다 첨부된 워터마크만을 보고 분류하고 있는 것이었다. 이런 식으로 XAI를 통해 잘못된 모델을 디버깅할 수 있다.

mhkim9714

Introduction DGL의 다양한 활용 분야: finance (e.g., fraud detection, credit modeling), e-commerce (e.g., recommendation system), drug discovery, advanced material discovery$\rightarrow$ 하지만 GNN의 trustworthiness가 문제가 됨 오늘날, various emerging laws and regulations in AI ethics, e.g., EU GDPR, promote different companies to develop trustworthy algorithms for meeing regulatory compliance requirements of privacy, explainability and fairness, etc. DGL (Deep Graph Learning): Accuracy$\downar

kims71

이번에 정리할 논문은 LIME(Local Interpretable Model-Agnostic Explanation) 기법을 제안한 “Why Should I Trust You?” Explaining the Predictions of Any Classifier 입니다. LIME은 모델의 종류와 무관하게(model agnostic) 각 instance 주변에 국소적으로 해석가능한 sparse linear model로 근사해(Local Interpretable) 각 instance에서 모델의 inference를 설명합니다(Explanation). LIME의 설명력을 입증하기 위해서 다른 ML논문처럼 inference 결과의 metric을 비교하는 정도가 아니라, 다양한 설정으로 실험을 했는데 이 점이 흥미롭게 느껴졌습니다. Introduction 본 논문에서는 2가지의 관점에서 trust의 정의를 제시합니다. trusti

kims71

이번에 소개할 논문은 “An Efficient Explanation of Individual Classification using Game Theory”입니다. 많이 알려진 SHAP은 Feature Importance를 계산하기 위해서 shapely value의 개념을 사용합니다. 본 논문은 그 이전에 shapely value를 활용한 explanation method를 제안하는 논문입니다. 논문 링크 : https://dl.acm.org/doi/abs/10.5555/1756006.1756007 Introduction 본 논문은 shapely value를 활용한 explanation을 설명하기 위해서 4 단계로 진행됩니다. Coaltional Game Theory의 개념을 도입했을 때 기존 Explanation의 한계를 개선할 수 있다. 위의 세팅에서 Fe

standing-o

XAI | Explainable AI 의 개념과 분류 본 포스팅은 설명가능한 인공지능 (XAI) 의 개념과 분류 방법에 대한 내용을 포함하고 있습니다. Keyword : XAI, CAM, LIME, RISE 👉 Click Supervised (deep) learning Supervised (deep) learning has made a huge progress but deep learning models are extremely complex End-to-end learning becomes a black-box Problem happens when models applied to make critical decisions **What is explainability & Int

zeeno0412

회사 업무적으로 필요한 내용은 아니었다. 동료 분석가들끼리 고민하는 내용이 상무, 회장 등 임원분들의 이해를 돕게끔 설명하는 과정에서 어려운 부분이 많았다. 예측력보다는 설명력을 요구하는 경우가 많았고, 그러던 도중에 자연스럽게 XAI(설명가능한 인공지능)을 접하게 되었다. 머신러닝, 딥러닝을 진행하다보면 블랙박스(머신러닝 모델의 의사결정 과정을 인간이 이해할 수 없을 때) 부문에 있어서 궁금증이 생길 수 밖에 없다. XAI는 이러한 블랙박스 성향을 인간이 이해할 수 있을 때까지 분해하는 기술이다. 시각화와의 XAI의 차이점은 해석이 가능한지 유무에 따라 차이를 보인다. 일전에 의사결정나무에서 배웠던 피쳐 중요도(Feature Importance), 분류 모델에서 어떤 영역을 집중적으로 분석했고 분류

soorim_yoon

XAI 방법들을 어떻게 비교, 평가하는지 (어떤 설명 방법이 좋은 설명 방법인지) 고안된 방법의 문제점은 없는지 정량적 비교 및 평가 방법 1) 사람들이 직접 설명들을 보고 비교, 평가하는 방법 AMT (Amazon Mechanical Turk) test 사람들의 투표를 통해 평가 2) 어떤 설명이 더 잘 되어있는지 사람들이 평가 => 돈, 비용이 많이 든다 정량적인 평가 방법 1) 사람들이 이미 만들어놓은 Annotation dataset 활용 ![](https://velog.velcdn.com/images/

soorim_yoon

CAM (Class Activation Map) Global average pooling 활용 GAP layer 이미지 내에서 정답인 동물을 하이라이트하는 모습 주어진 맵과 관련이 많다는 모습? Activation CAM 값들의 평균: 특정 클래스에 대한 분류 정도 CAM으로 구한 예시 다른 모습의 같은 클래스 사물들을 모두 정확히 검출 및 하이라이트한 모습을 볼 수 있음 CAM: object detection, segmentation 등의 분야에 접목하여 활용 가능 => 이미지 마다 단순한 classifica

soorim_yoon

설명가능한 AI (Explainable AI) 딥러닝의 문제 : 구조가 복잡하여 설명하기 어려움 XAI : 모델을 쉽게 이해하고 사용하기 위한 방안 지도학습, 딥러닝 기반 framework들이 딥러닝 적용 : 음성인식, 기계번역에서 큰 효과, ImageNet 데이터셋의 오류도 매년 절반씩 감소시킴 한계: 대용량 학습데이터로부터 학습하는 모델 구조 => 점점 복잡해지고 어려워짐 인공신경망의 발전 단순 신경망 -> ResNet, DenseNet -> Transformer (Attention 매커니즘 사용) Input을 넣으면 Output 결과가 나타남 이런 ouptut이 사람에게 직접 영향을 미치는 경우 문제 발생 자율주행 의료 AI 기반 대출 등에 사용하기에 한계가 있음 => 이런 결과를 낸 이유를 도출해야 함 이유를 설명하지 않으면 법적인 규제 받을 수 있음 ex) 특정 인종, 성별에 편향된 결과 구글 포토에서 흑인 -> 고릴라로 예측 아시아인 -> 눈 감고

kim_haesol

딥러닝 학습의 한계점: 대용량 학습 데이터로 부터 학습하는 모델 구조 - 점점 더 복잡해지고 이해하기 어려워짐. XAI 기법 모델 & 데이터셋의 오류 색출 모델이 얼마나 편향되어 있는지 확인 가능 XAI 사람이 모델을 쓸 때 그 동작을 이해하고 신뢰할 수 있게 해주는 기계 학습 기술 XAI 분류하는 방법 intrincsic: 모델의 복잡도를 훈련하기 이전부터 설명하기 용이하도록 제안한 뒤 학습을 시켜서 그 후 학습된 모델을 가지고 설명하는 방법 post-hoc: 임의 모델의 훈련이 끝난