[LG Aimers] 설명가능한 AI - 1. Explainable AI(XAI) - 1

LG Aimers 학습 내용 정리

출처 : https://www.lgaimers.ai/ 

 

 

설명가능한 AI ( Explainable AI, XAI )

- 모델들이 어떻게 동작하는지 모름( 블랙박스 ), 이 때 예측 결과가 사람에게 직접 영향을 미칠 때 문제가 된다. 

ex. 자율주행, 의학 진단 등.. 

 

- 최근 대두되고 있는 AI 모델의 편향성 문제 ( 특정 인종, 성별에 편향된 결과 )

- 이 편향성의 이유를 찾아 해결해야 현실에 적용시킬 수 있다는 것! 

ex. 말 사진 오인식, COMPAS crime prediction

 

- 자율주행의 경우 사고의 책임을 찾기 위해 설명할 수 있어야 한다.

- 왜 알고리즘이 그런 예측 결과를 냈는지 설명할 수 있어야 신뢰가 가능하다! 

 

* XAI : 사람이 모델을 쓸 때 그 동작을 이해하고 신뢰할 수 있게 해주는 기계 학습 기술

Local ( 주어진 특정 데이터에 대한 예측 결과를 개별적으로 설명하려는 방법 )
                                                            vs
Global ( 전체 데이터셋에서 모델의 전반적인 행동을 설명하고자 하는 방법 )

---

White-box ( 모델의 내부 구조를 정확하게 알고있는 상황에서 설명을 시도하는 방법 )
                                                             vs
Black-box ( 단순히 모델의 입력과 출력만 가지고 설명을 시도하는 방법 )

---

Intrinsic ( 모델의 복잡도를 훈련하기 이전부터 설명하기 용이하도록 제안, 학습을 시켜 그 후 학습된 모델을 가지고 설명 )
                                                             vs 
Post-hoc ( 임의 모델의 훈련이 끝난 뒤에 이 방법을 적용해서 그 모델의 행동을 설명하는 방법)

---

Model-specific ( 특정 모델 구조에만 적용이 가능 )
                                                              vs
Model-agnostic ( 모델의 구조와 관계없이 어느 모델에도 항상 적용 )

 

- 기존에 사용하던 Linear model, Simple Decision Tree는 Global, White-box, Intrinsic, Model-specific하다. 

- Grad-CAM은 Local, White-box, Post-hoc, Model-agnostic하다. 

 

Simple Gradient Method

장점 : 입력에대한 모델의 Gradient로 제공 ( Back-Propagation으로 간단히 구현 가능 )

단점 : noisy하다, 똑같은 예측 결과들을 가지고 조금씩 변한 결과에서 각 이미지들에 대한 설명이 많이 다름

 

SmoothGrad

: A simple method to address the noisy gradient

- 앞의 방법에서 Noisy한 Gradient들이 많이 제거될 수 있고, 평균적으로 남는 Gradient들이 더 깨끗한 설명을 제공할 수 있다. 

- 배경이 균일한 경우에 더 깨끗하게 설명해준다.

장점 : 간단히 평균내는 방법만으로 훨씬 깨끗한 설명을 생성해낼 수 있다. ( 대부분의 saliency-map 기반 방법에 적용 가능 )

단점 : Noise를 섞어주는 횟수만큼 딥러닝 모델의 back propagation을 해야하기 때문에 계산 복잡도가 높다.