[LG Aimers] 설명가능한 AI - 2. Explainable AI(XAI) - 2

LG Aimers 학습 내용 정리

출처 : https://www.lgaimers.ai/ 

 

 

다양한 XAI 기법 

 

Saliency map 기반 방법

1. CAM ( Class Activation Map )

- Saliency map 기반의 설명 가능 방법

- GAP(Global Average Pooling) layer를 만들어 설명을 제공, GAP layer는 각 Activation map의 모든 Activation들을 평균낸다.

- 어떤 Activation map에 activation이 크게 된다는 것은 map이 주어진 입력과 관련이 많다는 뜻이고, 이를 결합하는 w가 크다는 것도 최종 분류에 큰 영향을 주는 Activation이라는 뜻이므로 그것을 결합하면 입력에 대한 예측을 잘 설명하는 방식이 된다. 

- Convolution시 처음에 비해 해상도가 떨어지기 때문에 Upsampling 실행

- Object Detection, Semantic segmentation같은 더 복잡한 응용분야에도 적용이 가능하다. 

(Weakly Supervised Learning)

장점 : 모델이 중요하게 보고있는 이미지를 깔끔하게 잡아낼 수 있다. 

단점 : 이는 모델 specific하다. Global Average Pooling layer가 마지막에 달려있는 모델에만 적용이 가능하다. 

 

* Saliency map : 픽셀값의 변화가 급격한 부분을 모아서 매핑하는 방법

 

2. Grad-CAM ( CAM의 단점을 극복하기 위해 )

- CAM을  Gradient 정보를 활용하여 확장한 설명 방법

- GAP layer가 없더라도 설명이 가능하도록!! 어떤 w가 특정 모델 구조를 가지고 학습된 w를 사용하는 것이 아니라 어느 Activation map에서도 그 Activation map의 Gradient를 구한 다음에 그것의 Global average pooling 값으로 w를 적용하는 것.

장점 : 모델이 어떤 출력 구조를 가지고 있더라도 상관없이 사용할 수 있다.

단점 : Average gradient가 때때로 정확하지 않다. 

 

모델의 정확한 구조나 계수를 모르는 상태에서 모델의 입출력에 대한 정보만 가지고 있는 경우 

: 입력데이터를 조금씩 바꾸면서 그에 대한 출력을 보고 그 변화에 기반하여 설명

 

1. LIME ( Local Interpretable Model-agnostic Explanations )

- 어떤 분류기가 딥러닝 모델처럼 매우 복잡한 비선형적 특징을 가지고 있더라도 주어진 데이터 포인트들에 대해서는 Local 하게 다 선형적인 모델로 근사화가 가능하다는 관찰에서 출발하는 기법- 주어진 데이터를 조금씩 교란해가면서 입력 데이터를 모델에 여러번 통과시킨 후, 나오는 출력과 Pair를 이루어 간단한 선형 모델로 근사함으로써 설명을 얻어내는 방법

장점 : Black-box 설명 방법 ( 딥러닝 모델 뿐 아니라 주어진 입력과 그에 대한 출력만 얻을 수 있다면 어떤 모델에 대해서도 다 적용할 수 있는 설명 방법 )

단점 : 여러번 Evaluation해야 해 계산 복잡도가 높다 ( 모델 구조를 알 수 없는 Black-box 모델의 한계 ) , 실제 모델이 local하게 비선형적일 때 설명하기 어렵고, 이미지 전체에 대해 분석할 때 잘 적용하지 않는다.

 

2. RISE ( Randomized Input Sampling for Explanation) 

- LIME과 비슷하게 여러변 입력을 perturb(교란)하여 설명을 구하는 방법- 랜덤한 마스크를 만들어서 마스크를 씌운 입력이 모델을 통과했을 때 해당 클래스에 대한 예측 확률이 얼마나 떨어지는지를 보고 설명하는 방법이다. 즉, 여러개의 랜덤 마스킹이 되어있는 입력에 대한 출력 스코어를 구하고, 스코어(확률)를 이용하여 마스크들을 가중치를 두고 평균을 냈을 때 나오는 것!!

- 해당 객체를 찾아내어 하이라이트할 수 있다. 

장점 : Multi clear saliency-map

단점 : 계산 복잡도가 많고 다수의 랜덤 마스크를 만들어야 한다.

 

Influence Fuction 기반 설명방법

- 주어진 모델은 어떤 Training set으로부터 학습된 것이므로 이 모델을 데이터 셋에 있는 Training image들의 함수라고 볼 수 있다. 따라서 각 테스트 이미지를 분류하는데 가장 큰 영향을 미친 Training image를 해당 분류에 대한 설명으로 제공하는 것!!