[LG Aimers] 비지도학습 - 2. Representation과 딥러닝

LG Aimers 학습 내용 정리

출처 : https://www.lgaimers.ai/ 

 

 

 Representation

- Under Constrained -> 다양한 방식으로 조절할 수 있다

- Representation Learning이 잘됐다?? 

- Disentangled Representation

 

< Representation 이해를 돕는 참고 자료 >

https://89douner.tistory.com/339?category=1033935 

1. Representation Learning 이란?

 

- Classification에는 우리가 하고싶은 Task가 잘 정의되어있다. 

- Good Representation 

- 지도학습에서는 내가 살리고픈 정보만 살려보자는 Information  Bottleneck ( Bottleneck에 걸리게끔 ) 논문이 존재하지만 크게 성공하지는 못했다. 하지만 이런 경우는 비지도학습에서 더 난이도가 높아진다.

- Downstream task가 최근에 제시되는데 과연 이를 Unsupervised Representation Learning 이라고 부를 수 있을까?

* Downstream task : 해결하고자 하는 문제, pre-trained된 모델을 이용해 다음의 지도학습에 사용하는 것으로 생각 (fine-tuning)

 

예제

Word2Vec

Transformer ( self-supervised learning ) 비지도학습이었지만 자신의 값을 가림으로써 지도학습이 되어버림\

 

Representation을 바라보는 2가지 시각

1. Representation은 Interpretable 해야 하고 Explainable해야 한다. 

- 인간이 그러하듯이 Neural net이 학습을 제대로 해냈다면 규칙을 잘 찾고 의미있는 정보를 잘 분리할 수 있을 것이다

- Visualization 

 

2. Representation은 필요하지 않다. 

- 어떤식으로 표현할지를 인간이 개입할 필요가 없다. 

( 사실 우리가 어떤 객체를 "무엇"이라고 인식할 때 거기에 대한 이유가 없듯이 컴퓨터가 그것을 왜 그렇게 인식했는지 알필요가 있을까? 에 대한 고민이 드는 부분 ) 

인간에게 왜그랬어? 라고 물어봤을 때 대답하는 것이 정말 그 행동을 한 이유일까? 라는 것! 

( XAI에 대한 고민이 드는 부분 )