[LG Aimers] 비지도학습 - 3. Unsupervised Representation Learning

LG Aimers 학습 내용 정리

출처 : https://www.lgaimers.ai/ 

 

 

비지도학습 ( Unsupervised Representation Learning ) 

- Pretext Learning : 잘 정리된 Representation, 유용한 정보를 만들기 위한 학습 Task

- Self-Supervised Learning : 본래 Unsupervised 였던 문제가 Script 하나로 Supervised 문제로 변하는 기법

- Mutual Information의 컨셉 : 어떻게 하면 여기있는 이 Variable과 저 Variable 사이에 공유하는 정보의 양이 얼마큼인지를 숫자로 계산할 수 있을까? 

- CPC ( Contrastive Predictive Coding )

https://kaen2891.tistory.com/77

Contrastive Predictive Coding (CPC) 리뷰

 

- Multiview Coding : 같은 콘셉트라면 어느 방향에서 찍은 사진이더라도 결국 같은 정보를 담고 있기 때문에 이 사진을 뉴럴 네트워크를 통과시켜 정보를 정리하더라도 Activation Vector가 비슷해야한다. ( 이미지 Augmentation기법을 사용한 학습 ) 

- SimCLR 논문에서 위 내용을 정리 ( 이 이미지들은 같은 정보를 담고있다는 대명제에서 시작 ), 제한된 조건 안에서 만든 문제에서는 엄청난 좋은 성능을 내는 결과까지 도달하였다.

- Contrastive loss를 많이 사용한다. 

 

 

- 최근 Unsupervised Learning의 성능이 Supervised Learning의 성능을 많이 따라잡았다.

- 하지만 Unsupervised Learning은 단순 Task를 정의한 제한된 Framework에서 수행된다. 

- 비슷한 연구로 최신 논문인 DALL-E 2 소개