LG Aimers 학습 내용 정리
비지도학습 ( Unsupervised Representation Learning )
- Pretext Learning : 잘 정리된 Representation, 유용한 정보를 만들기 위한 학습 Task
- Self-Supervised Learning : 본래 Unsupervised 였던 문제가 Script 하나로 Supervised 문제로 변하는 기법
- Mutual Information의 컨셉 : 어떻게 하면 여기있는 이 Variable과 저 Variable 사이에 공유하는 정보의 양이 얼마큼인지를 숫자로 계산할 수 있을까?
- CPC ( Contrastive Predictive Coding )
https://kaen2891.tistory.com/77
- Multiview Coding : 같은 콘셉트라면 어느 방향에서 찍은 사진이더라도 결국 같은 정보를 담고 있기 때문에 이 사진을 뉴럴 네트워크를 통과시켜 정보를 정리하더라도 Activation Vector가 비슷해야한다. ( 이미지 Augmentation기법을 사용한 학습 )
- SimCLR 논문에서 위 내용을 정리 ( 이 이미지들은 같은 정보를 담고있다는 대명제에서 시작 ), 제한된 조건 안에서 만든 문제에서는 엄청난 좋은 성능을 내는 결과까지 도달하였다.
- Contrastive loss를 많이 사용한다.
- 최근 Unsupervised Learning의 성능이 Supervised Learning의 성능을 많이 따라잡았다.
- 하지만 Unsupervised Learning은 단순 Task를 정의한 제한된 Framework에서 수행된다.
- 비슷한 연구로 최신 논문인 DALL-E 2 소개
'대외활동 > LG Aimers' 카테고리의 다른 글
[LG Aimers] 설명가능한 AI - 1. Explainable AI(XAI) - 1 (0) | 2022.07.23 |
---|---|
[LG Aimers] 비지도학습 - 2. Representation과 딥러닝 (0) | 2022.07.21 |
[LG Aimers] 비지도학습 - 1. 전통기계학습과 딥러닝에서의 비지도학습 (0) | 2022.07.20 |
댓글