[23.04.17] X:AI 논문 복습

# 월요일 좋아

 

1. X:AI 논문 복습 - ELMo, GPT

오늘은 지난번에 건강 이슈로 빠졌던 X:AI 논문을 복습하는 시간을 가졌다. 우선은 ELMo와 GPT 논문부터 다시 보았는데, 최근 비주얼 컴퓨팅 수업에서 NLP와 관련된 공부를 하고 있어 지난번에 논문을 봤을 때보다 더 이해가 잘 되었다. 특히 ELMo와 같은 Embedding 방법에 대해 다시 한번 생각을 해보게 되었는데, 그 이유는 Transformer를 비롯한 NLP 논문을 보면 어떤 Embedding을 사용했는지에 대한 기술이 잘 없기 때문이다. 그래서 최근 인기 있는 GPT도 성능이 잘 나오기 시작한 것이 모델링 보다도 좋은 Embedding 방법이 적용됐을 것이라는 생각이 들었다. 

 

ELMo나 GPT 논문이 나올 시기에는 아직 Pretrain - Fine Tuning 구조가 확립되어있지 않던 시기였다. 그래서  Unlabeled 된 데이터를 Pretrain해서 SOTA를 기록한 GPT 모델이 인기를 끌기 시작했고, 지금의 GPT 4.0까지 발전하지 않았나 싶다. 결국 이 성능의 기반은 Transformer Decoder 구조와 semi-supervised 기법을 사용한 것이다. 그 덕에 많은 Unlabeled 데이터를 학습해 representation을 만들고 장기 의존성을 줄일 수 있었다. (NLP 모델은 나올 때마다 Long-Term Dependency가 준다고 하는데 아직도 줄일게 남아있나..?)

 

2. X:AI 논문 읽기 - SegNet

저번 논문을 읽어본 뒤에는 다음 스터디 논문인 SegNet을 읽기 시작했다. 아직 스터디까지 날짜가 남아있기는 하지만 미리미리 하자는 의미에서.. 논문을 읽기 전에 우선 구글링으로 SegNet에 대한 전반적인 내용을 파악했는데, Road Map에서 도로와 인도를 구분하는 것을 목표로 고안된 모델이라는 점이 인상적이었다. 사실 Segmentation 모델들을 몇몇 보았지만 (Unet, DeepLab 등.. ) 아직 코드를 세부적으로 뜯어보지 않아 이 모델들이 결국 해당 Object를 어떤식으로 학습해서 나누어 준다는 것인지를 잘 이해하지 못했다. (물론 Down Sampling, Up Sampling이나 모델 구조는 알지만, 해당 Task의 좌표를 학습하는 것인지 그렇다면 비지도학습은 어떤식으로 진행되는지 이런.. 등등)

 

위에서 이해하지 못한 부분은 체크해 두었으니 차차 공부해 가는 것으로 하고 내일부터 틈틈이 SegNet 논문 리뷰를 작성하려 한다. 아래는 Upsampling을 이해하는 데 도움이 된 페이지이다. 자세히 나와있어 이해하기 좋았다.

 

https://dacon.io/en/forum/406022

여러가지 Upsampling 방식들