[23.03.20] 월요일엔 Transformer

# 별 헤는 밤

 

1. 학교 수업

월요일은 가장 영양가 넘치는 수업이 있는 날이다.  오전에는 지난 정보 이론 수업에 이어 Cross Entropy, Maximum Likelihood, Bayesian Statistics에 대해 배웠는데 기존에 배웠던 내용이지만, 그 내용이 어떻게 딥러닝 모델이 적용되는지 이해하기 쉽게 설명해 주셔서 잘 이해할 수 있었다. 특히 수식 관련 읽는 법을 Joint, Conditional 같이 case 별로 알려 주셔서 논문을 읽는 데에 많은 도움이 될 것 같다.

 

추천시스템 수업은 NCF(Neural Collaborative Filtering) 논문 위주로 수업이 진행되었는데 처음 보는 내용인지라 재미있게 수업을 들을 수 있었다. 추가적으로 논문을 작성하는 팁이나 추천시스템의 연구 방향을 알게 되어 앞으로 추천 시스템 논문을 작성하는 데에 길을 잡은 느낌이다. 들으면서 아이디어도 몇 개 끄적여 보기도.. ㅎㅎ..

 

2. Transformer

수업을 다 듣고 Transformer 논문을 읽기 시작했다. 오늘 하루 시간이 날 때마다 틈틈이 읽기 시작했고 전에 개념은 알고 있었지만 꼼꼼히 읽으며 모든 내용을 파악하려 하니 생각보다 많이 어려웠던 것 같다. Training 전까지 논문을 다 읽고 Transformer 리뷰를 업로드하였고 이후 실험부분은 개념 파악에는 큰 도움이 되지 않는다고 생각해 추후에 시간이 남을 때 더 읽고 추가하려 한다. (실험 파트보다 Transformer의 Query, Key, Value가 어떻게 돌아가는지 코드와 함께 이해하는 게 우선인 것 같다)

 

사실 Transformer는 현재 너무 많은 task에서 사용되고 있어 꼭 모든 내용을 이해해야겠다고 생각했었던 논문이다. 하지만 오늘 읽으면서 Transformer 개념을 이해해기 위해 Attention, Embedding 등 아직도 내가 알지 못하는 기존 지식이 많았고, 참.. 갈길이 멀게만 느껴진다.

 

오늘은 마음이 조금 착잡한 채로 집에 돌아가려 한다. 원래 오늘 Transformer 코드까지 모두 보려 했으나 리뷰 작성에 모든 시간을 다 써버려 내일 틈틈이 공부해야 할 것 같다. 

 

 

별 하나에 Query와 별 하나에 Key.. 그리고.. Value..?