[23.03.15] 정보 이론과 Inception

# 아직 3월의 날씨에 적응하지 못한듯하다

 

1. 학교 수업

오늘은 비주얼 컴퓨팅과 다례 수업이 있는 날,  아침부터 커피와 함께 수업을 들었다. 비주얼 컴퓨팅은 대부분 아는 내용이었지만 가장 인상깊게 들은 설명은 조건부 확률에 대한 설명이었다. $p(x, y) = p(x|y)p(y)$라는 수식을 볼 때 이를 수치적인 해석보다 조금 더 이해하는 쪽에 맞춰서 x, y가 동시에 일어날 확률은 y가 미리 일어났을 때의 확률 x 그 확률을 알 때 x가 일어날 확률로 이해해보라는 말씀이셨다. 이것이 단순한 수식에서는 비슷해 보일지라도 조건부 확률의 Chain Rule이 이어지는 수식을 이해할 때 더 도움이 될 것이다.

 

 또한 KL Divergence를 쉽게 이해할 수 있었는데 한마디로 말하자면 두 확률 분포를 알 때 그 차이를 어떻게 줄여나갈 것인지에 대한 식이라고 할 수 있다. 식을 더 풀어서 생각하니 이해가 잘 됐던 것 같은데 또 며칠 지나면 까먹을 것 같으니 정보 이론에 더해서 한번 정리가 필요하다고 생각한다. 크로스 엔트로피 또한 왜 이름에 크로스가 들어가는지 이해할 수 있었던 수업이었다. 

 

2. Inception

이전에 돌려놓은 Transformer 코드의 Inference가 잘 되는지 확인만 하고 Inception 논문을 이어서 읽기 시작했다. 결론부터 말하자면 오늘 블로그 정리까지 마무리하려 했는데 실패했다. 생각보다 v1부터 이후 내용을 전부 정리하고 개념을 파악하는 데 시간이 오래 걸렸던 것 같다. 대신 Seq2seq 논문 내용을 파악하는데 시간을 썼기 때문에 내일 Seq2seq에 투자할 시간을 조금 줄이고 Inception 내용 정리를 마무리 할 수 있을 것 같다.