[2025.01] 5주차 Today I Learned

01/27 월

1. Titan 및 DeepSeek 논문 내용 읽어보기

- 자세히 읽어보지는 않고 대략적인 개념들을 확인해봄

- Titan의 Surprise 개념과 DeepSeek의 강화학습을 활용한 학습 방법이 메인으로 보이는데, 이들이 추후 Transformer와 Diffusion만큼의 영향을 미칠 수 있을 지 시간이 되면 자세히 논문을 읽어보려 한다.

DeepSeek 너 때문에 내 엔비디아 주식이...

 

01/28 화 ~ 01/30 목

1. 설날

 

01/31 금

1. 논문 Revision 완료 및 제출

- 교수님 미팅 피드백을 반영하여 논문 원고와 Revision Letter 작성을 완료

- 마지막 교수님 컨펌을 받은 후 Revision 제출

- 확실히 Review 내용을 반영하여 수정한 원고가 이전 내용보다 읽기도 편하고 풍부한 정보를 전달하는 것 같다. 이후 논문을 작성하는데 있어 이번 경험이 많은 도움이 될 것이라 생각한다.

 

02/01 토

1. CES 후기 작성

- 올해 가장 큰 IT 이벤트인 CES에 다녀온 소감을 작성

https://rahites.tistory.com/353

[박람회 전시] CES 2025

 

02/02 일

1. 메타러닝 정리

- Hyperparameter Optimization

https://rahites.tistory.com/354

[메타러닝] 7. Hyperparameter Optimization

2. Titans 논문 내용 요약 읽어보기 & 코드 봐보기

https://kimjy99.github.io/%EB%85%BC%EB%AC%B8%EB%A6%AC%EB%B7%B0/titans/

[논문리뷰] Titans: Learning to Memorize at Test Time

https://contents.premium.naver.com/banya/banyacompany/contents/250120095548786vu

트랜스포머를 대체할 새로운 신경망?! 구글의 Titans - 인간에게서 영감을 받은 새로운 메모리

https://github.com/lucidrains/titans-pytorch/tree/main

GitHub - lucidrains/titans-pytorch: Unofficial implementation of Titans, SOTA memory for transformers, in Pytorch