TIL97 [23.03.19] Model Soup와 Transformer # 벌써 주말이 끝..? 1. Model Soups 어제 논문의 핵심 아이디어는 대강 이해해둔 상태였기에 논문을 마저 읽는 데에는 큰 어려움이 없었던 것 같다. 점심을 먹고 카페에 가서 Model Soups 논문 리뷰를 마무리 하였고, 생각보다 시간이 오래 걸려 밖이 어둑어둑해 질 때가 되어서야 카페에서 나올 수 있었다. Model Soup는 작년에 나온 논문으로 이렇게 최신 논문을 읽고 리뷰해본 것은 처음이라 관련 지식들을 파악하는데 시간을 많이 썼던 것 같다. 이 논문에서 파생되는 또 다른 논문들이 많은데, 이 논문들을 다 읽어볼 수는 없으니 핵심적인 내용 위주로 이해하였다. 이번 논문을 읽는 데에도 역시 영어로 된 내용을 정확히 파악하는 것과 수치적인 내용을 이해하는 것이 가장 어려웠다. 매번 그렇.. 2023. 3. 20. [23.03.18] Model Soup와 ControlNet # 와인 한 잔의 여유를 가진 하루 1. Model Soups 토요일 아침, 조금의 휴식을 가지고 점심 때부터 학부연구생 논문을 읽기 시작했다. 오늘의 논문은 Model Soup로 기존 딥러닝에서의 앙상블 모델들이 Inference time이 오래걸린다는 단점을 가진다는 것을 Weight Average 방법으로 극복한 논문이었다. 다소 최신의 논문을 읽어본 경험이 많이 없어 겁이 났지만 천천히, 또 주말이니만큼 마음 편하게 논문을 읽어 나갔다. 리뷰는 다 작성하지 못했지만 논문의 핵심 내용이 무엇이고 어디서 아이디어를 차용하였는지 등을 이해하였고 내일 정리를 마무리하려 한다. 2. ControlNet 논문을 적당히 이해했다고 생각한 후, 어제 밤 자기전 봤던 유튜브 코드를 실행해 보았다. 빵형의 개발도상.. 2023. 3. 18. [23.03.17] SPPNet과 X:AI # 시급 14만 원의 하루 1. SPPNet 오전부터 강남, 시청을 돌아다니며 바쁜 하루를 보냈다. 이동 중간 조금의 자유 시간이 났을 때 SPPNet을 최종 정리하였다. 오늘은 특히 BoW(Bag of Words), SPM(Spatial Pyramid Matching) 기법부터 차례로 이해해 가며 SPP(Spatial Pyramid Pooling) 기법까지 마스터하였다. SPPNet 논문을 작년에 읽고 간단히 정리한 이후 이번에 좀 더 내용을 추가해서 정리하였고 그 덕에 이전 논문인 R-CNN부터 더 잘 이해할 수 있었다. 2. X:AI 오늘의 일정을 모두 마치고 학교로 돌아가 X:AI 스터디를 진행하였다. 내가 맡은 SPPNet 발표를 시작으로 일주일간 읽었던 Inception, Seq2seq 논문,.. 2023. 3. 17. [23.03.16] Inception과 Unity # 날이 흐려 피곤했던 하루 1. Inception 드디어 Inception 블로그 리뷰를 완성하였다. Inception-v1부터 v3까지 여러가지 기법들과 GoogLeNet의 구조를 파악해 이해한 것을 최대한 쉽게 풀어 쓸 수 있도록 노력했다. Inception-v4는 v2, v3에서 많은 실험을 진행한 것과 달리 모델의 구조를 축소했다는 리뷰를 본 기억이 있는데, 그래도 추후에 시간이 될 때 논문 읽기와 리뷰를 진행하려 한다. 2. Unity 오늘은 공강 날이었기에 학부연구생으로 출근을 하였다. 저번에 Pose Estimation 샘플 TensorFlow Lite 코드를 돌리던 중 오류가 발생한 것을 해결하려 했는데, 기술 팀장님과 이야기를 해봐도 쉽게 해결할 수 없었다. 이를 해결하려면 내가 자바나.. 2023. 3. 16. [23.03.15] 정보 이론과 Inception # 아직 3월의 날씨에 적응하지 못한듯하다 1. 학교 수업 오늘은 비주얼 컴퓨팅과 다례 수업이 있는 날, 아침부터 커피와 함께 수업을 들었다. 비주얼 컴퓨팅은 대부분 아는 내용이었지만 가장 인상깊게 들은 설명은 조건부 확률에 대한 설명이었다. $p(x, y) = p(x|y)p(y)$라는 수식을 볼 때 이를 수치적인 해석보다 조금 더 이해하는 쪽에 맞춰서 x, y가 동시에 일어날 확률은 y가 미리 일어났을 때의 확률 x 그 확률을 알 때 x가 일어날 확률로 이해해보라는 말씀이셨다. 이것이 단순한 수식에서는 비슷해 보일지라도 조건부 확률의 Chain Rule이 이어지는 수식을 이해할 때 더 도움이 될 것이다. 또한 KL Divergence를 쉽게 이해할 수 있었는데 한마디로 말하자면 두 확률 분포를 알 때 .. 2023. 3. 16. [23.03.14] Android Studio와 Inception # 오랜만에 학부연구생 출근을 하여 고단했던 하루.. 1. 학부연구생 출근 GTC 프로젝트를 마무리하고 2주만에 학부연구생 출근을 하였다. 4월부터 시작하게 될 컴플렉시온 인턴 일 이전에 준비를 하는 것이 목적이었고, Pose Estimation 모델을 모바일로 이식하는 것이 최종 목표이다. 오늘은 딥러닝 샘플 코드를 가지고 모바일로 돌려보는 정도의 task만을 수행하였고, TensorflowLite 샘플 코드를 사용하였다. https://github.com/tensorflow/examples GitHub - tensorflow/examples: TensorFlow examples TensorFlow examples. Contribute to tensorflow/examples development by.. 2023. 3. 14. 이전 1 ··· 12 13 14 15 16 17 다음
