전체 글330 [23.03.21] CoCa # 오랜만에 농구를 했더니 몸이 힘들다.. 1. CoCa 오늘은 완전 CoCa의 날이었다. "CoCa: Contrastive Captioners are Image-Text Foundation Models" 논문은 학부연구생 논문 리뷰를 위해 읽게 되었고 Multimodal Task와 관련된 논문이었다. Multimodal과 관련된 논문은 처음 읽어봐서 배경지식이 많이 부족했고, 따라서 관련 모델인 CLIP, Align, SimVLM의 내용까지 찾아보는데 시간을 많이 투자하였다. 비교적 최신 논문이기에 인터넷 자료도 많지 않았고 최대한 해석해 가며 모르는 내용은 찾으면서 이해하려 했다. 이해한 내용을 파일로 따로 리뷰를 작성해 보았는데 (블로그 리뷰는 조금 더 이해를 잘하면 순차적으로 ㅠㅠ) 이게 참 알듯.. 2023. 3. 22. [23.03.20] 월요일엔 Transformer # 별 헤는 밤 1. 학교 수업 월요일은 가장 영양가 넘치는 수업이 있는 날이다. 오전에는 지난 정보 이론 수업에 이어 Cross Entropy, Maximum Likelihood, Bayesian Statistics에 대해 배웠는데 기존에 배웠던 내용이지만, 그 내용이 어떻게 딥러닝 모델이 적용되는지 이해하기 쉽게 설명해 주셔서 잘 이해할 수 있었다. 특히 수식 관련 읽는 법을 Joint, Conditional 같이 case 별로 알려 주셔서 논문을 읽는 데에 많은 도움이 될 것 같다. 추천시스템 수업은 NCF(Neural Collaborative Filtering) 논문 위주로 수업이 진행되었는데 처음 보는 내용인지라 재미있게 수업을 들을 수 있었다. 추가적으로 논문을 작성하는 팁이나 추천시스템의 연.. 2023. 3. 21. [X:AI] Transformer 논문 이해하기 『 Attention Is All You Need. 2017. 』 Transformer 모델은 현재 Vision, NLP 등 분야를 가리지 않고 사용되고 있다. 그만큼 "Attention is all you need" 논문은 현재까지도 많은 영향을 끼치고 있고 최근 인공지능이 이렇게 빨리 발전할 수 있는 원동력이 되었다고 생각한다. Transformer 모델에 대해서는 이전에 개념공부를 한 적이 있지만, 논문을 뜯어보며 리뷰를 했던 것은 아니기에 이제서야 진행해보려 한다. Transformer 개념 정리 https://rahites.tistory.com/66 [D&A Deep Session] 9차시 - 15. Attention, Transformer ## 지금까지 Sequence data를 처리하는데 사.. 2023. 3. 21. [23.03.19] Model Soup와 Transformer # 벌써 주말이 끝..? 1. Model Soups 어제 논문의 핵심 아이디어는 대강 이해해둔 상태였기에 논문을 마저 읽는 데에는 큰 어려움이 없었던 것 같다. 점심을 먹고 카페에 가서 Model Soups 논문 리뷰를 마무리 하였고, 생각보다 시간이 오래 걸려 밖이 어둑어둑해 질 때가 되어서야 카페에서 나올 수 있었다. Model Soup는 작년에 나온 논문으로 이렇게 최신 논문을 읽고 리뷰해본 것은 처음이라 관련 지식들을 파악하는데 시간을 많이 썼던 것 같다. 이 논문에서 파생되는 또 다른 논문들이 많은데, 이 논문들을 다 읽어볼 수는 없으니 핵심적인 내용 위주로 이해하였다. 이번 논문을 읽는 데에도 역시 영어로 된 내용을 정확히 파악하는 것과 수치적인 내용을 이해하는 것이 가장 어려웠다. 매번 그렇.. 2023. 3. 20. [Paper Review] Model Soup 논문 이해하기 『 Model soups: averaging weights of multiple fine-tuned models improves accuracy without increasing inference time. 2022. 』 Github : https://github.com/mlfoundations/model-soups GitHub - mlfoundations/model-soups Contribute to mlfoundations/model-soups development by creating an account on GitHub. github.com 이번 논문은 학부 연구생 활동을 하며 읽은 Model soup 논문이다. 이 논문에서는 기존에 사용하던 앙상블 기법이 k개의 모델을 활용할 때 그에 비례하여 .. 2023. 3. 19. [23.03.18] Model Soup와 ControlNet # 와인 한 잔의 여유를 가진 하루 1. Model Soups 토요일 아침, 조금의 휴식을 가지고 점심 때부터 학부연구생 논문을 읽기 시작했다. 오늘의 논문은 Model Soup로 기존 딥러닝에서의 앙상블 모델들이 Inference time이 오래걸린다는 단점을 가진다는 것을 Weight Average 방법으로 극복한 논문이었다. 다소 최신의 논문을 읽어본 경험이 많이 없어 겁이 났지만 천천히, 또 주말이니만큼 마음 편하게 논문을 읽어 나갔다. 리뷰는 다 작성하지 못했지만 논문의 핵심 내용이 무엇이고 어디서 아이디어를 차용하였는지 등을 이해하였고 내일 정리를 마무리하려 한다. 2. ControlNet 논문을 적당히 이해했다고 생각한 후, 어제 밤 자기전 봤던 유튜브 코드를 실행해 보았다. 빵형의 개발도상.. 2023. 3. 18. [23.03.17] SPPNet과 X:AI # 시급 14만 원의 하루 1. SPPNet 오전부터 강남, 시청을 돌아다니며 바쁜 하루를 보냈다. 이동 중간 조금의 자유 시간이 났을 때 SPPNet을 최종 정리하였다. 오늘은 특히 BoW(Bag of Words), SPM(Spatial Pyramid Matching) 기법부터 차례로 이해해 가며 SPP(Spatial Pyramid Pooling) 기법까지 마스터하였다. SPPNet 논문을 작년에 읽고 간단히 정리한 이후 이번에 좀 더 내용을 추가해서 정리하였고 그 덕에 이전 논문인 R-CNN부터 더 잘 이해할 수 있었다. 2. X:AI 오늘의 일정을 모두 마치고 학교로 돌아가 X:AI 스터디를 진행하였다. 내가 맡은 SPPNet 발표를 시작으로 일주일간 읽었던 Inception, Seq2seq 논문,.. 2023. 3. 17. [23.03.16] Inception과 Unity # 날이 흐려 피곤했던 하루 1. Inception 드디어 Inception 블로그 리뷰를 완성하였다. Inception-v1부터 v3까지 여러가지 기법들과 GoogLeNet의 구조를 파악해 이해한 것을 최대한 쉽게 풀어 쓸 수 있도록 노력했다. Inception-v4는 v2, v3에서 많은 실험을 진행한 것과 달리 모델의 구조를 축소했다는 리뷰를 본 기억이 있는데, 그래도 추후에 시간이 될 때 논문 읽기와 리뷰를 진행하려 한다. 2. Unity 오늘은 공강 날이었기에 학부연구생으로 출근을 하였다. 저번에 Pose Estimation 샘플 TensorFlow Lite 코드를 돌리던 중 오류가 발생한 것을 해결하려 했는데, 기술 팀장님과 이야기를 해봐도 쉽게 해결할 수 없었다. 이를 해결하려면 내가 자바나.. 2023. 3. 16. [X:AI] Inception-v2, v3논문 이해하기 INCEPTION Inception은 ILSVRC 2014(ImageNet Large-Scale Visual Recognition Challenge)에서 1등을 차지한 GoogLeNet에서 사용된 핵심 구조의 이름으로『Going deeper with convolutions』논문을 통해 그 특징을 파악할 수 있다. 실제로 논문의 이름은 영화 "인셉션"에서 유래한 밈에서 따왔다고 한다. (실제 영화에서 언급된 말은 아닌듯..) 오늘 소개할 내용은 Inception-v2, v3가 소개된 논문이 메인이기 때문에 우선은 Inception에 대한 간단한 정보만 짚고 넘어가겠다. Inception module의 구조는 아래 그림과 같으며 주된 아이디어는 여러개의 convolution filter를 이용해 featur.. 2023. 3. 16. [23.03.15] 정보 이론과 Inception # 아직 3월의 날씨에 적응하지 못한듯하다 1. 학교 수업 오늘은 비주얼 컴퓨팅과 다례 수업이 있는 날, 아침부터 커피와 함께 수업을 들었다. 비주얼 컴퓨팅은 대부분 아는 내용이었지만 가장 인상깊게 들은 설명은 조건부 확률에 대한 설명이었다. $p(x, y) = p(x|y)p(y)$라는 수식을 볼 때 이를 수치적인 해석보다 조금 더 이해하는 쪽에 맞춰서 x, y가 동시에 일어날 확률은 y가 미리 일어났을 때의 확률 x 그 확률을 알 때 x가 일어날 확률로 이해해보라는 말씀이셨다. 이것이 단순한 수식에서는 비슷해 보일지라도 조건부 확률의 Chain Rule이 이어지는 수식을 이해할 때 더 도움이 될 것이다. 또한 KL Divergence를 쉽게 이해할 수 있었는데 한마디로 말하자면 두 확률 분포를 알 때 .. 2023. 3. 16. [23.03.14] Android Studio와 Inception # 오랜만에 학부연구생 출근을 하여 고단했던 하루.. 1. 학부연구생 출근 GTC 프로젝트를 마무리하고 2주만에 학부연구생 출근을 하였다. 4월부터 시작하게 될 컴플렉시온 인턴 일 이전에 준비를 하는 것이 목적이었고, Pose Estimation 모델을 모바일로 이식하는 것이 최종 목표이다. 오늘은 딥러닝 샘플 코드를 가지고 모바일로 돌려보는 정도의 task만을 수행하였고, TensorflowLite 샘플 코드를 사용하였다. https://github.com/tensorflow/examples GitHub - tensorflow/examples: TensorFlow examples TensorFlow examples. Contribute to tensorflow/examples development by.. 2023. 3. 14. [23.03.13] 추천시스템과 Transformer # 갓생살기의 일환으로 TIL을 일기처럼 적어보려 한다 1. 추천 시스템 수업 Collaborative Filtering에 대해 배웠다. User, Item, Latent Factor based 방식이 있었고 전반적인 내용은 기존의 SKT 추천시스템 강의와 비슷했다. 추천시스템의 Task에는 Unkown rating을 어떻게 채우는지에 대한 Prediction과 어떤 상품을 유저에게 추천해야할 지에 대한 Ranking 2가지가 존재한다. Prediction은 실제값과 예측값의 차이를 계산하는 회귀 평가방식으로, Ranking은 모델이 추천한 것 중에 몇 개를 맞췄을 지를 계산하는 분류 평가방식으로 평가를 할 수 있다. 또한 현재 추천을 하려는 사람을 Active User로 두고 계산을 한다는 점, 일반적.. 2023. 3. 14. 이전 1 ··· 13 14 15 16 17 18 19 ··· 28 다음
