분류 전체보기357 [Paper Review] CMT 논문 이해하기 『CMT: Convolutional Neural Networks Meet Vision Transformers. CVPR. 2022.』이번에 소개할 논문은 Convolutional Neural Networks Meet Vision Transformers 이다. ViT의 등장 이후 기존의 CNN에 활용된 기술을 그대로 사장시키는 것이 아니라 어떻게 하면 ViT에 Convolution을 녹일 수 있을까? 하는 호기심에서 비롯된 논문으로 최근까지도 CNN, RNN, Transformer의 여러 조합으로 새로운 모델들이 등장하고 있는 것을 생각하면 충분히 Contribution이 있는 논문이라고 생각한다. 어떻게 Vision Transformer와 CNN의 장점을 합쳤는지 그 방법에 집중하면서 읽어보도록 하자.0.. 2025. 3. 3. [2025.03] 1주차 Today I Learned 03/03 월1. CMT 논문 리뷰 마무리https://rahites.tistory.com/373 [Paper Review] CMT 논문 이해하기『CMT: Convolutional Neural Networks Meet Vision Transformers. CVPR. 2022.』이번에 소개할 논문은 Convolutional Neural Networks Meet Vision Transformers 이다. ViT의 등장 이후 기존의 CNN에 활용된 기술을 그대로 사장시키는rahites.tistory.com 2025. 3. 3. [메타러닝] 11. Advanced Meta-Learning 벌써 메타러닝 관련 내용을 정리하는 마지막 시간이 되었다. 3월 개강 전까지는 마무리 하고 싶었는데, 다행이라고 생각하며 다음 수업 내용은 미리미리 복습하며 꼭 정리한다는 것을 다짐!한다(바쁘면 어쩔 수 없나..?). Advanced Meta-Learning 파트에서는 이전 Meta-Learning과 관련된 지식을 복기하며 최신 연구들을 파악한다.Meta-Learning에는 Memorization이라는 흥미로운 이슈가 있다. 이는 모델이 Meta-Learning 학습을 수행할 때 학습 알고리즘을 습득한다기보다, 단순히 학습용 Task의 해법을 파라미터에 직접 암기해버리는 현상을 말한다. 마치 문제집을 풀 때 문제를 푸는 방법을 학습하는 것이 아닌 문제집의 답지를 통째로 외워버리는 것 처럼. 물론 Meta.. 2025. 2. 28. [메타러닝] 10. Unsupervised Pre-training 이번에 정리할 내용은 Unsupervised Pre-training / Representation Learning과 관련된 내용이다. 이 파트는 우리가 메타러닝적으로 모델을 학습시킬 때, 만약 Task 자체가 많이 없거나 라벨이 없는 데이터만을 가지고 있을 때 어떤식으로 모델을 잘 학습할 수 있을지에 대해 다룬다. 일반적인 지도학습 모델보다 현실에서 직면할 수 있는 문제를 해결하고자 하는 방법론이라고 생각하면 좋다. 우리가 라벨이 없는 하나의 데이터 셋만을 가지고 있을 때, 문제를 해결하는 가장 좋은 방법은 Unsupervised Pre-training을 통해 학습한 모델(Representation)을 가지고 Few-shot이나 Meta-learning 기법을 활용한 Fine-Tuning을 수행하는 것이.. 2025. 2. 28. [25.02.26] 영어 회화 스터디 [Daily Conversation]- 시작하다kick off - 평범한, 현실적인down-to-earth - 우연히 만나다bump into - 노숙자hobo - 모욕하다insult - 일깨우다provoke - 영감을 주다inspire - 웃음이 빵 터지다burst into laughter - 향수의nostalgic - 거절하다pull off - 심히, 크게profoundly - 쭉 둘러보다a glimpse of - 순수한innocent - 집주인, 건물주landlord - 인수하다take over - 배울게 많은 사람someone who I can learn a lot from - ~하지 않을 수 없다cannot help ~ing (ex. I can't help smoking) [오늘의 표현 정리]1... 2025. 2. 26. [Paper Review] Titans 논문 이해하기 『Titans: Learning to Memorize at Test Time. arXiv preprint. 2024.』 2025년 1월 인공지능 학계를 떠들썩하게 만든 2가지 연구 결과가 발표 되었다. 그 중 하나는 대중적으로 이미 많이 알려진 DeepSeek이고 다른 하나는 상대적으로 조용하지만 강한 파급력을 가지고 있는 Titans 모델이다. 그 중 이번에는 Transformer의 대체제라는 이야기가 나오고 있는 Titans 모델에 대해 정리해 보려 한다. 기존 RNN이나 Transformer 모델들에 비해 어떤 장점을 가지는지를 위주로 논문을 정리하였다. NLP 분야가 메인 연구 분야는 아니기에 실험 내용을 자세히 파악하기보다는 새로운 방법론을 파악하는 것을 위주로 논문을 읽어 보았다.0. Abst.. 2025. 2. 26. 이전 1 2 3 4 ··· 60 다음
