메타러닝9 [메타러닝] 11. Advanced Meta-Learning 벌써 메타러닝 관련 내용을 정리하는 마지막 시간이 되었다. 3월 개강 전까지는 마무리 하고 싶었는데, 다행이라고 생각하며 다음 수업 내용은 미리미리 복습하며 꼭 정리한다는 것을 다짐!한다(바쁘면 어쩔 수 없나..?). Advanced Meta-Learning 파트에서는 이전 Meta-Learning과 관련된 지식을 복기하며 최신 연구들을 파악한다.Meta-Learning에는 Memorization이라는 흥미로운 이슈가 있다. 이는 모델이 Meta-Learning 학습을 수행할 때 학습 알고리즘을 습득한다기보다, 단순히 학습용 Task의 해법을 파라미터에 직접 암기해버리는 현상을 말한다. 마치 문제집을 풀 때 문제를 푸는 방법을 학습하는 것이 아닌 문제집의 답지를 통째로 외워버리는 것 처럼. 물론 Meta.. 2025. 2. 28. [메타러닝] 10. Unsupervised Pre-training 이번에 정리할 내용은 Unsupervised Pre-training / Representation Learning과 관련된 내용이다. 이 파트는 우리가 메타러닝적으로 모델을 학습시킬 때, 만약 Task 자체가 많이 없거나 라벨이 없는 데이터만을 가지고 있을 때 어떤식으로 모델을 잘 학습할 수 있을지에 대해 다룬다. 일반적인 지도학습 모델보다 현실에서 직면할 수 있는 문제를 해결하고자 하는 방법론이라고 생각하면 좋다. 우리가 라벨이 없는 하나의 데이터 셋만을 가지고 있을 때, 문제를 해결하는 가장 좋은 방법은 Unsupervised Pre-training을 통해 학습한 모델(Representation)을 가지고 Few-shot이나 Meta-learning 기법을 활용한 Fine-Tuning을 수행하는 것이.. 2025. 2. 28. [메타러닝] 9. In-Context Learning In-Context Learning(ICL) 이란 ICL은 모델이 별도의 파인튜닝 없이 입력 Context(Prompt)만을 기반으로 새로운 작업을 학습하는 능력을 의미한다. 즉, 예제 몇 개를 보여주었을 때 다음에 오는 질문에 대해 모델이 잘 대답할 수 있는 능력을 학습하는 방법론으로 볼 수 있다. 널리 알려진 학습 방법인 Few-shot Learning, Zero-shot Learning 등이 ICL 방법론에 포함되며, 전체 모델을 다시 학습할 필요 없이 Prompt 조정만으로 다양한 문제를 해결할 수 있다는 장점이 있다. 학습 방법(Learning) Gradient DescentICL(Conditioning)학습 방식Weight를 업데이트하면서 점진적으로 학습Weight를 변경하지 않고 Conte.. 2025. 2. 15. [메타러닝] 8. Continual Learning Continual Learning이라는 개념을 처음 접했던 건 23년 말 모두랜드라는 행사에 가서 논문 포스터 발표를 들었을 때였다. 그전까지 내가 찾고 있었던 개념이기에 큰 관심이 갔고, 이미지 관련 Continual Learning을 진행한 연구였기에 많은 질문을 드렸던 기억이 난다. Continual Learning은 개인적으로 AGI와 가장 가까운 연구 분야라고 생각하며, 결국 모든 딥러닝 모델이 추구해야 하는 학습 방법론이지 않나 싶다. 개념적인 부분은 알고 있었지만 그 디테일은 몰랐기에 이번 기회에 다시 복습하며 잘 정리해보려 한다.그렇다면 우선 Continual Learning이란 무엇일까?→ Continual Learning이란 모델이 시간이 지나면서 새로운 데이터를 학습하더라도 기존에 학.. 2025. 2. 7. [메타러닝] 6. AutoAugment 이번에 알아볼 내용은 AutoAugment이다. 일반적으로 우리가 알고 있는 내용은 Data Augmentation인데, 어떻게 하면 특정 데이터에 잘 맞는 Augmentation 기법을 찾아 적용할 수 있을지를 다룬 Autoaugment 기술에 대해 알아보도록 하자.1. Data AugmentationData Augmentation이란 보유하고 있는 데이터를 여러 방법으로 변형하여 더 많은 데이터를 만들어 내는 방법으로 학습 데이터가 부족한 경우 이를 보완하기 위해 주로 사용한다. 이미지 데이터의 경우 기본적으로 사용할 수 있는 Rotate, Flip 등 외에도 아래 기법들이 존재한다.CutoutMixupCutmixAugmixText 데이터의 경우에는 Synonym Replacement, Random.. 2024. 12. 31. [메타러닝] 4. Bayesian Meta-Learning 이번에 정리할 내용은 Bayesian Meta-Learning이다. 많이 다뤄본 Bayesian과 관련된 내용이며 추후 내가 이 글을 다시 보았을 때 어떤 내용이 있었는지 간단하게 짚고 넘어갈 수 있도록 핵심 위주로 작성해보도록 하겠다.1. Bayesian Learning일반적으로 우리가 Bayes' Rule을 왜 사용하는지를 생각해보면 Posterior를 바로 알기 어려워 Prior와 Likelihood만으로 이를 계산하려 하거나, 사용하려는 데이터가 작기 때문에 불확실성이 커서 Stochastic Model을 사용하는 것이 큰 이유이다. 모델의 파라미터를 확률분포로 계산하여 데이터에서 얻은 정보와 Prior를 결합하며 학습하는 과정을 거친다. Bayesian Modeling 과정에서는 Latent .. 2024. 12. 16. 이전 1 2 다음
