AI & CS 지식23 [메타러닝] 8. Continual Learning Continual Learning이라는 개념을 처음 접했던 건 23년 말 모두랜드라는 행사에 가서 논문 포스터 발표를 들었을 때였다. 그전까지 내가 찾고 있었던 개념이기에 큰 관심이 갔고, 이미지 관련 Continual Learning을 진행한 연구였기에 많은 질문을 드렸던 기억이 난다. Continual Learning은 개인적으로 AGI와 가장 가까운 연구 분야라고 생각하며, 결국 모든 딥러닝 모델이 추구해야 하는 학습 방법론이지 않나 싶다. 개념적인 부분은 알고 있었지만 그 디테일은 몰랐기에 이번 기회에 다시 복습하며 잘 정리해보려 한다.그렇다면 우선 Continual Learning이란 무엇일까?→ Continual Learning이란 모델이 시간이 지나면서 새로운 데이터를 학습하더라도 기존에 학.. 2025. 2. 7. [메타러닝] 7. Hyperparameter Optimization 딥러닝 모델을 돌리다 보면 우리는 하이퍼파라미터를 어떻게 설정해야 할지 고민을 해야하는 상황에 맞닥뜨린다. 이 때 최적의 하이퍼파라미터를 설정하는 방법을 Hyperparameter Optimization이라고 하며 일반적으로 Hyperparameter Optimization 방법에는 2가지 종류가 존재한다. 특징예시Configuration하이퍼파라미터가 고정되어 사용Random Search, Grid Search, Succesive-halving, Hyperband, Bayesian OptimizationSchedule학습 과정동안 하이퍼파라미터가 변경될 수 있음Population-based training, Hypergradient 1. Grid Search: 하이퍼 파라미터의 주어진 조합을 모두 탐.. 2025. 2. 2. [메타러닝] 6. AutoAugment 이번에 알아볼 내용은 AutoAugment이다. 일반적으로 우리가 알고 있는 내용은 Data Augmentation인데, 어떻게 하면 특정 데이터에 잘 맞는 Augmentation 기법을 찾아 적용할 수 있을지를 다룬 Autoaugment 기술에 대해 알아보도록 하자.1. Data AugmentationData Augmentation이란 보유하고 있는 데이터를 여러 방법으로 변형하여 더 많은 데이터를 만들어 내는 방법으로 학습 데이터가 부족한 경우 이를 보완하기 위해 주로 사용한다. 이미지 데이터의 경우 기본적으로 사용할 수 있는 Rotate, Flip 등 외에도 아래 기법들이 존재한다.CutoutMixupCutmixAugmixText 데이터의 경우에는 Synonym Replacement, Random.. 2024. 12. 31. [AI Q&A] R-CNN 계열 모델 정리하기 Object Detection을 공부하다 보면 가장 먼저 배우는 모델이 바로 R-CNN이다. 처음 이 모델에 대해 접했던 건 학부 3학년 정도로 핵심적인 개념과 대충 이렇구나~ 정도만 외워 넘어간 것 같은데, 지금 다시 강의를 들으며 공부해보니 내가 잘 알지 못했던 부분이 많아 나중에 또 까먹을 것이 뻔하기에 이렇게 정리해두려 한다. R-CNN 계열의 모델 디자인이 당연히 추후 개량되어 등장하였겠지만, 여기서는 가장 대표적인 R-CNN, Fast R-CNN, Faster R-CNN에 대해 정리하려 한다. 글의 흐름은 내가 이 세가지 모델을 이해한 지식의 흐름에 따랐다.우선 본격적으로 R-CNN 모델에 대해 이해하기 전, 우리는 딥러닝에서 어떻게 Object Detection이라는 Task가 이루어질 수.. 2024. 12. 26. [메타러닝] 5. NAS NAS(Neural Architecture Search)는 신경망 관련 공부를 해온 분들이라면 한번쯤 들어본 단어일 것이다. 신경망 구조를 자동으로 설계하고 최적화하는 기법을 의미하는 NAS는 우리가 일반적으로 성능을 높이기 위해 고정된 모델 구조를 제안하는 것과 달리 가장 높은 성능을 보이는 모델 구조를 찾아내는 것을 목적으로 한다. 나도 들어는 봤지만 자세히 알지는 못하기 때문에 조금이나마 개념을 정리하며 공부하려 한다.NAS- 주어진 Task와 Dataset에 대해 가장 최적화된 신경망 구조를 자동으로 탐색하는 기법- Layer 개수, 활성화 함수, 필터 크기 등 사용자가 일반적으로 결정하는 모델 아키텍처 요소를 결정 NAS의 사용 배경- 최근 딥러닝이 발전하며 모델 구조가 점점 복잡해지고 있음- .. 2024. 12. 22. [메타러닝] 4. Bayesian Meta-Learning 이번에 정리할 내용은 Bayesian Meta-Learning이다. 많이 다뤄본 Bayesian과 관련된 내용이며 추후 내가 이 글을 다시 보았을 때 어떤 내용이 있었는지 간단하게 짚고 넘어갈 수 있도록 핵심 위주로 작성해보도록 하겠다.1. Bayesian Learning일반적으로 우리가 Bayes' Rule을 왜 사용하는지를 생각해보면 Posterior를 바로 알기 어려워 Prior와 Likelihood만으로 이를 계산하려 하거나, 사용하려는 데이터가 작기 때문에 불확실성이 커서 Stochastic Model을 사용하는 것이 큰 이유이다. 모델의 파라미터를 확률분포로 계산하여 데이터에서 얻은 정보와 Prior를 결합하며 학습하는 과정을 거친다. Bayesian Modeling 과정에서는 Latent .. 2024. 12. 16. 이전 1 2 3 4 다음
