AI & CS 지식22 [메타러닝] 8. Continual Learning Continual Learning이라는 개념을 처음 접했던 건 23년 말 모두랜드라는 행사에 가서 논문 포스터 발표를 들었을 때였다. 그전까지 내가 찾고 있었던 개념이기에 큰 관심이 갔고, 이미지 관련 Continual Learning을 진행한 연구였기에 많은 질문을 드렸던 기억이 난다. Continual Learning은 개인적으로 AGI와 가장 가까운 연구 분야라고 생각하며, 결국 모든 딥러닝 모델이 추구해야 하는 학습 방법론이지 않나 싶다. 개념적인 부분은 알고 있었지만 그 디테일은 몰랐기에 이번 기회에 다시 복습하며 잘 정리해보려 한다.그렇다면 우선 Continual Learning이란 무엇일까?→ Continual Learning이란 모델이 시간이 지나면서 새로운 데이터를 학습하더라도 기존에 학.. 2025. 2. 7. [메타러닝] 7. Hyperparameter Optimization 딥러닝 모델을 돌리다 보면 우리는 하이퍼파라미터를 어떻게 설정해야 할지 고민을 해야하는 상황에 맞닥뜨린다. 이 때 최적의 하이퍼파라미터를 설정하는 방법을 Hyperparameter Optimization이라고 하며 일반적으로 Hyperparameter Optimization 방법에는 2가지 종류가 존재한다. 특징예시Configuration하이퍼파라미터가 고정되어 사용Random Search, Grid Search, Succesive-halving, Hyperband, Bayesian OptimizationSchedule학습 과정동안 하이퍼파라미터가 변경될 수 있음Population-based training, Hypergradient 1. Grid Search: 하이퍼 파라미터의 주어진 조합을 모두 탐.. 2025. 2. 2. [메타러닝] 6. AutoAugment 이번에 알아볼 내용은 AutoAugment이다. 일반적으로 우리가 알고 있는 내용은 Data Augmentation인데, 어떻게 하면 특정 데이터에 잘 맞는 Augmentation 기법을 찾아 적용할 수 있을지를 다룬 Autoaugment 기술에 대해 알아보도록 하자.1. Data AugmentationData Augmentation이란 보유하고 있는 데이터를 여러 방법으로 변형하여 더 많은 데이터를 만들어 내는 방법으로 학습 데이터가 부족한 경우 이를 보완하기 위해 주로 사용한다. 이미지 데이터의 경우 기본적으로 사용할 수 있는 Rotate, Flip 등 외에도 아래 기법들이 존재한다.CutoutMixupCutmixAugmixText 데이터의 경우에는 Synonym Replacement, Random.. 2024. 12. 31. [AI Q&A] R-CNN 계열 모델 정리하기 Object Detection을 공부하다 보면 가장 먼저 배우는 모델이 바로 R-CNN이다. 처음 이 모델에 대해 접했던 건 학부 3학년 정도로 핵심적인 개념과 대충 이렇구나~ 정도만 외워 넘어간 것 같은데, 지금 다시 강의를 들으며 공부해보니 내가 잘 알지 못했던 부분이 많아 나중에 또 까먹을 것이 뻔하기에 이렇게 정리해두려 한다. R-CNN 계열의 모델 디자인이 당연히 추후 개량되어 등장하였겠지만, 여기서는 가장 대표적인 R-CNN, Fast R-CNN, Faster R-CNN에 대해 정리하려 한다. 글의 흐름은 내가 이 세가지 모델을 이해한 지식의 흐름에 따랐다.우선 본격적으로 R-CNN 모델에 대해 이해하기 전, 우리는 딥러닝에서 어떻게 Object Detection이라는 Task가 이루어질 수.. 2024. 12. 26. [메타러닝] 4. Bayesian Meta-Learning 이번에 정리할 내용은 Bayesian Meta-Learning이다. 많이 다뤄본 Bayesian과 관련된 내용이며 추후 내가 이 글을 다시 보았을 때 어떤 내용이 있었는지 간단하게 짚고 넘어갈 수 있도록 핵심 위주로 작성해보도록 하겠다.1. Bayesian Learning일반적으로 우리가 Bayes' Rule을 왜 사용하는지를 생각해보면 Posterior를 바로 알기 어려워 Prior와 Likelihood만으로 이를 계산하려 하거나, 사용하려는 데이터가 작기 때문에 불확실성이 커서 Stochastic Model을 사용하는 것이 큰 이유이다. 모델의 파라미터를 확률분포로 계산하여 데이터에서 얻은 정보와 Prior를 결합하며 학습하는 과정을 거친다. Bayesian Modeling 과정에서는 Latent .. 2024. 12. 16. [메타러닝] 3. Meta Reinforcement Learning 이번에 알아볼 내용은 Meta Reinforcement Learning에 관한 내용이다. 강화학습을 이전에 공부해본 적이 없어서 기본적인 강화학습에 대한 내용을 가볍게 정리하고 넘어가도록 하겠다.1. Reinforcement Learning강화학습은 Agent가 Environment와 상호 작용을 수행하며 최적의 Policy를 학습하는 방법이다. 강화학습의 목표는 Agent가 Reward를 최대화하도록 학습시키는 것이다.Agent: 학습을 수행하는 주체, Environment와 상호작용하며 행동을 수행함Environment: Agent가 행동을 수행하고 Reward를 받는 곳State: Agent가 현재 위치한 Environment의 상태를 나타내는 정보Action: Agent가 State에서 선택할 .. 2024. 12. 16. 이전 1 2 3 4 다음
