1. 퍼셉트론이란?
: 다수의 신호를 입력받아 하나의 신호를 출력하는 알고리즘
2. MLP(Multi Layer Perceptron)란?
: 퍼셉트론으로 이루어진 레이어를 쌓아 올린 형태로 구성되어 있는 모델
3. 역전파(Backpropagation)란?
: 계산한 output과 정답 사이의 차이를 계산하여 MLP의 parameter를 update하는 과정
4. 활성함수(Activation Function)을 사용하는 이유는?
: 선형 연산의 결과에 비선형성을 더해주기 위하여
5. 손실함수(Loss Function)란?
: 신경망이 학습할 수 있도록 해주는 지표로 모델의 출력 값과 정답과의 차이(오차)를 의미한다.
6. 손실함수를 사용하는 이유는?
: 미분 가능한 손실함수를 통해 Weight와 Bias를 갱신해나감으로써 손실함수의 값을 최소화하는 방향으로 모델을 학습한다.
7. Epoch란?
: 전체 데이터를 한바퀴 돌며 학습하는 것
8. Step이란?
: 1개의 batch로부터 Weight와 Bias를 1회 업데이트 하는 것
9. Batch size란?
: 1회의 step에서 사용한 데이터의 수
10. 원-핫 인코딩(One-hot Encoding)이란?
: 범주에 해당하는 위치(index)에만 1, 나머지에는 0을 입력하는 벡터 표현 방법
11. 과소적합(Underfitting)이란?
: 학습 데이터가 아직 충분히 학습되지 못한 상황
12. 과대적합(Overfitting)이란?
: 학습데이터에 대해서 과하게 학습된 상황
13. Dropout이란?
: 임의로 선택한 일부 노드의 활성함수 계산 값을 0으로 만들어 train에 사용하지 않는 것
14. 정규화(Regularization)란?
: loss function 뒤에 위치하여 weight가 지나치게 커지는 것을 방지하는 것
15. Early Stopping이란?
: 과대적합 방지를 위해 학습을 조기에 종료하는 것
16. 경사하강법(Gradient Descent)란?
: 1차 미분계수를 이용하여 함수의 최소값을 찾아가는 과정
17. 경사하강법의 종류에는?
: Batch, Stochastic, Mini-batch Stochastic
18. Stochastic Gradient Descent의 단점은?
: 한개의 학습데이터를 사용하기 때문에 Sample간의 편차가 클 경우 Gradient의 편차가 크다.
19. Offset이란?
: 동일한 오브젝트 안에서 처음부터 주어진 요소까지의 위치 차이 (상대 주소로 생각)
20. Supervision이란?
: Self-Supervised나 Unsupervised 학습에서 좋은 representation을 만들 수 있게 도와주는 감독 역할
21. Agnostic이란?
: 어디든 관계없이 적용할 수 있는 방법론 (ex. Model-agnostic, task-agnostic)
22. Translation Invariance란?
: 위치가 다르더라도 같은 결과가 나오는 것 (위치와 상관없이 같은 패턴을 학습)
23. Discriminative Model이란?
: 데이터 X가 주어졌을 때 Label Y가 나타날 조건부확률 P(Y|X)를 반환하는 역할
24. Generative Model이란?
: 데이터 X가 생성되는 과정을 P(Y), P(X|Y)로 정의하고 베이즈 룰을 통해 P(Y|X)를 간접적으로 도출하는 역할
25. Inductive Bias란?
: 새로운 데이터에 대해 좋은 성능을 내기 위해 모델에 사전적으로 주어지는 가정
( Transformer는 CNN에 비해 Inductive Bias가 적다! -> 자유도가 높다)
26. 비전처리에 Transformer가 유리한 이유
: 입력 데이터의 크기와 관계없이 동일한 벡터 차원으로 변환하기 때문에 CNN과 같은 Resize 과정이 필요없다.
댓글