딥러닝8 딥러닝 단어장 (계속 추가) 1. 퍼셉트론이란? : 다수의 신호를 입력받아 하나의 신호를 출력하는 알고리즘 2. MLP(Multi Layer Perceptron)란? : 퍼셉트론으로 이루어진 레이어를 쌓아 올린 형태로 구성되어 있는 모델 3. 역전파(Backpropagation)란? : 계산한 output과 정답 사이의 차이를 계산하여 MLP의 parameter를 update하는 과정 4. 활성함수(Activation Function)을 사용하는 이유는? : 선형 연산의 결과에 비선형성을 더해주기 위하여 5. 손실함수(Loss Function)란? : 신경망이 학습할 수 있도록 해주는 지표로 모델의 출력 값과 정답과의 차이(오차)를 의미한다. 6. 손실함수를 사용하는 이유는? : 미분 가능한 손실함수를 통해 Weight와 Bias를.. 2022. 12. 3. [X:AI] ASR(Automatic Speech Recognition) 이해하기 https://www.youtube.com/playlist?list=PL9mhQYIlKEhdrYpsGk8X4qj3tQUuaDhrl 토크ON 75차. 딥러닝 기반 음성인식 기초 | T아카데미 www.youtube.com https://plastic-distance-9d4.notion.site/cba5b3cdbb3e418f9a90346ec1540514 디지털신호처리 이해 (발표용) 0. Audio Task plastic-distance-9d4.notion.site https://velog.io/@tobigsvoice1516/2%EC%A3%BC%EC%B0%A8-%EB%94%A5%EB%9F%AC%EB%8B%9D-%EA%B8%B0%EB%B0%98-%EC%9D%8C%EC%84%B1%EC%9D%B8%.. 2022. 8. 17. [D&A Deep Session] 5차시 - 8. CNN 심화 # LeNet, AlexNet, VGG 1. LeNet : 1998년 개발된 CNN 알고리즘으로 LeNet-5가 가장 대표적인 모델이다. 이는 흑백 이미지에서 학습된 7 layer CNN으로 Input - Conv(C1) = Subsampling1(S2) - Conv(C3) - Subsampling(S4) - Conv(C5) - FC6 - FC7(output) 으로 구성된다. output size = (input size - filter size + (2 x Padding)) / stride + 1 Input size : ( 1, 32, 32 ) [ convolution, filter size : 5x5, filter 개수 : 6, stride : 1 ] C1 layer : (6, 28, 28) [ su.. 2022. 4. 12. [D&A Deep Session] 4차시 - 7. CNN # CNN ( Convolutional Neural Nework, 합성곱 신경망 ) : 지역 정보를 학습시키기 위한 신경망 모형으로 완전연결 신경망과 달리 새롭게 Convolution Layer와 Pooling Layer를 사용한다. 또한 이미지의 Region Feature를 Convolution Layer와 Pooling Layer를 이용해 추출해 나온 Feature를 MLP의 input으로 사용하기 때문에 이미지 처리와 관련된 Vision분야에서 좋은 성능을 보인다. * 완전연결 계층의 단점 : 데이터의 형상이 무시된다!! ( 몇차원의 데이터이든 1차원으로 변환해 입력해주기 때문 ) * 기본 구조 Convolution Layer : 지역 정보를 뽑아내기 위한 층 Pooling Layer : Featu.. 2022. 4. 2. [D&A Deep Session] 3차시 - 6. 정규화와 오버피팅 억제 # Internal Covariate Shift ( 내부 공변량 변화 ) : 학습 과정에서 계층 별로 입력 데이터의 분포가 달라 나타나는 문제로 학습 속도가 느려지며 Gradient Vanishing에 영향을 준다. 이를 극복하기 위해 정규화를 적용할 필요가 있다!! 정규화의 장점 : - 학습 속도 감소 - 오버피팅 억제 ( 드롭아웃 등의 필요성 감소 ) - 가중치 초기값에 대한 의존성감소 ( 하이퍼파라미터의 설정이 자유로움 ) 1. Batch Normalization ( 배치 정규화 ) : 학습시 미니배치 단위로 매 순간의 input을 N(0,1)로 정규화 장점 : - 오차 역전파법 시 파라미터의 크기에 영향을 받지 않아 학습률을 크게 잡을 수 있어 빠른 학습이 가능하다 - 자체 regularizati.. 2022. 3. 29. [D&A Deep Session] 3차시 - 5. 최적화와 가중치 초기화 # 최적화란? : 가중치 매개변수의 최적값을 탐색하는 방법 ( 경사 하강법의 단점을 보완 ) - 경사 하강법의 단점 1. 학습할 때마다 모든 데이터 셋을 활용하기 때문에 학습이 오래걸리며 메모리 문제가 발생할 가능성이 높다. 2. 적절한 학습률을 찾기 어렵다 ( 너무 작으면 시간이 오래걸리고, 너무 클 경우에는 최솟값 계산이 어렵고 loss 값이 커지는 방향으로 진행된다 ) 3. 최종 목적인 Global minimum을 찾지 못하고, Local minimum에 갇힐 수 있다. 이러한 경사 하강법의 단점을 보완하여 '확률적 경사 하강법 (Stochastic Gradient Descent)'이 등장하였다. : 모든 데이터 셋 활용 -> 랜덤하게 추출한 일부 데이터만을 사용 ( 잦은 업데이트를 통한 빠른 최적.. 2022. 3. 29. 이전 1 2 다음
