딥러닝(Deep Learning)56 [X:AI] SPPNet 논문 이해하기 SPPNet SPPNet은 기존에 공개된 R-CNN의 단점을 극복하고자 소개된 논문이다. R-CNN은 Selective Search를 사용하였음에도 각 Region Proposal마다 분류를 실행하기에 속도가 비교적 오래걸리고, 여러 Region Proposal들을 모델이 요구하는 고정 Input size에 맞추기 위해 Cropping이나 Warping을 사용하기에 이미지 정보가 손실될 수 있다는 단점을 가진다. 또한 CNN, SVM, Bounding Box 선형 회귀까지 3개의 모델로 이루어져 있어 복잡한 구조를 가지며 Multi-stage로 구성되어 있어 SVM의 학습 결과가 CNN을 업데이트 할 수 없다. SPPNet은 여러 R-CNN의 단점 중 Cropping이나 Warping을 사용하지 않고 가.. 2022. 7. 7. [X:AI] Xception 논문 이해하기 『 Xception: Deep Learning with Depthwise Separable Convolutions. 2017. 』 - Inception 모듈은 feature를 추출할 때 1x1, 3x3, 5x5 등 다양한 크기의 필터를 이용해 Convolution(합성곱) 연산을 수행한다. 여러가지 크기의 필터를 이용해 feature를 추출하기 때문에 의미있고 다양한 feature를 추출할 수 있다. - Inception 모듈은 개념적으로 Convolution 방식과 유사하지만 더 적은 매개 변수로 더 많은 표현을 학습할 수 있다. - 논문의 저자는 Inception 모듈이 1x1 컨볼루션을 통해 채널 간 상관관계(cross-channel correlations)를 살펴보고, 3x3 or 5x5 컨볼루션.. 2022. 7. 6. [D&A Conference Session] GAN 이해하기 GAN (Generative Adversarial Network) https://www.samsungsds.com/kr/insights/generative-adversarial-network-ai-2.html [외부기고] [새로운 인공지능 기술 GAN] ② GAN의 개념과 이해 비지도학습 GAN(Generative Adversarial Networks)의 개념에 대해 쉽게 설명한 글입니다. 새로운 인공지능(AI) 기술 GAN에 대한 궁금증을 해결해 보세요. www.samsungsds.com https://www.youtube.com/watch?v=AVvlDmhHgC4&t=1486s 참고 : 동빈나 유튜브 GAN은 실제와 비슷한 가짜 데이터를 생성하여 서로 다른 2개의 모델을적대적으로 학습.. 2022. 7. 3. [X:AI] Seq2Seq 논문 이해하기 『Sequence to Sequence Learning with Neural Networks. 2014. 』 0. Abstract - 기존의 DNN은 레이블이 지정된 큰 훈련 세트에서는 잘 작동이 되지만 시퀀스에 매핑할 때 사용할 수 없다. (매핑하다 : 하나의 값을 다른 값으로 대응시킨다) - 다층 LSTM(Long Short-Term Memory)을 사용하여 입력 시퀀스를 고정 차원 벡터에 매핑하고 다른 deep LSTM을 이용하여 해당 벡터에서 target 시퀀스를 decode하는 방법을 제시할 것이다. - WMT`14 dataset을 이용해 영어에서 프랑스어로 번역 하는 작업을 수행하였고 LSTM을 이용할 때의 BLEU 점수는 34.8, SMT를 이용할 때의 점수는 33.3점이었다. - LSTM은.. 2022. 6. 30. [D&A Deep Session] 9차시 - 16. BERT # BERT : BERT는 Transformer를 이용하여 구현되었으며, 위키피디아의 25억 단어와 BooksCorpus의 8억단어와 같은 레이블이 없는 텍스트 데이터로 사전 훈련된 언어 모델이다. 이와 같이 다른 작업에 대해서 파라미터 재조정을 위한 추가 훈련 과정을 파인 튜닝(Fine-tuning)이라고 한다. 결국 BERT는 특정한 task를 해결하기 위한 모델이 아닌, 언어 전반을 이해하고 이를 벡터로 표현하는데에 특화된 모델이다. * BERT의 기본구조 BERT는 Transformer 모델의 Encoder를 쌓아올린 구조입니다. BERT-Base는 12개의 layer, BERT-Large는 24개의 layer를 쌓은 구조이다. * BERT의 두 가지 특별 토큰 1. CLS -> 분류 문제를 풀기.. 2022. 5. 25. [D&A Deep Session] 9차시 - 15. Attention, Transformer ## 지금까지 Sequence data를 처리하는데 사용한 RNN계열의 알고리즘은 t-1번째 hidden state와 t번째 input data를 활용하여 recurrent model을 만들었다. 하지만 Sequence가 진행됨에 따라 Sequence 앞에 존재하던 원소의 영향은 약해지게 된다. 따라서 앞에 존재하는 원소가 뒤에 존재하는 원소에 중요한 영향을 미치는 경우에 그 영향력을 제대로 계산하지 못하는 경우가 발생하는데, 이를 Long-Term Dependency Problem이라고 한다. RNN에서는 특히 입력되는 Sample Sequence의 길이에 따라 은닉층의 계산이 반복되기 때문에 더 큰 문제를 가지고, RNN을 개선한 모델인 LSTM과 GRU에서도 이러한 문제가 남아 있기 때문에 Atte.. 2022. 5. 24. 이전 1 ··· 4 5 6 7 8 9 10 다음
