2024/08/161 [AI Q&A] Attention이란? 대부분 Attention을 처음 접하게 되는 것은 Transformer 모델을 공부하면서부터일 것이다. 나 또한 그랬으며 처음 Transformer 모델을 공부한 후 Attention이라는 단어는 수없이 들었던 것 같다. 하지만, 나는 Attention을 잘 모른다. 정확히 말하면 알았지만 까먹었다가 또 공부하고 또 까먹는 악순환을 반복하는 중이다... 볼 때는 기억나지만 안보면 또 까먹게 되는 마성의 Attention! 이번 기회에 틈틈히 볼 수 있도록 꼼꼼히 정리해보려 한다.Attention은 말 그대로 알고자하는 내용과 관련된 부분을 집중(Attention)하여 모델의 성능을 올리는 기법이다. 기본적인 아이디어는 "전체 벡터를 동일한 비율로 참고하는 것이 아니라, 알고자하는 시점의 벡터와 관련있는.. 2024. 8. 16. 이전 1 다음
