본문 바로가기

전체 글334

[23.04.17] X:AI 논문 복습 # 월요일 좋아 1. X:AI 논문 복습 - ELMo, GPT 오늘은 지난번에 건강 이슈로 빠졌던 X:AI 논문을 복습하는 시간을 가졌다. 우선은 ELMo와 GPT 논문부터 다시 보았는데, 최근 비주얼 컴퓨팅 수업에서 NLP와 관련된 공부를 하고 있어 지난번에 논문을 봤을 때보다 더 이해가 잘 되었다. 특히 ELMo와 같은 Embedding 방법에 대해 다시 한번 생각을 해보게 되었는데, 그 이유는 Transformer를 비롯한 NLP 논문을 보면 어떤 Embedding을 사용했는지에 대한 기술이 잘 없기 때문이다. 그래서 최근 인기 있는 GPT도 성능이 잘 나오기 시작한 것이 모델링 보다도 좋은 Embedding 방법이 적용됐을 것이라는 생각이 들었다. ELMo나 GPT 논문이 나올 시기에는 아직 Pr.. 2023. 4. 17.
[23.04.14] RetinaNet # 감기 기운이 다 나은 금요일 1. Conditional GAN 오늘은 Conditional GAN 코드 과제를 마무리 했다. 기존에 짰던 코드가 dimension, epoch에 잘못된 점이 있다는 것을 발견해 이를 수정하고 모델을 돌리는데 시간을 많이 투자하였다. 물론 내가 저번에 코드를 짤 때 이해했던 GAN의 개념이 잘 못 되었던 것은 아니라 이론 그대로 구현만 하면 되어서 쉽게 수정할 수 있었다. Linear layer로 GAN 모델을 구축했더니 Epoch를 늘리더라도 성능이 많이 좋지 않았다. Condition을 주었음에도 큰 성능 개선을 보지 못해 아쉬움이 남았지만, 그만큼 Convolution의 공간 정보 학습이 중요하다는 점을 파악할 수 있었다. 2. RetinaNet Conditiona.. 2023. 4. 15.
[X:AI] RetinaNet 논문 이해하기 『 Focal Loss for Dense Object Detection. 2017. 』 본 논문은 Object Detection task에서 사용하는 Label 값에서 상대적으로 Background에 비해 Foreground의 값이 적어 발생하는 Class Imbalance 문제를 극복할 수 있는 Focal Loss Function을 제안한다. 0. Abstract 1-stage Detector 모델들은 빠르고 단순하지만, 아직 2-stage Detector 모델들의 정확도를 넘지 못했다. 논문에서는 그 이유를 class imbalance로 파악했다. 따라서 이를 극복할 수 있는 Focal Loss와 이 방법이 활용된 RetinaNet을 제안하였다. 1. Introduction R-CNN 같은 2-sta.. 2023. 4. 14.
[23.04.11] Conditional GAN # 쉬어가는 화요일 1. Conditional GAN 오늘은 아침부터 비가 많이 내렸다. 무언가 마음이 씻겨 내려가듯 그래도 인턴 일을 해야하기 때문에 재택으로 할 일을 하기 시작했고, 일을 마친 뒤 과제인 Conditional GAN 코드를 보기 시작했다. GAN에 대한 이론도 알고 있었고 지금까지 AE나 VAE에 Condition을 준 과제들을 풀어보았기 때문에 그렇게 어렵지는 않았던 것 같다. 물론 GAN을 이전에 StyleGAN을 컨퍼런스에서 다뤄본 뒤로 처음 코드를 접하여서 어색하기는 했지만, 그래도 찬찬히 코드를 읽어가며 Loss Function들을 이해했고 오히려 코드를 보니 이론이 더 잘 이해되는 부분도 있었다. 일반적인 Convolution 대신 Linear 형태로 GAN을 만들었는데, .. 2023. 4. 11.
[23.04.09] Factorization Machines - 3 # 논문과 코드... 1. Factorization Machines 아침에 일어나자마자 Factorization Machines 논문을 다시 봤다. 내가 맡은 파트를 마지막 리뷰를 하고 오전 회의를 진행하였는데, 확실히 혼자 읽을 때보다 같이 얘기하며 논문을 파악해가니 더 이해가 잘 되었다. 특히 논문의 핵심 아이디어인 3장까지의 내용은 잘 이해할 수 있었다. 하지만, 4장과 5장 부분은 아직 완전히 이해하기에 다른 모델이나 개념이 등장하여 쉽지 않았는데 내가 맡은 파트이다보니 같은 부분만 계속해서 읽어봤던 것 같다... 그래도 발표 자료 마무리 잘 했고 논문 리뷰까지 업로드 하였다. 내일까지 준비 열심히 해서 잘 발표해 보자..!! 2. Conditional VAE 다음은 과제로 나온 Condition.. 2023. 4. 9.
[Paper Review] Factorization Machines 논문 이해하기 『 Factorization Machines. 2010. 』 이번 논문은 추천 시스템 캡스톤 발표를 위해 읽은 Factorization Machines 논문이다. 이 논문에서는 기존에 사용하던 SVM, MF(Matrix Factorization)의 단점을 지적하며 SVM과 Factorization Model의 장점을 합친 FM(Factorization Machines) 모델을 제안한다. 0. Abstract 추천 시스템은 주로 Sparsity가 큰 Rating Matrix 상에서 계산이 이루어진다. 하지만 기존 머신러닝에서 주로 사용되던 SVM(Support Vector Machine) 모델은 Sparsity 문제에서 잘 작동하지 않는다는 단점을 가진다. 따라서 이러한 문제를 극복하기 위해 본 논문에서는.. 2023. 4. 9.
[23.04.08] Factorization Machines - 2 # 빅데이터 분석기사 필기 시험 본 날!! # 공부를 많이 안했더니 ADP 필기보다 어렵다 :( 1. Factorization Machines 빅분기 필기 시험을 보고와서 바로 쓰러졌다. 감기기운도 가시지 않았고.. 전날 잠도 조금 잤고.. 그래도 정신 차리고 저녁에 나와 다시 Factorization Machines 논문을 이어보기 시작했다. 저번 논문을 보고 며칠이 지나 새로운 느낌이 들어 처음부터 복습을 좀 하고 4장부터 이어서 봤는데도 내용이 어려워서인지 복습에만 2시간 정도 걸린 것 같다. 3장에 이어 4, 5장에도 수식이 매우 많았다. 물론 겹치는 내용이 좀 있기는 했지만 그래도 이해하는데 시간이 많이 걸렸고 완전히 이해하지 못한 부분도 많았다. 어쩌겠나.. 내일까지 마무리 해야하는 것을 모든.. 2023. 4. 9.
[23.04.05] Factorization Machines # 지난 목요일부터 감기기운이 있더니 주말에는 완전히 쓰러졌었다... # 좀 나았나 싶을 때 예비군 갔다가 다시 기절.. # 정신차리고 4월의 공부 시작!! 1. Factorization Machines 감기로 고생하다 정신을 차려보니 할 일이 너무 많이 밀려있었다.. 오늘은 우선 캡스톤 발표를 위해 논문을 읽기 시작했다. 1회독은 할 수 있을 줄 알았지만, 할 수 없었다.. SVM, 최적화 개념 등 수식을 이해하기 위해 찾아봐야 할 내용이 너무나도 많았다. 물론 전반적인 논문의 내용은 파악하였지만, 발표를 위해서는 구글링을 할 수 밖에 없었다. 하지만 봐도 모르겠는 복잡한 수식들... 우선은 FM과 다른 모델들과 비교하는 파트까지 다 읽어보고 다시 수식 분석을 진행해야 할 것 같다. 2. 빅데이터 분석.. 2023. 4. 6.
[23.03.30] HRNet Lite # 미세먼지가 심해서 목이 너무 아프다.. 몸이 너무 안좋음.. 1. HRNet Lite 오늘은 첫 인턴 출근 날이었다. 물론 기존에도 일은 계속 진행했었기 때문에 다를 바 없었지만, 그래도 회사에 필요한 일을 앞으로 하게 될 것이라는 마음가짐을 잡는 정도로 생각했다. 오늘은 HRNet Lite 코드를 위주로 확인하였는데 참고한 코드는 다음과 같다. https://github.com/HRNet/Lite-HRNet GitHub - HRNet/Lite-HRNet: This is an official pytorch implementation of Lite-HRNet: A Lightweight High-Resolution Network. This is an official pytorch implementatio.. 2023. 3. 31.
[23.03.29] Transformer와 추천시스템 # 미세먼지가 심해서 목이 너무 아프다.. 1. Transformer 어제 학습시켜 두었던 Transformer 코드 학습이 완료되어서 Inference를 시도해 보았는데 오류가 발생하였다. 이 문제를 해결하기 위해 모든 코드를 다시 찾아보았고, 끝에 Pickle을 다시 만들지 않아서 발생한 오류라는 것을 파악하였다. 따라서 한국어와 영어 csv를 Tokenize해 Pickle 파일로 만드는 코드에서 한국어와 영어 각각의 Tokenize가 잘 이루어지도록 수정하고 다시 학습을 진행하였다. 적은 Epoch만을 학습시키고 제대로 Inference가 수행되는지 찍어보니 영어 -> 한국어 번역이 잘 이루어 지는 것을 확인할 수 있었다. (물론 성능은...) 150정도만으로 학습을 시킨 후 내일 밤에 다시 성능을.. 2023. 3. 30.
[SKT AI 커리큘럼] 추천시스템 - 11. Hybrid Recommender System SKT AI 커리큘럼 학습 내용 정리 출처 : T Learning Portal (https://sharedlp.sk.com) 11. Hybrid Recommender System 추천 시스템은 현업에서 한가지로만 사용하지 않는다 -> 여러 모델을 결합하여 사용! ※ SKT에서 사용하는 Hybrid Recommender System 1-stage - 추천할 것이 많기 때문에 추천할 대상을 줄여줌 - High Recall Model (여러 분포의 Variation들이 추천한 후보들을 취합하는 방식) - Collaborative Filtering, Contents based, Profile based 2-stage - 첫 번째 stage를 통해 구한 후보들에 대해 Ranking System 사용 - 강화학습 .. 2023. 3. 29.
[23.03.28] Wandb와 ONNX # 꽃이 피는 봄 1. Wandb 오늘 가장 먼저 한 일은 Transformer 코드 변환이었다. 이전에 X:AI에서 공부했던 Kor-Eng Transformer 코드를 Eng-Kor 형태로 바꾸는 것이었는데, Trainer 코드와 Embedding을 바꾸어 주는 것으로 문제를 해결하였다. 다음은 학습을 시킬 때 loss값을 Wandb로 찍어보고 싶어 이를 연동하는 것을 찾아 진행했다. Wandb는 작년 D&A Conference를 진행할 때 다뤄본 적이 있는데, 그때는 내 계정으로 진행하지 않았어서 어떤 식으로 작동하는 건지 잘 알지 못했다. 따라서 이번 기회에 디테일하게 찾아보았고 Wandb 회원가입과 터미널 로그인, Transformer의 Train 함수에 Log를 추가하는 것으로 연동을 완료하였다.. 2023. 3. 28.

티스토리툴바