TIL97 [23.04.09] Factorization Machines - 3 # 논문과 코드... 1. Factorization Machines 아침에 일어나자마자 Factorization Machines 논문을 다시 봤다. 내가 맡은 파트를 마지막 리뷰를 하고 오전 회의를 진행하였는데, 확실히 혼자 읽을 때보다 같이 얘기하며 논문을 파악해가니 더 이해가 잘 되었다. 특히 논문의 핵심 아이디어인 3장까지의 내용은 잘 이해할 수 있었다. 하지만, 4장과 5장 부분은 아직 완전히 이해하기에 다른 모델이나 개념이 등장하여 쉽지 않았는데 내가 맡은 파트이다보니 같은 부분만 계속해서 읽어봤던 것 같다... 그래도 발표 자료 마무리 잘 했고 논문 리뷰까지 업로드 하였다. 내일까지 준비 열심히 해서 잘 발표해 보자..!! 2. Conditional VAE 다음은 과제로 나온 Condition.. 2023. 4. 9. [23.04.08] Factorization Machines - 2 # 빅데이터 분석기사 필기 시험 본 날!! # 공부를 많이 안했더니 ADP 필기보다 어렵다 :( 1. Factorization Machines 빅분기 필기 시험을 보고와서 바로 쓰러졌다. 감기기운도 가시지 않았고.. 전날 잠도 조금 잤고.. 그래도 정신 차리고 저녁에 나와 다시 Factorization Machines 논문을 이어보기 시작했다. 저번 논문을 보고 며칠이 지나 새로운 느낌이 들어 처음부터 복습을 좀 하고 4장부터 이어서 봤는데도 내용이 어려워서인지 복습에만 2시간 정도 걸린 것 같다. 3장에 이어 4, 5장에도 수식이 매우 많았다. 물론 겹치는 내용이 좀 있기는 했지만 그래도 이해하는데 시간이 많이 걸렸고 완전히 이해하지 못한 부분도 많았다. 어쩌겠나.. 내일까지 마무리 해야하는 것을 모든.. 2023. 4. 9. [23.04.05] Factorization Machines # 지난 목요일부터 감기기운이 있더니 주말에는 완전히 쓰러졌었다... # 좀 나았나 싶을 때 예비군 갔다가 다시 기절.. # 정신차리고 4월의 공부 시작!! 1. Factorization Machines 감기로 고생하다 정신을 차려보니 할 일이 너무 많이 밀려있었다.. 오늘은 우선 캡스톤 발표를 위해 논문을 읽기 시작했다. 1회독은 할 수 있을 줄 알았지만, 할 수 없었다.. SVM, 최적화 개념 등 수식을 이해하기 위해 찾아봐야 할 내용이 너무나도 많았다. 물론 전반적인 논문의 내용은 파악하였지만, 발표를 위해서는 구글링을 할 수 밖에 없었다. 하지만 봐도 모르겠는 복잡한 수식들... 우선은 FM과 다른 모델들과 비교하는 파트까지 다 읽어보고 다시 수식 분석을 진행해야 할 것 같다. 2. 빅데이터 분석.. 2023. 4. 6. [23.03.30] HRNet Lite # 미세먼지가 심해서 목이 너무 아프다.. 몸이 너무 안좋음.. 1. HRNet Lite 오늘은 첫 인턴 출근 날이었다. 물론 기존에도 일은 계속 진행했었기 때문에 다를 바 없었지만, 그래도 회사에 필요한 일을 앞으로 하게 될 것이라는 마음가짐을 잡는 정도로 생각했다. 오늘은 HRNet Lite 코드를 위주로 확인하였는데 참고한 코드는 다음과 같다. https://github.com/HRNet/Lite-HRNet GitHub - HRNet/Lite-HRNet: This is an official pytorch implementation of Lite-HRNet: A Lightweight High-Resolution Network. This is an official pytorch implementatio.. 2023. 3. 31. [23.03.29] Transformer와 추천시스템 # 미세먼지가 심해서 목이 너무 아프다.. 1. Transformer 어제 학습시켜 두었던 Transformer 코드 학습이 완료되어서 Inference를 시도해 보았는데 오류가 발생하였다. 이 문제를 해결하기 위해 모든 코드를 다시 찾아보았고, 끝에 Pickle을 다시 만들지 않아서 발생한 오류라는 것을 파악하였다. 따라서 한국어와 영어 csv를 Tokenize해 Pickle 파일로 만드는 코드에서 한국어와 영어 각각의 Tokenize가 잘 이루어지도록 수정하고 다시 학습을 진행하였다. 적은 Epoch만을 학습시키고 제대로 Inference가 수행되는지 찍어보니 영어 -> 한국어 번역이 잘 이루어 지는 것을 확인할 수 있었다. (물론 성능은...) 150정도만으로 학습을 시킨 후 내일 밤에 다시 성능을.. 2023. 3. 30. [23.03.28] Wandb와 ONNX # 꽃이 피는 봄 1. Wandb 오늘 가장 먼저 한 일은 Transformer 코드 변환이었다. 이전에 X:AI에서 공부했던 Kor-Eng Transformer 코드를 Eng-Kor 형태로 바꾸는 것이었는데, Trainer 코드와 Embedding을 바꾸어 주는 것으로 문제를 해결하였다. 다음은 학습을 시킬 때 loss값을 Wandb로 찍어보고 싶어 이를 연동하는 것을 찾아 진행했다. Wandb는 작년 D&A Conference를 진행할 때 다뤄본 적이 있는데, 그때는 내 계정으로 진행하지 않았어서 어떤 식으로 작동하는 건지 잘 알지 못했다. 따라서 이번 기회에 디테일하게 찾아보았고 Wandb 회원가입과 터미널 로그인, Transformer의 Train 함수에 Log를 추가하는 것으로 연동을 완료하였다.. 2023. 3. 28. 이전 1 ··· 10 11 12 13 14 15 16 17 다음
