[2024.07] 2주차 Today I Learned

07/08 월

1. 이사

 

07/09 화

1. LLM Instruction Tuning 내용 정리

- CoF(Chain of Thought) Prompting

- llama3, GPT-4o

 

07/10 수

1. LLM Instruction Tuning  환경 구축

- H100환경에 llama-3-instruct-8B 구축 (70B의 경우 Out of Memory... 구글링 해보니 무슨 Vram이 140GB 정도 필요하다고...)

- GPT-4, GPT-3.5-instruct 코드 구성 및 Inference (원하는 CoF의 결과는 GPT보다 llama3의 결과가 좋았음)

 

07/11 목

1. 생성 모델 환경 구축

- HuggingFace를 이용해 간단한 Stable Diffusion 1.5 Inference를 해봄

- 생각보다 Fine Tuning을 하지 않더라도 좋은 성능이 나오는 것을 확인

- Civitai에 있는 safetensor 를 이용해 Inference를 시도해보았으나 잘 되지 않아서 사용법을 찾는 중

 

07/12 금

1. Civitai LoRA 파일을 이용한 HuggingFace Diffuser 실행

- Civitai에 있는 safetensor 를 이용해 원하는 이미지를 생성(Civitai에 있는 safetensor에는 checkpoint / LoRA 버전이 있는데 checkpoint의 경우 해당 파일을 하나의 파일로 불러와야 하고 LoRA는 lora load를 해주어야 한다. 추후 정리 예정)

- Diffuser 패키지에 있는 Diffusion Pipeline 인자들 파악(이 또한 추후 같이 정리)

- 생각보다 Prompt 이외에 여러 인자들이 존재하고 하나의 모델정도는 개인용 GPU에서 Inference가 가능할 것으로 예상됨

 

07/13 토

1. 투빅스 컨퍼런스

- 제 18회 투빅스 컨퍼런스 참석(마무리!)

- 마지막으로 진행한 컨퍼런스... LLM + Diffusion으로 생성 모델 컨퍼런스 발표를 잘 마무리 하였다. 

- 수료증까지 받으니 정말 마무리를 한 느낌... 이제는 새로운 길을 나아가야지 :)

 

07/14 일

1. 혼공컴운

- 2장 데이터 정리