[2024.07] 3주차 Today I Learned
07/15 월
1. CPU/GPU/GPGPU/TPU/NPU와 부동소수점 개념 정리
- 추후 정리 예정
2. Civitai checkpoint + LoRA 조합으로 원하는 결과 만들기 위한 Inference 시도
- Diffusers pipeline으로 생성했을 시 한번에 16개의 이미지까지만 생성되는 것을 확인
- 생각보다 Prompt에 원하는 단어를 넣는 것만으로 결과가 잘 나오지 않는 것을 확인(ex. 노란 헬멧을 쓴 남자 -> 꼭 노란 헬멧만 나오지 않음)
- 추후 Civitai 이외의 더 많은 사이트에서 pretrain 모델을 찾아볼 계획
07/16 화
1. StableDiffusion 모델 Dreambooth 방법으로 학습하기
- 손흥민 선수 사진 20장 정도로 학습을 진행(기본 Diffusion 모델, Civitai에 있는 safetensors 모두 활용)
- 학습 수가 적어서인지 만족말만한 퀄리티를 얻지는 못함
- 학습이 더 잘 이루어질 수 있는 방법을 추후 찾으려 함
07/17 수
1. AWS EC2 Instance 생성 방법 정리
- AWS에서 사용하지 않는데 전용 호스트를 열어두어 과금이 이루어지고 있었던 것 확인
- 문제상황 해결 후 이전에 진행했던 Local Zone Instance 생성 방법을 정리해봄
2. 생성 모델로 원하는 이미지를 대량으로 만들 수 있도록 Pipeline 구축
- 기존 Diffusers pipeline에서 최대 16장을 한번의 출력으로 갖기 때문에 이를 1장으로 변경하고 원하는 수만큼 이미지를 반복, 관련 메타 정보를 동시에 저장할 수 있도록 Pipeline 코드를 구축
- 사용되는 파라미터들을 이해하며 진행하였으며 이는 추후에 정리하려 함
3. 연구실 논문 발표 세션 참석
- VISION TRANSFORMERS NEED REGISTERS
- 두 논문 발표 모두 재밌게 들었고 특히 두번째 논문은 DINOv2를 발전시킨 방법론을 제안한 논문인데 그 방법론이 신기해 논문을 따로 읽어보려 한다.
07/18 목
1. StableDiffusion 모델로 만들 수 있는 최적의 조합 찾기
- "건설 현장에서 일하는 작업자"를 퀄리티 좋게 생성 이미지로 만드려 시도
- 여러 safetensors, prompt, parameter로 시도
- 모델을 돌렸을 때 몇몇 Inference 결과가 마음에 든 모델은 있었지만, 모든 사진이 맘에 들었던 모델은 없음
- 불쾌한 골짜기 이미지들을 많이 봤더니 정신적으로 좋지 않음....
07/19 금
1. StableDiffusion 모델로 만들 수 있는 최적의 조합 찾기(SD 1.5 & SDXL)
- checkpoint와 LoRA의 조합 및 weight 활용 정도 확인
- 생성 모델 조합 및 Prompt 확정
- 만들려는 안전모의 색상별로 최적의 조합을 찾아 데이터 생성 시작(현재 1개 색상)
07/20 토
1. 휴식
07/21 일
1. 혼공컴운
- 3장 명령어