[23.03.18] Model Soup와 ControlNet

# 와인 한 잔의 여유를 가진 하루

 

1. Model Soups

토요일 아침, 조금의 휴식을 가지고 점심 때부터 학부연구생 논문을 읽기 시작했다. 오늘의 논문은 Model Soup로 기존 딥러닝에서의 앙상블 모델들이 Inference time이 오래걸린다는 단점을 가진다는 것을 Weight Average 방법으로 극복한 논문이었다. 다소 최신의 논문을 읽어본 경험이 많이 없어 겁이 났지만 천천히, 또 주말이니만큼 마음 편하게 논문을 읽어 나갔다. 리뷰는 다 작성하지 못했지만 논문의 핵심 내용이 무엇이고 어디서 아이디어를 차용하였는지 등을 이해하였고 내일 정리를 마무리하려 한다.

 

2. ControlNet

논문을 적당히 이해했다고 생각한 후, 어제 밤 자기전 봤던 유튜브 코드를 실행해 보았다.

 

빵형의 개발도상국 : https://youtu.be/ifSZ6g2Ogbw

최근 인기있는 ControlNet 코드를 구현해본 것인데 확실히 기존 이미지의 특징을 유지하면서 새로운 이미지를 생성한다는 점이 흥미로웠다. 구글 코랩으로 해당 코드를 돌려보았고 나만의 custom 데이터와 다른 Huggingface 모델, Civitai 모델을 사용해 보았다. Stable Diffusion 1.5 버전이 아니면 matrix 곱 계산 오류가 났고 버전을 맞춰주면 정상적으로 결과를 출력하였다. 

 

컴퓨터 비전을 공부하면서도 최신 유행하는 Stable Diffusion 계열의 이미지 생성을 코드로 직접 실행해본 것은 처음이었는데, 재밌는 경험이었고 추후에 내가 원하는 예쁜 그림을 만들 수 있을 때까지 더 도전해 볼 것이다.