학습 방식

1. backbone으로 pre-trained stable-diffuison 모델 사용. Huggingface의 모델에 접근하기 위해 가입 필요

Hugging Face – The AI community building the future.

이후

from huggingface_hub import notebook_login
!git config --global credential.helper store
notebook_login()

코드 실행 후 토큰을 ‘write’ 권한으로 받아 입력하면 사용 가능

모델은 runwayml/stable-diffusion-v1-5 혹은 CompVis/stable-diffusion-v1-4 를 사용하나 최신 버전이 더 좋을 것 같아 v1-5 사용 중.

stabilityai/stable-diffusion-xl-base-0.9 가 사용 가능하다면 너무 좋을 것으로 보임!

(현재 사용중)

1. Dreambooth 학습의 중요한 키워드는 세 가지로
   1. backbone
   2. Class name
   3. Instance Image (token) 이 있음.

backbone 설정은 위의 모델 설정을 통해 backbone을 설정할 수 있으며

Instance Image는 학습하고자 하는 이미지를 뜻함. 이는 특별한 token으로 설정해야 하며 학습하고자 하는 이미지의 객체가 속한 Class를 Class name으로 지정해야 함.

ex)

Instance image로 연예인 ‘김채원’의 사진을 사용한다고 할 때

김채원 사진이 들어간 앨범 커버를 SDXL + Dreambooth로 사용하고자 할 경우 위 사진의 토큰은

‘qwer’ 등 영어 사전에 존재하지 않는 단어를 지정해야 함.

그리고 instance prompt에 A photo of qwer woman 를 통해 ‘김채원’을 모델이 특정한 객체로 인지할 수 있게 함.

그리고 김채원은 ‘여자’ ‘한국인’ 이므로 Class Name은 Korean woman 으로 지정하게 된다.