Pony 모델 사용 다양한 스타일 만들기 - Image to Image 로 지브리 스타일 만들기

 스테이블 디퓨전(Stable Diffusion)에서 Pony 모델은 말 그대로 "포니 스타일"의 그림을 생성하는 데 특화된 커스텀 모델입니다.

쉽게 설명하면 귀엽고 애니메이션 케릭터를 만드는데 탁월한 모델이다.

Pony 모델의 또 하나의 장점은 인체의 다양한 포즈를 구체적으로 아주 잘 만들어 준다.

Flux 모델로는 어려운 포즈 일지라도 Pony 모델을 사용하여 이미지를 만들면 인체의 포즈를 아주 잘 표현해 준다.

그리고 애니 케릭터이지만 실사에 가깝게 야한(?) 19금 이미지를 아주 잘 만들어 주기도 한다.

Pony 모델로 만든 이미지

이런 Pony 모델을 사용하여 Image to Image 를 만들면 실사 사진을 다양한 스타일의 애니메이션 이미지로 만들 수있다.

이제 Comfyui 를 이용하여 Image to Image 를 만들어보자.

1. Image to Image 를 위한 순서

• 기본적인 Pony 모델을 사용하여 이미지를 만들 workflow 를 구성한다.
• 빈 latent 이미지를 사용하는 대신 실사 사진을 적합한 크기로 이미지의 크기를 변경한 후,  VAE Encorder 를 거쳐 latent Image 로 사용한다.
• 원본 사진과 비숫한 구도를 만들기 위하여 Control net 기능을 추가한다.
• Pos. prompt 는 가급적 실사 이미지에 적합한 prompt 를 사용하면 좋기 때문에 Image to text 를 추출하기 위하여 Florence2Run  노드를 사용한다.
• K-sampler 의 Denoise 값을 0.5~0.8 정도에서 변경하면서 원하는 이미지를 만든다.
• 필요하면 다양한 스타일의 이미지를 얻기 위하여 Lora 모델도 사용한다.

2. 완성된 Workflow

Workflow

• 원본 이미지 

이것도 생성된 이미지인데 가상의 실사 사진으로 생각하고 적용시킴

• 지브리 스타일의 Lora를 사용하여 만든 이미지

지브리 스타일 이미지

그러나 지브리 스타일로 보기에는 뭔가 부족하거나 다르다.

그것은 checkpoint 나 Lora 에 따라 다르고 denoise 값에 따라 다르기 때문에 다양한 것들을 적용하여 만들어 보아야 한다.

chatGPT 에게 지브리 스타일로 바꿔서 만들어 달라고 하면,

chatGPT 로 만든 지브리 스타일

이런식으로 좀 더 지브리 스타일에 가깝게 잘 만들어 준다.

결국 comfyui 와 Pony 모델을 사용하여 만들경우는 다양한 스타일로 만들수는 있지만 정확한 요구하는 스타일로 만들기가 쉬운 일을 아니다.

수채화 느낌의 이미지

위의 이미지는 수채화 느낌의 Lora 를 사용하여 만든 이미지이다.

Pony를 이용한 Image to Image 는 실사 이미지를 다양한 형태의 스타일이나 의상으로 바꾸고 싶을때 사용하면 된다.

여기에 사용된 workflow 는 스테이블디퓨전으로 image to image 만들때 사용하면 적합한 workflow 이기 때문에 checkpoint, Lora, Prompt 를 다양하게  바꿔가면서 다른 이미지를 만들면 좋다.

image to image 로 만든 이미지

역시 실사 이미지를 애니 케릭터로 바꾼이미지

종전에 Pony 모델은 애니 케릭터로 다양한 모습의 이미지를 만드는데 좋았다. 물론 이미지의 품질이 좀 부족했었다.

그러나 지금은 이미지의 품질도 상당히 고 퀄리티로 만들기 때문에 Pony 모델을 이용하여 이미지를 만드는 것도 적극 추천해 볼 만하다.

절벽위의 여성 - Pony 모델 사용

금요일 좋은 주말 보내세요.