Stable Diffusion + Flux 를 이용하여 AI 이미지 만들기 - Comfyui 사용

 Stable Diffusion 도 좋은 이미지 생성AI 툴이고, Flux 역시 대단한 이미지 생성 AI 이다.

그동안 사용해 본 결과 두 종류의 AI에는 비슷한 면도 있지만 서로 장단점이 있다.

Stable Diffusion 은 좀 더 사실적이고 인물의 포즈가 더 잘 잡힌다.

반면에 Flux 는 고품질의 이미지를 만들어 주고 Text 에서 강점이 있지만 다른 부분에 있어서는 내가 원하는 대로 나오지 않는다.  그래서 이 둘을 병합하여 이미지를 만들어 본다.

Stable Diffusion 과 Flux의 합작

1. Procedure 

• Stable Diffusion (SDXL) 로 이미지를 생성한다.
• 생성된 이미지를 Flux VAE 를 사용하여 Encoding 한다.
• 이 이미지를 Flux의 ksampler 에 Latent Image 로 입력한다.
• Flux로 이미지를 생성한다.
• Flux 생성시 Denoise 값은 0.4 ~ 0.9 사이에서 조정한다.
• Pos. Prompt 는 동일한 Prompt 를 사용한다.

이런 절차대로 Workflow 를 만들면 된다.

 2. Comfyui Workflow 

• Stable Diffusion basic Workflow

Stable Diffusion Workflow

기본적인 Stable Diffusion Workflow 이다.  다만 Text Multiline 노드는 Flus 에서도 동일한 Prompt 를 사용하기 위하여 중간에 삽입하였다.

• Flux basic Workflow

Flux Workflow

• 두 wofkflow 의 연결은 Text Miltiline 의 노드와 CLIP Text Encode 노드를 연결해 주고, Stable Diffusion 에서 VAE Decode 노드 output 에서 나오는 이미지를 Flux의 VAE Encode 노드로 연결하여 ksampler 의 Latent Image 단자에 연결해 주면 된다.
• 최종 완성된 Workflow

Stable Diffusion + Flux Workflow

3. 이미지 만들기

책상에 손을 짚은 포즈

prompt : beautiful korean woman, a pretty woman college teacher wearing a black blouse, lace-trimmed skirt,high-heels. She has platinum blond long ponytail with a charming smile, bent over table looking back, surrounded by colorful textiles, vintage college furniture, and a warm sunlight, 8k, high detailed, best quality, rear view

이런 포즈는 Flux 단독으로는 잘 안 만들어 졌다.  생각보다 인물의 포즈가 Flux 는 약하다. 대신에 Stable Diffusion 은 쉽게 이미지가 만들어 진다.   두가지 모델을 사용하여 만든 이미지 이다.

papercut art

prompt : ((paper quilling art:1.3)), ((papercut art,3D rendering:1.3)),  blending day and night , yang to man and yin to woman, forest and sea, Heart and love,   The art combines watercolor splatter, alcohol ink, and sketch-like brushstrokes on cracked antique paper.  ((The never-ending road to Heart to sky:1.3)) , Detailed, expressive lighting and shadows with transparent layers and dynamic movement.

Flux 단독으로 Papercut art 를 만들면 생각보다 마음에 들지 않는 경우가 많았다.

papercut art 도 두가지 모델을 이용하여 만들면 좋은 이미지를 얻을 수 있다.

Silver-Metal Art

Prompt : silver_metal art,The image is a digital illustration with a dark silver gradient metal background.3d image, there are a black shilhouette of beautiful woman with shadow , 3d cartoon style character, very slim, 3D rendering, shadow effect,

wearing two tone color satin long dress made of from many punch holes, wide brimmed white hat, red shoe,  minimalism , traditional oriental art, 8k, high detailed, best quality

Silver Metal 아트 이미지 생성도 Stable Diffusion 이 훨씬 더 자연스럽게 만들어 진다.

4. 결론적으로 Stable Diffusion 과 Flux 두 모델을 이용하여 이미지를 만들면 또 다른 느낌의 좋은 이미지들을 얻을 수 있다.

특히 나만의 좋은 Lora를 이용하여 밑 바탕을 Stable Diffusion 으로 만들고 , Flux 로 좀 더 고 품질의 좋은 이미지를 완성하면 좋을 것이다.

물론 이 순서를 반대로 이미지를 만들어도 된다.

Flux 로 먼저 이미지를 생성하고, Stable Diffusion 으로 마무리 완성을 해주면 또 다른 방식의 이미지 제작을 할 수 있다.

뿐만 아니라 Pony 모델을 이용하여 만들어도 가능하다.

Denoise 값만 적절히 조절하면 된다.

SDXL + Flux