스테이블 디퓨전 모델은 Controlnet에서 Open Pose 기능을 사용하여 쉽게 이미지의 인물 포즈를 만들 수 있다. 하지만, Flux 모델에서는 open pose대신에 canny 모델이나 또는 depth 모델을 사용하여 그런 유사한 효과를 얻을 수 있다.    Flux-Canny 모델로 포즈를 만듬 포즈 이미지(pinterest 에서 가져옴) 일단 기본적으로 Comfyui 와 Flux 모델은 설치되어 있다는 전제 하에 설명한다. 1. Flux 용 Canny모델 사용 Workflow  Flux-Canny 모델 workflow 이것을 다운받아 Comfyui 에 Drag&Drop 하면 된다. 필요한 노드들은 Comfyui Manager 에서 Missing Custom Nodes 를 설치하면 된다.  2. Flux-Canny 모델 다운     "  https://huggingface.co/XLabs-AI/flux-controlnet-canny-v3/blob/main/flux-canny-controlnet-v3.safetensors "  에서 다운로드 하거나, 아니면 구글에서 검색해보면 다운 받을 수 있는 곳을 쉽게 찾을 수 있다. 이 파일을 "  ComfyUI\models\xlabs\controlnets " 폴더에 넣어준다. 3. Workflow Step 설명 원본이미지를 load 해 준다. 원본 이미지의 크기를 적절한 크기로 조정한다.   원본 이미지와 생성할 이미지의 사이즈가 같을 수록 원하는 포즈대로 만들 수 있다. 조정된 이미지의 크기를 읽어 Empty Latent Image 의 사이즈를 동일하게 맞춘 후  Sampler 에 연결해 준다. 조정된 이미지의 개략적인 외곽선들을 Canny 모델을 사용하여 얻는다. 얻은 이미지를 Apply Flux Controlnet 노드를 통과하여 Sampler 로 연결 시킨다. 원하는 prompt 를...

 스테이블 디퓨전에서 이미지를 생성할 때는 text(prompt) 만 입력하여 생성하거나 , 이미지를 load하여 그것을 수정하여 이미지를 생성한다. 이 내용은 스테이블 디퓨전으로 이미지를 생성하는데 아주 초보이신 분들에게 도움이 될 내용이다. 여기서는 주로 Comfyui 에서 Flux 모델을 사용하여 이미지를 생성한다. Flux - Text to Image 1. Text to Image     이것은 prompt 를 입력하면 거기에 따라 checkpoint 모델이 이미지를 생성하기 때문에 이미지를 생성 할 백지상태의  캔버스를 입력해 주면 된다.  그 이미지를  Latent Image 라고 한다. Flux 용 Basic Workflow workflow 에서 ksampler 에 입력되는 Empty Latent Image 가 바로 빈 Latent Image 를 준비해 준다.   Empty Latent Image 를 KSampler 로 연결 빈 백지에 명령 prompt 대로 이미지를 생성해 준다고 보면된다. 이 procedure 를 Text to Image 생성방법 이라고 한다. 2. Image to Image     이미지 투 이미지는 원본 이미지를 주고 그것을 일부 또는 전부를 수정하여 이미지를 생성하는 방식이다.   따라서 빈 latent Image 를 KSampler 에 연결하는 것이 아닌 이미지 원본을 입력해 준다. Img to Img Workflow 원본이미지를 Load 할 노드들이 필요하다. Load Image Nodes 원본이미지를 그대로 입력할 수는 없다. 여기서 우리는 Latent Image 라는 개념을 알고 있어야 한다. Latent image 는 **눈에 보이지 않는 "압축된 이미지 정보"** 이다. Stable Diffusion은 실제 이미지 공간에서 바로 작업하지 않고, 먼저 이미지를 숨어 있는(=latent) 압축된 형태로 변환 한...

 스테이블 디퓨전으로 이미지 생성시 가장 중요한 요소는 첫번째는 Checkpoint 이고 그 다음이 Prompt 라고 생각한다. prompt 는 checkpoint 에 따라 잘 반응하는 명령어가 있고 어떤 것은 별로 반응하지 않기 때문에 checkpoint 에 따라 prompt 를 적용하여 많은 이미지를 생성해 보아야 알 수 있다. 이 글에서는 Pony 모델에서 여러가지 이미지에 따른 prompt 를 설명하고 싶다. checkpoint : littleoctopusmixMF_v20 를 사용하여 최종 prompt 로 만든 이미지 1. 기본 prompt 구조 (masterpiece), best quality, highres, (detailed:1.2), (sensual lighting), (provocative art), <캐릭터 묘사 (더 자세하게)>, <의상>,<행동/포즈 묘사 >, <배경 묘사>, <분위기/스타일 묘사>, <추가 퀄리티 태그> 약간 섹시한 이미지를 만드는 프롬프트 기본 구조이다. 2. 캐릭터 묘사 alluring young woman : 개략적인 케릭터 설명 flawless porcelain skin : 피부 long dark eyelashes : 긴 속눈썹 small delicate nose : 작고 섬세한 코 soft rosebud lips : 부드러운 장미색 입술 Messy bun , Curtain bangs : 헝클어진 머리, 앞 머리  Prompt : (masterpiece), best quality, highres, (detailed:1.2), (sensual lighting), (provocative art), alluring young woman, flawless porcelain skin, long dark eyelashes, small delicate nose, soft rosebud lips, Messy bun , Curtain bang...

 스테이블 디퓨전에서 이미지를 생성하는데 가장 중요한 요소는 Checkpoint 이다. Checkpoint 모델들은  대략  SD1.5 --> SDXL --> SD3.5 , Pony(ani.) , Illustrious(ani.), Flux,  Sana, HiDream   등이 오픈 소스로써 로컬 환경에서 많이 사용되고 있다. 이 중에서 스테이블 디퓨전 모델은 Checkpoint 모델들은  대략  SD1.5 --> SDXL --> SD3.5 , Pony(ani.) , Illustrious(ani.) 들이고  Flux , Sana 그리고 HiDream 모델은  스테이블 디퓨전과 또 다른 모델들로 고해상도의 이미지를 생성할 수있는 모델들이다. 나는 이중에서 스테이블 디퓨전 과 Flux 모델을 주로 애용하고 있으며,  요즈음  Pony, Illustrious 모델을 사용하여 이미지를 많이 생성하고 있는데  이 모델들은 주로 애니 망가 카툰 스타일의 이미지 생성에 탁월한 기능을 발휘한다. Pony 모델의 원조 쯤 되는 모델이미지 이번 글에서는 주로 이 모델들에 대하여 알아본다. 1. 모델 다운로드 모델이 공개된 플랫폼중 가장 많이 애용하는 곳은  Civitai 사이트 이다. 이곳은 Pony 모델 뿐 아니라 다른 여러가지 Checkpoint 모델과  Lora 모델 , 많은 이미지들을 얻을 수 있다.  이 사이트에서 필요한 모델을 찾아 다운로드 하면 된다. 2. Pony, Illustrious 모델의 특징 스테이블 디퓨전(Stable Diffusion)에서 'Pony'와 'Illustrious' 모델은 특정 스타일이나 특징을 가진 이미지를 생성하기 위해 훈련된 커스텀 체크포인트 모델이다. 스테이블 디퓨전은 기본적으로 텍스트 프롬프트를 통해 이미지를 생성하는 AI 모델이지만, 사용자들이 특정 데이터셋으로 추가 학습...

 5월의 어느날에 만든 쓸만한 이미지들 카페 앞에서 잠시 영원한 사랑 남편을 기다리며 ...... 오후의 휴식 달빛 아래에서 꽃향기에 뭍힌 여인