스테이블 디퓨전 모델은 Controlnet에서 Open Pose 기능을 사용하여 쉽게 이미지의 인물 포즈를 만들 수 있다. 하지만, Flux 모델에서는 open pose대신에 canny 모델이나 또는 depth 모델을 사용하여 그런 유사한 효과를 얻을 수 있다.    Flux-Canny 모델로 포즈를 만듬 포즈 이미지(pinterest 에서 가져옴) 일단 기본적으로 Comfyui 와 Flux 모델은 설치되어 있다는 전제 하에 설명한다. 1. Flux 용 Canny모델 사용 Workflow  Flux-Canny 모델 workflow 이것을 다운받아 Comfyui 에 Drag&Drop 하면 된다. 필요한 노드들은 Comfyui Manager 에서 Missing Custom Nodes 를 설치하면 된다.  2. Flux-Canny 모델 다운     "  https://huggingface.co/XLabs-AI/flux-controlnet-canny-v3/blob/main/flux-canny-controlnet-v3.safetensors "  에서 다운로드 하거나, 아니면 구글에서 검색해보면 다운 받을 수 있는 곳을 쉽게 찾을 수 있다. 이 파일을 "  ComfyUI\models\xlabs\controlnets " 폴더에 넣어준다. 3. Workflow Step 설명 원본이미지를 load 해 준다. 원본 이미지의 크기를 적절한 크기로 조정한다.   원본 이미지와 생성할 이미지의 사이즈가 같을 수록 원하는 포즈대로 만들 수 있다. 조정된 이미지의 크기를 읽어 Empty Latent Image 의 사이즈를 동일하게 맞춘 후  Sampler 에 연결해 준다. 조정된 이미지의 개략적인 외곽선들을 Canny 모델을 사용하여 얻는다. 얻은 이미지를 Apply Flux Controlnet 노드를 통과하여 Sampler 로 연결 시킨다. 원하는 prompt 를...

 스테이블 디퓨전에서 이미지를 생성할 때는 text(prompt) 만 입력하여 생성하거나 , 이미지를 load하여 그것을 수정하여 이미지를 생성한다. 이 내용은 스테이블 디퓨전으로 이미지를 생성하는데 아주 초보이신 분들에게 도움이 될 내용이다. 여기서는 주로 Comfyui 에서 Flux 모델을 사용하여 이미지를 생성한다. Flux - Text to Image 1. Text to Image     이것은 prompt 를 입력하면 거기에 따라 checkpoint 모델이 이미지를 생성하기 때문에 이미지를 생성 할 백지상태의  캔버스를 입력해 주면 된다.  그 이미지를  Latent Image 라고 한다. Flux 용 Basic Workflow workflow 에서 ksampler 에 입력되는 Empty Latent Image 가 바로 빈 Latent Image 를 준비해 준다.   Empty Latent Image 를 KSampler 로 연결 빈 백지에 명령 prompt 대로 이미지를 생성해 준다고 보면된다. 이 procedure 를 Text to Image 생성방법 이라고 한다. 2. Image to Image     이미지 투 이미지는 원본 이미지를 주고 그것을 일부 또는 전부를 수정하여 이미지를 생성하는 방식이다.   따라서 빈 latent Image 를 KSampler 에 연결하는 것이 아닌 이미지 원본을 입력해 준다. Img to Img Workflow 원본이미지를 Load 할 노드들이 필요하다. Load Image Nodes 원본이미지를 그대로 입력할 수는 없다. 여기서 우리는 Latent Image 라는 개념을 알고 있어야 한다. Latent image 는 **눈에 보이지 않는 "압축된 이미지 정보"** 이다. Stable Diffusion은 실제 이미지 공간에서 바로 작업하지 않고, 먼저 이미지를 숨어 있는(=latent) 압축된 형태로 변환 한...

 스테이블 디퓨전으로 이미지 생성시 가장 중요한 요소는 첫번째는 Checkpoint 이고 그 다음이 Prompt 라고 생각한다. prompt 는 checkpoint 에 따라 잘 반응하는 명령어가 있고 어떤 것은 별로 반응하지 않기 때문에 checkpoint 에 따라 prompt 를 적용하여 많은 이미지를 생성해 보아야 알 수 있다. 이 글에서는 Pony 모델에서 여러가지 이미지에 따른 prompt 를 설명하고 싶다. checkpoint : littleoctopusmixMF_v20 를 사용하여 최종 prompt 로 만든 이미지 1. 기본 prompt 구조 (masterpiece), best quality, highres, (detailed:1.2), (sensual lighting), (provocative art), <캐릭터 묘사 (더 자세하게)>, <의상>,<행동/포즈 묘사 >, <배경 묘사>, <분위기/스타일 묘사>, <추가 퀄리티 태그> 약간 섹시한 이미지를 만드는 프롬프트 기본 구조이다. 2. 캐릭터 묘사 alluring young woman : 개략적인 케릭터 설명 flawless porcelain skin : 피부 long dark eyelashes : 긴 속눈썹 small delicate nose : 작고 섬세한 코 soft rosebud lips : 부드러운 장미색 입술 Messy bun , Curtain bangs : 헝클어진 머리, 앞 머리  Prompt : (masterpiece), best quality, highres, (detailed:1.2), (sensual lighting), (provocative art), alluring young woman, flawless porcelain skin, long dark eyelashes, small delicate nose, soft rosebud lips, Messy bun , Curtain bang...

 스테이블 디퓨전에서 이미지를 생성하는데 가장 중요한 요소는 Checkpoint 이다. Checkpoint 모델들은  대략  SD1.5 --> SDXL --> SD3.5 , Pony(ani.) , Illustrious(ani.), Flux,  Sana, HiDream   등이 오픈 소스로써 로컬 환경에서 많이 사용되고 있다. 이 중에서 스테이블 디퓨전 모델은 Checkpoint 모델들은  대략  SD1.5 --> SDXL --> SD3.5 , Pony(ani.) , Illustrious(ani.) 들이고  Flux , Sana 그리고 HiDream 모델은  스테이블 디퓨전과 또 다른 모델들로 고해상도의 이미지를 생성할 수있는 모델들이다. 나는 이중에서 스테이블 디퓨전 과 Flux 모델을 주로 애용하고 있으며,  요즈음  Pony, Illustrious 모델을 사용하여 이미지를 많이 생성하고 있는데  이 모델들은 주로 애니 망가 카툰 스타일의 이미지 생성에 탁월한 기능을 발휘한다. Pony 모델의 원조 쯤 되는 모델이미지 이번 글에서는 주로 이 모델들에 대하여 알아본다. 1. 모델 다운로드 모델이 공개된 플랫폼중 가장 많이 애용하는 곳은  Civitai 사이트 이다. 이곳은 Pony 모델 뿐 아니라 다른 여러가지 Checkpoint 모델과  Lora 모델 , 많은 이미지들을 얻을 수 있다.  이 사이트에서 필요한 모델을 찾아 다운로드 하면 된다. 2. Pony, Illustrious 모델의 특징 스테이블 디퓨전(Stable Diffusion)에서 'Pony'와 'Illustrious' 모델은 특정 스타일이나 특징을 가진 이미지를 생성하기 위해 훈련된 커스텀 체크포인트 모델이다. 스테이블 디퓨전은 기본적으로 텍스트 프롬프트를 통해 이미지를 생성하는 AI 모델이지만, 사용자들이 특정 데이터셋으로 추가 학습...

 5월의 어느날에 만든 쓸만한 이미지들 카페 앞에서 잠시 영원한 사랑 남편을 기다리며 ...... 오후의 휴식 달빛 아래에서 꽃향기에 뭍힌 여인

쇄골 골절이란 사고가 발생하였다. 우리는 인생을 살아가는 동안 여러가지 크고 작은 사건 사고를 당하게 된다. 그런 예기치 못한 불행한 사고가 발생할 때 마다 느끼는 것은  항상 참고 견디면 시간이 해결해 준다는 것이다. 쇄골 부분 얼마전에  아내가 잠자기위해 몸을 눕히는 과정에 침대에서 떨어져 쇄골이 골절되었다. 일요일 새벽 2시경.   아내의 비명소리에 잠을 깬 상태에서 몸을 웅크리며 비명을 지르고 있는 아내를 발견 하였고, 몸을 일으킬려고 만질려고 하니 손도 못대게 비명을 질러댄다. 머리에서는 오만 생각이 스쳐 지나갔다. 우선 추측하기로는 어딘가 어깨쪽 뼈가 부러졌을 것이라는 생각이 들었다. 계속 고통으로 비명을 지르다고 점차 고통이 견딜만 하게 되어 아내는 잠시 침대위에 누웠다. 가만히 침대에 누워 있을때는 고통이 참을만 하였나보다. "119를 불러서 응급실을 가야하나?"  하는 고민이 생겼는데, 침대에 가만히 누워있는 아내가 살며시 잠이 들었다.   응급실에 가도 당장 숨넘어갈 부상이 아니면 검사하고 걍 대기할 것으로 생각되어 , 잠을 자게 놔두고 계속 지켜보았다.  머리도 다쳤을 경우를 생각하여 계속 지켜보고, 별 이상이 없이 잠자는 것을 보고 새벽 6시쯤 간단한 아침 식사를 해 주고 자가용으로 가까운 종합병원 응급실로 갔다. 응급실 의사의 진단대로 엑스레이 찍어 보니 오른쪽 쇄골이 골절되어 있는 모습이 나타났다. 수술을 해야하는 부상이기에 병원 전문 정형외과 의사선생님과 통화 후 , 빨라도 수요일에 수술이 가능하다는 답변을 들을 수 있었다. 오늘 당장에라도 수술을 받았으면 좋겠지만 대기자들이 있어서 어쩔수 없다고 한다. 우선 병원에 입원하여 수술을 받기로 하였다. 일요일 오후에 담당 정형외과 의사선생님의 진료로 수술을 화요일 오후에 하기로 하였다. 일일이 여삼추란 말이 이럴때 쓰나 보다. 쇄골 골절상태에서 증상은 가만히 있으면 통증을 견딜 정도로 약한데,  앉아서 눕거나 ...

 HiDream-I1은 HiDream.ai 팀(중국)에서 2025년 4월에 공개한 새로운 오픈소스 이미지 생성 모델이 다. 최근에 stable diffusion 이나 Flux 와 비슷한 오픈소스 이미지 생성 모델이 출시가 되어 comfyui 를 통하여 한번 사용해 보았다. HiDream AI 1. 주요특징 오픈소스: 누구나 자유롭게 사용하고 연구할 수 있다. 고성능: 170억 개의 파라미터를 가지고 있어, 몇 초 안에 높은 수준의 고품질 이미지를 생성할 수 있다. 다양한 스타일: 텍스트 프롬프트를 기반으로 사진, 만화, 예술 등 다양한 스타일의 이미지를 생성할 수 있다. hidream_e1_full_bf16.safetensors  이나  hidream_i1_dev_bf16.safetensors  모델은 크기가 34G 정도로 크기 때문에 VRAM 27G 이상으로 16G 이하에서는 사용이 어렵다. hidream_i1_dev_fp8.safetensors  모델은 16G 이하에서 사용이 가능하지만 역시 flux 보다 생성 속도는 느리다.   상업적 이용 가능: MIT 라이선스를 따르므로 개인 프로젝트, 과학 연구, 상업적 용도로 생성된 이미지를 자유롭게 사용할 수 있다. QuadrupleCLIPLoader 를 사용하기 때문에 4개의 CLIP 모델이 필요하다. 2. CLIP 모델, Diffusion 모델 및 VAE download Comfyui 를 이용하여 HiDream 모델을 사용하기 위해서는 가장 최신의 comfyui 로 업데이트를 먼저하고  다음 사이트에서 순서대로 다운받아 정해진 폴더에 저장하면 된다. workflow 역시 다운받아 사용할 수있다. 해당 사이트는 구글에서 "comfyui hidream" 으로 검색해도 알 수있다.  ( https://comfyanonymous.github.io/ComfyUI_examples/hidream/ ) 3. Workflo...

 특정한 느낌의 색상으로 이미지의 색상을 적용하는 방법이란? 참조 이미지로 부터 사용된 색상 몇가지를 추출하여 내가 만들고자 하는 이미지에 적용시키는 방법을 의미한다.   그러면 똑같은 이미지를 만들지라도 적용된 색상들이 다르기 때문에 느낌도 상당히 다르게 만들어진다.   이것은 Flux 든 stable diffusion 이든 상관없이 적용 가능하다. 붉은색상을 적용하여 만든 이미지 1. Workflow 를 만드는데 필요한 노드들 Color palette 관련 노드들 상기 workflow 에서  Image Color Palette : 로드된 이미지에서 주로 사용되는 색상 8가지를 헥사코드로 추출한다. ColorPalette : text 와 8가지 색상코드를 병합하여 이미지를 생성할 때 8가지 제한된 색상에서 이미지를 만들도록 하는 prompt 를 생성해 준다. Text to Conditioning : text prompt 를 Clip text encoder 로 바꾸어 k-sampler 로 보내진다.  필요한 노드들은 Comfyui manager 를 통하여 다운 받으면 된다. 2. Flux 기본 workflow 와 병합하여 완성된 workflow 완성된 workflow Load Image 에 원하는 색상이 있는 참조 이미지를 올린다. Pos. prompt 를 입력하고 이미지를 생성하면 제한된 특정 색상에 맞추어 이미지가 만들어진다. 3. 이미지 적용 실례 좌측은 참조 이미지, 우측은 완성된 이미지 참조된 이미지의 주요 색상을 적용하여 이미지를 만든 것이다. 좌측 참조이미지, 우측 생성된이미지 좀 더 밝은 톤의 색상 이미지를 참조하면 , 역시 좀 더 밝은 느낌의 이미지를 얻을 수 있다. 좌 참조 이미지, 우 생성된 이미지 검은색,흰색, 회색 빛의 이미지를 참조하여 만든 이미지 역시 약간 우울한 느낌이 든다. 좌측 참조 이미지, 우측 생성된 이미지 저런 이미지에서도 주로 사용된 색상 8개를 추출하여 적용한...