기본 콘텐츠로 건너뛰기

쉽고 빠르게 시작하는 AI 이미지 프롬프트 가이드 - Stable Diffusion, Flux, QWEN

AI 이미지를 생성하는데 필수적이며 중요한 요소 중의 하나가 명령 Prompt(프롬프트)이다.

초보 시절에는 이를 어떻게 작성해야 하는지도 어렵고 헷갈렸으며,
약간 이미지 생성이 숙달되면 많은 프롬프트들을 어떻게 관리하고 활용하는가가 중요한 일이 되었고,
웬만한 이미지들을 만들어본 후에는 다시 또 프롬프트를 효과적으로 어떻게 사용하면 좋은지도 중점 관심 대상이 되었다.
이 포스팅에서는 Prompt 에 대하여 그동안의 숙달 과정과 팁을 정리해 보려고 한다.
Prompt 는 이미지 생성에 아주 중요한 요소이다.

시작에 앞서 이미지 생성용 Webui 는 Comfyui 를 사용하여 이미지를 만드시기를 권장한다.
Comfyui 는 지금은 설치도 쉽고 Workflow 작성도 Template 들이 있기 때문에 쉽게 할 수 있다.
또한 좀 더 숙달될 경우에는 다양하게 workflow를 변형하여 편하게 사용할 수 있으며 새로운 모델이 출시되면 comfyui에서 대부분 바로 사용이 가능하게 되기 때문에  Comfyui 로 바로 입문하시기를 적극 추천한다.

1. 초보 시절 프롬프트 만들기

    초보 시절에는 그냥 막연하다.   영어도 짧고  뭐라고 작성해야 하는지도 어렵고 ......
그런데 지금은 초보 시절에도 prompt 만드는데에 어려움은 많이 감소 되었다.  그것은 인공지능 AI 도움을 쉽게 받을 수 있기 때문이다.
  • chatGPT 또는 GEMINI 에게 만들어 달라고 요청하면 된다.
  • 굳이 영어가 아닌 한국말로 주제를 설명하고 영어 프롬프트를 만들어 달라고 하면 잘 만들어 준다.
  • 예 : "숲속 통나무집 안에서 포즈를 취하고 있는 여성의 이미지를 만들고 싶어.  적합한 Flux 용 영어 프롬프트를 몇가지 만들어줘"  이렇게 만 해도 아주 잘 만들어준다. 
    • A serene portrait of a woman inside a rustic forest log cabin, warm amber lighting from a stone fireplace filling the room. Wooden beams, soft fur throw, vintage lanterns, and pine shadows create a cozy atmosphere. The woman sits near the window, gentle natural light contouring her face, soft expression, cinematic mood, ultra-detailed, high resolution.
  • 이것을 그대로 사용하거나 수정하여 사용하면 된다.
  • 내 컴퓨터에서  Stable Diffusion , Flux 또는 QWEN 을 이용하여 만들어도 되고, Midjourney, GEMINI,Grok 등 어디에서도 만들어 낼 수있다.
  •  그다음은 CIVITAI 사이트에 들어가서 마음에 든  이미지를  찾아 거기에 있는 프롬프트들을 그대로 이용해도 된다.  내가 사용해 본 결과  CIVITAI 사이트에서 좋은 프롬프트들을 많이 얻었었다.
  • 초보 시절에는 이렇게만 해서 이미지를 만들어도 많은 마음에 든 이미지들을 만들 수 있다.


2. 중수 시절에 어울리는 프롬프트 관리 및 사용

    어느 정도 프롬프트들을 이용하여 이미지를 만들다 보면 이제는 나만의 프롬프트, 나만 알고 있는 프롬프트들을 욕심내기 시작할 때이다.   기존 프롬프트들을 수정하든 AI 힘을 빌려 만들었든 나만의 좋은 프롬프트들을 보관하고 관리하고 싶다. 
  • 이미지를 생성하면 만들어지는 이미지 파일은 XXX.png 파일인데 이 파일은  comfyui 에 그대로 Drag&Drop 하면 workflow 와 그때 사용했던 prompt 그리고 설정값들이 그대로 나오기 때문에 xxx.png 파일 자체가 많은 prompt 파일들이라고 생각해도 된다.
  • 그러나 이미지 파일은 프롬프트를 보기 위하여 Drag&Drop 을 해야 하기 때문에 불편하여 프롬프트들을 엑셀 파일 또는 txt 파일로 정리하여 보관 사용한다.
  • 또는 지난번 포스팅에서도 설명한 것처럼 Clip Text Encode (Prompt) 노드와 Conditioning Index Switch 노드를 사용하여 100여개 이상의 마음에 드는 prompt 들을 관리 사용하는 것이다. (참조 : 이미지생성용 AI 프롬프트 관리 및 사용 )
  • 다른 한가지 방법은 각각의 prompt 하나를 txt 파일로 만들어 wildcard 노드를 활용하는 방법이다. (참조 : Wildcard 를 이용한 프롬프트 관리 및 사용방법 )  물론 많은 txt 파일의 prompt 들을 쉽게 찾고 사용하기위하여 각 파일명(번호)으로 된 각각의 이미지 파일들을 모두 만들어 두면 이미지만 보고 쉽게 원하는 prompt 를 찾아 사용 할 수 있다.
    • 예 : 파일명 412.txt (A cozy living room features a soft sofa and a warm, textured rug. Above the couch hangs a dramatic painting of an erupting volcano, and suddenly, lava starts to spill out from the frame, flowing down onto the floor. Bright orange and red streams of molten rock cascade over the carpet, creating a vivid contrast with the room's serene decor. Bits of embers spark and float in the air, catching the soft light and igniting a few stray papers nearby. The heat emanating from the lava warps the air, and the surrounding furniture shimmers with a surreal, fiery glow that transforms the peaceful atmosphere into one of chaotic beauty.)
    • 이미지 : 
      412.png
      이런식으로 모두 만들어 두면 필요한 prompt 들은 쉽게 사용할 수 있다.
  • 또하나 prompt 를 만드는 좋은 방법은 마음에 드는 이미지에서 prompt 를 추출해 내는 것이다. 이것은 chatGPT 또는 GEMINI 에서도 해준다.  물론 인터넷을 찾아보면 무료로 추출해 주는 많은 좋은 사이트 들이 있다.
    • 원본이미지 : 
      원본 : 벽에 얼룩말 사진

    • 추출된 prompt : A modern interior scene featuring a large, striking black-and-white artwork of a zebra's head with bold, vertical stripes on the wall. The artwork has a three-dimensional effect with the zebra's head appearing to extend out from the flat surface. To the right of the artwork, there's a sleek, chrome, dome-shaped wall lamp with a reflective surface. Below and slightly to the right, a white upholstered chair with a curved wooden frame and matching cushion is positioned on a wooden floor. Partially visible on the right side is a green plant with thin, spiky leaves. The overall aesthetic is minimalist and contemporary, emphasizing monochrome tones with natural wooden accents.
    • QWEN 으로 생성된 이미지 : 
      완성된 이미지
      원본에서 추출한 prompt 로 만들면 원본과 뭔가 다르면서 비슷한 이미지가 만들어 진다.  사실 원본과 똑같으면 의미가 없다. 그것을 원하면 원본을 copy 하면 되니까.
    • 덧붙여 이미지에서 prompt 를 추출 할 때는 간단하게 질문하기 보다는 어떤 특정한 부분을 원할때 그것을 더 중점적으로 자세하게 분석해 달라고 하면 된다.  예를들어  " 인물의 포즈가 한손은 머리뒤며 다리는 구부리고 있는데 인물의 포즈를 최대한 자세히 분석하여 알여줘"  이렇게 하면 좀 더 세밀한 포즈 prompt 를 만들어 준다.

3. 고수 급에 어울리는 프롬프트 관리 및 사용

    이제는 여러가지 수많은 이미지들을 만들어보고 수정도 해보고 좋은 prompt 들도 많이 만들어 본 결과 아무리 좋은 구슬이 많아도 꿰어야 보배라는 말이 있듯이, 아무리 많은 prompt 들을 보관하고 있어도 쉽게 사용하기 어려우면 별로 효과적이지 않다. 그래서 이제는 한가지 좋은 프롬프트를 다양한 방법으로 수정해보고 적용해서 좀 더 좋은 이미지를 만들어 보고 있다.
  • prompt 를 사용하여 내용을 일부 수정하여 이미지를 재 생성해 볼 때 주로 변경하는 내용을 보고 prompt 들을 대략 7가지 정도로 구분하여 사용한다.
    • 이미지 품질 관련 : 예) high resolution, ultra-detailed textures, photorealistic, soft cinematic grain, sharp focus on subject
    • 인물에 관한 사항 : 예) Japanese young adult woman actress, elegant figure, 170cm tall, long legs, a woman with soft natural makeup, warm gentle eyes, relaxed expression, smooth skin texture, natural long hair, elegant and healthy body line
    • 의상 : 예) soft oversized cream knit sweater, warm brown wool leggings,ugg slippers , natural-tone scarf draped over shoulders, relaxed, warm and soft cozy style
    • 포즈 : 예) sitting on a wooden chair near the fireplace, body slightly turned, hands gently resting on her lap, holding one leg, relaxed shoulders, natural posture
    • 배경 : 예)cozy forest log cabin interior, stone fireplace, warm wooden walls, rustic shelves, pinewood textures, soft shadows
    • 조명 및 카메라 : 예) Moonlight shimmering on her skin like silver
    • 기타 사항 : 여기는 머리스타일, 눈 상태, 추가적으로 부가할 사항 등
  • 이중에서 이미지를 재 생성할 때 주로 수정하여 보는것이
    • 의상
    • 포즈
    • 조명 및 카메라 이다.
    • 물론 다른것들도 필요하면 수정하여 재 생성해 볼 수 있다.
  • 이런식으로 구분하여 prompt 를 입력하고 이미지를 만들면 바꾸고 싶은 부분을 수정하면서 이미지를 다시 만들어 볼 수 있다.  
  • 이것을 사용하기 위하여 내가 쓰는 Text를 조합하는 workflow 이다.
각각의 구분된 text 를 합하여 CLIP Text Encode 노드로 연결해 준다.
이중에서 없는 노드들은 비슷한 기능을 가진 노드를 찾아 대체하거나 manager 에서 찾아 설치 후 사용하면 될 것이다.
  • text 중에서 주로 변경해 보는 내용들 의상, 포즈, 조명 등은 별도로 정리하여 파일로 만들어 사용하자. 이것들만 계속 바꾸어 적용해 보아도 다양한 이미지가 만들어진다.
 
의상과 포즈를 수정하여 만든 이미지


  • 의상과 포즈 만 변경하여 만든 이미지2

  • 같은 배경의 이미지에서 가장 많은 변화를 보이는것이 의상과 포즈와 조명이 바뀌는 것이라고  생각한다.  그래서 나는 주로 이것들을 다양하게 바꾸며 마음에 드는 이미지를 찾고 있다.
  • 만약 마음에 드는 이미지가 만들어 지면 그 이미지의 prompt 를 별도의 txt 파일로 저장 관리 한다.

4. prompt 에 대한 나만의 작은 tip 들

  • 같은 prompt 라도 Stable Diffusion, Pony, Flux 그리고 QWEN 에서 만드는 이미지가 모두 다르다.  즉 어떤 prompt 들은 특정 모델에서 아주 잘 반응한다.
  • 이미지 품질 관련 prompt 들 (best quality, masterpiece, high detailed, 4k, 8k, uhd, ultra detailed 등등) 은 Flux 나 QWEN 처럼 최근에 출시된 모델일 수록 이런 prompt 들을 안 써도 고급 이미지들을 아주 잘 만들어 준다.  그래서 굳이 많이 쓸 필요없이 한,두개만 써 주면 된다.
  • prompt 중 특히 강조하고픈 명령은 ((( ))) 를 사용하거나 가중치 asdf : 1.3 등으로 하면된다.
    • (  ) 보다는 (( )) 이것 보다는 (((  )))  을 더 강조하는 것이다. 괄호가 많을수록 가중치가 높다.
    • (( asdf : 1.3)) 이렇게 가중치와 괄호를 혼합하여 사용해도 된다.
    • 가중치를 넣었어도 변화가 없는것은 그 prompt 단어를 인식 못하거나 무시한다고 생각하면 된다.
  • 여성의 얼굴은 각 나라의 여성들에 따라 차이가 있다.  따라서 korean woman, japanese woman, chinese girl, italy woman, american woman, middle east girl 등은 나라별 약간씩 다르게 만들어 준다.
  • 내가 원하는 여성의 얼굴을 원한다면, prompt 로 작성하기 보다는 civitai 등의 사이트에서 원하는 lora 파일을 다운받아 이용하거나 자신의 여성 Lora 파일을 만들어 이용한다.  자신의 lora 파일을 이용하여 만들 때 나만의 이미지가 나온다.
  • Lora 파일 Training 해주는 사이트는 여러 곳이 있는데 물론 비용을 지불해야 한다.  아니면 Comfyui 를 이용하여 자체 컴퓨터에서 만들 수도 있다. 
  • prompt 를 길게 쓰면 쓸수록 더 좋은 이미지를 만들어 주는 것은 아니다.  꼭 필요한 명령만 하며 약간 만 상세하게 해주면 된다. 대략 100 word 이하에서 작성하는 것이면 족하다.
  • 인물 포즈는 Pony 모델 보다 더 잘 만들어 주는 모델은 없다.  따라서 Flux 나 QWEN 모델로 어려운 포즈를 만들려면 Control net (open pose)를 이용하여 만든다.
  • 영어 Text 는 Flux 또는 QWEN 이 잘 묘사해 준다.  특히 QWEN 은 중국 한자도 제법 잘 만들어 준다.
  • 한글 Prompt 는 QWEN 이 잘 인식한다. 다른 모델들은 그렇게 잘 인식을 하지 않는다.
  • NSFW 이미지는 pony 모델보다 잘 만들어 주는 모델은 없다. Pony 모델도 종류가 많기 때문에 자신이 원하는 그림체의 모델을 다운받아 사용한다.
  • 만약 stable diffusion, flux 또는 QWEN 에서 NSFW 이미지를 만들고 싶으면 NSFW용 Lora 모델을 다운받아 이용한다.
  • Image to Image 즉 이미지를 수정하는 모델은 Flux-Kontext 와 QWEN-Image-Edit-2509 모델을 사용하면 되는데 저는 QWEN-Image-Edit-2509 모델을 적극 추천한다.
  • Wan 모델을 이용하여 Video 를 만들고 싶다면 고사양의 그래픽 카드 5090 급이상 을 사용할때 가능하다.  물론 그 이하에서도 생성이 가능하지만 시간이 많이 걸리거나 , 품질이 떨어지거나 한다.
  • 전신 이미지가 필요할 때 "Full body shot" 이라고 해도 전신이 안 나올 때는 "slim legs , bare foot, high heel" 등의 단어를 추가하면 전신 이미지가 더 잘 나온다.
  • prompt 의 내용 중 나열된 단어들의 순서를 바꾸어도 이미지는 다르다.  꼭 필요한 내용 일 수록 앞쪽으로 배치한다.

5. Prompt 에 대한 결론

    Prompt 는 이미지 생성에 아주 중요한 요소이다.
내가 원하는 이미지를 만들기 위하여 Diffusion Model 도 중요하지만 prompt 역시 중요하다.  각 모델들에 대한 prompt 를 잘 이해하고 잘 활용하기 위해서는 수많은 이미지를 만들어보고 깨달아야 된다고 생각한다.  쉽게 다른 사람의 것이나 AI 가 만들어주는 것 만으로는 propmt 의 세밀한 차이를 느낄수 없다.  모든것이 그러하듯  좀 더 좋은 이미지를 얻기 위해서는 그만큼 더 수많은 이미지들을 생성해 보아야 한다. 

 















댓글

이 블로그의 인기 게시물

Comfyui Wildcard 사용법 - Stable Diffusion , Flux 에서 쉽게 Random Prompt 로 이미지 만들기

 Comfyui Wildcard 사용법에 대하여 알아본다. Comfyui 로 Stable Diffusion 또는 Flux 로 이미지를 만들 때 Prompt 가 이미지를 결정하는데 매우 중요한 역할을 한다.  영어가 모국어가 아닌 이상 영어로 prompt 를 만드는 것이 참 어려운 일이다. 물론 처음에는 많은 다른 사람들이 사용한 prompt 들을 모방하여 수정하고 사용하는데 이런 일을 하나하나 해 보기가 시간이 많이 걸리고 어렵다.   그래서 Random 으로 prompt 가 만들어 져서 이미지가 생성되고 그 이미지 중에서 마음에 드는 이미지들을 골라 그 이미지의 Prompt들 만을 가지고 보완하고 개선하면 더 편리하고 좋지 않을까 생각이 든다.  그런 식의 Random Prompt 생성이 가능하게 해주는 것이 wildcard 사용이다. Joker는 card game에서 wildcard 이다. 1. Wildcard 의 의미      와일드 카드(Wildcard)란 카드 게임에서 유래되었다.  이런 카드 게임에서 모든 카드의 대용으로 쓸 수 있는 비장의 카드를 와일드 카드라고 한다. 포커나 훌라를 할 때 조커가 이런 역할을 하는데 ,  이 의미가 컴퓨터와 스포츠로 확장되어 사용되는 것이다. 컴퓨터 용어로 쓰일 때는 한 디렉터리 내에 여러 파일이 존재하거나, 파일 이름의 뒷부분을 정확히 알지 못하는 경우에도 사용할 수 있는 명령어를 말합니다. '*'을 넣으면 빠진 것에 어떤 문자열이 있든지 대신할 수 있고,  '?'는 임의의 한 문자에만  대응한다. Comfyui 에서 wildcard 사용은 "--문자열--"  이런 식으로 wildcard 사용 가능한 노드에 prompt 를 입력해 주면 그 노드는 "문자열" 에  해당되는 파일을 찾아 그 파일 내용 중에서 임의의 일부분을 prompt 로 대체해 준다. 2. Wildcard 사...

Flux Lora 제작 - Local 에서 Fluxgym 을 이용하여 자체 Lora 만들기

 Flux Lora 는 일관된 이미지를 만드는데 꼭 필요하다. 특히 일관된 얼굴의 이미지를 만드는데 있어서 다른 기능들 (ipadapter , controlnet, imgtoimg 등) 을 이용하는 것 보다 훨씬 일정한 캐릭터를 생성하게 해준다.  문제는 이런 Lora는 주로 CIVITAI , Tensor, Hugging face 등 사이트에서 다운 받아 사용하면 되지만  그것은 나만의 독특한 캐릭터가 아니고 나의 취향과 일치 되기가 어려워서 Lora를 구하기가 어렵다.  아니면 그런 사이트 내에서 자체 Lora를 제작하면 되는데 모두 비용이 필요하다. 여기 소개하는 Fluxgym AI 는 Local 컴퓨터에서 VRAM 12G 이상이면 자체 Lora를 만들 수 있게 해준다.   소요되는 시간도 생각보다 많이 걸리지 않는다.   이제 설치하고 자체 Lora를 한번 만들어 보자. Fluxgym 으로 만든 Lora 대표이미지 1. fluxgym 설치 pinokio 앱을 실행한다. ( pinokio 앱 설치 참조 ) 우측 상단 맨 처음 아이콘 (discover) 클릭 fluxgym 을 찾아서 클릭 fluxgym 이것을 클릭하면 된다. 여러가지 파일들을 설치하기 때문에 시간이 좀 소요될 것이다. 모든 설치가 끝나면 pinokio 브라우저 하단 부분에 fluxgym 메뉴가 추가된다. fluxgym 나중에 불필요하면 삭제(쓰레기통 아이콘 클릭) 하면 모두 unintall 된다. 2. fluxgym 실행 항상 pinokio 앱을 실행하여 pinokio 브라우저에서 fluxgym 을 클릭하면 된다. flux화면3-1 -. 1번항 : 여기에 입력한 대로 fluxgym/outputs/ 의 하위 폴더를 만들어 준다. -. 2번항 : Lora를 작동시키는 trigger word 를 입력한다. (예,  hart_style_a......) -. 3번항 : 자신의 가능한 VRAM 선택 : 나는 12 G 선택 ...

Pinokio 앱 설치 - 오픈 소스 AI 플랫폼

  Pinokio 는 오픈 소스 AI 플랫폼이다. 로컬에서 AI 애플리케이션을 쉽게 설치하고 실행할 수 있게 도와주는 오픈 소스 AI 플랫폼이다. 이 플랫폼은 사용자가 복잡한 설치 과정 없이 클릭 한 번으로 AI 도구들을 설치할 수 있도록 설계되어 있다. 이를 통해 기술적인 배경 지식이 없는 초보자나 비전문가들도 쉽게 AI 애플리케이션을 사용할 수 있다.   이미 설치되어 있는 애플리케이션이 있어도 별도의 독립된 공간에서 문제없이 사용할 수 있게 해준다.   우리가 stable diffusion 을 comfyui 에서 사용하기 위해서는 "Python", "git ....", "conda"  뭔지 모르지만 설치해야 하는데 pinokio 브라우저에서 원 클릭으로 알아서 설치를 해주기 때문에  컴맹인 일반인도 쉽게 설치하고 사용 할 수 있다. pinokio.computer 1. Pinokio 주요 기능 원클릭 설치 : 복잡한 환경 설정이나 명령어 입력 없이도 다양한 AI 모델을 한 번의 클릭으로 설치할 수 있다. 예를 들어, Comfyui 나 Flux 같은 AI 도구들을 손쉽게 설치할 수 있다. 다양한 AI 애플리케이션 제공 : Pinokio는 다양한 오픈 소스 AI 애플리케이션을 제공하는 허브 역할을 하며, Pinokio 브라우저 나 홈페이지에서 쉽게 찾아 설치할 수 있다. 브라우저 기반 인터페이스 : 모든 설치된 애플리케이션은 Pinokio 웹 브라우저에서 관리할 수 있어, 친숙한 인터페이스로 쉽게 사용이 가능하다. 독립적인 가상 컴퓨터 : Pinokio는 백엔드 작업을 자동으로 처리하여, 애플리케이션이 로컬에서 실행되는 동안 인터넷에 연결되어 있지 않아도 된다. 2. Pinokio 설치 구글에서 pinokio 를 검색하여 " pinokio.computer " 를 클릭 Download 클릭 다운로드 된 pinokio 압축 파일을  푼다. pinokio 설치파일을 실행하여 설치 설치과정은 복...