기본 콘텐츠로 건너뛰기

FLUX.2-Klein 모델 : 오픈소스 이미지 편집 모델

 FLUX.2-Klein 모델 은 Black Forest Labs 사에서 만든  오픈소스 이미지 편집 모델이다.

Flux1 에서도 이미지 편집 모델이 있었다.  Flux-Kontext 모델이 였는데,  이번에 Flux2 에서도 Flux2-Klein 모델이 출시되었다.
이번 포스팅에서는 이 모델을 사용해보고 특징을 알아보고자 한다.

참고로 Qwen-Image 편집모델은 아래 포스팅을 참조하기를 바란다.
Flux2-klein 모델로 텍스트를 편집한 이미지


1. Flux2-Klein 의 특징

  • 뛰어난 품질로 1초 미만의 이미지 생성을 위한 간소화된 모델.
    • flux-2-klein-9b-fp8 : 9.4G
    • flux-2-klein-base-4b-fp8 : 4.0G
    • flux-2-klein-distilled-4b-fp8 : 3.8G
base-4b 모델을 사용결과 대략 30steps 에 55초 정도 소요 (그래픽카드 4070ti, 16G 일때) 이다. 
distilled-4b 모델은 10초 소요, 1초라는 것은  5090 이상에서 distilled 버전을 사용 (4 steps) 했을 경우이다. 
이 모델은 Qwen 보다는 크기가 작다.
  • 텍스트-이미지 및 이미지-이미지 다중 참조 편집을 하나의 통합 모델로 제공합니다. 
  • 프롬프트의 가독성이 뛰어나다.
  • 영어 뿐만 아니라 한글 프롬프트도 인식하여 생성한다.
  • Text 는 정확하게 잘 써진다. 다만 영어 만......

 2. Flux2-klein-base-4b 사용방법

    여기서는 Comfyui 를 이용하여 사용하는 방법이다.
  • 모델 다운로드 설치 : Comfyui 홈페이지에 ( https://docs.comfy.org/tutorials/flux/flux-2-klein ) 에 가면 Flux2-klein-base-4b 뿐 만 아니라 distilled 버전과 Text Encoder , VAE 모두 다운 가능하다.
  • Workflow 도 해당 사이트에서 다운 받아 사용하면 된다.  (아마도 comfyui 가 정식 업데이트 되면, comfyui 창에서 template 에 workflow 가 있을 것이다. )
  • 설치위치 :
    • flux2-klein : ../comfyui/model/unet
    • Text Encoder : ../comfyui/model/clip
    • VAE : ../comfyui/model/vae

3. 이미지 생성 및 편집

3-1. 신규 이미지 생성

  • prompt :  This illustration presents a side profile of a woman's face, emphasizing graceful, flowing lines that create a sense of movement. The woman's closed eyes suggest tranquility, while her lips are depicted in a bold red, enhancing her allure. A abstract  red rose sketch above her, symbolizing passion and beauty. To the left, a heart with a shimmering effect, and a vibrant red accented bow, contribute to an overall theme of love and connection. Beneath, the word 'Love me' is inscribed in 'Pacifico' script font. The artwork combines elements of modern graphic design and romantic symbolism, utilizing a clean white background to ensure that the colors pop, promoting a sophisticated yet inviting atmosphere. The mood is one of elegance and romance, making it suitable for various artistic and decorative applications.
  • 이미지없이 프롬프트 만으로 생성

이미지 편집이 아니여도 프롬프트를 입력하여 새로운 이미지를 잘 만들어 낸다.

 3-2. 이미지 1장 입력 후 생성

  • prompt : 상기 동일

  • 좌: 입력 이미지, 우: 생성된 결과

입력 이미지를 그대로 따라 하는 것은 아니고 일부 (여성 얼굴) 만 이용하고 프롬프트 대로 이미지를 잘 만들어 준다. 

3-3.  입력 이미지 수정

  • prompt : 이미지 에서 모든 꽃 들을 제거하고, 나머지는 그대로 유지.

  • 입력이미지에서 모든 꽃 들을 제거

일단 프롬프트를 한글로 입력 했지만 아주 잘 인식하여 실행한다.  이미지의 변화없이 꽃들만 깔끔하게 제거되었다.

3-4. 입력 이미지 2개로 조합하여 생성

  • prompt : image 1. 의 여성이 살며시  image 2. 의 립스틱을 바르고 있는 모습으로 변경.

  • 위의 이미지와 립스틱을 입력 했을때 결과 이미지

2개 이미지를 조합하여 자연스럽게 이미지를 만든어 준다.   조합 할때 가급적 원하는 결과 이미지에 가까운 포즈나 배경을 가지고 하면 더 자연스러운 결과를 얻을 수 있다.

3-5. 이미지 2개로 의상 입히기

  • prompt : change woman's cloths in image 1.  to cloths in image 2.

  • 좌,우 2개의 이미지 입력

     
    결과 이미지

여성의 의상이 교체는 되었는데 뭔가 부자연스럽게 편집이 되었다.  몇번 다른 것으로도 시도해 보았지만 원하는 결과는 잘 안나왔다. 

4. 주요 활용 시나리오

이 모델은 특히 다음과 같은 작업에서 활용해도 좋다.

  • 패션/쇼핑몰: 모델이 입고 있는 옷의 색상을 바꾸거나, 무늬를 추가할 때

  • 인테리어: 거실 사진에 새로운 소파를 배치하거나 벽지 색상을 변경할 때

  • 불필요한 요소 제거: 여행 사진 속 모르는 사람을 지우고 그 자리를 배경으로 자연스럽게 채울 때

  • 창의적 합성: 현실 사진에 판타지적인 요소를 자연스럽게 녹여낼 때

 5. 이미지 생성 및 편집결과 

    Flux2-klein 모델도 가볍고 상당히 편집에 좋은 모델은 맞는데,  요즈음 워낙 이미지 편집을 잘 해주기 때문에 이 모델이 다른 이미지 편집모델에 비하여 훨씬 뛰어난 기능을 보여준다고 평가하기는 어렵다.   다만, 컴퓨터의 용량이 제한된 성능에서 이정도 뛰어난 이미지 편집능력은 높이 평가 할 만하다.
빠르고 쉽게 간단한 이미지 편집을 많이 한다면 사용하는데 좋은 모델이라고 생각한다.

workflow 가 포함된 png 파일
상기 이미지를 다운받아 comfyui 에 drag&drop 하면 사용 가능한 workflow 가 나온다.

좋은 하루 되세요.

Labels:

댓글

댓글 쓰기

이 블로그의 인기 게시물

Comfyui Wildcard 사용법 - Stable Diffusion , Flux 에서 쉽게 Random Prompt 로 이미지 만들기

 Comfyui Wildcard 사용법에 대하여 알아본다. Comfyui 로 Stable Diffusion 또는 Flux 로 이미지를 만들 때 Prompt 가 이미지를 결정하는데 매우 중요한 역할을 한다.  영어가 모국어가 아닌 이상 영어로 prompt 를 만드는 것이 참 어려운 일이다. 물론 처음에는 많은 다른 사람들이 사용한 prompt 들을 모방하여 수정하고 사용하는데 이런 일을 하나하나 해 보기가 시간이 많이 걸리고 어렵다.   그래서 Random 으로 prompt 가 만들어 져서 이미지가 생성되고 그 이미지 중에서 마음에 드는 이미지들을 골라 그 이미지의 Prompt들 만을 가지고 보완하고 개선하면 더 편리하고 좋지 않을까 생각이 든다.  그런 식의 Random Prompt 생성이 가능하게 해주는 것이 wildcard 사용이다. Joker는 card game에서 wildcard 이다. 1. Wildcard 의 의미      와일드 카드(Wildcard)란 카드 게임에서 유래되었다.  이런 카드 게임에서 모든 카드의 대용으로 쓸 수 있는 비장의 카드를 와일드 카드라고 한다. 포커나 훌라를 할 때 조커가 이런 역할을 하는데 ,  이 의미가 컴퓨터와 스포츠로 확장되어 사용되는 것이다. 컴퓨터 용어로 쓰일 때는 한 디렉터리 내에 여러 파일이 존재하거나, 파일 이름의 뒷부분을 정확히 알지 못하는 경우에도 사용할 수 있는 명령어를 말합니다. '*'을 넣으면 빠진 것에 어떤 문자열이 있든지 대신할 수 있고,  '?'는 임의의 한 문자에만  대응한다. Comfyui 에서 wildcard 사용은 "--문자열--"  이런 식으로 wildcard 사용 가능한 노드에 prompt 를 입력해 주면 그 노드는 "문자열" 에  해당되는 파일을 찾아 그 파일 내용 중에서 임의의 일부분을 prompt 로 대체해 준다. 2. Wildcard 사...
댓글 쓰기
Read more »

Pinokio 앱 설치 - 오픈 소스 AI 플랫폼

  Pinokio 는 오픈 소스 AI 플랫폼이다. 로컬에서 AI 애플리케이션을 쉽게 설치하고 실행할 수 있게 도와주는 오픈 소스 AI 플랫폼이다. 이 플랫폼은 사용자가 복잡한 설치 과정 없이 클릭 한 번으로 AI 도구들을 설치할 수 있도록 설계되어 있다. 이를 통해 기술적인 배경 지식이 없는 초보자나 비전문가들도 쉽게 AI 애플리케이션을 사용할 수 있다.   이미 설치되어 있는 애플리케이션이 있어도 별도의 독립된 공간에서 문제없이 사용할 수 있게 해준다.   우리가 stable diffusion 을 comfyui 에서 사용하기 위해서는 "Python", "git ....", "conda"  뭔지 모르지만 설치해야 하는데 pinokio 브라우저에서 원 클릭으로 알아서 설치를 해주기 때문에  컴맹인 일반인도 쉽게 설치하고 사용 할 수 있다. pinokio.computer 1. Pinokio 주요 기능 원클릭 설치 : 복잡한 환경 설정이나 명령어 입력 없이도 다양한 AI 모델을 한 번의 클릭으로 설치할 수 있다. 예를 들어, Comfyui 나 Flux 같은 AI 도구들을 손쉽게 설치할 수 있다. 다양한 AI 애플리케이션 제공 : Pinokio는 다양한 오픈 소스 AI 애플리케이션을 제공하는 허브 역할을 하며, Pinokio 브라우저 나 홈페이지에서 쉽게 찾아 설치할 수 있다. 브라우저 기반 인터페이스 : 모든 설치된 애플리케이션은 Pinokio 웹 브라우저에서 관리할 수 있어, 친숙한 인터페이스로 쉽게 사용이 가능하다. 독립적인 가상 컴퓨터 : Pinokio는 백엔드 작업을 자동으로 처리하여, 애플리케이션이 로컬에서 실행되는 동안 인터넷에 연결되어 있지 않아도 된다. 2. Pinokio 설치 구글에서 pinokio 를 검색하여 " pinokio.computer " 를 클릭 Download 클릭 다운로드 된 pinokio 압축 파일을  푼다. pinokio 설치파일을 실행하여 설치 설치과정은 복...
댓글 쓰기
Read more »

Flux Lora 제작 - Local 에서 Fluxgym 을 이용하여 자체 Lora 만들기

 Flux Lora 는 일관된 이미지를 만드는데 꼭 필요하다. 특히 일관된 얼굴의 이미지를 만드는데 있어서 다른 기능들 (ipadapter , controlnet, imgtoimg 등) 을 이용하는 것 보다 훨씬 일정한 캐릭터를 생성하게 해준다.  문제는 이런 Lora는 주로 CIVITAI , Tensor, Hugging face 등 사이트에서 다운 받아 사용하면 되지만  그것은 나만의 독특한 캐릭터가 아니고 나의 취향과 일치 되기가 어려워서 Lora를 구하기가 어렵다.  아니면 그런 사이트 내에서 자체 Lora를 제작하면 되는데 모두 비용이 필요하다. 여기 소개하는 Fluxgym AI 는 Local 컴퓨터에서 VRAM 12G 이상이면 자체 Lora를 만들 수 있게 해준다.   소요되는 시간도 생각보다 많이 걸리지 않는다.   이제 설치하고 자체 Lora를 한번 만들어 보자. Fluxgym 으로 만든 Lora 대표이미지 1. fluxgym 설치 pinokio 앱을 실행한다. ( pinokio 앱 설치 참조 ) 우측 상단 맨 처음 아이콘 (discover) 클릭 fluxgym 을 찾아서 클릭 fluxgym 이것을 클릭하면 된다. 여러가지 파일들을 설치하기 때문에 시간이 좀 소요될 것이다. 모든 설치가 끝나면 pinokio 브라우저 하단 부분에 fluxgym 메뉴가 추가된다. fluxgym 나중에 불필요하면 삭제(쓰레기통 아이콘 클릭) 하면 모두 unintall 된다. 2. fluxgym 실행 항상 pinokio 앱을 실행하여 pinokio 브라우저에서 fluxgym 을 클릭하면 된다. flux화면3-1 -. 1번항 : 여기에 입력한 대로 fluxgym/outputs/ 의 하위 폴더를 만들어 준다. -. 2번항 : Lora를 작동시키는 trigger word 를 입력한다. (예,  hart_style_a......) -. 3번항 : 자신의 가능한 VRAM 선택 : 나는 12 G 선택 ...
댓글 쓰기
Read more »