스테이블 디퓨전 - PONY, Illustrious 모델들 살펴보기

스테이블 디퓨전에서 이미지를 생성하는데 가장 중요한 요소는 Checkpoint 이다.

Checkpoint 모델들은 대략 SD1.5 --> SDXL --> SD3.5 , Pony(ani.) , Illustrious(ani.), Flux, Sana, HiDream 등이 오픈 소스로써 로컬 환경에서 많이 사용되고 있다.

이 중에서 스테이블 디퓨전 모델은 Checkpoint 모델들은 대략 SD1.5 --> SDXL --> SD3.5 , Pony(ani.) , Illustrious(ani.) 들이고 Flux , Sana 그리고 HiDream 모델은 스테이블 디퓨전과 또 다른 모델들로 고해상도의 이미지를 생성할 수있는 모델들이다.

나는 이중에서 스테이블 디퓨전 과 Flux 모델을 주로 애용하고 있으며, 요즈음 Pony, Illustrious 모델을 사용하여 이미지를 많이 생성하고 있는데 이 모델들은 주로 애니 망가 카툰 스타일의 이미지 생성에 탁월한 기능을 발휘한다.

Pony 모델의 원조 쯤 되는 모델이미지

이번 글에서는 주로 이 모델들에 대하여 알아본다.

1. 모델 다운로드

모델이 공개된 플랫폼중 가장 많이 애용하는 곳은 Civitai 사이트 이다.

이곳은 Pony 모델 뿐 아니라 다른 여러가지 Checkpoint 모델과 Lora 모델 , 많은 이미지들을 얻을 수 있다. 이 사이트에서 필요한 모델을 찾아 다운로드 하면 된다.

2. Pony, Illustrious 모델의 특징

스테이블 디퓨전(Stable Diffusion)에서 'Pony'와 'Illustrious' 모델은 특정 스타일이나 특징을 가진 이미지를 생성하기 위해 훈련된 커스텀 체크포인트 모델이다. 스테이블 디퓨전은 기본적으로 텍스트 프롬프트를 통해 이미지를 생성하는 AI 모델이지만, 사용자들이 특정 데이터셋으로 추가 학습(파인튜닝)하여 다양한 스타일의 모델을 만들어내고 있다.

'Pony'와 'Illustrious'는 이러한 커스텀 모델 중 두 가지이며, 각각 다음과 같은 특징을 가진다.

2.1. Pony 모델

이름 유래 및 스타일 예측: 'Pony'라는 이름은 일반적으로 어린아이들이 좋아하는 그림책 스타일, 혹은 귀여운 동물 캐릭터(특히 말)와 관련된 이미지를 연상시키는데 이 모델은 다음과 같은 특징을 가지고 있다.
- 귀여운/카툰 스타일: 전반적으로 귀엽고 부드러운 그림체, 둥글둥글한 형태, 밝고 채도 높은 색감을 특징으로 할 수 있다. 애니메이션이나 만화 같은 느낌을 줄 수 있다.
- 캐릭터 중심: 사람이나 동물의 캐릭터를 생성하는 데 특화되어 있을 수 있다. 특히 어린 시절의 기억이나 동화 같은 분위기를 잘 표현할 수 있다.
- 단순화된 형태: 복잡한 디테일보다는 특징적인 형태와 색상으로 대상을 표현하는 데 중점을 둘 수 있지만, 최근에 파생된 모델들은 실사와 비슷한 디테일이 살아 있다.
- 특정 팬덤과의 연관성: 만약 'My Little Pony'와 같은 특정 작품의 영향을 받아 학습되었다면, 해당 작품의 캐릭터나 세계관과 유사한 이미지를 생성하는 데 매우 강하다.
주요 사용 목적: 주로 귀여운 캐릭터 아트, 동화 삽화, 팬아트, 아기자기한 디자인 요소 등을 생성하는 데 유용하다.

2.2. Illustrious 모델

이름 유래 및 스타일 예측: 'Illustrious'는 '뛰어난', '빛나는', '저명한' 등의 의미이다. 이는 모델이 고품질의, 회화적이거나 예술적인 느낌의 이미지를 생성하는 데 특화되어 있다.
- 고품질/예술적인 일러스트레이션: 전문 일러스트레이터가 그린 것과 같은 높은 수준의 디테일과 완성도를 가진 이미지를 생성할 수 있다.
- 다양한 예술 사조: 특정 스타일(예: 유화, 수채화, 디지털 페인팅, 스케치 등)에 강할 수도 있고, 여러 예술 사조를 아우르는 범용적인 고품질 일러스트레이션을 목표로 할 수도 있다.
- 사실적이면서도 예술적인 표현: 단순히 사진처럼 사실적인 것을 넘어, 작가의 해석이나 미적 감각이 반영된 일러스트레이션에 강점을 보일 수 있다.
- 세밀한 묘사: 배경, 인물, 사물 등의 디테일한 묘사에 뛰어나서 시각적으로 풍부한 이미지를 만들어낼 수 있다.
주요 사용 목적: 책 삽화, 게임 컨셉 아트, 디지털 페인팅, 고품질 배경 이미지, 광고 일러스트 등 전문가 수준의 일러스트레이션이 필요한 작업에 적합할 수 있습니다.

개인적으로 두가지 모델을 사용해서 이미지를 생성하고 있지만 그다지 구분해서 사용한 적은 없다.

동일한 프롬프트로 다양한 Checkpoint 를 바꿔가며 이미지를 생성해 보면 서로 다른 느낌의 이미지들이 만들어 지고 그 중에서 내 마음에 드는 이미지가 만들어 질 뿐이다.

그래서 두가지 모델을 구분없이 사용하고 있다.

3. 쓸만한 Checkpoint 모델

Pony 모델의 원조 격인 모델은 "Pony Diffusion V6 XL" 이다. 여기서 많은 모델들이 파생되어 생성된 것으로 본다.

Pony 모델을 사용해 보면 대략 3가지 정도로 나눌 수 있다.

일반적인 Pony 모델 :

Pony Diffusion V6 XL : 원조 Pony 모델
duchaitenPonyXLNo_v60 : 상당히 디테일하고 그림체도 예쁘고 반 실사 느낌의 모델로 자주 애용하는 모델 중 하나이다.

duchaitenPonyXLNo_v60

meichidarkmixReload_meichidarkSensualV3 : 이 모델도 duchaiten 모델과 유사한데 얼굴 이미지가 다르다. 사실적인 느낌도 많이 나온다. 다른 느낌의 모델이기 때문에 권할만 하다.

meichidarkmixReload_meichidarkSensualV3

littleoctopusmixMF_v20 : 이 모델은 실사 느낌과 스케치나 수채화 느낌의 이미지를 잘 만들어 준다.

littleoctopusmixMF_v20

실사 느낌의 모델들

waiANIHENTAIPONYXL_v60 : 상당히 실사적인 이미지를 잘 만들며, 특히 동양 여성의 이미지가 예쁘게 나온다.

waiANIHENTAIPONYXL_v60

novaAsianXL_v50 : 동양 여성의 얼굴을 잘 만들어 주는 모델

novaAsianXL_v50

스케치, 망가 , 카툰 이미지 모델들

comix3_v10 : 코믹 망가 스타일의 이미지를 생성해 준다.

comix3_v10

hsArtAnime_ill30 : 카툰, 웹툰 스타일을 잘 만들어 준다.

hsArtAnime_ill30

Pony 모델들은 실사, 반실사, 카툰, 망가, 웹툰 스타일들을 다양하게 만들어 준다.

상기에 언급한 모델들은 30여종의 모델들을 사용해 보고 개인적으로 많이 애용하고 있는 모델들을 나열 하였다. 다른 파생된 모델들도 개인의 취향에 맞는 이미지를 만들어 주는 모델들이 많기 때문에 직접 다양한 모델들을 다운로드하여 이미지를 만들어 보아야 각각의 모델들의 특징을 잘 알 수 있다.

덧붙여 Pony 모델은 인체의 포즈를 잘 나타내고, NSFW 이미지도 쉽게 만들기 때문에 사용에 주의를 요한다.

남편을 기다리는 아내의 모습

점점 AI의 기술이 너무 빨리 발전되어 너무나 좋은 이미지를 내 컴퓨터에서도 만들 수있기 때문에 다양한 목적으로 이용할 수 있다고 생각한다. 이미지의 품질을 높이고 이미지를 확대하고 이미지의 일부를 수정하는 작업은 온라인상의 많은 AI 플랫폼을 이용하면 쉽게 할 수 있다.

이 블로그 검색