[Fooocus 가이드 #6] 무료로 애니메이션 이미지를 실사 이미지로 만드는 방법

안녕하세요. 어려움을 설레임으로 타입니다.

애니메이션 속 캐릭터가 실제 세상에 나타난다면 어떤 모습일까요? 이 포스트에서 이미지 프롬프트 기능을 이용하여 애니메이션 이미지를 실사 이미지로 만드는 방법을 자세히 설명 드릴게요.

 

영상으로도 이 글의 내용을 확인 할 수 있어요.

 

 

IP-Adapter

이 기능은 IP-Adapter라는 기술을 기반으로 해요. IP는 “Image Prompt“의 약자로, 사용자가 제공한 이미지를 기반으로 새로운 이미지를 생성할 수 있도록 정보를 제공해요. Adapter는 기존의 사전학습된 모델(예: Stable Diffusion)의 구조를 변경하지 않고 외부 입력을 유연하게 연결할 수 있게 해주는 경량 모듈이고요. 즉, IP-Adapter는 입력 이미지의 특징을 추출해 텍스트 프롬프트와 함께 이미지 생성에 반영하는 연결 장치인거죠.

좀 더 쉽게 설명하면, IP-Adapter는 마치 그림을 그릴 때 옆에 참고 이미지를 두고 따라 그리게 도와주는 도우미인데요. Stable Diffusion 같은 모델은 원래 텍스트만 보고 그림을 그리게 설계돼 있어요. 그런데 텍스트만으로는 디테일이 부족할 수 있잖아요? 이때 IP-Adapter를 쓰면, ‘이런 스타일의 얼굴이야!’라는 이미즈를 함께 주고 ‘이 얼굴을 참고해서 텍스트에 맞게 그려줘!’라고 말할 수 있는 거예요.

이미지로 부터 프롬프트 추출

애니메이션 이미지로부터 실사 이미지를 만들기 전에 가장 먼저 해야 할 것은 애니메이션 이미지로부터 프롬프트를 생성하는 거예요.

Input Image > Describe > 참고 이미지 추가 > Apply Styles 해제, Photograph와 Art/Animne 체크 > Describe this Image into Prompt

Describe기능은 이미지로부터 프롬프트를 자동으로 생성하도록 하는 기능이예요. 매우 편리하므로 Fooocus에서 이미지를 만들때 많이 사용해요.

스타일 설정

스타일 탭에서 Fooocus V2만 체크 하거나 모두 체크 해제해 주세요. 불필요한 스타일 프롬프트가 이미지 생성에 영향을 줄 수 있기 때문에 꼭 확인해 주세요.

Image Prompt 설정

Image Prompt 탭에서 이미지 프롬프트로 사용할 이미지를 추가할 수 있으며, Stop At 값고 Weight 값을 조정 할 수 있어요.

Stop At: 언제까지 영향을 줄 것인가?

Stop At 설정은 이미지 프롬프트가 생성 과정에서 언제까지 영향을 미칠지를 결정해요. 예를 들어, Fooocus가 30단계로 이미지를 생성한다면 Stop At을 0.5로 설정하면 처음 15단계에서만 원본 애니메이션 이미지의 특성을 반영하고, 나머지 15단계에서는 AI가 자유롭게 실사적인 요소를 추가하는 거죠.

Weight: 얼마나 강하게 영향을 줄 것인가?

Weight는 원본 이미지가 결과물에 얼마나 강하게 영향을 미칠지를 조절하는 볼륨 컨트롤러 같은 역할이에요. 0.5는 적당한 영향, 1.0은 강한 영향, 1.5는 매우 강한 영향을 의미합니다. 실제 테스트 결과에 따르면, Weight 값이 1을 넘어가는 순간부터 결과물이 원본 이미지와 현저히 유사해진다고 해요.

실사 이미지를 위한 모델 적용하기

어떤 스타일의 이미지로 실사화 할지는 이미지 생성을 어떤 모델로 하느냐에 따라 그 결과가 많이 달라지겠죠. ILustREAL 모델을 다운로드 받아 사용하도록 하겠습니다. 모델 적용 방법은 [Fooocus 가이드 #4] 포커스 Model, LoRA, Refiner 마스터하기 글을 참고해 주세요.

애니메이션 이미지 실사화 최적값 찾기

Stop At값과 Weight값을 어떤 값으로 설정하는 것이 좀 더 원하는 결과가 나오는지 실험해 볼게요. 이 실험은 애니메이션 이미지가 어떤 것이느냐에 따라 그리고 개인의 취향이나 원하는 바에 따라서 다르다는 것도 감안해 주세요.

아래 이미지로 실험을 해 볼게요. 경험으로 아는 것은 weight 값이 1~1.5사이에서 원하는 결과를 얻을 수 있었어요.

다음은 Describe가능으로 추출한 프롬프트 문구예요.

an anime woman with horns and long white hair, 1girl, solo, long hair, breasts, looking at viewer, bangs, large breasts, simple background, shirt, red eyes, gloves, long sleeves, white background, hair between eyes, jewelry, closed mouth, standing, jacket, tail, white shirt, white hair, grey hair, cowboy shot, earrings, necktie, horns, choker, black gloves, collared shirt, pants, hand up, black jacket, black choker, black pants, demon girl, cross, red necktie, demon horns, demon tail, jacket on shoulders, red horns, cross earrings

 

먼저 weight 값을 1.3으로 고정하고 stop at값을 찾아 보도록 할게요. 순서대로 Stop at 값을 0.1, 0.3, 0.5, 0.7, 0.9로 설정하고 생성한 결과인데 함께 살펴봐요~

stop at 값이 0에 가까울 수록 실사 이미지에 가깝고 1에 가까울 수록 원본 이미지의 느낌이 더 나는 것을 알 수 있죠. 여러분은 어떤 이미지가 마음에 드세요? 저는 0.3으로 만든 이미지가 가장 마음에 드네요.

다음은 Weight 1.3, Stop at 0.3으로 생성한 이미지입니다.

이제 Stop at 값을 0.3으로 고정해 두고 Weight 값을 변경하면 어떠한 이미지가 생성되는지 확인해 볼게요.

순서대로 Weight 값을 0.5, 0.9, 1.3, 1.6으로 설정하고 생성한 결과인데 함께 살펴봐요~

여러분은 어떤 이미지가 마음에 드세요? 저는 1.6으로 생성한 이미지가 가장 마음에 드네요. 다음은 Stop at 0.3, Weight 1.6 으로 생성한 이미지입니다.

이 밖에 여러 실험들도 더 해 보았는데요. Fooocus에서 애니메이션 이미지를 실사화 할 때는 Stop At과 Weight 값이 절절하니 여러분들도 이미지 생성 할 때 이 값을 사용해서 확인해보세요!

• Stop At: 0.3 ~ 0.4
• Weight: 1.3 ~ 1.7

다른 애니메이션 이미지 실사화 해보기

다른 애니메이션 이미지들도 원하는 대로 잘 만들어 지는지 확인해 보았어요. Stop At 0.3, Weight 1.6로 설정하고 여러 이미지들을 만들어 봤어요.

위 이미지들의 순서대로 생성한 이미지의 프롬프트예요.

 

a girl with pink hair is standing, 1girl, solo, long hair, breasts, looking at viewer, blush, bangs, large breasts, simple background, black hair, long sleeves, white background, navel, jewelry, closed mouth, pink hair, multicolored hair, cowboy shot, earrings, midriff, pants, pink eyes, necklace, bracelet, two-tone hair, sweater, crop top, v-shaped eyebrows, turtleneck, cross, hands on hips, colored inner hair, turtleneck sweater, white pants, black sweater, cross earrings, cropped sweater

the young boy in black is wearing long black hair and red eyes, solo, long hair, looking at viewer, bangs, simple background, black hair, long sleeves, 1boy, white background, hair between eyes, closed mouth, collarbone, upper body, ponytail, male focus, multicolored hair, pink eyes, kimono, sash, obi, crossed bangs

anime character holding up some type of camera, solo, looking at viewer, short hair, bangs, simple background, shirt, gloves, 1boy, hat, holding, hair between eyes, jewelry, white shirt, upper body, short sleeves, grey hair, male focus, earrings, parted lips, black gloves, fingerless gloves, grey background, bag, collar, grey eyes, black headwear, headphones, piercing, backpack, goggles, ear piercing, goggles on head, beanie, black collar

 

오늘 애니메이션 이미지를 실사 이미지로 만들어 보는 것을 해봤는데요. 유명 애니메이션의 캐릭터를 실사화 하면 어떤 모습일지 궁금하지 않으세요? 저작권 때문에 제가 실험한 이미지들을 올려 드리지는 못하지만, 여러분들도 이 글을 참고하여 동일한 방법으로 직업 실험해 볼 수 있어요. 다음 편에는 더 알찬 내용으로 돌아 올게요.

 

by 타미 (어려움을 설렘으로)