[Fooocus 가이드 #4] 포커스 Model, LoRA, Refiner 마스터하기

안녕하세요. 어려움을 설레임으로 타입니다.

AI 이미지 생성의 새로운 강자, 포커스(Fooocus)! 복잡한 설정 없이도 프로 수준의 이미지를 만들 수 있다는데, 정말일까요? Base Model, LoRA, Refiner… 이 모든 기능들이 어떻게 작동하는지, 그리고 Civitai에서 다운로드한 모델들을 어떻게 활용하는지 지금부터 차근차근 알아보겠습니다!

 

영상으로는, 이 글의 요약된 내용을 영상으로 확인 해 보실 수 있으세요.

 

 

Fooocus가 뭔가요?

Fooocus는 Stable Diffusion XL을 기반으로 한 사용자 친화적인 AI 이미지 생성 도구입니다. ControlNet의 개발자가 만든 이 도구는 복잡한 매개변수 조정 없이도 고품질 이미지를 생성할 수 있도록 설계되었어요.

Fooocus의 가장 큰 특징은 자동화된 최적화와 품질 개선 기능을 내장하고 있다는 점입니다. 사용자는 프롬프트 작성과 이미지 탐색에만 집중하면 되죠. 마치 요리할 때 재료만 준비하면 자동으로 최적의 조리법을 찾아주는 스마트 오븐 같은 느낌이랄까요?

Base Model

Fooocus에서 base model로 checkpoint를 사용할 수 있어요! Checkpoint는 특정 목적에 맞게 훈련된 완전한 AI 모델로, Civitai에서 다운로드한 .safetensors 파일을 Fooocus/models/checkpoints/ 폴더에 넣으면 됩니다. 사실적인 인물용 ‘Realistic Vision’, 애니메이션용 ‘Anything V5’ 등 다양한 스타일의 checkpoint를 base model로 설정하여 원하는 화풍의 이미지를 생성할 수 있어요.

LoRA

Fooocus에서 LoRA는 base model에 특정 스타일이나 캐릭터를 추가하는 작은 보조 모델이에요! Civitai에서 다운로드한 LoRA 파일(.safetensors)을 Fooocus/models/loras/ 폴더에 넣고, Advanced → Model 탭에서 선택해 사용합니다. 가중치(0.3-1.2)로 효과 강도를 조절할 수 있고, 여러 LoRA를 동시 사용도 가능해요. 기본 요리에 향신료를 더하는 것처럼 원하는 맛을 살짝 추가하는 역할이죠!

Refiner

Fooocus의 Refiner는 이미지 품질을 최종 단계에서 향상시키는 보조 모델이에요! Base model이 이미지의 전체 구조를 생성하면, Refiner가 마지막에 텍스처, 선명도, 디테일을 정교하게 다듬어줍니다. SDXL 모델이나 SD 1.5 모델을 refiner로 사용할 수 있으며, Refiner Switch(보통 0.8)로 언제부터 개입할지 조절할 수 있어요. 요리의 마지막 가니쉬 같은 역할이죠!

Base Model: AI 이미지 생성의 핵심 엔진

Base Model이란?

Base Model은 AI 이미지 생성의 주요 처리 엔진으로, 텍스트 프롬프트를 실제 이미지로 변환하는 핵심 역할을 담당합니다. 마치 화가의 기본 실력과 같다고 보시면 돼요. 아무리 좋은 붓과 물감이 있어도 화가의 기본기가 부족하면 좋은 그림이 나올 수 없죠.

Fooocus는 기본적으로 SDXL(Stable Diffusion XL) 모델을 사용하지만, Civitai에서 다운로드한 다양한 커스텀 체크포인트 모델을 적용할 수 있습니다. 이는 마치 다른 화풍을 가진 화가의 스타일을 빌려오는 것과 같아요.

Civitai에서 Checkpoint 파일 다운로드하기

Civitai 웹사이트에 접속한 후, 원하는 스타일의 모델을 검색해보세요. ‘Realistic Vision’, ‘DreamShaper’, ‘Anything V5’ 등이 인기 있는 체크포인트 모델들입니다.

모델 페이지에서 생성 예시 이미지들을 확인하고, .safetensors 형식의 파일을 다운로드하세요. 이 형식이 보안상 가장 안전하고 호환성도 좋아요.

illustrij checkpoint를 검색하여 다운로드 받도록 하겠습니다.

모델 크기는 보통 2-7GB 정도입니다.

Fooocus에 Base Model 적용하기

모델 파일 배치

다운로드한 .safetensors 파일을 다음 경로에 복사하세요:

Fooocus/models/checkpoints/

Fooocus에서 모델 선택

Fooocus를 실행한 후 Advanced 탭으로 이동하여 Model 탭에서 새로 추가한 체크포인트를 선택할 수 있습니다. 새 파일이 인식되지 않는다면 하단의 “Refresh All Files” 버튼을 클릭하세요.

illustrij 모델은?

파일의 타입이 ‘CHECKPOINT MERGE’되어 있고 이 모델은 illustrious를 Base Model로하는 checkpoint인 것을 알 수 있습니다. 프롬프트 입력창에 특정 프롬프트를 입력하면 이 checkpoint를 활성화 할 수 있는데, 그것이 바로 Trigger Words입니다. Trigger Words 오른쪽에 아이콘을 눌러서 프롬프트 내용을 복사 할 수도 있습니다.

illustrij 모델 적용 및 이미지 생성

Base Model로 illustrij_v17.safetensors를 선택합니다.

civitai의 illustrij 샘플의 프롬프트와 네거티브 프롬프트를 복사하여 Fooocus에 붙여 아래 이미지와 같이 넣습니다.

[Fooocus 가이드 #3] Fooocus의 스타일 – 스타일 마법으로 이미지 변신 글을 보시면 이해가 될텐데요. 다른 프롬프트가 적용됮 않도록 스타일을 모두 해제 시켜주는 것이 중요합니다!!!

이 방법으로 직접 생성한 이미지 입니다.

샘플 이미지와 비교해 보면 비슷하게 이미지가 생성 된 것 같네요.

LoRA: 세밀한 스타일 조정의 마법사

LoRA가 뭔가요?

LoRA(Low-Rank Adaptation)는 기존 모델에 작은 변화만 가하는 작은 크기의 보조 모델입니다. 일반적으로 체크포인트 모델보다 10-100배 작아서(보통 10-200MB), 모델 수집가들에게 매우 인기가 높아요.

LoRA는 마치 요리에 향신료를 추가하는 것과 같습니다. 기본 요리(Base Model)는 그대로 두고, 특별한 맛(스타일)만 살짝 더해주는 역할을 하죠. 특정 캐릭터, 스타일, 의상, 포즈 등을 정교하게 재현할 수 있어요.

 

주의사항: LoRA는 단독으로 작동할 수 없습니다. 반드시 체크포인트 모델과 함께 사용해야 해요!

Civitai에서 LoRA 파일 다운로드하기

Civitai에서 필터를 ‘LoRA’로 설정하고 원하는 스타일이나 캐릭터를 검색하세요. 예를 들어 ‘anime style’, ‘cyberpunk’, ‘portrait’ 등의 키워드를 활용해보세요.

LoRA 설명란에서 어떤 베이스 모델에서 훈련을 받았는지를 주의깊에 살펴봐 주세요.

여기에서는 illrustrij와 동일한 Base Model로부터 훈련된 Plaijful를 다운로드 받아 사용하도록 하겠습니다.

Fooocus에 LoRA 적용하기

다운로드한 LoRA 파일을 다음 경로에 복사하세요:

Fooocus/models/loras/

이제 plaijful.safetensors로 LoRA를 적용하고 원하는 웨이트로 지정합니다.

LoRA 지정의 또 다른 방법으로는 아래와 같이 <lora:plaijful:0.9>를 프롬프트에 직업 입력하여 원하는 LoRA를 활성화 하는 방법도 있어요. 이기서 0.9는 웨이트 값이겠죠. 또 다른 방법으로는 Trigger Words로도 LoRA를 활성화 할 수도 있어요.

가중치는 보통 0.3-1.2 범위에서 조절하며, 높을수록 LoRA의 효과가 강해집니다.

 

꿀팁: 여러 개의 LoRA를 동시에 사용할 수 있어요! 각각 다른 가중치를 설정해서 원하는 조합을 만들어보세요.

앞에서와 동일한 방법으로 다음 샘플의 프롬프트와 네거티브 프롬프트를 복사해 주고 이미지를 생성해 보았어요.

직정 생성한 이미지 입니다. 비슷한 이미지가 잘 만들어 지지 않았는데 이미지의 그림체는 어느 정도 비슷한 것 같네요.

Refiner: 이미지 품질의 최종 마무리

Refiner는 이미지 품질을 최종 단계에서 원하는 형태로 이미지를 조정 할 수 있도록 하는 보조 모델입니다. 기본 모델이 이미지의 전체적인 구조와 내용을 생성하면, Refiner가 마지막 단계에서 다른 모델을 사용해서 최종 마무리 할 수 있게하는 기능이예요.

Advanced 설정에서 Refiner Switch를 조절하여 생성 과정의 어느 시점부터 Refiner가 개입할지 정할 수 있습니다. 보통 0.8(80%) 지점에서 설정하는 것이 일반적이에요.

이 설정은 80%지점까지는 illustrij_v17 모델을 사용하여 이미지를 생성하다가, 최종 마무리로 realisticStockPhoto_v20 모델을 사용하여 이미지 생성을 마무리하도록 합니다.

Refiner Swich At 값 변경에 따른 생성 이미지

첫 번째 예시와 동일한 설정으로 Refiner Switch At 0.8로 생성한 이미지입니다. illustrij만 사용한 이미지와 거의 비슷해 보이지만 특유의 광택이 조금 덜해지고 실사 사진 느낌이 있네요.

Refiner Switch At 0.6로 생성한 이미지입니다. 좀 더 사실적으로 바뀌었죠. 특히 머리결을 보면 더 느낄 수 있어요.

Refiner Switch At 0.3로 생성한 이미지입니다. 윽, 0.3에서 모델을 스위칭 했던 거의 실사 느낌이 이미지가 생성 되었네요.

마무리!

처음에는 복잡해 보일 수 있지만, 한 번 이해하고 나면 무궁무진한 창작의 가능성이 열립니다. Civitai의 수많은 모델들과 조합하면서 자신만의 독특한 스타일을 찾아보세요. 혹시 여러분도 다음 AI 아티스트가 될 수 있을지 모르니까요! 이것 저것 다운로드 받아 적용해보고 실험 해보면 시간 순삭 당할 수도 있어요~ ㅎㅎ.

by 타미 (어려움을 설렘으로)