SHREK_ENM Diffusion Model v0.1

Model Details

• 슈렉 캐릭터 생성에 특화된 diffusion model
• 전체 가중치 재학습, 모델 아키텍처는 Flux Krea 사용
• Developed: Jihun.Hong
• Datasets: Seungwoo.Kim, Jiyeon Lee
• Model type: Text-to-Image Diffusion Model
• Base Model architecture: Flux.1_Krea_dev
• Training approach: Full weight fine-tuning (Complete Retraining)
• Release date: September 19, 2025
• Version: v0.1

Model Sources

• Demo[coming soon]: End to End with Bytedance Waver 1.0, GIF Sample Below
  

Training Details

Training Results

[모델 3개 비교] 좌측부터 3가지 Epoch(2차학습 각각 4시간, 8시간, 12시간)에 따른 변화를 보여줍니다. 테스트 과정으로 30 Epoch 학습만 진행했으며, 프로덕션 레벨을 위해서는 약 40시간의 추가 학습이 필요합니다.

Epoch별 모델 발전 과정, 샘플 출력 및 성능 지표

Training Data

• 데이터셋: 커스텀 SHREK 데이터셋
• 데이터셋 크기: augmentation 포함 2.4GB, 820장, 1024×1024, Shrek 얼굴 기준 SAM2 Segment, Yolo CROP
• 데이터 전처리: Image augmentation, 1024×1024 리사이징, face detection 기반 크롭핑(Yolo, SAM2 기반)

Training Configuration

• 하드웨어: NVIDIA L40S GPU
• 학습 시간: PR: 30시간 02분, SC: 12시간 11분, Total: 42시간 13분
• Batch size: 7
• Learning rate: 2e-06, 4e-06, 6e-06
• Training steps: 256 × 40 / 7 = 1480 스텝

Usage

다양한 UI 애플리케이션 호환

이 모델은 ComfyUI, SwarmUI, Forge, Automatic1111 등 AI UI 애플리케이션에서 원활하게 작동합니다.

ComfyUI

SwarmUI

설치 단계

1. 모델 파일 다운로드:

   • SHREK_ENM.safetensors - 메인 모델 파일
   • ae.safetensors - VAE 모델
   • clip_l.safetensors - CLIP text encoder
   • t5xxl_enconly.safetensors - T5 text encoder

2. 올바른 디렉토리에 파일 배치

3. ComfyUI에서 로드:

   • 각 구성 요소에 적합한 loader node 사용
   • workflow에 따라 node 연결
   • "Load Diffusion Model" node를 사용하여 SHREK_ENM.safetensors 로드
   • 해당 loader node를 사용하여 text encoder와 VAE 로드

권장 설정

• CFG Scale: 1.0 (이 값을 유지하는 것을 강력히 권장)
• Sampling Steps: 35-45
• Sampler: iPNDM 또는 Euler a