CEM6 – Fine-tuned Stable Diffusion 1.5 (Q4 2022/Q1 2023)
CEM6 to model txt2img oparty na Stable Diffusion 1.5, fine-tunowany lokalnie na karcie RTX 3090 przy użyciu frameworka EveryDream-Trainer. Model został wytrenowany w pierwszym kwartale 2023 roku, co jest istotne, ponieważ jakość modeli należy oceniać przez pryzmat ówczesnych standardów.
Dane treningowe
- Źródło: ok. 70 000 zdjęć przefiltrowanych ręcznie do 7 000 przykładów wysokiej jakości.
- Opis: Obrazy zostały opisane automatycznie przez BLIP2/CLIP.
- Typ danych: Głównie realistyczne fotografie modelek, różnego rodzaju. Z uwagi na brak praw autorskich do tych zdjęć, wolałbym nie udostępniać datasetu.
Fine-tuning
- Framework: EveryDream-Trainer
- Hardware: NVIDIA RTX 3090, 32GB RAM
- Czas powstania: Q4 2022 / Q1 2023
- Cel: Poprawa jakości generowanych portretów kobiecych – głównie realistyczna skóra, mniej "pastelowy" wygląd i fotorealistyczny wygląd.
- Rozdzielczości: 768 oraz 1024 piksele szerokości
Modele dostępne do pobrania
| Nazwa modelu | Opis |
|---|---|
CEM_768_Cl2_55_45_merge.ckpt i CEM_768_LRA_55_45.ckpt |
Merge modelu CEM (768px width) z innym wysokiej jakości modelem z początku 2023. Zapewnia bardziej miękki, elastyczny styl. |
CEM_ED_768_100epoch.ckpt |
Model CEM w pełnej wersji 768px, trenowany przez 100 epok. Realistyczne wyjścia, wyraźne tekstury skóry, dobre kolory, jednak mało elastyczny. |
CEM6_ED_1024_100epoch.ckpt |
Wersja 1024px szerokości, trenowana przez 100 epok. Większa szczegółowość, lepsza ostrość, jeszcze mniej elastyczny. |
Przykłady – CEM_768_Cl2_55_45_merge.ckpt i CEM_768_LRA_55_45.ckpt
https://imgur.com/a/7HEsipl (Wszystko to raw output modelu i czasami crop)
Przykłady – CEM_ED_768_100epoch.ckpt i CEM6_ED_1024_100epoch.ckpt
https://imgur.com/a/sW1WE8c (Wszystko to raw output modelu i czasami crop)
Jakość i zastosowania
Na moment powstania (Q1 2023), CEM6 oferował jedne z bardziej realistycznych wyników w swojej klasie, a samych fotorealistycznych modeli nie było tak dużo jak dzisiaj (większość z finetuningów posiadało datasety wielkości max kilkaset zdjęć) i bazowe modele kończyły się na opensource Stable Diffusion i closedsource Midjourney. Model najlepiej sprawdza się w:
- generowaniu portretów modelek z realistyczną skórą,
- uchwyceniu proporcji twarzy,
- estetycznych ujęciach studyjnych.
Był on głównie trenowany na zdjęciach NSFW, ale dobrze sobie radzi także z ubraniami.
Licencja
Licencja MIT