Spaces:
Sleeping
Sleeping
| # ACE-Step Gradio ๋ฐ๋ชจ ์ฌ์ฉ์ ๊ฐ์ด๋ | |
| **์ธ์ด / Language / ่ฏญ่จ / ่จ่ช:** [English](../en/GRADIO_GUIDE.md) | [ํ๊ตญ์ด](GRADIO_GUIDE.md) | [ไธญๆ](../zh/GRADIO_GUIDE.md) | [ๆฅๆฌ่ช](../ja/GRADIO_GUIDE.md) | |
| --- | |
| ์ด ๊ฐ์ด๋๋ ACE-Step Gradio ์น ์ธํฐํ์ด์ค๋ฅผ ์ฌ์ฉํ ์์ ์์ฑ์ ๋ํ ํฌ๊ด์ ์ธ ๋ฌธ์๋ฅผ ์ ๊ณตํ๋ฉฐ, ๋ชจ๋ ๊ธฐ๋ฅ๊ณผ ์ค์ ์ ํฌํจํฉ๋๋ค. | |
| ## ๋ชฉ์ฐจ | |
| - [์์ํ๊ธฐ](#์์ํ๊ธฐ) | |
| - [์๋น์ค ์ค์ ](#์๋น์ค-์ค์ ) | |
| - [์์ฑ ๋ชจ๋](#์์ฑ-๋ชจ๋) | |
| - [์ ๋ ฅ ํ๋ผ๋ฏธํฐ](#์ ๋ ฅ-ํ๋ผ๋ฏธํฐ) | |
| - [๊ณ ๊ธ ์ค์ ](#๊ณ ๊ธ-์ค์ ) | |
| - [๊ฒฐ๊ณผ ์น์ ](#๊ฒฐ๊ณผ-์น์ ) | |
| - [LoRA ํ์ต](#lora-ํ์ต) | |
| - [ํ๊ณผ ๋ชจ๋ฒ ์ฌ๋ก](#ํ๊ณผ-๋ชจ๋ฒ-์ฌ๋ก) | |
| --- | |
| ## ์์ํ๊ธฐ | |
| ### ๋ฐ๋ชจ ์คํ | |
| ```bash | |
| # ๊ธฐ๋ณธ ์คํ | |
| python app.py | |
| # ์ฌ์ ์ด๊ธฐํ ํฌํจ | |
| python app.py --config acestep-v15-turbo --init-llm | |
| # ํน์ ํฌํธ ์ง์ | |
| python app.py --port 7860 | |
| ``` | |
| ### ์ธํฐํ์ด์ค ๊ฐ์ | |
| Gradio ์ธํฐํ์ด์ค์ ๋ ์ด์์: | |
| 1. **์ค์ ** (์ ์ด์ ์์ฝ๋์ธ) - ์๋น์ค ์ค์ , DiT/LM ํ๋ผ๋ฏธํฐ, ์ถ๋ ฅ ์ต์ | |
| 2. **์์ฑ ํญ** - ๋ฉ์ธ ์์ ๊ณต๊ฐ. ์๋จ์ **์์ฑ ๋ชจ๋** ๋ผ๋์ค ์ ํ๊ธฐ: | |
| - Turbo/SFT ๋ชจ๋ธ: Simple, Custom, Remix, Repaint | |
| - Base ๋ชจ๋ธ: Simple, Custom, Remix, Repaint, Extract, Lego, Complete | |
| 3. **๊ฒฐ๊ณผ ์น์ ** - ์์ฑ๋ ์ค๋์ค ์ฌ์, ์ค์ฝ์ด๋ง, ๋ฐฐ์น ๋ด๋น๊ฒ์ด์ | |
| 4. **ํ์ต ํญ** - ๋ฐ์ดํฐ์ ๋น๋ ๋ฐ LoRA ํ์ต | |
| --- | |
| ## ์๋น์ค ์ค์ | |
| ### ๋ชจ๋ธ ์ ํ | |
| | ์ค์ | ์ค๋ช | | |
| |------|------| | |
| | **์ฒดํฌํฌ์ธํธ ํ์ผ** | ํ์ต๋ ๋ชจ๋ธ ์ฒดํฌํฌ์ธํธ ์ ํ (์ฌ์ฉ ๊ฐ๋ฅํ ๊ฒฝ์ฐ) | | |
| | **๋ฉ์ธ ๋ชจ๋ธ ๊ฒฝ๋ก** | DiT ๋ชจ๋ธ ์ค์ ์ ํ (์: `acestep-v15-turbo`, `acestep-v15-turbo-shift3`) | | |
| | **๋๋ฐ์ด์ค** | ์ฒ๋ฆฌ ๋๋ฐ์ด์ค: `auto` (๊ถ์ฅ), `cuda`, ๋๋ `cpu` | | |
| ### 5Hz LM ์ค์ | |
| | ์ค์ | ์ค๋ช | | |
| |------|------| | |
| | **5Hz LM ๋ชจ๋ธ ๊ฒฝ๋ก** | ์ธ์ด ๋ชจ๋ธ ์ ํ. **์ฌ์ฉ ๊ฐ๋ฅํ ๋ชจ๋ธ์ GPU ํฐ์ด์ ๋ฐ๋ผ ์๋ ํํฐ๋ง** โ ์: 6-8GB GPU๋ 0.6B๋ง, 24GB+ GPU๋ ๋ชจ๋ ํฌ๊ธฐ(0.6B, 1.7B, 4B) ํ์. | | |
| | **5Hz LM ๋ฐฑ์๋** | `vllm` (๋ ๋น ๋ฆ, VRAM โฅ8GB NVIDIA GPU ๊ถ์ฅ), `pt` (PyTorch, ๋ฒ์ฉ ํด๋ฐฑ), ๋๋ `mlx` (Apple Silicon). **VRAM <8GB GPU์์๋ `pt`/`mlx`๋ก ์ ํ** (vllm์ KV ์บ์๊ฐ ๋ฉ๋ชจ๋ฆฌ๋ฅผ ๊ณผ๋ํ๊ฒ ์ฌ์ฉํ๋ฏ๋ก). | | |
| | **5Hz LM ์ด๊ธฐํ** | ์ด๊ธฐํ ์ LM์ ๋ก๋ํ๋ ค๋ฉด ์ฒดํฌ (thinking ๋ชจ๋์ ํ์). **VRAM โค6GB GPU(Tier 1-2)์์ ๊ธฐ๋ณธ์ ์ผ๋ก ์ฒดํฌ ํด์ ๋ฐ ๋นํ์ฑํ.** | | |
| > **์ ์ํ ๊ธฐ๋ณธ๊ฐ**: ๋ชจ๋ LM ์ค์ ์ GPU์ VRAM ํฐ์ด์ ๋ฐ๋ผ ์๋ ๊ตฌ์ฑ๋ฉ๋๋ค. ๊ถ์ฅ LM ๋ชจ๋ธ, ๋ฐฑ์๋, ์ด๊ธฐํ ์ํ๊ฐ ์ต์ ์ฑ๋ฅ์ ์ํด ์ฌ์ ์ค์ ๋ฉ๋๋ค. ์๋์ผ๋ก ๋ณ๊ฒฝํ ์ ์์ง๋ง, GPU์ ํธํ๋์ง ์๋ ์ ํ ์ ์์คํ ์ด ๊ฒฝ๊ณ ๋ฅผ ํ์ํฉ๋๋ค. | |
| ### ์ฑ๋ฅ ์ต์ | |
| | ์ค์ | ์ค๋ช | | |
| |------|------| | |
| | **Flash Attention ์ฌ์ฉ** | ๋ ๋น ๋ฅธ ์ถ๋ก ์ ์ํด ํ์ฑํ (flash_attn ํจํค์ง ํ์) | | |
| | **CPU๋ก ์คํ๋ก๋** | ์ ํด ์ ๋ชจ๋ธ์ CPU๋ก ์คํ๋ก๋ํ์ฌ GPU ๋ฉ๋ชจ๋ฆฌ ์ ์ฝ. **VRAM <20GB GPU์์ ์๋ ํ์ฑํ.** | | |
| | **DiT๋ฅผ CPU๋ก ์คํ๋ก๋** | DiT ๋ชจ๋ธ์ ํน๋ณํ CPU๋ก ์คํ๋ก๋. **VRAM <12GB GPU์์ ์๋ ํ์ฑํ.** | | |
| | **INT8 ์์ํ** | INT8 ๊ฐ์ค์น ์์ํ๋ก ๋ชจ๋ธ VRAM ์ฌ์ฉ๋ ๊ฐ์. **VRAM <20GB GPU์์ ์๋ ํ์ฑํ.** | | |
| | **๋ชจ๋ธ ์ปดํ์ผ** | ์ต์ ํ๋ ์ถ๋ก ์ ์ํด `torch.compile` ํ์ฑํ. **๋ชจ๋ ํฐ์ด์์ ๊ธฐ๋ณธ ํ์ฑํ** (์์ํ ํ์ฑ ์ ํ์). | | |
| > **ํฐ์ด ์ธ์ ์ค์ **: ์คํ๋ก๋, ์์ํ, ์ปดํ์ผ ์ต์ ์ GPU ํฐ์ด์ ๋ฐ๋ผ ์๋ ์ค์ ๋ฉ๋๋ค. ์ ์ฒด ํฐ์ด ํ ์ด๋ธ์ [GPU_COMPATIBILITY.md](../ko/GPU_COMPATIBILITY.md)๋ฅผ ์ฐธ์กฐํ์ธ์. | |
| ### LoRA ์ด๋ํฐ | |
| | ์ค์ | ์ค๋ช | | |
| |------|------| | |
| | **LoRA ๊ฒฝ๋ก** | ํ์ต๋ LoRA ์ด๋ํฐ ๋๋ ํ ๋ฆฌ ๊ฒฝ๋ก | | |
| | **LoRA ๋ก๋** | ์ง์ ๋ LoRA ์ด๋ํฐ ๋ก๋ | | |
| | **์ธ๋ก๋** | ํ์ฌ ๋ก๋๋ LoRA ์ ๊ฑฐ | | |
| | **LoRA ์ฌ์ฉ** | ์ถ๋ก ์ฉ ๋ก๋๋ LoRA ํ์ฑํ/๋นํ์ฑํ | | |
| > **โ ๏ธ ์ฐธ๊ณ :** PEFT์ TorchAO ๊ฐ ํธํ์ฑ ๋ฌธ์ ๋ก ์์ํ๋ ๋ชจ๋ธ์ LoRA ์ด๋ํฐ๋ฅผ ๋ก๋ํ ์ ์์ต๋๋ค. LoRA๋ฅผ ์ฌ์ฉํด์ผ ํ๋ ๊ฒฝ์ฐ ์ด๋ํฐ๋ฅผ ๋ก๋ํ๊ธฐ ์ ์ **INT8 ์์ํ**๋ฅผ **None**์ผ๋ก ์ค์ ํ์ธ์. | |
| ### ์ด๊ธฐํ | |
| **์๋น์ค ์ด๊ธฐํ**๋ฅผ ํด๋ฆญํ์ฌ ๋ชจ๋ธ์ ๋ก๋ํฉ๋๋ค. ์ํ ๋ฐ์ค์ ๋ค์์ ํฌํจํ ์งํ ์ํฉ๊ณผ ํ์ธ์ด ํ์๋ฉ๋๋ค: | |
| - ๊ฐ์ง๋ GPU ํฐ์ด ๋ฐ VRAM | |
| - ์ต๋ ํ์ฉ ์๊ฐ ๋ฐ ๋ฐฐ์น ํฌ๊ธฐ (LM ์ด๊ธฐํ ์ฌ๋ถ์ ๋ฐ๋ผ ๋์ ์กฐ์ ) | |
| - ์๋ ์์ ๋ ํธํ๋์ง ์๋ ์ค์ ์ ๋ํ ๊ฒฝ๊ณ | |
| ์ด๊ธฐํ ํ **์ค๋์ค ์๊ฐ** ๋ฐ **๋ฐฐ์น ํฌ๊ธฐ** ์ฌ๋ผ์ด๋๊ฐ ํฐ์ด ์ ํ์ ๋ฐ์ํ๋๋ก ์๋ ์ ๋ฐ์ดํธ๋ฉ๋๋ค. | |
| --- | |
| ## ์์ฑ ๋ชจ๋ | |
| ์์ฑ ํญ ์๋จ์ **์์ฑ ๋ชจ๋** ๋ผ๋์ค ์ ํ๊ธฐ๊ฐ ์ํฌํ๋ก๋ฅผ ๊ฒฐ์ ํฉ๋๋ค. Turbo ๋ฐ SFT ๋ชจ๋ธ์ 4๊ฐ์ง ๋ชจ๋๋ฅผ ์ ๊ณตํ๊ณ , Base ๋ชจ๋ธ์ 3๊ฐ์ง๋ฅผ ์ถ๊ฐ๋ก ์ ๊ณตํฉ๋๋ค. | |
| ### Simple ๋ชจ๋ | |
| ๋น ๋ฅธ ์์ฐ์ด ๊ธฐ๋ฐ ์์ ์์ฑ์ ์ํด ์ค๊ณ๋์์ต๋๋ค. | |
| **์ฌ์ฉ ๋ฐฉ๋ฒ:** | |
| 1. ์์ฑ ๋ชจ๋์์ **Simple** ์ ํ | |
| 2. "๊ณก ์ค๋ช " ํ๋์ ์์ฐ์ด ์ค๋ช ์ ๋ ฅ | |
| 3. ๋ณด์ปฌ์ด ํ์ ์์ผ๋ฉด "์ธ์คํธ๋ฃจ๋ฉํ" ์ต์ ์ฒดํฌ | |
| 4. ์ ํธํ๋ ๋ณด์ปฌ ์ธ์ด ์ต์ ์ ํ | |
| 5. **์ํ ์์ฑ** ํด๋ฆญํ์ฌ caption, ๊ฐ์ฌ, ๋ฉํ๋ฐ์ดํฐ ์์ฑ | |
| 6. ํ์ฅ๋ ์น์ ์์ ์์ฑ๋ ์ฝํ ์ธ ํ์ธ | |
| 7. **์์ ์์ฑ** ํด๋ฆญํ์ฌ ์ค๋์ค ์์ฑ | |
| **์ค๋ช ์์:** | |
| - "์กฐ์ฉํ ์ ๋ ์ ์ํ ๋ถ๋๋ฌ์ด ๋ฒต๊ณจ ๋ฌ๋ธ์ก" | |
| - "๊ฐ๋ ฌํ ๋ฒ ์ด์ค ๋๋กญ์ด ์๋ ์ ๋นํธ ์ผ๋ ํธ๋ก๋ ๋์ค ๋ฎค์ง" | |
| - "์ด์ฟ ์คํฑ ๊ธฐํ์ ๋ฉ๋์ฝ๋ฆฌํ ์ธ๋ ํฌํฌ" | |
| - "์ฐ๊ธฐ ์์ฑํ ๋ฐ์์ ์ฐ์ฃผํ๋ ์ฌ์ฆ ํธ๋ฆฌ์ค" | |
| **๋๋ค ์ํ:** ๐ฒ ๋ฒํผ์ ํด๋ฆญํ์ฌ ๋๋ค ์์ ์ค๋ช ์ ๋ก๋ํฉ๋๋ค. | |
| ### Custom ๋ชจ๋ | |
| ๋ชจ๋ ์์ฑ ํ๋ผ๋ฏธํฐ๋ฅผ ์์ ํ ์ ์ดํฉ๋๋ค (text2music). | |
| **์ฌ์ฉ ๋ฐฉ๋ฒ:** | |
| 1. ์์ฑ ๋ชจ๋์์ **Custom** ์ ํ | |
| 2. Caption๊ณผ ๊ฐ์ฌ ํ๋๋ฅผ ์๋์ผ๋ก ์ ๋ ฅ | |
| 3. ์ต์ ์ผ๋ก ์ฐธ์กฐ ์ค๋์ค๋ฅผ ์ ๋ก๋ํ์ฌ ์คํ์ผ ๊ฐ์ด๋์ค | |
| 4. ์ต์ ๋ฉํ๋ฐ์ดํฐ ์ค์ (BPM, ํค, ์๊ฐ ๋ฑ) | |
| 5. ์ต์ ์ผ๋ก **ํฌ๋งท** ํด๋ฆญํ์ฌ LM์ผ๋ก ์ ๋ ฅ ํฅ์ | |
| 6. ํ์์ ๋ฐ๋ผ ๊ณ ๊ธ ์ค์ ๊ตฌ์ฑ | |
| 7. **์์ ์์ฑ** ํด๋ฆญํ์ฌ ์ค๋์ค ์์ฑ | |
| ### Remix ๋ชจ๋ | |
| ๊ธฐ์กด ์ค๋์ค์ ๋ฉ๋ก๋ ๊ตฌ์กฐ๋ฅผ ์ ์งํ๋ฉด์ ์คํ์ผ์ ๋ณ๊ฒฝํฉ๋๋ค. | |
| **์ฌ์ฉ ๋ฐฉ๋ฒ:** | |
| 1. ์์ฑ ๋ชจ๋์์ **Remix** ์ ํ | |
| 2. ์์ค ์ค๋์ค ์ ๋ก๋ (๋ฆฌ๋ฏน์คํ ๊ณก) | |
| 3. ํ๊ฒ ์คํ์ผ์ ์ค๋ช ํ๋ Caption ์์ฑ | |
| 4. ์ต์ ์ผ๋ก ๊ฐ์ฌ ์์ | |
| 5. **Remix ๊ฐ๋** (0.0-1.0) ์กฐ์ : ๋์์๋ก = ์๋ณธ ๊ตฌ์กฐ์ ๊ฐ๊น์ | |
| 6. **์์ ์์ฑ** ํด๋ฆญ | |
| **์ฉ๋:** ์ปค๋ฒ ๋ฒ์ ์์ฑ, ์คํ์ผ ์ ์ด, ๊ณก ๋ณํ ์์ฑ. | |
| ### Repaint ๋ชจ๋ | |
| ์ค๋์ค์ ํน์ ์๊ฐ ๊ตฌ๊ฐ์ ์ฌ์์ฑํ๊ณ ๋๋จธ์ง๋ ์ ์งํฉ๋๋ค. | |
| **์ฌ์ฉ ๋ฐฉ๋ฒ:** | |
| 1. ์์ฑ ๋ชจ๋์์ **Repaint** ์ ํ | |
| 2. ์์ค ์ค๋์ค ์ ๋ก๋ | |
| 3. **๋ฆฌํ์ธํธ ์์**๊ณผ **๋ฆฌํ์ธํธ ๋** ์ค์ (์ด; -1์ ํ์ผ ๋) | |
| 4. ๋ฆฌํ์ธํธ ์น์ ์ ์ํ๋ ์ฝํ ์ธ ๋ฅผ ์ค๋ช ํ๋ Caption ์์ฑ | |
| 5. **์์ ์์ฑ** ํด๋ฆญ | |
| **์ฉ๋:** ๋ฌธ์ ์๋ ์น์ ์์ , ๊ตฌ๊ฐ ๋ด ๊ฐ์ฌ ๋ณ๊ฒฝ, ๊ณก ์ฐ์ฅ. | |
| ### Extract ๋ชจ๋ (Base ๋ชจ๋ธ ์ ์ฉ) | |
| ๋ฏน์ค๋ ์ค๋์ค์์ ํน์ ์ ๊ธฐ ํธ๋์ ์ถ์ถ/๋ถ๋ฆฌํฉ๋๋ค. | |
| **์ฌ์ฉ ๋ฐฉ๋ฒ:** | |
| 1. ์์ฑ ๋ชจ๋์์ **Extract** ์ ํ | |
| 2. ์์ค ์ค๋์ค ์ ๋ก๋ | |
| 3. ๋๋กญ๋ค์ด์์ ์ถ์ถํ **ํธ๋ ์ด๋ฆ** ์ ํ | |
| 4. **์์ ์์ฑ** ํด๋ฆญ | |
| **์ฌ์ฉ ๊ฐ๋ฅํ ํธ๋:** vocals, backing_vocals, drums, bass, guitar, keyboard, percussion, strings, synth, fx, brass, woodwinds | |
| ### Lego ๋ชจ๋ (Base ๋ชจ๋ธ ์ ์ฉ) | |
| ๊ธฐ์กด ์ค๋์ค์ ์๋ก์ด ์ ๊ธฐ ํธ๋์ ์ถ๊ฐํฉ๋๋ค. | |
| **์ฌ์ฉ ๋ฐฉ๋ฒ:** | |
| 1. ์์ฑ ๋ชจ๋์์ **Lego** ์ ํ | |
| 2. ์์ค ์ค๋์ค ์ ๋ก๋ | |
| 3. ๋๋กญ๋ค์ด์์ ์ถ๊ฐํ **ํธ๋ ์ด๋ฆ** ์ ํ | |
| 4. ํธ๋ ํน์ฑ์ ์ค๋ช ํ๋ Caption ์์ฑ | |
| 5. **์์ ์์ฑ** ํด๋ฆญ | |
| ### Complete ๋ชจ๋ (Base ๋ชจ๋ธ ์ ์ฉ) | |
| ์ง์ ๋ ์ ๊ธฐ๋ก ๋ถ๋ถ์ ์ธ ํธ๋์ ์์ฑํฉ๋๋ค (์๋ ํธ๊ณก). | |
| **์ฌ์ฉ ๋ฐฉ๋ฒ:** | |
| 1. ์์ฑ ๋ชจ๋์์ **Complete** ์ ํ | |
| 2. ์์ค ์ค๋์ค ์ ๋ก๋ | |
| 3. ์ถ๊ฐํ ์ฌ๋ฌ **ํธ๋ ์ด๋ฆ** ์ ํ | |
| 4. ์ํ๋ ์คํ์ผ์ ์ค๋ช ํ๋ Caption ์์ฑ | |
| 5. **์์ ์์ฑ** ํด๋ฆญ | |
| --- | |
| ## ์ ๋ ฅ ํ๋ผ๋ฏธํฐ | |
| ### ์ค๋์ค ์ ๋ ฅ | |
| | ํ๋ | ์ค๋ช | | |
| |------|------| | |
| | **์ฐธ์กฐ ์ค๋์ค** | ์คํ์ผ/์์ ๊ฐ์ด๋์ค๋ฅผ ์ํ ์ต์ ์ค๋์ค (Custom ๋ชจ๋์์ ํ์) | | |
| | **์์ค ์ค๋์ค** | Remix, Repaint, Extract, Lego, Complete ๋ชจ๋์ ํ์ | | |
| | **์ฝ๋๋ก ๋ณํ** | ์์ค ์ค๋์ค์์ 5Hz ์๋งจํฑ ์ฝ๋ ์ถ์ถ | | |
| #### LM ์ฝ๋ ํํธ (Custom ๋ชจ๋) | |
| ์ฌ์ ๊ณ์ฐ๋ ์ค๋์ค ์๋งจํฑ ์ฝ๋๋ฅผ ์ฌ๊ธฐ์ ๋ถ์ฌ๋ฃ์ด ์์ฑ์ ๊ฐ์ด๋ํ ์ ์์ต๋๋ค. **ํธ๋์คํฌ๋ผ์ด๋ธ** ๋ฒํผ์ ์ฌ์ฉํ์ฌ ์ฝ๋๋ฅผ ๋ถ์ํ๊ณ ๋ฉํ๋ฐ์ดํฐ๋ฅผ ์ถ์ถํฉ๋๋ค. ์์ค ์ค๋์ค ์ ๋ก๋ ์์ด ๋ฉ๋ก๋ ๊ตฌ์กฐ๋ฅผ ์ ์ดํ๊ธฐ ์ํ ๊ณ ๊ธ ๊ธฐ๋ฅ์ ๋๋ค. | |
| ### ์์ Caption | |
| ์ํ๋ ์์ ์ ํ ์คํธ ์ค๋ช . ๋ค์์ ๋ํด ๊ตฌ์ฒด์ ์ผ๋ก ์์ฑ: | |
| - ์ฅ๋ฅด์ ์คํ์ผ | |
| - ์ ๊ธฐ | |
| - ๋ถ์๊ธฐ์ ๋๋ | |
| - ํ ํฌ ๋๋ (BPM์ ์ง์ ํ์ง ์๋ ๊ฒฝ์ฐ) | |
| **์์:** "์ผ๋ ๊ธฐํ, ๊ฐ๋ ฌํ ๋๋ผ, ์บ์นํ ์ ์ค ํ ์ด ์๋ ์ ๋นํธ ํ ๋ก" | |
| ๐ฒ๋ฅผ ํด๋ฆญํ์ฌ ๋๋ค ์์ caption์ ๋ก๋ํฉ๋๋ค. | |
| ### ๊ฐ์ฌ | |
| ๊ตฌ์กฐ ํ๊ทธ๊ฐ ํฌํจ๋ ๊ฐ์ฌ๋ฅผ ์ ๋ ฅ: | |
| ``` | |
| [Verse 1] | |
| ์ค๋ ๊ฑฐ๋ฆฌ๋ฅผ ๊ฑธ์ผ๋ฉฐ | |
| ๋ค๊ฐ ํ๋ ๋ง๋ค์ ๋ ์ฌ๋ ธ์ด | |
| [Chorus] | |
| ๋๋ ์์ผ๋ก ๋์๊ฐ, ๊ฐํ๊ฒ ์์ | |
| ์ฌ๊ธฐ๊ฐ ๋ด ์๋ฆฌ์ผ | |
| [Verse 2] | |
| ... | |
| ``` | |
| **์ธ์คํธ๋ฃจ๋ฉํ ์ฒดํฌ๋ฐ์ค:** ๊ฐ์ฌ ๋ด์ฉ์ ๊ด๊ณ์์ด ์ธ์คํธ๋ฃจ๋ฉํ ์์ ์ ์์ฑํ๋ ค๋ฉด ์ฒดํฌํฉ๋๋ค. | |
| **๋ณด์ปฌ ์ธ์ด:** ๋ณด์ปฌ ์ธ์ด๋ฅผ ์ ํํฉ๋๋ค. ์๋ ๊ฐ์ง ๋๋ ์ธ์คํธ๋ฃจ๋ฉํ ํธ๋์๋ "unknown"์ ์ฌ์ฉํฉ๋๋ค. | |
| **ํฌ๋งท ๋ฒํผ:** 5Hz LM์ ์ฌ์ฉํ์ฌ caption๊ณผ ๊ฐ์ฌ๋ฅผ ํฅ์์ํค๋ ค๋ฉด ํด๋ฆญํฉ๋๋ค. | |
| ### ์ต์ ํ๋ผ๋ฏธํฐ | |
| | ํ๋ผ๋ฏธํฐ | ๊ธฐ๋ณธ๊ฐ | ์ค๋ช | | |
| |----------|--------|------| | |
| | **BPM** | ์๋ | ๋ถ๋น ๋นํธ ์ (30-300) | | |
| | **ํค ์ค์ผ์ผ** | ์๋ | ์์ ํค (์: "C Major", "Am", "F# minor") | | |
| | **๋ฐ์ ๊ธฐํธ** | ์๋ | ๋ฐ์ ๊ธฐํธ: 2 (2/4), 3 (3/4), 4 (4/4), 6 (6/8) | | |
| | **์ค๋์ค ์๊ฐ** | ์๋/-1 | ๋ชฉํ ๊ธธ์ด(์ด) (10-600). -1์ ์๋ | | |
| | **๋ฐฐ์น ํฌ๊ธฐ** | 2 | ์์ฑํ ์ค๋์ค ๋ณํ ์ (1-8) | | |
| --- | |
| ## ๊ณ ๊ธ ์ค์ | |
| ### DiT ํ๋ผ๋ฏธํฐ | |
| | ํ๋ผ๋ฏธํฐ | ๊ธฐ๋ณธ๊ฐ | ์ค๋ช | | |
| |----------|--------|------| | |
| | **์ถ๋ก ์คํ ** | 8 | ๋๋ ธ์ด์ง ์คํ . Turbo: 1-20, Base: 1-200 | | |
| | **๊ฐ์ด๋์ค ์ค์ผ์ผ** | 7.0 | CFG ๊ฐ๋ (base ๋ชจ๋ธ๋ง). ๋์์๋ก = ํ๋กฌํํธ๋ฅผ ๋ ๋ฐ๋ฆ | | |
| | **์๋** | -1 | ๋๋ค ์๋. ๋ฐฐ์น์๋ ์ผํ๋ก ๊ตฌ๋ถ๋ ๊ฐ ์ฌ์ฉ | | |
| | **๋๋ค ์๋** | โ | ์ฒดํฌ ์ ๋๋ค ์๋ ์์ฑ | | |
| | **์ค๋์ค ํ์** | mp3 | ์ถ๋ ฅ ํ์: mp3, flac | | |
| | **์ํํธ** | 3.0 | ํ์์คํ ์ํํธ ๊ณ์ (1.0-5.0). turbo์ 3.0 ๊ถ์ฅ | | |
| | **์ถ๋ก ๋ฐฉ๋ฒ** | ode | ode (Euler, ๋ ๋น ๋ฆ) ๋๋ sde (ํ๋ฅ ์ ) | | |
| | **์ปค์คํ ํ์์คํ ** | - | ํ์์คํ ์ค๋ฒ๋ผ์ด๋ (์: "0.97,0.76,0.615,0.5,0.395,0.28,0.18,0.085,0") | | |
| ### Base ๋ชจ๋ธ ์ ์ฉ ํ๋ผ๋ฏธํฐ | |
| | ํ๋ผ๋ฏธํฐ | ๊ธฐ๋ณธ๊ฐ | ์ค๋ช | | |
| |----------|--------|------| | |
| | **ADG ์ฌ์ฉ** | โ | ๋ ๋์ ํ์ง์ ์ํด ์ ์ํ ๋์ผ ๊ฐ์ด๋์ค ํ์ฑํ | | |
| | **CFG ๊ตฌ๊ฐ ์์** | 0.0 | CFG ์ ์ฉ ์์ ์์ (0.0-1.0) | | |
| | **CFG ๊ตฌ๊ฐ ๋** | 1.0 | CFG ์ ์ฉ ์ข ๋ฃ ์์ (0.0-1.0) | | |
| ### LM ํ๋ผ๋ฏธํฐ | |
| | ํ๋ผ๋ฏธํฐ | ๊ธฐ๋ณธ๊ฐ | ์ค๋ช | | |
| |----------|--------|------| | |
| | **LM ์จ๋** | 0.85 | ์ํ๋ง ์จ๋ (0.0-2.0). ๋์์๋ก = ๋ ์ฐฝ์์ | | |
| | **LM CFG ์ค์ผ์ผ** | 2.0 | LM ๊ฐ์ด๋์ค ๊ฐ๋ (1.0-3.0) | | |
| | **LM Top-K** | 0 | Top-K ์ํ๋ง. 0์ด๋ฉด ๋นํ์ฑํ | | |
| | **LM Top-P** | 0.9 | ํต ์ํ๋ง (0.0-1.0) | | |
| | **LM ๋ค๊ฑฐํฐ๋ธ ํ๋กฌํํธ** | "NO USER INPUT" | CFG์ฉ ๋ค๊ฑฐํฐ๋ธ ํ๋กฌํํธ | | |
| ### CoT (์ฌ๊ณ ์ ์ฐ์) ์ต์ | |
| | ์ต์ | ๊ธฐ๋ณธ๊ฐ | ์ค๋ช | | |
| |------|--------|------| | |
| | **CoT Metas** | โ | LM ์ถ๋ก ์ ํตํด ๋ฉํ๋ฐ์ดํฐ ์์ฑ | | |
| | **CoT Language** | โ | LM์ผ๋ก ๋ณด์ปฌ ์ธ์ด ๊ฐ์ง | | |
| | **์ ์ฝ ๋์ฝ๋ฉ ๋๋ฒ๊ทธ** | โ | ๋๋ฒ๊ทธ ๋ก๊น ํ์ฑํ | | |
| ### ์์ฑ ์ต์ | |
| | ์ต์ | ๊ธฐ๋ณธ๊ฐ | ์ค๋ช | | |
| |------|--------|------| | |
| | **LM ์ฝ๋ ๊ฐ๋** | 1.0 | LM ์ฝ๋๊ฐ ์์ฑ์ ๋ฏธ์น๋ ์ํฅ์ ๊ฐ๋ (0.0-1.0) | | |
| | **์๋ ์ค์ฝ์ด** | โ | ํ์ง ์ค์ฝ์ด ์๋ ๊ณ์ฐ | | |
| | **์๋ LRC** | โ | ๊ฐ์ฌ ํ์์คํฌํ ์๋ ์์ฑ | | |
| | **LM ๋ฐฐ์น ์ฒญํฌ ํฌ๊ธฐ** | 8 | LM ๋ฐฐ์น๋น ์ต๋ ํญ๋ชฉ ์ (GPU ๋ฉ๋ชจ๋ฆฌ) | | |
| ### ๋ฉ์ธ ์์ฑ ์ปจํธ๋กค | |
| | ์ปจํธ๋กค | ์ค๋ช | | |
| |--------|------| | |
| | **Think** | ์ฝ๋ ์์ฑ ๋ฐ ๋ฉํ๋ฐ์ดํฐ๋ฅผ ์ํ 5Hz LM ํ์ฑํ | | |
| | **ParallelThinking** | ๋ณ๋ ฌ LM ๋ฐฐ์น ์ฒ๋ฆฌ ํ์ฑํ | | |
| | **CaptionRewrite** | LM์ด ์ ๋ ฅ caption์ ํฅ์์ํค๋๋ก ํจ | | |
| | **AutoGen** | ์๋ฃ ํ ๋ค์ ๋ฐฐ์น ์๋ ์์ | | |
| --- | |
| ## ๊ฒฐ๊ณผ ์น์ | |
| ### ์์ฑ๋ ์ค๋์ค | |
| ๋ฐฐ์น ํฌ๊ธฐ์ ๋ฐ๋ผ ์ต๋ 8๊ฐ์ ์ค๋์ค ์ํ์ด ํ์๋ฉ๋๋ค. ๊ฐ ์ํ์๋ ๋ค์์ด ํฌํจ๋ฉ๋๋ค: | |
| - **์ค๋์ค ํ๋ ์ด์ด** - ์์ฑ๋ ์ค๋์ค ์ฌ์, ์ผ์ ์ ์ง, ๋ค์ด๋ก๋ | |
| - **์์ค๋ก ์ ์ก** - ์ด ์ค๋์ค๋ฅผ ์์ค ์ค๋์ค ์ ๋ ฅ์ผ๋ก ์ ์กํ์ฌ ์ถ๊ฐ ์ฒ๋ฆฌ | |
| - **์ ์ฅ** - ์ค๋์ค์ ๋ฉํ๋ฐ์ดํฐ๋ฅผ JSON ํ์ผ๋ก ์ ์ฅ | |
| - **์ค์ฝ์ด** - ํผํ๋ ์ํฐ ๊ธฐ๋ฐ ํ์ง ์ค์ฝ์ด ๊ณ์ฐ | |
| - **LRC** - ๊ฐ์ฌ ํ์์คํฌํ ์์ฑ (LRC ํ์) | |
| ### ์์ธ ์์ฝ๋์ธ | |
| "Score & LRC & LM Codes"๋ฅผ ํด๋ฆญํ์ฌ ํ์ฅํ๊ณ ๋ค์์ ํ์ธ: | |
| - **LM ์ฝ๋** - ์ด ์ํ์ 5Hz ์๋งจํฑ ์ฝ๋ | |
| - **ํ์ง ์ค์ฝ์ด** - ํผํ๋ ์ํฐ ๊ธฐ๋ฐ ํ์ง ๋ฉํธ๋ฆญ | |
| - **๊ฐ์ฌ ํ์์คํฌํ** - LRC ํ์ ํ์ด๋ฐ ๋ฐ์ดํฐ | |
| ### ๋ฐฐ์น ๋ด๋น๊ฒ์ด์ | |
| | ์ปจํธ๋กค | ์ค๋ช | | |
| |--------|------| | |
| | **โ ์ด์ ** | ์ด์ ๋ฐฐ์น ๋ณด๊ธฐ | | |
| | **๋ฐฐ์น ์ธ๋์ผ์ดํฐ** | ํ์ฌ ๋ฐฐ์น ์์น ํ์ (์: "๋ฐฐ์น 1 / 3") | | |
| | **๋ค์ ๋ฐฐ์น ์ํ** | ๋ฐฑ๊ทธ๋ผ์ด๋ ์์ฑ ์งํ ์ํฉ ํ์ | | |
| | **๋ค์ โถ** | ๋ค์ ๋ฐฐ์น ๋ณด๊ธฐ (AutoGen์ด ์ผ์ ธ ์์ผ๋ฉด ์์ฑ ํธ๋ฆฌ๊ฑฐ) | | |
| ### ํ๋ผ๋ฏธํฐ ๋ณต์ | |
| **์ด ์ค์ ์ UI์ ์ ์ฉ**์ ํด๋ฆญํ์ฌ ํ์ฌ ๋ฐฐ์น์ ๋ชจ๋ ์์ฑ ํ๋ผ๋ฏธํฐ๋ฅผ ์ ๋ ฅ ํ๋๋ก ๋ณต์ํฉ๋๋ค. ์ข์ ๊ฒฐ๊ณผ๋ฅผ ๋ฐ๋ณตํ๋ ๋ฐ ์ ์ฉํฉ๋๋ค. | |
| ### ๋ฐฐ์น ๊ฒฐ๊ณผ | |
| "๋ฐฐ์น ๊ฒฐ๊ณผ ๋ฐ ์์ฑ ์์ธ" ์์ฝ๋์ธ์๋ ๋ค์์ด ํฌํจ๋ฉ๋๋ค: | |
| - **๋ชจ๋ ์์ฑ ํ์ผ** - ๋ชจ๋ ๋ฐฐ์น์ ๋ชจ๋ ํ์ผ ๋ค์ด๋ก๋ | |
| - **์์ฑ ์์ธ** - ์์ฑ ๊ณผ์ ์ ๋ํ ์์ธ ์ ๋ณด | |
| --- | |
| ## LoRA ํ์ต | |
| LoRA ํ์ต ํญ์ ์ปค์คํ LoRA ์ด๋ํฐ๋ฅผ ๋ง๋ค๊ธฐ ์ํ ๋๊ตฌ๋ฅผ ์ ๊ณตํฉ๋๋ค. | |
| > ๐ **์ ์ฒด ๋จ๊ณ๋ณ ์๋ด** (๋ฐ์ดํฐ ์ค๋น, ์ฃผ์, ์ ์ฒ๋ฆฌ, ํ์ต, ๋ด๋ณด๋ด๊ธฐ)๋ [LoRA ํ์ต ํํ ๋ฆฌ์ผ](./LoRA_Training_Tutorial.md)์ ์ฐธ์กฐํ์ธ์. | |
| ### ๋ฐ์ดํฐ์ ๋น๋ ํญ | |
| #### 1๋จ๊ณ: ๋ก๋ ๋๋ ์ค์บ | |
| **์ต์ A: ๊ธฐ์กด ๋ฐ์ดํฐ์ ๋ก๋** | |
| 1. ์ด์ ์ ์ ์ฅํ ๋ฐ์ดํฐ์ JSON ๊ฒฝ๋ก ์ ๋ ฅ | |
| 2. **๋ก๋** ํด๋ฆญ | |
| **์ต์ B: ์ ๋๋ ํ ๋ฆฌ ์ค์บ** | |
| 1. ์ค๋์ค ํด๋ ๊ฒฝ๋ก ์ ๋ ฅ | |
| 2. **์ค์บ** ํด๋ฆญํ์ฌ ์ค๋์ค ํ์ผ ๊ฒ์ (wav, mp3, flac, ogg, opus) | |
| #### 2๋จ๊ณ: ๋ฐ์ดํฐ์ ์ค์ | |
| | ์ค์ | ์ค๋ช | | |
| |------|------| | |
| | **๋ฐ์ดํฐ์ ์ด๋ฆ** | ๋ฐ์ดํฐ์ ์ด๋ฆ | | |
| | **๋ชจ๋ ์ธ์คํธ๋ฃจ๋ฉํ** | ๋ชจ๋ ํธ๋์ ๋ณด์ปฌ์ด ์๋ ๊ฒฝ์ฐ ์ฒดํฌ | | |
| | **์ปค์คํ ํ์ฑํ ํ๊ทธ** | ์ด LoRA์ ์คํ์ผ์ ํ์ฑํํ๋ ๊ณ ์ ํ๊ทธ | | |
| | **ํ๊ทธ ์์น** | ํ๊ทธ๋ฅผ ๋ฐฐ์นํ ์์น: ์์ ์ถ๊ฐ, ๋ค์ ์ถ๊ฐ, ๋๋ caption ๋์ฒด | | |
| #### 3๋จ๊ณ: ์๋ ๋ผ๋ฒจ๋ง | |
| **๋ชจ๋ ์๋ ๋ผ๋ฒจ๋ง**์ ํด๋ฆญํ์ฌ ๋ชจ๋ ์ค๋์ค ํ์ผ์ ๋ฉํ๋ฐ์ดํฐ๋ฅผ ์์ฑ: | |
| - Caption (์์ ์ค๋ช ) | |
| - BPM | |
| - ํค | |
| - ๋ฐ์ ๊ธฐํธ | |
| **๋ฉํ ๊ฑด๋๋ฐ๊ธฐ** ์ต์ ์ LLM ๋ผ๋ฒจ๋ง์ ๊ฑด๋๋ฐ๊ณ N/A ๊ฐ์ ์ฌ์ฉํฉ๋๋ค. | |
| #### 4๋จ๊ณ: ๋ฏธ๋ฆฌ๋ณด๊ธฐ ๋ฐ ํธ์ง | |
| ์ฌ๋ผ์ด๋๋ฅผ ์ฌ์ฉํ์ฌ ์ํ์ ์ ํํ๊ณ ์๋ ํธ์ง: | |
| - Caption | |
| - ๊ฐ์ฌ | |
| - BPM, ํค, ๋ฐ์ ๊ธฐํธ | |
| - ์ธ์ด | |
| - ์ธ์คํธ๋ฃจ๋ฉํ ํ๋๊ทธ | |
| **๋ณ๊ฒฝ ์ ์ฅ**์ ํด๋ฆญํ์ฌ ์ํ์ ์ ๋ฐ์ดํธํฉ๋๋ค. | |
| #### 5๋จ๊ณ: ๋ฐ์ดํฐ์ ์ ์ฅ | |
| ์ ์ฅ ๊ฒฝ๋ก๋ฅผ ์ ๋ ฅํ๊ณ **๋ฐ์ดํฐ์ ์ ์ฅ**์ ํด๋ฆญํ์ฌ JSON์ผ๋ก ๋ด๋ณด๋ ๋๋ค. | |
| #### 6๋จ๊ณ: ์ ์ฒ๋ฆฌ | |
| ๋น ๋ฅธ ํ์ต์ ์ํด ๋ฐ์ดํฐ์ ์ ์ฌ์ ๊ณ์ฐ ํ ์๋ก ๋ณํ: | |
| 1. ์ต์ ์ผ๋ก ๊ธฐ์กด ๋ฐ์ดํฐ์ JSON ๋ก๋ | |
| 2. ํ ์ ์ถ๋ ฅ ๋๋ ํ ๋ฆฌ ์ค์ | |
| 3. **์ ์ฒ๋ฆฌ** ํด๋ฆญ | |
| ์ด๊ฒ์ ์ค๋์ค๋ฅผ VAE ์ ์ฌ ๋ณ์๋ก ์ธ์ฝ๋ฉํ๊ณ , ํ ์คํธ๋ฅผ ์๋ฒ ๋ฉ์ผ๋ก ์ธ์ฝ๋ฉํ๋ฉฐ, ์กฐ๊ฑด ์ธ์ฝ๋๋ฅผ ์คํํฉ๋๋ค. | |
| ### LoRA ํ์ต ํญ | |
| #### ๋ฐ์ดํฐ์ ์ ํ | |
| ์ ์ฒ๋ฆฌ๋ ํ ์ ๋๋ ํ ๋ฆฌ ๊ฒฝ๋ก๋ฅผ ์ ๋ ฅํ๊ณ **๋ฐ์ดํฐ์ ๋ก๋**๋ฅผ ํด๋ฆญํฉ๋๋ค. | |
| #### LoRA ์ค์ | |
| | ์ค์ | ๊ธฐ๋ณธ๊ฐ | ์ค๋ช | | |
| |------|--------|------| | |
| | **LoRA ๋ญํฌ (r)** | 64 | LoRA์ ์ฉ๋. ๋์์๋ก = ๋ ๋ง์ ์ฉ๋, ๋ ๋ง์ ๋ฉ๋ชจ๋ฆฌ | | |
| | **LoRA ์ํ** | 128 | ์ค์ผ์ผ๋ง ๊ณ์ (์ผ๋ฐ์ ์ผ๋ก ๋ญํฌ์ 2๋ฐฐ) | | |
| | **LoRA ๋๋กญ์์** | 0.1 | ์ ๊ทํ๋ฅผ ์ํ ๋๋กญ์์ ๋น์จ | | |
| #### ํ์ต ํ๋ผ๋ฏธํฐ | |
| | ์ค์ | ๊ธฐ๋ณธ๊ฐ | ์ค๋ช | | |
| |------|--------|------| | |
| | **ํ์ต๋ฅ ** | 1e-4 | ์ต์ ํ ํ์ต๋ฅ | | |
| | **์ต๋ ์ํญ** | 500 | ์ต๋ ํ์ต ์ํญ | | |
| | **๋ฐฐ์น ํฌ๊ธฐ** | 1 | ํ์ต ๋ฐฐ์น ํฌ๊ธฐ | | |
| | **๊ทธ๋๋์ธํธ ๋์ ** | 1 | ์ ํจ ๋ฐฐ์น = batch_size ร accumulation | | |
| | **N ์ํญ๋ง๋ค ์ ์ฅ** | 200 | ์ฒดํฌํฌ์ธํธ ์ ์ฅ ๋น๋ | | |
| | **์ํํธ** | 3.0 | turbo ๋ชจ๋ธ์ ํ์์คํ ์ํํธ | | |
| | **์๋** | 42 | ์ฌํ์ฑ์ ์ํ ๋๋ค ์๋ | | |
| #### ํ์ต ์ปจํธ๋กค | |
| - **ํ์ต ์์** - ํ์ต ํ๋ก์ธ์ค ์์ | |
| - **ํ์ต ์ค์ง** - ํ์ต ์ค๋จ | |
| - **ํ์ต ์งํ** - ํ์ฌ ์ํญ๊ณผ ์์ค ํ์ | |
| - **ํ์ต ๋ก๊ทธ** - ์์ธ ํ์ต ์ถ๋ ฅ | |
| - **ํ์ต ์์ค ํ๋กฏ** - ์๊ฐ์ ์์ค ๊ณก์ | |
| #### LoRA ๋ด๋ณด๋ด๊ธฐ | |
| ํ์ต ํ ์ต์ข ์ด๋ํฐ๋ฅผ ๋ด๋ณด๋ ๋๋ค: | |
| 1. ๋ด๋ณด๋ด๊ธฐ ๊ฒฝ๋ก ์ ๋ ฅ | |
| 2. **LoRA ๋ด๋ณด๋ด๊ธฐ** ํด๋ฆญ | |
| --- | |
| ## ํ๊ณผ ๋ชจ๋ฒ ์ฌ๋ก | |
| ### ์ต๊ณ ํ์ง์ ์ํด | |
| 1. **thinking ๋ชจ๋ ์ฌ์ฉ** - LM ํฅ์ ์์ฑ์ ์ํด "Think" ์ฒดํฌ๋ฐ์ค๋ฅผ ํ์ฑํ ์ ์ง | |
| 2. **caption์ ๊ตฌ์ฒด์ ์ผ๋ก** - ์ฅ๋ฅด, ์ ๊ธฐ, ๋ถ์๊ธฐ, ์คํ์ผ ์ธ๋ถ ์ฌํญ ํฌํจ | |
| 3. **LM์ด ๋ฉํ๋ฐ์ดํฐ๋ฅผ ๊ฐ์งํ๋๋ก** - ์๋ ๊ฐ์ง๋ฅผ ์ํด BPM/ํค/์๊ฐ์ ๋น์ ๋ | |
| 4. **๋ฐฐ์น ์์ฑ ์ฌ์ฉ** - 2-4๊ฐ ๋ณํ์ ์์ฑํ๊ณ ์ต์ ์ ๊ฒ์ ์ ํ | |
| ### ๋ ๋น ๋ฅธ ์์ฑ์ ์ํด | |
| 1. **turbo ๋ชจ๋ธ ์ฌ์ฉ** - `acestep-v15-turbo` ๋๋ `acestep-v15-turbo-shift3` ์ ํ | |
| 2. **์ถ๋ก ์คํ ์ 8๋ก ์ ์ง** - turbo์ ์ต์ ์ธ ๊ธฐ๋ณธ๊ฐ | |
| 3. **๋ฐฐ์น ํฌ๊ธฐ ์ค์ด๊ธฐ** - ๋น ๋ฅธ ๊ฒฐ๊ณผ๊ฐ ํ์ํ๋ฉด ๋ฐฐ์น ํฌ๊ธฐ ๋ฎ์ถ๊ธฐ | |
| 4. **AutoGen ๋นํ์ฑํ** - ๋ฐฐ์น ์์ฑ์ ์๋ ์ ์ด | |
| ### ์ผ๊ด๋ ๊ฒฐ๊ณผ๋ฅผ ์ํด | |
| 1. **ํน์ ์๋ ์ค์ ** - "๋๋ค ์๋" ์ฒดํฌ ํด์ ํ ์๋ ๊ฐ ์ ๋ ฅ | |
| 2. **์ข์ ๊ฒฐ๊ณผ ์ ์ฅ** - ์ฌํ์ ์ํด ํ๋ผ๋ฏธํฐ๋ฅผ ๋ด๋ณด๋ด๋ ค๋ฉด "์ ์ฅ" ์ฌ์ฉ | |
| 3. **"์ด ์ค์ ์ ์ฉ" ์ฌ์ฉ** - ์ข์ ๋ฐฐ์น์์ ํ๋ผ๋ฏธํฐ ๋ณต์ | |
| ### ์ฅ์๊ฐ ์์ ์ ์ํด | |
| 1. **๋ช ์์ ์๊ฐ ์ค์ ** - ์ด ๋จ์๋ก ์๊ฐ ์ง์ | |
| 2. **Repaint ๋ชจ๋ ์ฌ์ฉ** - ์ด๊ธฐ ์์ฑ ํ ๋ฌธ์ ์๋ ์น์ ์์ | |
| 3. **์์ฑ ์ฒด์ธ** - "์์ค๋ก ์ ์ก"์ ์ฌ์ฉํ์ฌ ์ด์ ๊ฒฐ๊ณผ๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ๊ตฌ์ถ | |
| ### ์คํ์ผ ์ผ๊ด์ฑ์ ์ํด | |
| 1. **LoRA ํ์ต** - ์คํ์ผ์ ๋ง๋ ์ปค์คํ ์ด๋ํฐ ์์ฑ | |
| 2. **์ฐธ์กฐ ์ค๋์ค ์ฌ์ฉ** - ์ค๋์ค ์ ๋ก๋์์ ์คํ์ผ ์ฐธ์กฐ ์ ๋ก๋ | |
| 3. **์ผ๊ด๋ caption ์ฌ์ฉ** - ์ ์ฌํ ์ค๋ช ์ ์ธ์ด ์ ์ง | |
| ### ๋ฌธ์ ํด๊ฒฐ | |
| **์ค๋์ค๊ฐ ์์ฑ๋์ง ์์:** | |
| - ๋ชจ๋ธ์ด ์ด๊ธฐํ๋์๋์ง ํ์ธ (๋ น์ ์ํ ๋ฉ์์ง) | |
| - thinking ๋ชจ๋ ์ฌ์ฉ ์ 5Hz LM์ด ์ด๊ธฐํ๋์๋์ง ํ์ธ | |
| - ์ค๋ฅ ๋ฉ์์ง์ ๋ํ ์ํ ์ถ๋ ฅ ํ์ธ | |
| **๊ฒฐ๊ณผ ํ์ง์ด ๋ฎ์:** | |
| - ์ถ๋ก ์คํ ์ฆ๊ฐ (base ๋ชจ๋ธ์ ๊ฒฝ์ฐ) | |
| - ๊ฐ์ด๋์ค ์ค์ผ์ผ ์กฐ์ | |
| - ๋ค๋ฅธ ์๋ ์๋ | |
| - caption์ ๋ ๊ตฌ์ฒด์ ์ผ๋ก ์์ฑ | |
| **๋ฉ๋ชจ๋ฆฌ ๋ถ์กฑ (OOM):** | |
| - ์์คํ ์ ์๋ VRAM ๊ด๋ฆฌ (VRAM ๊ฐ๋, ์ ์ํ VAE ๋์ฝ๋, ์๋ ๋ฐฐ์น ์ถ์) ํฌํจ. ๊ทธ๋๋ OOM ๋ฐ์ ์: | |
| - ์๋์ผ๋ก ๋ฐฐ์น ํฌ๊ธฐ ์ค์ด๊ธฐ | |
| - CPU ์คํ๋ก๋ ํ์ฑํ (VRAM <20GB์์ ์๋ ํ์ฑํ๋์ด์ผ ํจ) | |
| - INT8 ์์ํ ํ์ฑํ (VRAM <20GB์์ ์๋ ํ์ฑํ๋์ด์ผ ํจ) | |
| - LM ๋ฐฐ์น ์ฒญํฌ ํฌ๊ธฐ ์ค์ด๊ธฐ | |
| **LM์ด ์๋ํ์ง ์์:** | |
| - ์ด๊ธฐํ ์ "5Hz LM ์ด๊ธฐํ"๊ฐ ์ฒดํฌ๋์๋์ง ํ์ธ (VRAM โค6GB GPU์์ ๊ธฐ๋ณธ ๋นํ์ฑํ) | |
| - ์ ํจํ LM ๋ชจ๋ธ ๊ฒฝ๋ก๊ฐ ์ ํ๋์๋์ง ํ์ธ (ํฐ์ด ํธํ ๋ชจ๋ธ๋ง ํ์) | |
| - vllm ๋๋ PyTorch ๋ฐฑ์๋๊ฐ ์ฌ์ฉ ๊ฐ๋ฅํ์ง ํ์ธ (VRAM <8GB์์ vllm ์ ํ) | |
| - LM ์ฒดํฌ๋ฐ์ค๊ฐ ํ์์ด๋ฉด GPU ํฐ์ด๊ฐ LM์ ์ง์ํ์ง ์์ โ DiT ์ ์ฉ ๋ชจ๋ ์ฌ์ฉ | |
| --- | |
| ## ํค๋ณด๋ ๋จ์ถํค | |
| Gradio ์ธํฐํ์ด์ค๋ ํ์ค ์น ๋จ์ถํค๋ฅผ ์ง์ํฉ๋๋ค: | |
| - **Tab** - ์ ๋ ฅ ํ๋ ๊ฐ ์ด๋ | |
| - **Enter** - ํ ์คํธ ์ ๋ ฅ ์ ์ถ | |
| - **Space** - ์ฒดํฌ๋ฐ์ค ํ ๊ธ | |
| --- | |
| ## ์ธ์ด ์ง์ | |
| ์ธํฐํ์ด์ค๋ ์ฌ๋ฌ UI ์ธ์ด๋ฅผ ์ง์ํฉ๋๋ค: | |
| - **์์ด** (en) | |
| - **์ค๊ตญ์ด** (zh) | |
| - **์ผ๋ณธ์ด** (ja) | |
| - **ํ๊ตญ์ด** (ko) | |
| ์๋น์ค ์ค์ ์น์ ์์ ์ ํธํ๋ ์ธ์ด๋ฅผ ์ ํํ์ธ์. | |
| --- | |
| ์์ธํ ๋ด์ฉ์ ๋ค์์ ์ฐธ์กฐํ์ธ์: | |
| - ๋ฉ์ธ README: [`../../README.md`](../../README.md) | |
| - REST API ๋ฌธ์: [`../en/API.md`](../en/API.md) | |
| - Python ์ถ๋ก API: [`../en/INFERENCE.md`](../en/INFERENCE.md) | |