metadata
license: llama3
LLaMA3 8B Instruct - Fine-Tuned Model
์ด ๋ชจ๋ธ์ LLaMA3 8B Instruct ๊ธฐ๋ฐ์ผ๋ก AIHub ๋ฐ์ดํฐ์
๊ณผ ์์ฒด ์ ์ํ ์ปค์คํ
๋ฐ์ดํฐ์
์ ํ์ฉํด ํ์ธํ๋ํ ๋ฒ์ ์
๋๋ค.
๋ฏผ๊ฐ ๋ฐ์ดํฐ๋ฅผ ํฌํจํ ์ ์์ผ๋ฏ๋ก ์ฌ์ฉ ์ ์ฃผ์๊ฐ ํ์ํฉ๋๋ค.
๐ Model Details
- Base Model: LLaMA3 8B Instruct
- Trainable Parameters: ์ ์ฒด ํ๋ผ๋ฏธํฐ์ ์ฝ 10%๋ง ํ์ต ๊ฐ๋ฅํ๋๋ก ์ค์ (LoRA, QLoRA ๋๋ ๊ธฐํ PEFT ๋ฐฉ์ ์ฌ์ฉ ๊ฐ๋ฅ)
- Fine-tuning Data:
- AIHub ๊ณต๊ฐ ๋ฐ์ดํฐ์
- ์์ฒด ์์ง ๋ฐ ๊ตฌ์ถํ ๋๋ฉ์ธ ํนํ ๋ฐ์ดํฐ
โ๏ธ Generation Configuration
| Parameter | Value |
|---|---|
max_new_tokens |
1024 |
temperature |
0.75 |
repetition_penalty |
1.1 ~ 1.2 |
do_sample |
True |
top_k |
5 |
โ ๏ธ ์ฃผ์์ฌํญ
- ์ด ๋ชจ๋ธ์ ํ์ต ๋ฐ์ดํฐ์ ๋ฏผ๊ฐ ์ ๋ณด๋ฅผ ํฌํจํ๊ณ ์์ ๊ฐ๋ฅ์ฑ์ด ์์ผ๋ฏ๋ก, ์ค์ ์๋น์ค๋ ์๋ต ํ์ฉ ์ ๋ฐ์ดํฐ ๋ณด์ ๋ฐ ํ๋ผ์ด๋ฒ์ ๋ณดํธ์ ์ ์ํด ์ฃผ์ธ์.