Update README.md
Browse files
README.md
CHANGED
|
@@ -82,7 +82,7 @@ Janet์ ๋งค์ผ ๋์ฐ๋ฌผ ์์ฅ์์ 18๋ฌ๋ฌ๋ฅผ ๋ฒ์ด๋ค์
๋๋ค. ์ด๋
|
|
| 82 |
2. [HyperCLOVAX-1.5B](https://huggingface.co/naver-hyperclovax/HyperCLOVAX-SEED-Text-Instruct-1.5B)์ CoT ํ๋กฌํํธ๋ฅผ ์ถ๊ฐ(user ์
๋ ฅ์)ํ ํ, **Pass@8** ์์ ํต๊ณผํ ์ง๋ฌธ๋ง ์ถ์ถ (10,433/54,832๊ฐ)
|
| 83 |
3. [HyperCLOVAX-1.5B](https://huggingface.co/naver-hyperclovax/HyperCLOVAX-SEED-Text-Instruct-1.5B)(+CoT)๋ก **32ํ ์ถ๊ฐ ์ถ๋ก ** ํ ์ ๋ต์ ๋งํ ๋ต๋ณ๋ง ์ถ์ถ + [Kanana-nano-2.1b](https://huggingface.co/kakaocorp/kanana-nano-2.1b-instruct)(+CoT)๋ก **32ํ ์ถ๊ฐ ์ถ๋ก ** ํ ์ ๋ต์ ๋งํ ๋ต๋ณ๋ง ์ถ์ถ
|
| 84 |
- HyperCLOVAX-1.5B CoT Prompt: ```"์ ์ ๊ฐ ์ต์ข
์ ์ผ๋ก ๊ตฌํ๊ณ ์ ํ๋ ๊ฐ์ด ๋ฌด์์ธ์ง ๋ค์ ํ ๋ฒ ์ ์ํ๊ณ , ๋ฌธ์ ์์ ์ ์๋ ์กฐ๊ฑด๋ ๊น๋ํ๊ฒ ์ ๋ฆฌํ์ฌ ์ฌ์์ฑํฉ๋๋ค. ๊ทธ๋ฆฌ๊ณ ๋์ ๋ต์ ๊ตฌํ๊ธฐ ์ํด ๊ตฌ์ฒด์ ์ผ๋ก ๋
ผ๋ฆฌ ๋ฐ ์์์ ์ ๊ฐํ๋ฉฐ ๋ฌธ์ ๋ฅผ ํผ ํ, ์ต์ข
๋ต๋ณ์ \\boxed{} ์์ ์์ฑํฉ๋๋ค.\n\n"```
|
| 85 |
-
- Kanana-2.1b CoT Prompt (๋ง์ง๋ง์ "์ ๋ชฉ ์์ด ๋ด์ฉ๋ง
|
| 86 |
|
| 87 |
#### ์ ๋ต์ ๋งํ ๋ต๋ณ ์ ๋ถํฌ
|
| 88 |
|
|
@@ -94,7 +94,7 @@ Janet์ ๋งค์ผ ๋์ฐ๋ฌผ ์์ฅ์์ 18๋ฌ๋ฌ๋ฅผ ๋ฒ์ด๋ค์
๋๋ค. ์ด๋
|
|
| 94 |
|
| 95 |
- 10,433๊ฐ ์ง๋ฌธ์ ๋ํ 38,037๊ฐ ๋ต๋ณ ๋ฐ์ดํฐ ์
|
| 96 |
- Axolotl๋ก ํ์ต (2x A40์์ 2์๊ฐ = 4 GPU Hours)
|
| 97 |
-
- CoT ํ๋กฌํํธ๋ฅผ ์ถ๊ฐํ๊ธด ํ์ผ๋, ํ๊ท ํ ํฐ ์๋ ์งง์(ํ๊ท 300ํ ํฐ ๋ฏธ๋ง)
|
| 98 |
|
| 99 |
<details><summary>axolotl config</summary>
|
| 100 |
|
|
@@ -187,6 +187,7 @@ deepspeed: ./deepspeed_configs/zero3_bf16.json
|
|
| 187 |
|
| 188 |
#### Least Similarity Sampling
|
| 189 |
- **ํ์ด๊ฐ ํ๋ ธ๋๋ฐ ๋ต๋ง ๋ง์ถ ๊ฒฝ์ฐ**๊ฐ ์๊ธฐ๋ฉด, ๋ค๋ฅธ ์ฌ๋ฐ๋ฅธ ํ์ด๋ค๊ณผ ๋ฎ์ ์ ์ฌ๋๋ฅผ ๊ฐ์ ธ ๊ฑฐ์ ํ์ ์ ์ผ๋ก ์ํ๋ง๋๋ ๋ฌธ์ ์์. ๋ณ๋ ํํฐ๋งํ์ง ์์.
|
|
|
|
| 190 |
|
| 191 |
### ์ถ๋ ฅ
|
| 192 |
- **ํ๊ท ์๋ต ๊ธธ์ด๊ฐ 753 token**(GSM8K ๊ธฐ์ค) ์ ๋๋ก, reasoning ๋ชจ๋ธ๋ณด๋ค ์งง์ ํธ (์์ง Reasoning ํ์ต์ ํ์ง ์์๊ธฐ ๋๋ฌธ)
|
|
|
|
| 82 |
2. [HyperCLOVAX-1.5B](https://huggingface.co/naver-hyperclovax/HyperCLOVAX-SEED-Text-Instruct-1.5B)์ CoT ํ๋กฌํํธ๋ฅผ ์ถ๊ฐ(user ์
๋ ฅ์)ํ ํ, **Pass@8** ์์ ํต๊ณผํ ์ง๋ฌธ๋ง ์ถ์ถ (10,433/54,832๊ฐ)
|
| 83 |
3. [HyperCLOVAX-1.5B](https://huggingface.co/naver-hyperclovax/HyperCLOVAX-SEED-Text-Instruct-1.5B)(+CoT)๋ก **32ํ ์ถ๊ฐ ์ถ๋ก ** ํ ์ ๋ต์ ๋งํ ๋ต๋ณ๋ง ์ถ์ถ + [Kanana-nano-2.1b](https://huggingface.co/kakaocorp/kanana-nano-2.1b-instruct)(+CoT)๋ก **32ํ ์ถ๊ฐ ์ถ๋ก ** ํ ์ ๋ต์ ๋งํ ๋ต๋ณ๋ง ์ถ์ถ
|
| 84 |
- HyperCLOVAX-1.5B CoT Prompt: ```"์ ์ ๊ฐ ์ต์ข
์ ์ผ๋ก ๊ตฌํ๊ณ ์ ํ๋ ๊ฐ์ด ๋ฌด์์ธ์ง ๋ค์ ํ ๋ฒ ์ ์ํ๊ณ , ๋ฌธ์ ์์ ์ ์๋ ์กฐ๊ฑด๋ ๊น๋ํ๊ฒ ์ ๋ฆฌํ์ฌ ์ฌ์์ฑํฉ๋๋ค. ๊ทธ๋ฆฌ๊ณ ๋์ ๋ต์ ๊ตฌํ๊ธฐ ์ํด ๊ตฌ์ฒด์ ์ผ๋ก ๋
ผ๋ฆฌ ๋ฐ ์์์ ์ ๊ฐํ๋ฉฐ ๋ฌธ์ ๋ฅผ ํผ ํ, ์ต์ข
๋ต๋ณ์ \\boxed{} ์์ ์์ฑํฉ๋๋ค.\n\n"```
|
| 85 |
+
- Kanana-2.1b CoT Prompt (๋ง์ง๋ง์ "์ ๋ชฉ ์์ด ๋ด์ฉ๋ง ์์ฑํฉ๋๋ค." ์ถ๊ฐ): ```""์ ์ ๊ฐ ์ต์ข
์ ์ผ๋ก ๊ตฌํ๊ณ ์ ํ๋ ๊ฐ์ด ๋ฌด์์ธ์ง ๋ค์ ํ ๋ฒ ์ ์ํ๊ณ , ๋ฌธ์ ์์ ์ ์๋ ์กฐ๊ฑด๋ ๊น๋ํ๊ฒ ์ ๋ฆฌํ์ฌ ์ฌ์์ฑํฉ๋๋ค. ๊ทธ๋ฆฌ๊ณ ๋์ ๋ต์ ๊ตฌํ๊ธฐ ์ํด ๊ตฌ์ฒด์ ์ผ๋ก ๋
ผ๋ฆฌ ๋ฐ ์์์ ์ ๊ฐํ๋ฉฐ ๋ฌธ์ ๋ฅผ ํผ ํ, ์ต์ข
๋ต๋ณ์ \\boxed{} ์์ ์์ฑํฉ๋๋ค. ์ ๋ชฉ ์์ด ๋ด์ฉ๋ง ์์ฑํฉ๋๋ค.\n\n"```
|
| 86 |
|
| 87 |
#### ์ ๋ต์ ๋งํ ๋ต๋ณ ์ ๋ถํฌ
|
| 88 |
|
|
|
|
| 94 |
|
| 95 |
- 10,433๊ฐ ์ง๋ฌธ์ ๋ํ 38,037๊ฐ ๋ต๋ณ ๋ฐ์ดํฐ ์
|
| 96 |
- Axolotl๋ก ํ์ต (2x A40์์ 2์๊ฐ = 4 GPU Hours)
|
| 97 |
+
- CoT ํ๋กฌํํธ๋ฅผ ์ถ๊ฐํ๊ธด ํ์ผ๋, ํ๊ท ๋ต๋ณ ํ ํฐ ์๋ ์งง์(ํ๊ท 300ํ ํฐ ๋ฏธ๋ง)
|
| 98 |
|
| 99 |
<details><summary>axolotl config</summary>
|
| 100 |
|
|
|
|
| 187 |
|
| 188 |
#### Least Similarity Sampling
|
| 189 |
- **ํ์ด๊ฐ ํ๋ ธ๋๋ฐ ๋ต๋ง ๋ง์ถ ๊ฒฝ์ฐ**๊ฐ ์๊ธฐ๋ฉด, ๋ค๋ฅธ ์ฌ๋ฐ๋ฅธ ํ์ด๋ค๊ณผ ๋ฎ์ ์ ์ฌ๋๋ฅผ ๊ฐ์ ธ ๊ฑฐ์ ํ์ ์ ์ผ๋ก ์ํ๋ง๋๋ ๋ฌธ์ ์์. ๋ณ๋ ํํฐ๋งํ์ง ์์.
|
| 190 |
+
- ๋ง์ฐฌ๊ฐ์ง๋ก, **ํ์ด ์์ด ๋ต๋ง ์ถ๋ ฅํ ๊ฒฝ์ฐ**๊ฐ ๋ฐ์ํ ๋๋, ํ์ด๊ฐ ์๋ ๋ค๋ฅธ ๋ต๋ณ๊ณผ ์ ์ฌ๋๊ฐ ๋ฎ์ ์ ์ด๋ ํ๋๋ ํ์ ์ ์ผ๋ก ์ํ๋ง๋๋ ๋ฌธ์ ๊ฐ ์์. ๋ณ๋ ํํฐ๋งํ์ง ์์.
|
| 191 |
|
| 192 |
### ์ถ๋ ฅ
|
| 193 |
- **ํ๊ท ์๋ต ๊ธธ์ด๊ฐ 753 token**(GSM8K ๊ธฐ์ค) ์ ๋๋ก, reasoning ๋ชจ๋ธ๋ณด๋ค ์งง์ ํธ (์์ง Reasoning ํ์ต์ ํ์ง ์์๊ธฐ ๋๋ฌธ)
|