Update KOREAN_README.md
Browse files- KOREAN_README.md +6 -5
KOREAN_README.md
CHANGED
|
@@ -3,9 +3,10 @@
|
|
| 3 |
# โฉON: ํ๊ตญ ๊ธ์ต์ ์ํ LLM
|
| 4 |
|
| 5 |
## ์๊ฐ
|
| 6 |
-
โฉON์ ํ๊ตญ ๊ธ์ต
|
| 7 |
โฉON ๊ฐ๋ฐ์ ํต์ฌ ๋ชฉ์ ์ ์ฐ๊ตฌ์ ๊ฐ๋ฐฉ์ฑ์ ์ด์งํ๊ณ , ์๊ฒฉํ ๊ธ์ต ์ถ๋ก ๋ฅ๋ ฅ์ ํ๊ฐํ ์ ์๋ ๊ธฐ์ค์ ๋ง๋ จํ๋ฉฐ, ํ๊ตญ ๊ธ์ต ํนํ ์ธ์ด ๋ชจ๋ธ ํ์ต์ ์์ด ์ต์ ์ ์ค์ฒ ์ฌ๋ก๋ฅผ ํ๋ฆฝํ๋ ๊ฒ์
๋๋ค.
|
| 8 |
-
โฉON
|
|
|
|
| 9 |
|
| 10 |
## KRX ๊ธ์ต ์ธ์ด ๋ชจ๋ธ ๊ฒฝ์ง๋ํ
|
| 11 |
|
|
@@ -53,7 +54,7 @@ KRX ๊ธ์ต ์ธ์ด ๋ชจ๋ธ ๊ฒฝ์ง๋ํ๋ ๋ํ ์ธ์ด ๋ชจ๋ธ(LLM)์ ํ๊ตญ ๊ธ
|
|
| 53 |
|
| 54 |
- **์์ **: ์ฃผ๋ก Supervised Fine-tuning (SFT)๋ฅผ ํ์ฉํ์์ผ๋ฉฐ, ํนํ ๊ตญ๋ด ๊ธฐ์
๋ถ์(Domestic Company Analysis) ๋ถ๋ฌธ์์ ๋๋๋ฌ์ง ์ฑ๊ณผ๋ฅผ ๋ณด์์ต๋๋ค.
|
| 55 |
์ด ๋ถ์ผ์์๋ ์๋นํ ๊ฐ์ ์ด ์ด๋ฃจ์ด์ก์ผ๋, ์ฌ๋ฌดํ๊ณ, ๊ธ์ต์์ฅ ๋ถ๋ฌธ์์์ ์ฑ๋ฅ ํฅ์์ ์๋์ ์ผ๋ก ๋ฏธ๋ฏธํ์ต๋๋ค.
|
| 56 |
-
๋๋ถ๋ถ์
|
| 57 |
|
| 58 |
<figure style="text-align: center;">
|
| 59 |
<img src="https://cdn-uploads.huggingface.co/production/uploads/63e087b6a98d931aa90c1b9c/ru3aA2ISwtqS3sJuSPVLN.png" width="600" height="750" alt="์ํ ์ด๋ฏธ์ง" style="display: block; margin: auto;">
|
|
@@ -63,8 +64,8 @@ KRX ๊ธ์ต ์ธ์ด ๋ชจ๋ธ ๊ฒฝ์ง๋ํ๋ ๋ํ ์ธ์ด ๋ชจ๋ธ(LLM)์ ํ๊ตญ ๊ธ
|
|
| 63 |
</figure>
|
| 64 |
|
| 65 |
- **๋ณธ์ **: ์์ ๊ณผ ๋ฌ๋ฆฌ ๊ณ ๋ํ๋ ๋ค๋จ๊ณ ํ์ต ๋ฐฉ๋ฒ๋ก ์ด ๋ง์ด ์ฌ์ฉ๋์์ต๋๋ค.
|
| 66 |
-
ํนํ, ์ฌ๋ฌ ํ๋ค์ ์ปค๋ฆฌํ๋ผ ๊ธฐ๋ฐ์ SFT ์ ๋ต์ ์ ์ฉํ์ฌ, ๊ฐ๋จํ
|
| 67 |
-
์ต์์ ์ฑ๋ฅ์ ๋ณด์ธ ๋ชจ๋ธ๋ค์ ์ถ๊ฐ๋ก LLM-as-a-Judge ๊ธฐ๋ฒ์ผ๋ก ํ๊ฐ๋ ์๋ต๋ค์ ํ์ฉํ์ฌ Direct Preference Optimization (DPO) ๋ฐ Kahneman Tversky Optimization (KTO)์ ๊ฐ์ ์ ํธ๋ ์ต์ ํ ๊ธฐ์ ์
|
| 68 |
ํนํ Hi-Q ํ์ Continual Pre-training๊ณผ SFT ๋ฐ DPO๋ฅผ ๊ฒฐํฉํ ๋ฐฉ์์ ํจ๊ณผ์ฑ์ ์
์ฆํ์ฌ ๊ด๋ชฉํ ๋งํ ์ฑ๋ฅ ํฅ์์ ์ด๋ฃจ์์ผ๋ฉฐ, ์ด๋ฅผ ํตํด ์ฒด๊ณ์ ์ด๊ณ ๋ค๋จ๊ณ์ ์ธ ํ๋ จ ๊ณผ์ ์ ๊ฐ์น๋ฅผ ๋ช
ํํ ๋ณด์ฌ์ฃผ์์ต๋๋ค.
|
| 69 |
|
| 70 |
<figure style="text-align: center;">
|
|
|
|
| 3 |
# โฉON: ํ๊ตญ ๊ธ์ต์ ์ํ LLM
|
| 4 |
|
| 5 |
## ์๊ฐ
|
| 6 |
+
โฉON์ ํ๊ตญ ๊ธ์ต ๋ถ์ผ์ ํนํ๋ ๋๊ท๋ชจ ์ธ์ด ๋ชจ๋ธ(LLM)๋ก, ๋ค์ํ AI ์ ํ๋ฆฌ์ผ์ด์
์์ ์ ๋ขฐ์ฑ๊ณผ ํฌ๋ช
์ฑ์ ๋์ด๊ธฐ ์ํด ์ค๊ณ๋์์ต๋๋ค.
|
| 7 |
โฉON ๊ฐ๋ฐ์ ํต์ฌ ๋ชฉ์ ์ ์ฐ๊ตฌ์ ๊ฐ๋ฐฉ์ฑ์ ์ด์งํ๊ณ , ์๊ฒฉํ ๊ธ์ต ์ถ๋ก ๋ฅ๋ ฅ์ ํ๊ฐํ ์ ์๋ ๊ธฐ์ค์ ๋ง๋ จํ๋ฉฐ, ํ๊ตญ ๊ธ์ต ํนํ ์ธ์ด ๋ชจ๋ธ ํ์ต์ ์์ด ์ต์ ์ ์ค์ฒ ์ฌ๋ก๋ฅผ ํ๋ฆฝํ๋ ๊ฒ์
๋๋ค.
|
| 8 |
+
โฉON์ 2๋จ๊ณ ์ถ๋ก ๋ฐฉ์์ ์์ฒด ์ค๋ฅ ์์ ๊ณผ์ ์ ๊ฑฐ์น ํ ๊ฒฐ๋ก ์ ์์ฝ์ ์ ๊ณตํจ์ผ๋ก์จ, ๊ธ์ต ์์ฌ๊ฒฐ์ ํ๋ก์ธ์ค์ ๋ช
ํ์ฑ๊ณผ ์ ํ์ฑ์ ๋์ด๋ ๋ฐ ํจ๊ณผ์ ์
๋๋ค.
|
| 9 |
+
|
| 10 |
|
| 11 |
## KRX ๊ธ์ต ์ธ์ด ๋ชจ๋ธ ๊ฒฝ์ง๋ํ
|
| 12 |
|
|
|
|
| 54 |
|
| 55 |
- **์์ **: ์ฃผ๋ก Supervised Fine-tuning (SFT)๋ฅผ ํ์ฉํ์์ผ๋ฉฐ, ํนํ ๊ตญ๋ด ๊ธฐ์
๋ถ์(Domestic Company Analysis) ๋ถ๋ฌธ์์ ๋๋๋ฌ์ง ์ฑ๊ณผ๋ฅผ ๋ณด์์ต๋๋ค.
|
| 56 |
์ด ๋ถ์ผ์์๋ ์๋นํ ๊ฐ์ ์ด ์ด๋ฃจ์ด์ก์ผ๋, ์ฌ๋ฌดํ๊ณ, ๊ธ์ต์์ฅ ๋ถ๋ฌธ์์์ ์ฑ๋ฅ ํฅ์์ ์๋์ ์ผ๋ก ๋ฏธ๋ฏธํ์ต๋๋ค.
|
| 57 |
+
๋๋ถ๋ถ์ ๋ชจ๋ธ์ ๊ฐ๋จํ SFT ์ ๊ทผ๋ฒ์ ์ฑํํ์ผ๋, ์ผ๋ถ ํ์ ์ถ๊ฐ์ ์ธ ํ๋ จ ๊ธฐ๋ฒ์ธ Continual Pre-training (CPT)์ ์คํํ์ต๋๋ค. ๊ทธ๋ฌ๋ ์๊ท๋ชจ์์์ CPT๋ ๊ทธ ํจ๊ณผ๊ฐ ๋ช
ํํ ์
์ฆ๋์ง ์์์ต๋๋ค.
|
| 58 |
|
| 59 |
<figure style="text-align: center;">
|
| 60 |
<img src="https://cdn-uploads.huggingface.co/production/uploads/63e087b6a98d931aa90c1b9c/ru3aA2ISwtqS3sJuSPVLN.png" width="600" height="750" alt="์ํ ์ด๋ฏธ์ง" style="display: block; margin: auto;">
|
|
|
|
| 64 |
</figure>
|
| 65 |
|
| 66 |
- **๋ณธ์ **: ์์ ๊ณผ ๋ฌ๋ฆฌ ๊ณ ๋ํ๋ ๋ค๋จ๊ณ ํ์ต ๋ฐฉ๋ฒ๋ก ์ด ๋ง์ด ์ฌ์ฉ๋์์ต๋๋ค.
|
| 67 |
+
ํนํ, ์ฌ๋ฌ ํ๋ค์ ์ปค๋ฆฌํ๋ผ ๊ธฐ๋ฐ์ SFT ์ ๋ต์ ์ ์ฉํ์ฌ, ๊ฐ๋จํ ํ๋กฌํํธ์์ ์์ํด ์ ์ฐจ Evolve Instruct์ ๊ฐ์ ๋ฐฉ์์ผ๋ก ๋ ๋ณต์กํ ์ฌ๋ก๋ก ๋ฐ์ ์์ผ ๋๊ฐ์ต๋๋ค.
|
| 68 |
+
์ต์์ ์ฑ๋ฅ์ ๋ณด์ธ ๋ชจ๋ธ๋ค์ ์ถ๊ฐ๋ก LLM-as-a-Judge ๊ธฐ๋ฒ์ผ๋ก ํ๊ฐ๋ ์๋ต๋ค์ ํ์ฉํ์ฌ Direct Preference Optimization (DPO) ๋ฐ Kahneman Tversky Optimization (KTO)์ ๊ฐ์ ์ ํธ๋ ์ต์ ํ ๊ธฐ์ ์ ์ด์ฉํด ์ฑ๋ฅ์ ๋์ฑ ํฅ์์์ผฐ์ต๋๋ค.
|
| 69 |
ํนํ Hi-Q ํ์ Continual Pre-training๊ณผ SFT ๋ฐ DPO๋ฅผ ๊ฒฐํฉํ ๋ฐฉ์์ ํจ๊ณผ์ฑ์ ์
์ฆํ์ฌ ๊ด๋ชฉํ ๋งํ ์ฑ๋ฅ ํฅ์์ ์ด๋ฃจ์์ผ๋ฉฐ, ์ด๋ฅผ ํตํด ์ฒด๊ณ์ ์ด๊ณ ๋ค๋จ๊ณ์ ์ธ ํ๋ จ ๊ณผ์ ์ ๊ฐ์น๋ฅผ ๋ช
ํํ ๋ณด์ฌ์ฃผ์์ต๋๋ค.
|
| 70 |
|
| 71 |
<figure style="text-align: center;">
|