Commit Β·
82f9dc5
1
Parent(s): 3d85abb
Upload eval_reports/2026-03-09_ORPO_EVALUATION_REPORT.md with huggingface_hub (#48)
Browse files- Upload eval_reports/2026-03-09_ORPO_EVALUATION_REPORT.md with huggingface_hub (6a4b45af11e2778ba9612e516475e2ab02bfe351)
Co-authored-by: pathcosmos <somebody-to-love@users.noreply.huggingface.co>
eval_reports/2026-03-09_ORPO_EVALUATION_REPORT.md
ADDED
|
@@ -0,0 +1,236 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
# FRANKENSTALLM 3B ORPO λͺ¨λΈ μ’
ν© νκ° λ³΄κ³ μ
|
| 2 |
+
|
| 3 |
+
- **νκ° μΌμ**: 2026-03-09 07:29:13
|
| 4 |
+
- **λΉκ΅ λμ**: Base β SFT β ORPO
|
| 5 |
+
- **μ΄ μμ μκ°**: 41m 11s
|
| 6 |
+
- **κ²°κ³Ό λλ ν 리**: eval/outputs/3b_orpo_eval_20260309_0607
|
| 7 |
+
|
| 8 |
+
## 1. Executive Summary
|
| 9 |
+
|
| 10 |
+
| # | νκ° μ°¨μ | κ²°κ³Ό | μμΈ |
|
| 11 |
+
|---|----------|------|------|
|
| 12 |
+
| 1 | μ°¨μ 1: Perplexity (μ§μ 보쑴) | **PASS** | μ΅λ forgetting 4.1% (μκ³κ° 15.0%) |
|
| 13 |
+
| 2 | μ°¨μ 2: μμ± νμ§ | **FAIL** | λ°λ³΅λ₯ 30.89% (λͺ©ν <5%), EOS 67% (λͺ©ν >90%) |
|
| 14 |
+
| 3 | μ°¨μ 3: νκ΅μ΄ λ²€μΉλ§ν¬ | **FAIL** | KoBEST νκ· 52.75% (λͺ©ν >55%) |
|
| 15 |
+
| 4 | μ°¨μ 4: μμ΄ λ²€μΉλ§ν¬ | **FAIL** | hellaswag=27.9%, arc_easy=36.0%, arc_challenge=17.9%... |
|
| 16 |
+
| 5 | μ°¨μ 5: Calibration | **PASS** | Top-1 67.99% (λͺ©ν β₯65%) |
|
| 17 |
+
| 6 | μ°¨μ 6: SFT Chat λ₯λ ₯ | **PASS** | EOS μ’
λ£μ¨ 67%, μμ± μν μλ κ²ν νμ |
|
| 18 |
+
| 7 | ORPO-1: Preference Accuracy | **PASS** | μ΅μ’
76.02% (λͺ©ν > 65%) |
|
| 19 |
+
| 8 | ORPO-2: Reward Margins | **PASS** | μ΅μ’
0.6100 (λͺ©ν > 0.1) |
|
| 20 |
+
| 9 | ORPO-3: Parameter Sensitivity | **PASS** | rep_penalty=1.0 μ 3-gram rep=0.64% (λͺ©ν < 5%) |
|
| 21 |
+
| 10 | ORPO-4: SFTβORPO κ°μ | **PASS** | λ°λ³΅λ₯ 72.97%β30.89% (β), EOS 60%β67% (β) |
|
| 22 |
+
|
| 23 |
+
**μ’
ν©**: 7/10 μ°¨μ ν΅κ³Ό
|
| 24 |
+
|
| 25 |
+
**μ λ μ€μ½μ΄**: 63.7/100
|
| 26 |
+
|
| 27 |
+
**μ΅μ’
νμ **: **RETRY**
|
| 28 |
+
|
| 29 |
+
|
| 30 |
+
## 2. νμ΅ κ³‘μ λΆμ
|
| 31 |
+
|
| 32 |
+
### Training / Eval Loss
|
| 33 |
+
|
| 34 |
+
| Step | Train Loss | Eval Loss | Pref Accuracy | Reward Margin |
|
| 35 |
+
|------|-----------|-----------|---------------|---------------|
|
| 36 |
+
| 1000 | N/A | 1.7910 | 0.6678 | 0.1066 |
|
| 37 |
+
| 2000 | N/A | 1.7130 | 0.7010 | 0.2933 |
|
| 38 |
+
| 3000 | N/A | 1.6810 | 0.7189 | 0.3717 |
|
| 39 |
+
| 4000 | N/A | 1.6580 | 0.7361 | 0.4536 |
|
| 40 |
+
| 5000 | N/A | 1.6450 | 0.7467 | 0.5027 |
|
| 41 |
+
| 6000 | N/A | 1.6380 | 0.7511 | 0.5436 |
|
| 42 |
+
| 7000 | N/A | 1.6330 | 0.7539 | 0.5624 |
|
| 43 |
+
| 8000 | N/A | 1.6300 | 0.7558 | 0.5864 |
|
| 44 |
+
| 9000 | N/A | 1.6280 | 0.7568 | 0.5904 |
|
| 45 |
+
| 9997 | N/A | 1.6260 | 0.7594 | 0.6039 |
|
| 46 |
+
| 11001 | N/A | 1.6260 | 0.7590 | 0.6052 |
|
| 47 |
+
| 12005 | N/A | 1.6250 | 0.7598 | 0.6087 |
|
| 48 |
+
| 12999 | N/A | 1.6250 | 0.7599 | 0.6089 |
|
| 49 |
+
| 14002 | N/A | 1.6250 | 0.7600 | 0.6072 |
|
| 50 |
+
| 14996 | N/A | 1.6250 | 0.7601 | 0.6087 |
|
| 51 |
+
| 16000 | N/A | 1.6250 | 0.7605 | 0.6100 |
|
| 52 |
+
| 17004 | N/A | 1.6250 | 0.7606 | 0.6093 |
|
| 53 |
+
| 17997 | N/A | 1.6250 | 0.7601 | 0.6093 |
|
| 54 |
+
| 19001 | N/A | 1.6250 | 0.7602 | 0.6100 |
|
| 55 |
+
|
| 56 |
+
### νμ΅ κ³‘μ μμ½
|
| 57 |
+
|
| 58 |
+
- **Eval Loss**: 1.7910 β 1.6250
|
| 59 |
+
- **μ΅μ’
Preference Accuracy**: 76.02%
|
| 60 |
+
- **μ΅μ’
Reward Margin**: 0.6100
|
| 61 |
+
|
| 62 |
+
## 3. Perplexity λΉκ΅ (μ§μ 보쑴)
|
| 63 |
+
|
| 64 |
+
| λ°μ΄ν°μ
| Base PPL | SFT PPL | ORPO PPL | SFT Forgetting | ORPO Forgetting |
|
| 65 |
+
|---------|---------|---------|---------|----------------|-----------------|
|
| 66 |
+
| 3b | 5.2263 | 5.2529 | 5.3222 | +0.5% | +1.8% |
|
| 67 |
+
| cc100_ko | 21.7820 | 21.8072 | 22.0415 | +0.1% | +1.2% |
|
| 68 |
+
| cosmo_auto_math_text | 3.1492 | 3.1581 | 3.1634 | +0.3% | +0.5% |
|
| 69 |
+
| cosmo_khanacademy | 2.9322 | 2.9390 | 2.9485 | +0.2% | +0.6% |
|
| 70 |
+
| cosmo_openstax | 3.8673 | 3.8805 | 3.8896 | +0.3% | +0.6% |
|
| 71 |
+
| cosmo_stanford | 3.3624 | 3.3742 | 3.3807 | +0.4% | +0.5% |
|
| 72 |
+
| cosmo_stories | 3.9552 | 3.9668 | 3.9687 | +0.3% | +0.3% |
|
| 73 |
+
| cosmo_web_v2 | 4.1664 | 4.1799 | 4.1852 | +0.3% | +0.5% |
|
| 74 |
+
| cosmo_wikihow | 3.3097 | 3.3201 | 3.3260 | +0.3% | +0.5% |
|
| 75 |
+
| hplt_ko | 2.4028 | 2.4121 | 2.4477 | +0.4% | +1.9% |
|
| 76 |
+
| korean | 7.0155 | 7.0714 | 7.2203 | +0.8% | +2.9% |
|
| 77 |
+
| korean_c4 | 5.7173 | 5.7617 | 5.8745 | +0.8% | +2.7% |
|
| 78 |
+
| korean_namuwiki | 25.8814 | 26.1185 | 26.9307 | +0.9% | +4.1% |
|
| 79 |
+
| korean_wiki | 11.8359 | 11.9394 | 12.2108 | +0.9% | +3.2% |
|
| 80 |
+
| mathpile | 2.7244 | 2.7286 | 2.7315 | +0.2% | +0.3% |
|
| 81 |
+
| namuwiki_2023b | 18.9170 | 18.9672 | 19.0191 | +0.3% | +0.5% |
|
| 82 |
+
| open_web_math | 6.9264 | 6.9422 | 6.9668 | +0.2% | +0.6% |
|
| 83 |
+
| val | 18.3046 | 18.3195 | 18.4256 | +0.1% | +0.7% |
|
| 84 |
+
| wikipedia_ko | 10.7059 | 10.7399 | 10.8055 | +0.3% | +0.9% |
|
| 85 |
+
|
| 86 |
+
## 4. μμ± νμ§ λΉκ΅
|
| 87 |
+
|
| 88 |
+
| μ§ν | Base | SFT | ORPO | SFTβORPO λ³ν |
|
| 89 |
+
|------|------|-----|------|---------------|
|
| 90 |
+
| Greedy 3-gram λ°λ³΅λ₯ | 72.75% | 72.97% | 30.89% | -42.1pp |
|
| 91 |
+
| Greedy 4-gram λ°λ³΅λ₯ | 70.78% | 71.83% | 27.01% | -44.8pp |
|
| 92 |
+
| EOS μ’
λ£μ¨ | 0.00% | 60.00% | 66.67% | +6.7pp |
|
| 93 |
+
|
| 94 |
+
## 5. νκ΅μ΄ λ²€μΉλ§ν¬
|
| 95 |
+
|
| 96 |
+
### KoBEST (0-shot)
|
| 97 |
+
|
| 98 |
+
| νμ€ν¬ | Base | SFT | ORPO | BaseβORPO |
|
| 99 |
+
|--------|------|-----|------|-----------|
|
| 100 |
+
| kobest_boolq | 50.28% | 50.14% | 50.57% | +0.3pp |
|
| 101 |
+
| kobest_copa | 49.30% | 48.60% | 63.90% | +14.6pp |
|
| 102 |
+
| kobest_hellaswag | 21.60% | 19.80% | 38.00% | +16.4pp |
|
| 103 |
+
| kobest_sentineg | 48.61% | 49.12% | 62.47% | +13.9pp |
|
| 104 |
+
| kobest_wic | 48.65% | 48.65% | 48.81% | +0.2pp |
|
| 105 |
+
| **νκ· ** | **43.69%** | **43.26%** | **52.75%** | **+9.1pp** |
|
| 106 |
+
|
| 107 |
+
### HAE-RAE (0-shot)
|
| 108 |
+
|
| 109 |
+
- Base: 19.71% β SFT: 19.89% β ORPO: 21.81%
|
| 110 |
+
|
| 111 |
+
### MMLU-KO (0-shot)
|
| 112 |
+
|
| 113 |
+
- Base: 22.75% β SFT: 26.00% β ORPO: 24.50%
|
| 114 |
+
|
| 115 |
+
## 6. μμ΄ λ²€μΉλ§ν¬
|
| 116 |
+
|
| 117 |
+
| νμ€ν¬ | Base | SFT | ORPO | BaseβORPO |
|
| 118 |
+
|--------|------|-----|------|-----------|
|
| 119 |
+
| hellaswag | 26.15% | 26.07% | 29.20% | +3.0pp |
|
| 120 |
+
| arc_easy | 25.63% | 25.93% | 36.03% | +10.4pp |
|
| 121 |
+
| arc_challenge | 27.90% | 27.56% | 22.61% | -5.3pp |
|
| 122 |
+
| winogrande | 50.59% | 50.75% | 50.99% | +0.4pp |
|
| 123 |
+
| piqa | 52.50% | 52.61% | 59.85% | +7.3pp |
|
| 124 |
+
| MMLU-EN νκ· | 25.81% | 25.72% | 23.26% | -2.6pp |
|
| 125 |
+
|
| 126 |
+
## 7. Calibration λΉκ΅
|
| 127 |
+
|
| 128 |
+
| μ§ν | Base | SFT | ORPO |
|
| 129 |
+
|------|------|-----|------|
|
| 130 |
+
| Top-1 Accuracy | 0.6875 | 0.6859 | 0.6799 |
|
| 131 |
+
| Top-5 Accuracy | 0.8164 | 0.8155 | 0.8133 |
|
| 132 |
+
| Top-10 Accuracy | 0.8593 | 0.8579 | 0.8563 |
|
| 133 |
+
|
| 134 |
+
## 8. ORPO κ³ μ μ§ν
|
| 135 |
+
|
| 136 |
+
- **μ΅μ’
Preference Accuracy**: 76.02%
|
| 137 |
+
- **μ΅μ’
Reward Margins**: 0.6100
|
| 138 |
+
- **Parameter Sensitivity**: rep_penalty=1.0 β 3-gram rep=0.64% (λͺ©ν < 5%) β PASS
|
| 139 |
+
|
| 140 |
+
## 9. λ°λ³΅λ₯ 그리λ μμΉ
|
| 141 |
+
|
| 142 |
+
| μ€μ | Temp | Rep Pen | 3-gram | 4-gram | EOS Rate | Avg Tokens |
|
| 143 |
+
|------|------|---------|--------|--------|----------|-----------|
|
| 144 |
+
| t0.7_rep1.2 | 0.70 | 1.20 | 0.0000 | 0.0000 | 1.0000 | 189.2 | **β best**
|
| 145 |
+
| t0.9_rep1.1 | 0.90 | 1.10 | 0.0000 | 0.0000 | 0.2000 | 213.0 |
|
| 146 |
+
| t0.9_rep1.2 | 0.90 | 1.20 | 0.0000 | 0.0000 | 0.6000 | 200.0 |
|
| 147 |
+
| t1.0_rep1.1 | 1.00 | 1.10 | 0.0000 | 0.0000 | 0.8000 | 118.4 |
|
| 148 |
+
| t0.5_rep1.1 | 0.50 | 1.10 | 0.0013 | 0.0000 | 0.6000 | 198.8 |
|
| 149 |
+
| t0.7_rep1.1 | 0.70 | 1.10 | 0.0017 | 0.0000 | 0.6000 | 177.0 |
|
| 150 |
+
| t0.7_rep1.3 | 0.70 | 1.30 | 0.0017 | 0.0000 | 1.0000 | 131.4 |
|
| 151 |
+
| t1.0 | 1.00 | 1.00 | 0.0064 | 0.0024 | 1.0000 | 136.8 |
|
| 152 |
+
| t0.9 | 0.90 | 1.00 | 0.0376 | 0.0228 | 0.8000 | 150.2 |
|
| 153 |
+
| t0.7 | 0.70 | 1.00 | 0.0789 | 0.0394 | 0.8000 | 196.2 |
|
| 154 |
+
| t0.5 | 0.50 | 1.00 | 0.0843 | 0.0620 | 0.8000 | 119.0 |
|
| 155 |
+
| greedy | 0.00 | 1.00 | 0.3157 | 0.2901 | 0.4000 | 173.2 |
|
| 156 |
+
|
| 157 |
+
## 10. μμ± μν
|
| 158 |
+
|
| 159 |
+
### ORPO Greedy μμ± μν
|
| 160 |
+
|
| 161 |
+
**[1]** `λνλ―Όκ΅μ μλλ`
|
| 162 |
+
> λνλ―Όκ΅μ μμΈμ μλλ‘ νλ λνλ―Όκ΅μ μλμ
λλ€. μμΈμ λνλ―Όκ΅μ μλμ΄λ©°, λνλ―Όκ΅μ μλμ
λλ€.
|
| 163 |
+
> *EOS=True, 3gram_rep=0.00%, tokens=22*
|
| 164 |
+
|
| 165 |
+
**[2]** `μΈκ³΅μ§λ₯μ΄λ`
|
| 166 |
+
> μΈκ³΅μ§λ₯(AI)μ μ»΄ν¨ν°κ° μΈκ°μ μ§λ₯μ λͺ¨λ°©νλλ‘ μ€κ³λ μΈκ³΅ μ§λ₯μ νμ μ§ν©μ
λλ€. μ΄λ μ»΄ν¨ν°κ° μΈκ°κ³Ό κ°μ λ°©μμΌλ‘ μκ°νκ³ , λ¬Έμ λ₯Ό ν΄κ²°νκ³ , μμ¬ κ²°μ μ λ΄λ¦΄ μ μλλ‘ νλ μ»΄ν¨ν° μμ€ν
μ νμ μ§ν©μ
λλ€. μΈκ³΅μ§λ₯μ μ»΄ν¨ν°κ° μΈκ°κ³Ό κ°μ λ°©μμΌλ‘ μκ°νκ³ , λ¬Έμ λ₯Ό ν΄κ²°νκ³ , μμ¬ κ²°μ μ λ΄λ¦΄ μ μλλ‘ νλ λ° λμμ΄ λλ μκ³ λ¦¬μ¦, λ°μ΄ν° ꡬ쑰, μννΈμ¨μ΄λ₯Ό κ°λ°ν©λλ€.
|
| 167 |
+
> *EOS=True, 3gram_rep=22.92%, tokens=76*
|
| 168 |
+
|
| 169 |
+
**[3]** `νκ΅μ μ ν΅ μμ μ€μμ`
|
| 170 |
+
> νκ΅μ μ ν΅ μμ μ€ λͺ κ°μ§λ₯Ό μκ°ν΄ λ릴κ²μ:1. **κΉμΉ**: νκ΅μ κΉμΉλ νκ΅μ μ ν΅ λ°ν¨ μνμΌλ‘, κΉμΉλ₯Ό λ΄κ·Έλ λ°©λ²κ³Ό κΉμΉλ₯Ό λ§λλ λ°©λ²μ λ°λΌ λ€μν μ’
λ₯κ° μμ΅λλ€. μΌλ°μ μΌλ‘ κΉμΉλ 무, λ°°μΆ, κ³ μΆ, λ§λ, μκ°, ν, κ³ μΆμ¨, κ³ μΆμ¨ κΈ°λ¦, μκΈ, μ€ν, μμ΄, λ§λ κ°λ£¨, μκ° κ°λ£¨, ν, λ§λ κ°λ£¨, μκ° κ°λ£¨, ν, κ³ μΆμ¨ κΈ°λ¦, μκΈ, μ€ν, μμ΄, μκΈ, μ€ν, μμ΄, μκΈ, μ€ν, μμ΄, μκΈ, μ€ν, μμ΄, μκΈ, μ€ν, μμ΄, μκΈ, μ€ν, μμ΄, μκΈ, μ€ν, μμ΄, μκΈ, μ€ν, μμ΄, μκΈ, μ€ν, μμ΄, μκΈ, μ€ν, μμ΄, μκΈ, μ€ν, μμ΄, μκΈ, μ€ν, μμ΄, μκΈ, μ€ν, μμ΄, μκΈ, μ€ν, μμ΄, μκΈ, μ€ν, μμ΄, μκΈ, μ€ν, μμ΄, μκΈ, μ€ν, μμ΄, μκΈ, μ€ν, μμ΄, μκΈ, μ€ν, μμ΄, μκΈ, μ€ν, μμ΄, μκΈ, μ€ν, μμ΄, μκΈ, μ€ν, μμ΄, μκΈ, μ€ν,
|
| 171 |
+
> *EOS=False, 3gram_rep=58.97%, tokens=256*
|
| 172 |
+
|
| 173 |
+
**[4]** `μ§κ΅¬ μ¨λνμ μ£Όμ μμΈμ`
|
| 174 |
+
> μ§κ΅¬ μ¨λνμ μ£Όμ μμΈμ μ¬λ¬ κ°μ§κ° μμ΅λλ€. λ€μμ μ£Όμ μμΈ μ€ μΌλΆμ
λλ€:1. νμ μ°λ£ μ°μ: νμ μ°λ£λ μ¨μ€κ°μ€μ΄λ©°, μ΄λ μ§κ΅¬ μ¨λνμ μ£Όμ μμΈ μ€ νλμ
λλ€. νμ μ°λ£ μ°μλ μ¨μ€κ°μ€λ₯Ό λκΈ° μ€μΌλ‘ λ°©μΆνμ¬ μ§κ΅¬ μ¨λλ₯Ό μμΉμν΅λλ€.2. μ°λ¦Ό λ²μ±: μ°λ¦Ό λ²μ±λ μ¨μ€κ°μ€ λ°°μΆμ μ£Όμ μμΈ μ€ νλμ
λλ€. μ°λ¦Ό λ²μ±λ μ°λ¦Όμ λ²μ±νμ¬ μ΄μ°ννμμ κΈ°ν μ¨μ€κ°μ€λ₯Ό λκΈ° μ€μΌλ‘ λ°©μΆν©λλ€.3. μ°μ
νλ: μ°μ
νλμ μ¨μ€κ°μ€ λ°°μΆμ μ£Όμ μμΈ μ€ νλμ
λλ€. μ°μ
νλμΌλ‘ μΈν μ¨μ€κ°μ€ λ°°μΆμ μ§κ΅¬ μ¨λνμ μ£Όμ μμΈ μ€ νλμ
λλ€.4. μΌλ¦Ό λ²μ±: μΌλ¦Ό λ²μ±λ μ¨μ€κ°μ€ λ°°μΆμ μ£Όμ μμΈ μ€ νλμ
λλ€. μΌλ¦Ό λ²μ±λ μΌλ¦Όμ λ²μ±νμ¬ μ΄μ°ννμμ κΈ°ν μ¨μ€κ°μ€λ₯Ό λκΈ° μ€μΌλ‘ λ°©μΆν©λλ€.5. μΌλ¦Ό λ²μ±μ λν κ·μ : μΌλ¦Ό λ²μ±μ λν κ·μ λ μ¨μ€κ°μ€ λ°°μΆμ μ€μ΄λ λ° λμμ΄ λ μ μμ΅λλ€. μλ₯Ό λ€μ΄, μ°λ¦Ό λ²μ±μ λν κ·μ λ μ°λ¦Ό λ²μ±μ μν₯μ λ°λ ν μ§μ λ©΄μ μ
|
| 175 |
+
> *EOS=False, 3gram_rep=22.73%, tokens=256*
|
| 176 |
+
|
| 177 |
+
**[5]** `νλ‘κ·Έλλ°μ λ°°μ°λ €λ©΄`
|
| 178 |
+
> νλ‘κ·Έλλ°μ λ°°μ°λ κ²μ ν₯λ―Έλ‘κ³ λμ μ μΈ κ²½νμ΄ λ μ μμ§λ§, νμ΅μ μμνκΈ° μ μ κ³ λ €ν΄μΌ ν λͺ κ°μ§ μ¬νμ΄ μμ΅λλ€:1. νμ΅ λͺ©ν: νλ‘κ·ΈλοΏ½οΏ½μ μ²μ μ νλ κ²½μ°, νμ΅ λͺ©νμ λ¬μ±νκ³ μ νλ λͺ©νλ₯Ό λͺ
ννκ² μ μνλ κ²μ΄ μ€μν©λλ€. νλ‘κ·Έλλ°μ κΈ°λ³Έ μ¬νμ λ°°μ°κ³ μΆμΌμ κ°μ, μλλ©΄ λ κ³ κΈ μ£Όμ λ₯Ό λ°°μ°κ³ μΆμΌμ κ°μ? νλ‘κ·Έλλ°μ κΈ°λ³Έ μ¬νμ μ΄ν΄νλ©΄ λ κΉμ΄ μλ νμ΅μ ν μ μμ΅λλ€.2. νμ΅ μλ: νλ‘κ·Έλλ°μ λ°°μ°λ λ°λ μκ°μ΄ 걸릴 μ μμΌλ©°, νμ΅ μλλ νμ΅ μλμ μν₯μ λ―ΈμΉ μ μμ΅λλ€. νμ΅ μλλ₯Ό λμ΄λ €λ©΄ νμ΅ μλ£λ₯Ό λ μμ£Ό, λ μμ£Ό, λ μμ£Ό, λ μμ£Ό, λ μμ£Ό, λ μμ£Ό, λ μμ£Ό, λ μμ£Ό, λ μμ£Ό, λ μμ£Ό, λ μμ£Ό, λ μμ£Ό, λ μμ£Ό, λ μμ£Ό, λ μμ£Ό, λ μμ£Ό, λ μμ£Ό, λ μμ£Ό, λ μμ£Ό, λ μμ£Ό, λ μμ£Ό, λ μμ£Ό, λ μμ£Ό, λ μμ£Ό, λ μμ£Ό, λ μμ£Ό, λ μμ£Ό, λ μμ£Ό, λ μμ£Ό, λ μμ£Ό, λ μμ£Ό, λ
|
| 179 |
+
> *EOS=False, 3gram_rep=53.25%, tokens=256*
|
| 180 |
+
|
| 181 |
+
**[6]** `μ‘°μ μλμλ`
|
| 182 |
+
> μ‘°μ μλμλ λ€μν μ¬ν κ³μΈ΅μ΄ μ‘΄μ¬νμ΅λλ€. λ€μμ μ‘°μ μλμ μ¬ν κ³μΈ΅μ λν λͺ κ°μ§ μ£Όμ μ¬νμ
λλ€:1. μλ°: μ‘°μ μλμλ μλ°μ΄ κ°μ₯ λμ κ³μΈ΅μ΄μμ΅λλ€. μλ°μ μ£Όλ‘ ν μ§μ λ
ΈλΉλ₯Ό μμ νκ³ , ν μ§μ λ
ΈλΉλ₯Ό ν΅ν΄ λΆλ₯Ό μΆμ νμ΅λλ€. λν μλ°μ κ΄μ§μ μ§μΆνμ¬ κ΄λ£λ‘ νλνμ΅λλ€.2. μ€μΈ: μ€μΈμ μ£Όλ‘ ν μ§μ λ
ΈλΉλ₯Ό μμ νκ³ , κ΄μ§μ μ§μΆνμ¬ κ΄λ£λ‘ νλνμ΅λλ€. κ·Έλ€μ μ£Όλ‘ μμ
κ³Ό 무μμ μ’
μ¬νμ΅λλ€.3. μλ―Ό: μλ―Όμ μ£Όλ‘ ν μ§μ λ
ΈλΉλ₯Ό μμ νκ³ , κ΄μ§μ μ§μΆνμ¬ κ΄λ£λ‘ νλνμ΅λλ€. κ·Έλ€μ μ£Όλ‘ μμ
κ³Ό 무μμ μ’
μ¬νμ΅λλ€.4. μ²λ―Ό: μ²λ―Όμ μ£Όλ‘ ν μ§μ λ
ΈλΉλ₯Ό μμ νκ³ , κ΄μ§μ μ§μΆνμ¬ κ΄λ£λ‘ νλνμ΅λλ€. κ·Έλ€μ μ£Όλ‘ λμ
κ³Ό μμ
μ μ’
μ¬νμ΅λλ€.5. μ²λ―Ό: μ²λ―Όμ μ£Όλ‘ ν μ§μ λ
ΈλΉλ₯Ό μμ νκ³ , κ΄μ§μ μ§μΆνμ¬ κ΄λ£λ‘ νλνμ΅λλ€. κ·Έλ€μ μ£Όλ‘ λμ
κ³Ό μμ
μ μ’
μ¬νμ΅λλ€.
|
| 183 |
+
> *EOS=True, 3gram_rep=35.11%, tokens=192*
|
| 184 |
+
|
| 185 |
+
**[7]** `물리νμμ μλμ§λ`
|
| 186 |
+
> 물리νμμ μλμ§λ 물체μ μ΄λ, μλμ§μ λ³ν, λλ μλμ§μ μμ λνλ΄λ μμ λ§ν©λλ€. μλμ§λ 물체μ μ΄λ, μλμ§μ λ³ν, λλ μλμ§μ μμ λνλ΄λ μμ μΈ‘μ νλ μμ
λλ€. μλμ§λ 물체μ μ΄λ, μλμ§μ λ³ν, λλ μλμ§μ μμ μΈ‘μ νλ μμ
λλ€.
|
| 187 |
+
> *EOS=True, 3gram_rep=46.88%, tokens=67*
|
| 188 |
+
|
| 189 |
+
**[8]** `νκ΅μ΄λ μΈκ³μμ`
|
| 190 |
+
> νκ΅μ΄λ μΈκ³μμ κ°μ₯ λ리 μ¬μ©λλ μΈμ΄ μ€ νλμ
λλ€. νκ΅μ΄λ νκ΅μ΄λ₯Ό μ¬μ©νλ μ¬λλ€μ μν΄ λ§λ€μ΄μ§ μΈμ΄μ΄λ©°, νκ΅μ΄λ₯Ό μ¬μ©νλ μ¬λλ€μ νκ΅μ΄λ₯Ό λͺ¨κ΅μ΄λ‘ μ¬μ©νλ μ¬λλ€λ³΄λ€ λ λ§μ μκ°μ νκ΅μ΄λ₯Ό λ°°μ°κ³ μ¬μ©ν μ μμ΅λλ€. νκ΅μ΄λ νκ΅μ΄λ₯Ό μ¬μ©νλ μ¬λλ€μ μν΄ λ§λ€μ΄μ§ μΈμ΄μ΄λ©°, νκ΅μ΄λ₯Ό μ¬μ©νλ μ¬λλ€μ νκ΅μ΄λ₯Ό λͺ¨κ΅μ΄λ‘ μ¬μ©νλ μ¬λλ€λ³΄λ€ λ λ§μ μκ°μ νκ΅μ΄λ₯Ό λ°°μ°κ³ μ¬μ©ν μ μμ΅λλ€.
|
| 191 |
+
> *EOS=True, 3gram_rep=40.00%, tokens=76*
|
| 192 |
+
|
| 193 |
+
**[9]** `κ²½μ μ±μ₯μ μν΄μλ`
|
| 194 |
+
> κ²½μ μ±μ₯μ μν΄μλ μ¬λ¬ κ°μ§ λ°©λ²μ΄ μμ΅λλ€. λ€μμ λͺ κ°μ§ μ£Όμ λ°©λ²μ
λλ€:1. μ λΆ μ§μΆ μ¦κ°: μ λΆ μ§μΆμ κ²½μ μ±μ₯μ μ΄μ§νλ λ° μ€μν μν μ ν©λλ€. μ λΆλ κ²½μ μ±μ₯μ μ΄μ§νκΈ° μν΄ λ€μν μ μ±
μ μνν μ μμ΅λλ€. μλ₯Ό λ€μ΄, μΈκΈ κ°λ©΄, λ³΄μ‘°κΈ μ 곡, μΈκΈ κ°λ©΄ λ±μ΄ μμ΅λλ€.2. κΈ°μ
ν¬μ μ΄μ§: κΈ°μ
μ μλ‘μ΄ μ°μ
μ μ°½μΆνκ³ μλ‘μ΄ μΌμ리λ₯Ό μ°½μΆνλ©° κ²½μ μ±μ₯μ μ΄μ§νλ λ° μ€μν μν μ ν©λλ€. κΈ°μ
μ μλ‘μ΄ μ νκ³Ό μλΉμ€λ₯Ό κ°λ°νκ³ , μλ‘μ΄ μμ₯μ κ°μ²νλ©°, μλ‘μ΄ μμ₯μ κ°μ²νλ λ° ν¬μν μ μμ΅λλ€.3. κΈ°μ νμ μ΄μ§: κΈ°μ νμ μ κ²½μ μ±μ₯μ μ΄μ§νλ λ° μ€μν μν μ ν©λλ€. μλ‘μ΄ κΈ°μ κ°λ°, μλ‘μ΄ μ ν κ°λ°, μλ‘μ΄ μμ₯ κ°μ² λ±μ΄ κ²½μ μ±μ₯μ μ΄μ§νλ λ° λμμ΄ λ μ μμ΅λλ€.4. κ·μ μν: κ·μ λ κ²½μ μ±μ₯μ μ΄μ§νλ λ° μ€μν μν μ ν©λλ€. μ λΆλ μλ‘μ΄ κ·μ λ₯Ό λμ
νκ³ , μλ‘μ΄ μ μ±
μ μννλ©°, μλ‘μ΄ μ°μ
μ μ‘μ±ν μ μμ΅
|
| 195 |
+
> *EOS=False, 3gram_rep=27.33%, tokens=256*
|
| 196 |
+
|
| 197 |
+
**[10]** `μ°μ£Ό νμ¬μ μμ¬λ₯Ό 보면`
|
| 198 |
+
> μ°μ£Ό νμ¬μ μμ¬λ μ€λλμμΌλ©°, κ·Έ μμ¬λ λ§€μ° λ€μν©λλ€. λ€μμ μ°μ£Ό νμ¬μ μ£Όμ μλμ κ·Έ μ£Όμ μ¬κ±΄μ
λλ€:1. μ΄κΈ° μ°μ£Ό νμ¬:1960λ
λμ 1970λ
λμ μ°μ£Ό νμ¬κ° μμλμμ΅λλ€. μ΄ μκΈ°μλ μ°μ£Ό νμ¬μ μ΄ λ°μ¬λμ΄ μ§κ΅¬ κΆ€λμ μ§μ
νκ³ , μ°μ£Όμ μ΄ μ§κ΅¬λ‘ κ·ννλ λ± μ°μ£Ό νμ¬κ° μμλμμ΅λλ€.2. μ°μ£Ό νμ¬μ λ°μ :1980λ
λμ 1990λ
λμλ μ°μ£Ό νμ¬κ° λμ± λ°μ νμ¬ μ°μ£Ό νμ¬ μλ¬΄κ° λμ± λ€μν΄μ‘μ΅λλ€. μ΄ μκΈ°μλ μ°μ£Ό νμ¬μ μ΄ λ°μ¬λμ΄ μ§κ΅¬ κΆ€λμ μ§μ
νκ³ , μ°μ£Όμ μ΄ μ§κ΅¬λ‘ κ·ννλ λ± μ°μ£Ό νμ¬κ° λμ± λ°μ νμ΅λλ€.3. μ°μ£Ό νμ¬μ μ μ :1990λ
λμλ μ°μ£Ό νμ¬κ° μ μ μ λ¬νμ¬ μ°μ£Ό νμ¬ μλ¬΄κ° λμ± λ€μν΄μ‘μ΅λλ€. μ΄ μκΈ°μλ μ°μ£Ό νμ¬μ μ΄ λ°μ¬λμ΄ μ§κ΅¬ κΆ€λμ μ§μ
νκ³ , μ°μ£Όμ μ΄ μ§κ΅¬λ‘ κ·ννλ λ± μ°μ£Ό νμ¬κ° λμ± λ°μ νμ΅λλ€.4. μ°μ£Ό νμ¬μ μ ν΄:2000λ
λμ 2010λ
λμλ μ°μ£Ό νμ¬κ° μ ν΄νμ¬ μ°μ£Ό νμ¬ μλ¬΄κ° λ μ΄μ μ‘΄μ¬νμ§ μκ² λμμ΅λλ€
|
| 199 |
+
> *EOS=True, 3gram_rep=31.20%, tokens=223*
|
| 200 |
+
|
| 201 |
+
**[11]** `λ¨Έμ λ¬λκ³Ό λ₯λ¬λμ μ°¨μ΄λ`
|
| 202 |
+
> λ¨Έμ λ¬λκ³Ό λ₯ λ¬λμ λͺ¨λ μΈκ³΅ μ§λ₯μ νμ μ§ν©μ΄μ§λ§, κ·Έ μ μμ μ μ© λΆμΌμλ μ°¨μ΄κ° μμ΅λλ€.λ¨Έμ λ¬λμ μ»΄ν¨ν°κ° λ°μ΄ν°λ₯Ό ν΅ν΄ νμ΅νκ³ μμΈ‘μ μννλ λ° μ¬μ©λλ μΈκ³΅ μ§λ₯μ ν μ νμ
λλ€. μ΄λ λ°μ΄ν°μμ νμ΅νκ³ ν¨ν΄μ μλ³νλ λ° μ€μ μ λ λ¨Έμ λ¬λμ νμ μ§ν©μ
λλ€. λ¨Έμ λ¬λμ λ°μ΄ν°μμ νμ΅νκ³ μμΈ‘μ μννλ λ° μ¬μ©λλ μκ³ λ¦¬μ¦κ³Ό λͺ¨λΈμ μ¬μ©νμ¬ νμ΅ν μ μλ λ°μ΄ν°μ μ νμ
λλ€.λ¨Έμ λ¬λμ μΌλ°μ μΌλ‘ λ°μ΄ν°μμ νμ΅νκ³ ν¨ν΄μ μλ³νλ λ° μ¬μ©λλ μκ³ λ¦¬μ¦κ³Ό λͺ¨λΈμ μ¬μ©νμ¬ νμ΅ν μ μλ λ°μ΄ν°μ μ νμ
λλ€. μλ₯Ό λ€μ΄, λ¨Έμ λ¬λμ μ§λ νμ΅, λΉμ§λ νμ΅, κ°ν νμ΅μ μΈ κ°μ§ μ£Όμ μ νμΌλ‘ λΆλ₯ν μ μμ΅λλ€. μ§λ νμ΅μ μ§λ νμ΅μ΄λΌκ³ λ νλ©°, λ°μ΄ν°μμ νμ΅νκ³ ν¨ν΄μ μλ³νλ λ° μ¬μ©λλ μκ³ λ¦¬μ¦κ³Ό λͺ¨λΈμ μ¬μ©νμ¬ νμ΅ν μ μλ λ°μ΄ν°μ μ νμ
λλ€. λΉμ§λ νμ΅μ μ§λ νμ΅κ³Ό μ μ¬νμ§λ§, λ°μ΄ν°μμ νμ΅νκ³ ν¨ν΄μ μλ³νλ λ° μ¬μ©λλ
|
| 203 |
+
> *EOS=True, 3gram_rep=35.42%, tokens=232*
|
| 204 |
+
|
| 205 |
+
**[12]** `νκ΅ λ¬Ένμ λνμ μΈ μνμΌλ‘λ`
|
| 206 |
+
> νκ΅ λ¬Ένμ λνμ μΈ μνμΌλ‘λ λ€μκ³Ό κ°μ κ²λ€μ΄ μμ΅λλ€:1. **μ€λμ£Ό μμΈμ 'μμ'**: μ€λμ£Ό μμΈμ μλ νκ΅ λ¬Ένμ λνμμΌλ‘, κ·Έμ μλ νκ΅ νλ λ¬Ένμ λ°μ μ ν° μν₯μ λ―Έμ³€μ΅λλ€.2. **κΉμμ μμΈμ 'ν'**: κΉμΆμμ μ 'ν'μ νκ΅ νλμμ λνμμΌλ‘, κ·Έμ μλ νκ΅ νλ λ¬Ένμ λ°μ μ ν° μν₯μ λ―Έμ³€μ΅λλ€.3. **κΉμμ μμΈμ 'ν'**: κΉμΆμμ μ 'ν'μ νκ΅ νλμμ λνμμΌλ‘, κ·Έμ μλ νκ΅ νλ λ¬Ένμ λ°μ μ ν° μν₯μ λ―Έμ³€μ΅λλ€.4. **κΉμμ μμΈμ 'ν'**: κΉμΆμμ μ 'ν'μ νκ΅ νλμμ λνμμΌλ‘, κ·Έμ μλ νκ΅ νλ λ¬Ένμ λ°μ μ ν° μν₯μ λ―Έμ³€μ΅λλ€.
|
| 207 |
+
> *EOS=True, 3gram_rep=47.44%, tokens=177*
|
| 208 |
+
|
| 209 |
+
**[13]** `μμ μ»΄ν¨ν°λ`
|
| 210 |
+
> μμ μ»΄ν¨ν°λ μμ μνμ μ리λ₯Ό μ¬μ©νμ¬ μ 보λ₯Ό μ²λ¦¬νλ μ»΄ν¨ν°μ
λλ€. μ΄ μ»΄ν¨ν°λ μμ λΉνΈ λλ νλΉνΈλ‘ μλ €μ§ μμ λΉνΈλ₯Ό μ¬μ©νμ¬ μ 보λ₯Ό μ²λ¦¬ν©λλ€. μμ μ»΄ν¨ν°λ μμ λΉνΈμ μμ μ€μ²©μ μ¬μ©νμ¬ μ 보λ₯Ό μ μ₯νκ³ μ‘°μν μ μμ΅λλ€.
|
| 211 |
+
> *EOS=True, 3gram_rep=3.23%, tokens=50*
|
| 212 |
+
|
| 213 |
+
**[14]** `건κ°ν μμ΅κ΄μ μν΄μλ`
|
| 214 |
+
> 건κ°ν μμ΅κ΄μ κ°μΈμ 건κ°κ³Ό μ°λΉμ λ§€μ° μ€μν©λλ€. λ€μμ 건κ°ν μμ΅κ΄μ μν΄ λ°λΌμΌ ν λͺ κ°μ§ νμ
λλ€:1. κ·μΉμ μΈ μμ¬: λ§€μΌ μΌμ ν μμ μμ¬λ₯Ό μμ·¨νλ©΄ μ μ²΄κ° νμν μμμλ₯Ό 곡κΈλ°μ μ μμ΅λλ€. κ·μΉμ μΈ μμ¬λ μ μ²΄κ° νμν μμμλ₯Ό λ μ ν‘μν μ μλλ‘ λμμ€λλ€.2. κ³ΌμΌκ³Ό μ±μ: κ³ΌμΌκ³Ό μ±μλ λΉνλ―Ό, λ―Έλ€λ, μ¬μ μ§ λ± λ€μν μμμλ₯Ό μ 곡ν©λλ€. μ΄λ¬ν μμμλ₯Ό μΆ©λΆν μμ·¨νλ©΄ μ λ°μ μΈ κ±΄κ°μ κ°μ νλ λ° λμμ΄ λ©λλ€.3. 건κ°ν μ§λ°©: ν¬ν μ§λ°©κ³Ό νΈλμ€ μ§λ°©μ 건κ°μ ν΄λ‘μΈ μ μμΌλ―λ‘ νΌνμΈμ. λμ 건κ°ν μ§λ°©μ μ ννμΈμ.4. ν΅κ³‘λ¬Ό: ν΅κ³‘λ¬Όμ μ¬μ μ§, λΉνλ―Ό, λ―Έλ€λμ΄ νλΆνμ¬ κ±΄κ°ν μνλ₯Ό λμ΅λλ€. ν΅κ³‘λ¬Όμ μμ·¨νλ©΄ μνκ° λ μ λκ³ λ λ§μ μμμλ₯Ό μμ·¨ν μ μμ΅λλ€.5. μ μ§λ°© λ¨λ°±μ§: μ μ§λ°© λ¨λ°±μ§μ κ·Όμ‘κ³Ό λΌ κ±΄κ°μ νμμ μ
λλ€. μ μ§λ°© λ¨λ°±μ§μ μμ·¨νλ©΄ κ·Όμ‘λμ λλ¦¬κ³ λΌ κ±΄κ°μ κ°μ νλ λ° λμμ΄ λ©λλ€.6. μ μ§λ°© μ μ
|
| 215 |
+
> *EOS=False, 3gram_rep=7.97%, tokens=256*
|
| 216 |
+
|
| 217 |
+
**[15]** `μΈκ³ 2μ°¨ λμ μ΄ν`
|
| 218 |
+
> μΈκ³ 2μ°¨ λμ μ΄ν, μ λ½κ³Ό μμμμ λ§μ κ΅κ°μμ λ€μν μ¬ν, κ²½μ , μ μΉ μμ€ν
μ΄ λ³ννμ΅λλ€. λ€μμ λͺ κ°μ§ μ£Όμ λ³νμ
λλ€:1. κ²½μ : μ λ½κ³Ό μμμμ λ§μ κ΅κ°μμ κ²½μ λ ν¬κ² λ³ννμ΅λλ€. μ λ½μ μ°μ
νμ λμνκ° μ§νλλ©΄μ κ²½μ κ° ν¬κ² μ±μ₯νμ΅λλ€. μμμλ μ¬μ ν λ§μ μ¬λλ€μ΄ μΌνκ³ μμ§λ§, λ§μ μ¬λλ€μ΄ λμ΄μμ λμλ‘ μ΄μ£Όνλ©΄μ κ²½μ κ° ν¬κ² λ³ννμ΅λλ€.2. μ μΉ: μ λ½κ³Ό μμμμ λ§μ κ΅κ°μμ μ μΉλ ν¬κ² λ³ννμ΅λλ€. μ λ½μ λ―Όμ£Όμ£Όμμ μΈκΆμ νμ°μΌλ‘ μΈν΄ μ μΉ μμ€ν
μ΄ ν¬κ² λ³ννμ΅λλ€. μμμλ μ¬μ ν λ§μ μ¬λλ€μ΄ μΌνκ³ μμ§λ§, λ§μ μ¬λλ€μ΄ λμ΄μμ λμλ‘ μ΄μ£Όνλ©΄μ μ μΉ μμ€ν
μ΄ ν¬κ² λ³ννμ΅λλ€.3. μ¬ν: μ λ½κ³Ό μμμμ λ§μ κ΅κ°μμ μ¬νλ ν¬κ² λ³ννμ΅λλ€. μ λ½μ μ°μ
νμ λμνκ° μ§νλλ©΄μ μ¬νκ° ν¬κ² λ³ννμ΅λλ€. μμμλ μ¬μ ν λ§μ μ¬λλ€μ΄ μΌνκ³ μμ§λ§, λ§μ μ¬λλ€μ΄ λμ΄μμ λμλ‘ μ΄μ£Όνλ©΄μ μ¬νκ° ν¬κ² λ³ννμ΅λλ€.
|
| 219 |
+
> *EOS=True, 3gram_rep=30.84%, tokens=181*
|
| 220 |
+
|
| 221 |
+
## 11. μ΅μ’
νμ
|
| 222 |
+
|
| 223 |
+
### λ°°ν¬ κΈ°μ€ μΆ©μ‘± μ¬λΆ
|
| 224 |
+
|
| 225 |
+
| 쑰건 | κΈ°μ€ | νμ¬ κ° | μΆ©μ‘± |
|
| 226 |
+
|------|------|---------|------|
|
| 227 |
+
| Greedy 3-gram λ°λ³΅λ₯ | < 5% | 30.89% | NO |
|
| 228 |
+
| EOS μ’
λ£μ¨ | > 90% | 66.67% | NO |
|
| 229 |
+
| PPL Forgetting | < 5% | 4.1% | YES |
|
| 230 |
+
| KoBEST νκ· | >= 43% | 52.75% | YES |
|
| 231 |
+
|
| 232 |
+
**β λ°°ν¬ κΈ°μ€ λ―Έλ¬: RETRY (ORPO μ¬νμ΅ λλ νμ΄νΌνλΌλ―Έν° μ‘°μ νμ)**
|
| 233 |
+
|
| 234 |
+
---
|
| 235 |
+
|
| 236 |
+
*μ΄ λ³΄κ³ μλ `eval/report_generator.py::generate_three_way_report()`μ μν΄ μλ μμ±λμμ΅λλ€.*
|