File size: 2,734 Bytes
24c2665 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 |
# Phase 1: κΈ°λ° μΈνλΌ κ΅¬μΆ μλ£
## π λλ ν 리 ꡬ쑰 μ€μ
### μλ‘ μμ±λ νλ‘μ νΈ
- `/home/ubuntu/RLVR/TestTime-RLVR-v2/` - AZR κΈ°λ° μ νλ‘μ νΈ
### ν΅μ¬ λλ ν 리 ꡬ쑰
```
TestTime-RLVR-v2/
βββ absolute_zero_reasoner/
β βββ testtime/ # TestTime μ μ© μ»΄ν¬λνΈ
β β βββ __init__.py # λͺ¨λ μ΄κΈ°ν
β β βββ config.py # TestTime μ€μ
β βββ utils/code_utils/ # AZR Python Executor (κΈ°μ‘΄)
β βββ rewards/ # AZR Reward Manager (κΈ°μ‘΄)
β βββ trainer/ppo/ # AZR PPO Trainer (κΈ°μ‘΄)
βββ logs/ # λ‘κΉ
μμ€ν
β βββ problems/ # λ¬Έμ λ³ λ‘κ·Έ
β βββ ipo_extraction/ # IPO μΆμΆ λ‘κ·Έ
β βββ task_generation/ # νμ€ν¬ μμ± λ‘κ·Έ
β βββ training/ # νμ΅ λ‘κ·Έ
β βββ performance/ # μ±λ₯ λ³ν λ‘κ·Έ
βββ evaluation/code_eval/data/ # λ²€μΉλ§ν¬ λ°μ΄ν°
β βββ HumanEvalPlus.jsonl # β
μ‘΄μ¬ νμΈ
β βββ MbppPlus.jsonl # β
μ‘΄μ¬ νμΈ
βββ Update/ # λ³κ²½μ¬ν μΆμ
```
## π§ μμ±λ ν΅μ¬ μ»΄ν¬λνΈ
### 1. TestTimeConfig ν΄λμ€
- **μμΉ**: `absolute_zero_reasoner/testtime/config.py`
- **κΈ°λ₯**: TestTime RLVR μ 체 μ€μ κ΄λ¦¬
- **νΉμ§**: AZR νΈνμ± μ μ§νλ©΄μ TestTime νΉν μ€μ μΆκ°
### 2. BenchmarkConfig ν΄λμ€
- **μμΉ**: `absolute_zero_reasoner/testtime/config.py`
- **κΈ°λ₯**: λ²€μΉλ§ν¬λ³ μ€μ (HumanEval+, MBPP+)
- **νΉμ§**: λ²€μΉλ§ν¬λ³ μμ μΈλ±μ€, κ²½λ‘ λ± κ΄λ¦¬
## β
μλ£λ μμ
1. **νλ‘μ νΈ λ³΅μ¬**: AZR β TestTime-RLVR-v2
2. **λλ ν 리 ꡬ쑰**: λ‘κ·Έ λ° μ»΄ν¬λνΈ λλ ν 리 μμ±
3. **κΈ°λ³Έ μ€μ **: TestTimeConfig, BenchmarkConfig ν΄λμ€ μμ±
4. **λ°μ΄ν° νμΈ**: HumanEval+, MBPP+ λ°μ΄ν° νμΌ μ‘΄μ¬ νμΈ
5. **λͺ¨λ ꡬ쑰**: testtime ν¨ν€μ§ μ΄κΈ°ν
## π― λ€μ λ¨κ³ (Phase 2)
1. **BenchmarkProblemLoader** ꡬν - λ²€μΉλ§ν¬ λ¬Έμ λ‘λ©
2. **InitialSolutionGenerator** ꡬν - μ΄κΈ° μ루μ
μμ±
3. **λ²€μΉλ§ν¬ κ²μ¦ μμ€ν
** ꡬν - μ루μ
μ νμ± κ²μ¦
## π μ£Όμ μ€κ³ μμΉ
- **AZR νΈνμ±**: κΈ°μ‘΄ AZR μ»΄ν¬λνΈ μ΅λν μ¬μ¬μ©
- **κ²½λν**: TestTimeμ μ ν©ν λΉ λ₯Έ μ μ νμ΅
- **ν¬κ΄μ λ‘κΉ
**: λͺ¨λ λ¨κ³λ³ μμΈ λ‘κ·Έ κΈ°λ‘
- **λͺ¨λμ±**: κ° μ»΄ν¬λνΈ λ
립μ ν
μ€νΈ κ°λ₯
---
**μμ± μΌμ**: 2025-07-16
**μν**: β
μλ£ |