| LoRA adapter 학습 결과를 바로 stable로 바꾸면 안 됩니다. | |
| 이유는 새 adapter가 일부 질문에서는 좋아 보여도, 다른 항목에서 회귀할 수 있기 때문입니다. 특히 한국어 존댓말, 명령어 형식, CJK 누출, 필수 키워드 포함 여부는 별도로 확인해야 합니다. | |
| 검증 순서는 다음과 같습니다. | |
| 1. smoke test를 먼저 실행합니다. | |
| - 짧은 핵심 질문으로 기본 동작을 확인합니다. | |
| - CJK 누출, 과도하게 짧은 답변, 필수 명령어 누락이 있으면 다음 단계로 가지 않습니다. | |
| 2. smoke test를 통과한 adapter만 benchmark를 실행합니다. | |
| - 기존 stable adapter와 같은 기준으로 비교합니다. | |
| - 평균 점수만 보지 말고 pass_70_plus, strong_85_plus, CJK flags를 같이 봅니다. | |
| 3. benchmark 결과가 기존 stable보다 확실히 좋아야 합니다. | |
| - 기준을 통과하지 못하면 stable로 승격하지 않습니다. | |
| - 애매한 결과는 hold candidate로 둡니다. | |
| 4. 실패한 adapter는 rejected로 분리합니다. | |
| - CJK 누출이나 점수 회귀가 있으면 rejected 처리합니다. | |
| - rejected adapter에서 추가 학습을 이어가면 회귀가 누적될 수 있습니다. | |
| 5. stable 승격은 마지막에만 합니다. | |
| - smoke test와 benchmark를 모두 통과한 뒤에만 current_stable_repair를 변경합니다. | |
| - 통과하지 못하면 기존 stable을 유지합니다. | |