source/eval/decision/restart_scenario.md

"처음부터 다시 시작" 시나리오 완전 분석

작성일: 2026-02-26
역할: "처음부터 제대로 다시" 옹호자
결론: ✅ 1B SFT 재학습 강력 권장 (40분), 3B 전환은 병렬 준비

---

1. 현재 접근법의 근본적 한계

1.1 발견된 버그/문제가 가중치에 미친 영향

지금까지 발견된 문제들을 정리하면:

#	버그/문제	가중치 오염 정도	제거 가능?
1	프롬프트 포맷 불일치 (### 질문: vs <|user|>)	❌ 가중치 무관 (추론 버그)	추론 코드만 수정
2	Dynamic padding 미작동 (4096 고정 패딩)	🟡 간접 영향 — 학습 효율 저하로 실질 epoch 부족	재학습 필요
3	트렁케이션 시 EOS 손실 (0.04%)	🟢 미미 (61/159K 샘플)	코드 이미 수정됨
4	</s> 리터럴 오염 데이터 113건	🟡 EOS 경계 혼란 유발	데이터 필터 필요
5	Output 내 Q/A 마커 ~550건	🟡 자체 루프 패턴 학습	데이터 필터 필요
6	OpenOrca 5배 업샘플링 → 과적합	🔴 가중치에 깊이 각인	재학습 필요
7	Val split 없음 → 과적합 감지 불가	—	재학습 시 추가
8	~2 epoch만 학습 (업계 표준 3-5)	🔴 underfitting	재학습 필요
9	짧은 output 10.4% (50자 미만)	🟡 EOS 타이밍 학습 불안정	데이터 필터 필요

1.2 "오염된 학습"의 가중치 잔류 여부

결론: 부분적으로 남아있고, 완전 제거 불가능.

SFT는 base model 위에 얇은 layer를 미세조정한 것이 아니라 전체 가중치를 업데이트한다. 5000 steps × lr=2e-5로 학습된 gradient update는 모든 layer에 분포되어 있으며:

• OpenOrca 5배 업샘플링으로 인해 해당 소스의 패턴이 과도하게 각인
• Q/A 마커 오염 데이터(550건)의 패턴도 가중치에 분산 저장
• </s> 리터럴이 포함된 113건이 EOS 토큰 예측 확률 분포를 왜곡

이들은 추가 학습(continual training)으로 "덮어쓸" 수는 있지만, 기존 오염을 정확히 역전시키는 것은 불가능. 추가 학습은 새로운 gradient로 기존 가중치를 수정하지만, 이미 학습된 잘못된 패턴의 흔적(특히 low-rank subspace에서)은 완전히 사라지지 않는다.

1.3 반복 퇴화 17.7%: 파라미터 문제 vs 가중치 문제

수정 후 반복률 변화를 보면:

포맷 불일치 상태:        57% → 포맷 수정만으로 → 30.7% → +추론 파라미터 → 17.7%

분석:

• 57% → 30.7% (포맷 수정): 추론 버그 — 가중치 무관 ✅
• 30.7% → 17.7% (rep_penalty + no_repeat_ngram): 추론 파라미터 — 가중치 무관 ✅
• 잔여 17.7%: 이것이 가중치 수준의 문제

17.7%의 구성:

• 코드 설명 시 알파벳 나열 반복 (샘플 #2: 30.5%)
• 리스트형 답변에서 유사 항목 반복 (샘플 #4: 21.3%, #7: 24.4%, #8: 23.8%)
• 단순 사실 답변은 정상 (샘플 #1: 0.0%, #9: 13.3%)

결론: 17.7%는 가중치 수준 문제. 원인:

1. 학습 데이터 자체의 반복 패턴 (57건 직접 반복 + 수백 건 간접)
2. 2 epoch의 underfitting으로 EOS 생성 신뢰도 부족
3. OpenOrca 과잉 대표로 인한 다양성 결핍

---

2. 처음부터 다시 한다면: 구체적 개선 사항

2.1 SFT 데이터 파이프라인

항목	현재	재시작 시
포맷	<|user|>/<|assistant|> ✅	동일 유지
EOS 처리	트렁케이션 시 손실 가능	코드 이미 수정됨 (response_ids[-1] = eos_token_id)
Dynamic padding	미작동 (고정 4096)	코드 이미 수정됨 (가변 길이 반환)
품질 필터	기본 (50자, 30% 한글)	강화: 80자, 40% 한글, EOS/Q&A 오염 제거, 5-gram 반복 필터
Val split	없음	5% val split (prepare_sft_data.py에 이미 구현됨)
가중치 샘플링	OpenOrca 5.0×	OpenOrca 2.0× (이미 수정됨)
예상 데이터	159K	~120-130K (필터링 후)

핵심 변경: prepare_sft_data.py를 다시 실행하면 된다. 코드에 이미 enhanced filter와 수정된 가중치가 반영되어 있다.

2.2 학습 하이퍼파라미터

파라미터	현재	재시작 시	근거
max_steps	5,000 (~2 epoch)	7,500-10,000 (3-4 epoch)	업계 표준 3-5 epoch
lr	2e-5	2e-5 유지	업계 표준, loss curve 안정
warmup	150 (3%)	225-300 (3%)	steps 증가에 비례
NEFTune alpha	10.0	10.0 유지	159K 데이터에 적합
val_data	없음	val.jsonl 전달	과적합 모니터링
save_interval	500	500 유지	best checkpoint 선택 가능

2.3 추가 고려사항

• <|user|> / <|assistant|> 특수 토큰 등록: 현재 서브워드 분할됨. 단일 토큰으로 등록하면 더 robust하나 base model 재학습 필요 → SFT에서는 현행 유지, 3B에서 반영
• Repetition penalty loss (Unlikelihood Training): 중기 옵션. 재시작 1차에는 데이터 품질 개선만으로 충분할 것

---

3. 업계 최고 수준 SFT 파이프라인 비교

3.1 주요 프레임워크 비교

기능	현 프로젝트 (수정 후)	LLaMA-Factory	TRL SFTTrainer	Axolotl
Completion-only loss	✅ (labels=-1)	✅	✅ (DataCollator)	✅
Dynamic padding	✅ (수정됨)	✅	✅	✅
Sample packing	❌	✅	✅ (packing=True)	✅
EOS 보장	✅ (수정됨)	✅	✅	✅
Val monitoring	✅ (구현됨)	✅	✅	✅
Flash Attention	✅ (64-align)	✅	✅	✅
NEFTune	✅	✅	✅	✅

3.2 packing=True + completion_only_loss 분석

Sample Packing: 여러 짧은 샘플을 하나의 시퀀스에 연결하여 패딩 완전 제거.

Before packing (dynamic padding):
[sample1 (200 tok)] [pad pad pad ... (312 pad)] = 512 total
[sample2 (480 tok)] [pad pad pad ... (32 pad)]  = 512 total

After packing:
[sample1 (200 tok)][sample2 (480 tok)][pad ... (344)] = 1024 total
→ 2 samples in 1 sequence, less padding waste

현 프로젝트 적용 가능성:

• 평균 시퀀스 ~500 토큰이므로 packing 효과 매우 큼 (4096 대비 88% 절약 → packing으로 추가 20-30% 절약)
• 그러나 구현 복잡도 높음: attention mask에 sample boundary 처리 필요
• 권장: 현재 dynamic padding만으로도 충분한 개선. Packing은 3B 또는 TRL 전환 시 도입.

3.3 현 프로젝트에 바로 적용 가능한 것

1. ✅ 이미 적용됨: Dynamic padding, EOS 보장, completion-only loss, NEFTune
2. 🟡 미적용이나 중요도 낮음: Sample packing (구현 복잡, 현재 효율 충분)
3. 🟡 미적용이나 고려 가치: TRL SFTTrainer 전환 (커스텀 LLM 클래스 호환성 확인 필요)

---

4. 3B 모델로의 전환 타이밍

4.1 1B 재학습 vs 바로 3B

기준	1B 재학습	바로 3B
소요 시간	~40분 SFT	~26시간 pretrain + ~2시간 SFT
리스크	낮음 (검증된 파이프라인)	중간 (새 아키텍처 설정 필요)
기대 품질	반복률 17.7% → 5-8% 예상	반복률 2-5% 예상
ko_ifeval	20-30% 예상	35-45% 예상
학습 검증	즉시 가능	26시간 후에야 확인 가능

4.2 Chinchilla Scaling Law 분석

Chinchilla 최적 학습 데이터 = 20 × 파라미터 수

1B 모델: 20 × 1B = 20B tokens (현재 ~8.91B → 부족하지만 SFT에는 충분)
3B 모델: 20 × 3B = 60B tokens (현재 데이터 ~150B → 충분)
         70 × 3B = 210B tokens (최적 → 150B로 71% 수준)

현재 150B tokens 데이터는 3B 학습에 충분하다 (Chinchilla 최소 기준의 2.5배).

4.3 3B가 반복 퇴화를 구조적으로 덜 겪는가?

예, 스케일 효과가 있다. 근거:

1. Representation capacity: 3B는 1B 대비 ~2.5배 파라미터 → EOS 예측, 반복 회피 등 복잡한 패턴을 더 정확하게 학습
2. Attention head 수 증가: 더 많은 head가 "이전에 말한 것" 추적에 전용 가능
3. 경험적 증거: Open Ko-LLM 리더보드에서 3B 모델들은 1B 대비 일관되게 반복률 낮음
4. 같은 SFT 데이터라도 3B가 더 잘 일반화: 더 큰 모델이 same data에서 더 많은 패턴 추출

4.4 권장: 1B 재학습 먼저, 3B 병렬 준비

Day 0: 데이터 재준비 (30분) + 1B SFT 재학습 (40분) = 오늘 완료
Day 0: 결과 평가 (30분) → 1B 기준선 확보
Day 1-2: 3B 아키텍처 설정 + pretrain 시작 (26시간)
Day 2-3: 3B SFT (2시간) + 평가

이유:

• 1B 재학습은 비용이 너무 낮다 (40분). 안 할 이유가 없다.
• 1B 결과로 파이프라인 검증 → 3B에 동일한 (검증된) 파이프라인 적용
• 3B pretrain 동안 1B 모델을 배포/데모에 사용 가능

---

5. "다시 시작"의 타임라인

5.1 상세 타임라인

단계	작업	소요 시간	누적
A. 데이터 재준비	prepare_sft_data.py 재실행 (강화 필터 적용)	20-30분	30분
B. 1B SFT 재학습	7500 steps, 8×B200, dynamic padding 적용	30-40분	1시간
C. 1B 평가	반복률 + 생성 품질 + (선택) ko_ifeval	30분-2시간	1.5-3시간
D. 3B pretrain	150B tokens, 8×B200	~26시간	27-29시간
E. 3B SFT	동일 데이터, 10000 steps	1.5-2시간	29-31시간
F. 3B 평가	전체 벤치마크	2-4시간	31-35시간

5.2 현재 고쳐서 가는 시간 vs 재시작

경로	소요 시간	예상 최종 품질
경로 A: 현재 모델에서 추가 학습	추가 SFT 40분 + 평가 2시간 = ~3시간	반복률 12-15%, 잔여 오염
경로 B: 1B 클린 재학습	데이터 30분 + SFT 40분 + 평가 2시간 = ~3시간	반복률 5-8%, 오염 없음
경로 C: 3B 처음부터	데이터 30분 + pretrain 26시간 + SFT 2시간 + 평가 4시간 = ~33시간	반복률 2-5%, ko_ifeval 35-45%

경로 A와 B의 시간이 거의 같은데, B가 품질이 확실히 높다. 이것이 재시작을 권장하는 핵심 이유다.

---

6. 재시작의 리스크와 예방

6.1 "다시 해도 또 새로운 문제가 나올 수 있다"

리스크	확률	예방 방법
데이터 파이프라인 새 버그	낮음	코드 이미 수정/검증됨, 단위 테스트 추가
과적합 감지 실패	낮음	val split 이번엔 반드시 사용
새로운 유형의 반복	중간	다양한 프롬프트로 평가, rep_penalty 보험
학습 불안정 (loss spike)	낮음	기존 학습에서 안정적이었음, 동일 lr 사용
데이터 필터 과도 → 데이터 부족	낮음	120K 여전히 충분 (3-4 epoch에 적합)

6.2 지금까지의 교훈 반영 체크리스트

✅ 추론 시 올바른 프롬프트 포맷 (<|user|>/<|assistant|>) 사용
✅ Dynamic padding 실제 작동 확인 (배치별 가변 길이)
✅ 트렁케이션 시 EOS 강제 삽입
✅ EOS 리터럴 / Q&A 마커 오염 데이터 필터링
✅ 가중치 샘플링 정상화 (5.0 → 2.0)
✅ Val split으로 과적합 모니터링
✅ 3-4 epoch 충분히 학습
✅ 평가 시 rep_penalty=1.1 + no_repeat_ngram=3 기본 적용
✅ 다양한 프롬프트 유형으로 종합 평가

6.3 성공 확률 추정

• 위 체크리스트 100% 반영 시: 반복률 5-8% 달성 확률 85-90%
• 기존 대비 개선: 반복률 17.7% → 5-8% (55-70% 감소)
• 실패 시나리오: 반복률이 10-15%에 머무는 경우 → 추가 대응 (ORPO/DPO)

---

7. 최종 결론 및 권장

7.1 "다시 시작"이 필요한 근본적 이유

필요하다. 이유:

1. 비용이 거의 없다 — 1B SFT 재학습은 40분. 기존 모델에서 추가 학습하는 시간과 동일.
2. 오염된 가중치 위에 쌓는 것은 비효율적 — OpenOrca 5배 업샘플링 + Q/A 마커 오염의 흔적이 남아있는 상태에서 추가 학습하면, 새 gradient가 오래된 오염을 완전히 덮지 못함.
3. 모든 수정 사항이 이미 코드에 반영됨 — sft_dataset.py (dynamic padding, EOS 보장), prepare_sft_data.py (강화 필터, 가중치 수정) 모두 수정 완료. 실행만 하면 됨.
4. 깨끗한 기준선이 필요 — 3B로 스케일업하기 전에, 깨끗한 1B 결과가 있어야 파이프라인이 올바른지 검증 가능.

7.2 다시 시작 시 예상 최종 품질

지표	현재 (수정 추론)	1B 재학습 예상	3B 재학습 예상
반복률 (3-gram)	17.7%	5-8%	2-5%
반복률 (rep_penalty 없이)	~30%	10-15%	5-10%
EOS 정상 종료율	~60%	85-90%	90-95%
ko_ifeval (추정)	15-25%	20-30%	35-45%
ko_winogrande (추정)	50-55%	53-58%	60-68%
한국어 답변 자연스러움	중간	중상	상

7.3 타임라인

[오늘 — 3시간]
├── 데이터 재준비: prepare_sft_data.py 재실행 (30분)
├── 1B SFT 재학습: 7500 steps (40분)
└── 평가: 반복률 + 생성 품질 (30분-2시간)

[내일-모레 — 30시간]
├── 3B pretrain (26시간, 백그라운드)
├── 3B SFT (2시간)
└── 3B 전체 평가 (2-4시간)

7.4 최종 권장

권장	근거
✅ 1B SFT 즉시 재학습	40분 투자, 반복률 17.7% → 5-8% 예상, 리스크 극히 낮음
✅ 3B pretrain 병렬 시작	1B 재학습 결과로 파이프라인 검증 후 동일 파이프라인 적용
❌ 현재 가중치에서 추가 학습	같은 시간으로 더 낮은 품질. 오염 잔류 위험.

한 줄 요약: 40분이면 깨끗한 모델을 얻을 수 있는데, 오염된 모델에 40분을 더 쓸 이유가 없다.

---

부록: 재학습 실행 명령어

# Step 1: 데이터 재준비 (강화 필터 + 수정된 가중치 적용)
cd /PROJECT/0325120031_A/ghong/taketimes/llm-bang
python data/prepare_sft_data.py --output_dir data/sft_v2/ --val_split 0.05

# Step 2: 1B SFT 재학습
torchrun --nproc_per_node=8 train/sft.py \
    --base_checkpoint checkpoints/korean_1b_fp8_run1/checkpoint-0034000 \
    --sft_data data/sft_v2/train.jsonl \
    --val_data data/sft_v2/val.jsonl \
    --checkpoint_dir checkpoints/korean_1b_sft_v2 \
    --max_steps 7500 \
    --batch_size 4 \
    --grad_accum 2 \
    --lr 2e-5 \
    --warmup_steps 225 \
    --use_fp8

# Step 3: 평가
python eval/test_generation_params.py \
    --checkpoint checkpoints/korean_1b_sft_v2/checkpoint-0007500