Update/Phase3_AZR_Template_Integration.md

Phase 3 개선: AZR 템플릿 직접 통합 완료

✅ 주요 개선사항

1. AZR 템플릿 직접 사용

• 기존: 단순화된 TestTime 전용 템플릿 (20-30라인)
• 개선: AZR 원본 템플릿 직접 활용 (2000+ 문자)
• 효과: 상세한 제약사항, 예시, 평가기준 포함

2. 태스크 타입별 AZR 매핑

TestTime 태스크	AZR 문제 타입	설명
Induction	code_f	함수 생성 문제
Deduction	code_o	출력 예측 문제
Abduction	code_i	입력 생성 문제

3. 코드 구조 최적화

• 템플릿 임포트: from ..data_construction.prompts import get_code_problem_generator_prompt
• 불필요한 코드 제거: 기존 단순 템플릿 코드 삭제 (150+ 라인 정리)
• 매개변수 수정: composite_functions=[] 추가로 오류 해결

🧪 테스트 결과

AZR 템플릿 품질 비교

기존 TestTime 템플릿: 20-30라인, 기본적 설명
AZR 템플릿: 2000+ 문자, 상세한 구조
- 다양한 예시 제공
- 명확한 제약사항
- 체계적 평가기준
- 단계별 추론 유도

생성된 프롬프트 예시

• Induction: 2,274자 상세 프롬프트
• Deduction: 3,057자 상세 프롬프트
• Abduction: 3,063자 상세 프롬프트

📂 정리된 파일

불필요한 파일 삭제

• ❌ /tmp/azr/debug_ipo_failures.py
• ❌ /tmp/azr/detailed_failure_analysis.py
• ❌ /tmp/azr/complete_pipeline_details.py
• ❌ /tmp/azr/show_full_pipeline.py

유지되는 핵심 파일

• ✅ /tmp/azr/ipo_failure_analysis.json - IPO 실패 패턴 기록
• ✅ /tmp/azr/complete_pipeline_analysis.json - 전체 파이프라인 분석
• ✅ /tmp/azr/test_azr_templates.py - AZR 템플릿 테스트용

🎯 핵심 발견사항

IPO 추출 실패 패턴

성공: 1/5 케이스 (Division by Zero만 성공)
실패: 4/5 케이스
- Infinite Loop: Timeout (5초)
- Import Error: ModuleNotFoundError  
- Variable Error: NameError
- No Function: 함수 정의 없음

AZR 템플릿 효과

• 프롬프트 길이: 100배 증가 (30자 → 3000자)
• 구조: 체계적 multi-step 프롬프트
• 품질: 상세한 예시와 제약사항 포함

📝 코드 변경사항

task_generator.py 주요 수정

# 1. AZR 템플릿 임포트
from ..data_construction.prompts import get_code_problem_generator_prompt

# 2. 태스크별 AZR 템플릿 활용
- induction: code_f (함수 생성)
- deduction: code_o (출력 예측)  
- abduction: code_i (입력 생성)

# 3. 매개변수 수정
composite_functions=[]  # 빈 리스트로 설정

제거된 코드

• 기존 템플릿 메서드 (150+ 라인)
• 불필요한 임시 변수
• 중복 테스트 파일들

🎉 개선 효과

1. 품질: AZR 수준의 고품질 프롬프트 활용
2. 일관성: AZR 학습 데이터와 동일한 형식
3. 효율성: 코드 중복 제거 및 직접 재사용
4. 확장성: AZR의 모든 템플릿 기능 활용 가능

---

완료 일시: 2025-07-16
상태: ✅ AZR 템플릿 통합 완료 다음 단계: Phase 4 - RLVR 학습 시스템 구현