Update/2025-01-25_humaneval_fixes.md

TestTime RLVR-v2 HumanEval 평가 수정 사항

날짜: 2025-01-25

개요

HumanEval 벤치마크에서 0% 정확도 문제를 해결하기 위한 전체적인 수정 작업을 수행했습니다.

주요 문제점 및 해결 방안

1. Import 문 누락 문제

문제: HumanEval 솔루션에서 from typing import List 등의 import 문이 누락되어 실행 실패 해결:

• EvalPlus 방식과 동일하게 프롬프트에서 import 문을 추출하여 자동 추가
• _add_imports_from_prompt() 메서드 추가
• 자동으로 import를 추가하는 치팅 방식 제거

2. IPO Triple 추출 문제

문제:

• base_input의 첫 번째 항목만 사용
• HumanEval에서 테스트 케이스를 사용하여 IPO 생성 (치팅) 해결:
• HumanEval은 docstring 예제만 사용하도록 변경
• _extract_docstring_examples() 메서드 추가
• 입력 형식 분리: 평가용 인자와 표시용 전체 함수 호출

3. 프롬프트 일관성 문제

문제:

• batch_evaluate_testtime.py의 하드코딩된 프롬프트가 solution_generator.py와 불일치
• HumanEval/50과 같은 다중 함수 문제 처리 미흡 해결:
• 모든 프롬프트를 solution_generator.py와 일치하도록 수정
• 다중 함수 케이스를 위한 특별 처리 추가

4. Task 생성 시 문제

문제:

• HumanEval에서 doctest 예시가 포함되어 치팅 발생
• Induction task의 message가 일반적인 메시지 사용 해결:
• _remove_doctest_examples() 메서드로 doctest 제거
• HumanEval의 경우 함수 설명을 추출하여 message로 사용

5. 평가 실패 문제

문제:

• Induction: 전체 함수 호출을 사용하여 평가 실패
• Abduction: 인자만 저장되어 MBPP와 다른 형식으로 평가 해결:
• IPO triple에 input(인자)와 full_input_str(전체 호출) 분리 저장
• Abduction expected_solution을 full_input_str 사용하도록 수정

수정된 파일 목록

1. /home/ubuntu/RLVR/TestTime-RLVR-v2/absolute_zero_reasoner/testtime/solution_generator.py

• _add_imports_from_prompt() 메서드 추가
• _add_missing_imports() 제거 (치팅 방지)
• HumanEval용 프롬프트 개선
• 다중 함수 처리 로직 추가

2. /home/ubuntu/RLVR/TestTime-RLVR-v2/absolute_zero_reasoner/testtime/ipo_extractor.py

• _extract_docstring_examples() 메서드 추가
• HumanEval은 docstring 예제만 사용하도록 수정
• 입력 형식 분리 (평가용/표시용)

3. /home/ubuntu/RLVR/TestTime-RLVR-v2/absolute_zero_reasoner/testtime/task_generator.py

• _remove_doctest_examples() 메서드 추가
• _extract_function_description() 메서드 추가
• HumanEval induction message 개선
• Abduction expected_solution을 전체 함수 호출로 수정

4. /home/ubuntu/RLVR/TestTime-RLVR-v2/test/batch_evaluate_testtime.py

• 하드코딩된 프롬프트를 solution_generator.py와 일치하도록 수정
• 전체 LLM 프롬프트 로깅 추가

기술적 세부사항

IPO Triple 형식 차이

// MBPP (기존)
{
  "input": "intersperse([], 4)",
  "full_input_str": "intersperse([], 4)"
}

// HumanEval (수정됨)
{
  "input": "[], 4",  // 평가용 (인자만)
  "full_input_str": "intersperse([], 4)"  // 표시용 (전체 호출)
}

Import 추출 로직

def _add_imports_from_prompt(self, prompt: str, solution: str) -> str:
    # 프롬프트에서 import 문 추출
    # solution 앞에 import 문 추가
    # EvalPlus와 동일한 방식

Doctest 제거

def _remove_doctest_examples(self, code: str) -> str:
    # docstring 내의 >>> 예시 제거
    # 함수 설명은 유지

성과

• HumanEval 평가가 정상적으로 작동
• 치팅 없이 공정한 평가 수행
• MBPP와 일관된 평가 방식 유지
• EvalPlus와 호환되는 import 처리

향후 개선사항

• 더 많은 HumanEval 문제에 대한 테스트 필요
• 다양한 edge case 처리 개선
• 성능 최적화