data/eval_dataset.json

{
  "metadata": {
    "version": "1.0",
    "description": "RFPilot 평가 데이터셋",
    "created_by": "manual_annotation"
  },
  "in_distribution": [
    {
      "query": "사업 제안서 제출 마감일은 언제인가요?",
      "expected_answer": "2024년 3월 15일까지입니다.",
      "category": "deadline",
      "expected_type": "document",
      "source_doc": "RFP_2024_001.hwp",
      "metadata": {
        "difficulty": "easy"
      }
    },
    {
      "query": "제안 요청서의 제출 서류는 무엇인가요?",
      "expected_answer": "기술제안서, 가격제안서, 사업자등록증, 회사소개서가 필요합니다.",
      "category": "requirements",
      "expected_type": "document",
      "source_doc": "RFP_2024_001.hwp",
      "metadata": {
        "difficulty": "medium"
      }
    },
    {
      "query": "사업 예산 규모는 얼마인가요?",
      "expected_answer": "총 5억원입니다.",
      "category": "budget",
      "expected_type": "document",
      "source_doc": "RFP_2024_002.hwp",
      "metadata": {
        "difficulty": "easy"
      }
    }
  ],
  "out_distribution": [
    {
      "query": "한국의 수도는 어디인가요?",
      "expected_answer": "서울입니다.",
      "category": "general_knowledge",
      "expected_type": "out_of_scope",
      "metadata": {
        "difficulty": "easy"
      }
    },
    {
      "query": "파이썬에서 리스트와 튜플의 차이는 무엇인가요?",
      "expected_answer": "리스트는 가변(mutable)이고, 튜플은 불변(immutable)입니다.",
      "category": "programming",
      "expected_type": "out_of_scope",
      "metadata": {
        "difficulty": "medium"
      }
    }
  ]
}