{ "golden_path": "data\\eval\\qa_golden_set.verified.json", "candidate_path": "data\\eval\\qa_candidate_outputs_v2.json", "total_cases": 50, "top_k": 5, "elapsed_sec": 0.0, "metrics": { "search_hit_at_k_pct": 100.0, "evidence_relevance_pct": 100.0, "judgment_accuracy_pct": 92.0, "judgment_evaluated_cases": 50, "missing_condition_recall_pct": 100.0 }, "targets": { "search_hit_at_5_pct": 85, "evidence_relevance_pct": 80, "judgment_accuracy_pct": 70 }, "details": [ { "id": "qa-conc-001", "domain": "concrete_rebar_formwork", "query": "철근 정착 길이를 검토해야 하는데 어떤 설계기준과 조건을 확인해야 하나요? 콘크리트 철근 정착 길이", "expected_codes": [ "KDS 14 20 52" ], "returned_codes": [ "KDS 14 20 52", "LHCS 14 20 11", "EXCS 14 20 13", "KRCCS 67 50 20", "KCS 61 50 05" ], "search_hit": true, "evidence_hit": true, "matched_evidence_keywords": [ "철근", "정착", "이음", "상세" ], "judgment": { "evaluated": true, "pass": true, "expected": "needs_more_info", "actual": "needs_more_info", "missing_condition_recall": 1.0 } }, { "id": "qa-conc-002", "domain": "concrete_rebar_formwork", "query": "철근공사 현장에서 배근과 조립 상태를 검측할 때 어떤 시공기준을 봐야 하나요? 철근공사 배근 검측", "expected_codes": [ "KCS 14 20 11" ], "returned_codes": [ "EXCS 14 20 11", "KCS 14 20 11", "SMCS 14 20 11", "EXCS 14 20 14", "LHCS 14 20 11" ], "search_hit": true, "evidence_hit": true, "matched_evidence_keywords": [ "철근", "시공", "조립", "검사" ], "judgment": { "evaluated": true, "pass": true, "expected": "conditional_pass", "actual": "conditional_pass", "missing_condition_recall": 1.0 } }, { "id": "qa-conc-003", "domain": "concrete_rebar_formwork", "query": "거푸집과 동바리 설치가 안전한지 검토하려면 어떤 기준을 적용해야 하나요? 거푸집 및 동바리 설치 안전성", "expected_codes": [ "KCS 14 20 12" ], "returned_codes": [ "KCS 14 20 12", "SMCS 14 20 12", "EXCS 14 20 12", "LHCS 14 20 12", "SMCS 21 50 10" ], "search_hit": true, "evidence_hit": true, "matched_evidence_keywords": [ "거푸집", "동바리", "시공" ], "judgment": { "evaluated": true, "pass": true, "expected": "needs_more_info", "actual": "needs_more_info", "missing_condition_recall": 1.0 } }, { "id": "qa-conc-004", "domain": "concrete_rebar_formwork", "query": "고속도로공사 전문시방서 기준으로 일반콘크리트 타설 전 확인할 품질 조건은 무엇인가요? 일반콘크리트 타설 전 품질 확인", "expected_codes": [ "EXCS 14 20 10" ], "returned_codes": [ "EXCS 14 20 10", "KCS 14 20 10", "SMCS 14 20 10", "EXCS 14 20 13", "KRACS 47 10 60" ], "search_hit": true, "evidence_hit": true, "matched_evidence_keywords": [ "일반콘크리트", "자재", "시공", "품질관리" ], "judgment": { "evaluated": true, "pass": true, "expected": "conditional_pass", "actual": "conditional_pass", "missing_condition_recall": 1.0 } }, { "id": "qa-conc-005", "domain": "concrete_rebar_formwork", "query": "수중 콘크리트 배합강도와 타설 기준을 검토하려면 어떤 시방서를 찾아야 하나요? 수중 콘크리트 배합강도 및 타설", "expected_codes": [ "KCS 14 20 43" ], "returned_codes": [ "KCS 14 20 43", "EXCS 14 20 43", "SMCS 14 20 43", "KDS 24 14 20", "KDS 54 50 00" ], "search_hit": true, "evidence_hit": true, "matched_evidence_keywords": [ "수중", "콘크리트", "배합강도", "타설" ], "judgment": { "evaluated": true, "pass": true, "expected": "needs_more_info", "actual": "needs_more_info", "missing_condition_recall": 1.0 } }, { "id": "qa-conc-006", "domain": "concrete_rebar_formwork", "query": "콘크리트공사 일반 기준에서 시공 전 공통 확인사항을 알려줘. 콘크리트공사 공통 확인사항", "expected_codes": [ "EXCS 14 20 01" ], "returned_codes": [ "EXCS 14 20 01", "KCS 47 10 60", "SMCS 14 20 01", "LHCS 14 20 01", "KCS 14 20 01" ], "search_hit": true, "evidence_hit": true, "matched_evidence_keywords": [ "콘크리트공사", "일반", "시공", "품질" ], "judgment": { "evaluated": true, "pass": true, "expected": "conditional_pass", "actual": "conditional_pass", "missing_condition_recall": 1.0 } }, { "id": "qa-conc-007", "domain": "concrete_rebar_formwork", "query": "팽창 콘크리트 사용 시 재료와 품질관리 기준을 검토하고 싶습니다. 팽창 콘크리트 재료 및 품질관리", "expected_codes": [ "EXCS 14 20 24" ], "returned_codes": [ "EXCS 14 20 24", "KWCS 10 10 15", "LHCS 10 10 15", "EXCS 10 10 15", "KCS 10 10 15" ], "search_hit": true, "evidence_hit": true, "matched_evidence_keywords": [ "팽창", "콘크리트", "재료", "품질관리" ], "judgment": { "evaluated": true, "pass": false, "expected": "needs_more_info", "actual": "conditional_pass", "missing_condition_recall": 1.0 } }, { "id": "qa-conc-008", "domain": "concrete_rebar_formwork", "query": "매스 콘크리트 온도균열 검토에 필요한 기준 조항을 찾아줘. 매스 콘크리트 온도균열", "expected_codes": [ "EXCS 14 20 42" ], "returned_codes": [ "EXCS 14 20 42", "KCS 14 20 42", "SMCS 14 20 42", "LHCS 14 20 42", "KRCCS 67 71 30" ], "search_hit": true, "evidence_hit": true, "matched_evidence_keywords": [ "매스", "콘크리트", "온도", "균열" ], "judgment": { "evaluated": true, "pass": true, "expected": "needs_more_info", "actual": "needs_more_info", "missing_condition_recall": 1.0 } }, { "id": "qa-ground-001", "domain": "ground_foundation_earth_retaining", "query": "지반조사 결과가 부족한 상태에서 기초 설계 검토를 진행해도 되는지 판단하고 싶습니다. 지반조사 조사 적정성", "expected_codes": [ "KCS 10 20 20" ], "returned_codes": [ "KCS 10 20 20", "SMCS 10 20 20", "EXCS 10 20 20", "KRACS 47 10 20", "SMCS 11 10 10" ], "search_hit": true, "evidence_hit": true, "matched_evidence_keywords": [ "지반조사", "조사", "시험", "보고" ], "judgment": { "evaluated": true, "pass": true, "expected": "needs_more_info", "actual": "needs_more_info", "missing_condition_recall": 1.0 } }, { "id": "qa-ground-002", "domain": "ground_foundation_earth_retaining", "query": "가설흙막이 설계 검토에서 확인해야 할 설계기준은 무엇인가요? 가설흙막이 설계 검토", "expected_codes": [ "KDS 21 30 00" ], "returned_codes": [ "KDS 21 30 00", "KCS 21 30 00", "LHCS 21 30 00", "NHCS 21 30 00", "EXCS 21 30 00" ], "search_hit": true, "evidence_hit": true, "matched_evidence_keywords": [ "가설흙막이", "설계", "안정" ], "judgment": { "evaluated": true, "pass": true, "expected": "needs_more_info", "actual": "needs_more_info", "missing_condition_recall": 1.0 } }, { "id": "qa-ground-003", "domain": "ground_foundation_earth_retaining", "query": "가설흙막이 공사 시공 중 계측과 안전 확인 기준을 찾아줘. 가설흙막이 시공 및 계측", "expected_codes": [ "KCS 21 30 00" ], "returned_codes": [ "EXCS 21 30 00", "KCS 21 30 00", "NHCS 21 30 00", "LHCS 21 30 00", "SMCS 21 30 00" ], "search_hit": true, "evidence_hit": true, "matched_evidence_keywords": [ "가설흙막이", "시공", "계측", "안전" ], "judgment": { "evaluated": true, "pass": true, "expected": "conditional_pass", "actual": "conditional_pass", "missing_condition_recall": 1.0 } }, { "id": "qa-ground-004", "domain": "ground_foundation_earth_retaining", "query": "철도 흙막이 구조물 검토 시 적용할 구조 설계 기준이 필요합니다. 흙막이 구조물 구조 설계", "expected_codes": [ "KDS 47 10 35" ], "returned_codes": [ "KDS 47 10 35", "KCS 12 20 15", "EXCS 21 30 00", "KRCCS 67 56 10", "KRCCS 67 46 30" ], "search_hit": true, "evidence_hit": true, "matched_evidence_keywords": [ "흙막이", "구조물", "설계", "안정" ], "judgment": { "evaluated": true, "pass": true, "expected": "needs_more_info", "actual": "needs_more_info", "missing_condition_recall": 1.0 } }, { "id": "qa-ground-005", "domain": "ground_foundation_earth_retaining", "query": "얕은기초 지지력 검토를 하려면 고속도로공사 전문시방서에서 어떤 항목을 봐야 하나요? 얕은기초 지지력", "expected_codes": [ "EXCS 11 50 05" ], "returned_codes": [ "EXCS 11 50 05", "KCS 11 50 05", "LHCS 11 50 05", "NHCS 11 50 05", "EXCS 11 50 06" ], "search_hit": true, "evidence_hit": true, "matched_evidence_keywords": [ "얕은기초", "기초", "시공", "품질" ], "judgment": { "evaluated": true, "pass": true, "expected": "needs_more_info", "actual": "needs_more_info", "missing_condition_recall": 1.0 } }, { "id": "qa-ground-006", "domain": "ground_foundation_earth_retaining", "query": "말뚝재하시험 결과로 말뚝 지지력을 확인할 때 적용할 기준을 찾아줘. 말뚝 재하시험", "expected_codes": [ "KCS 11 50 40" ], "returned_codes": [ "KCS 11 50 40", "LHCS 11 50 40", "EXCS 11 50 40", "SMCS 11 50 40", "NHCS 11 50 40" ], "search_hit": true, "evidence_hit": true, "matched_evidence_keywords": [ "말뚝", "재하시험", "시험" ], "judgment": { "evaluated": true, "pass": false, "expected": "conditional_pass", "actual": "needs_more_info", "missing_condition_recall": 1.0 } }, { "id": "qa-ground-007", "domain": "ground_foundation_earth_retaining", "query": "연약지반개량공사에서 시공 전 확인해야 할 일반 기준을 알려주세요. 연약지반개량 시공 전 검토", "expected_codes": [ "EXCS 11 30 05" ], "returned_codes": [ "EXCS 11 30 05", "KCS 11 30 05", "EXCS 11 30 06", "LHCS 11 30 05", "SMCS 11 30 05" ], "search_hit": true, "evidence_hit": true, "matched_evidence_keywords": [ "연약지반", "개량", "시공", "품질" ], "judgment": { "evaluated": true, "pass": false, "expected": "needs_more_info", "actual": "conditional_pass", "missing_condition_recall": 1.0 } }, { "id": "qa-steel-001", "domain": "steel_connection_bolts", "query": "강구조공사 일반사항에서 시공 계획 검토 시 확인할 기준을 찾아줘. 강구조공사 일반사항", "expected_codes": [ "KCS 14 31 05" ], "returned_codes": [ "SMCS 14 31 05", "KCS 14 31 05", "EXCS 14 31 05", "KCS 41 31 05", "KCS 41 31 45" ], "search_hit": true, "evidence_hit": true, "matched_evidence_keywords": [ "강구조", "공사", "일반", "시공" ], "judgment": { "evaluated": true, "pass": true, "expected": "conditional_pass", "actual": "conditional_pass", "missing_condition_recall": 1.0 } }, { "id": "qa-steel-002", "domain": "steel_connection_bolts", "query": "볼트 접합과 핀 연결 검토에 필요한 시공기준은 무엇인가요? 강구조 볼트 접합", "expected_codes": [ "KCS 14 31 25" ], "returned_codes": [ "KCS 41 31 25", "KCS 14 31 25", "EXCS 14 31 25", "KCS 24 31 05", "LHCS 14 31 25" ], "search_hit": true, "evidence_hit": true, "matched_evidence_keywords": [ "볼트", "접합", "핀", "연결" ], "judgment": { "evaluated": true, "pass": true, "expected": "needs_more_info", "actual": "needs_more_info", "missing_condition_recall": 1.0 } }, { "id": "qa-steel-003", "domain": "steel_connection_bolts", "query": "건축물 강구조 고장력볼트 접합 검사를 어떤 기준으로 봐야 하나요? 건축물 강구조 고장력볼트", "expected_codes": [ "KCS 41 31 25" ], "returned_codes": [ "SMCS 44 56 30", "KCS 41 31 25", "KCS 14 31 25", "LHCS 14 31 25", "EXCS 14 31 25" ], "search_hit": true, "evidence_hit": true, "matched_evidence_keywords": [ "고장력볼트", "접합", "연결", "검사" ], "judgment": { "evaluated": true, "pass": true, "expected": "conditional_pass", "actual": "conditional_pass", "missing_condition_recall": 1.0 } }, { "id": "qa-steel-004", "domain": "steel_connection_bolts", "query": "강구조 용접부 시공 품질을 확인할 기준 조항을 찾아주세요. 강구조 용접 품질", "expected_codes": [ "KCS 41 31 20" ], "returned_codes": [ "KCS 14 31 20", "KCS 41 31 20", "KWCS 14 31 20", "EXCS 14 31 05", "KCS 41 31 40" ], "search_hit": true, "evidence_hit": true, "matched_evidence_keywords": [ "강구조", "용접", "시공", "검사" ], "judgment": { "evaluated": true, "pass": true, "expected": "needs_more_info", "actual": "needs_more_info", "missing_condition_recall": 1.0 } }, { "id": "qa-steel-005", "domain": "steel_connection_bolts", "query": "강구조 공장제작 단계에서 확인해야 할 제작 기준은 무엇인가요? 강구조 공장제작", "expected_codes": [ "KCS 41 31 15" ], "returned_codes": [ "KCS 41 31 15", "EXCS 14 31 05", "KCS 41 31 05", "KCS 41 31 10", "KCS 41 31 20" ], "search_hit": true, "evidence_hit": true, "matched_evidence_keywords": [ "공장제작", "강구조", "제작", "검사" ], "judgment": { "evaluated": true, "pass": true, "expected": "conditional_pass", "actual": "conditional_pass", "missing_condition_recall": 1.0 } }, { "id": "qa-steel-006", "domain": "steel_connection_bolts", "query": "강재와 자재 반입 검토 시 적용할 건축물 강구조공사 기준을 알려줘. 강구조 강재 및 자재", "expected_codes": [ "KCS 41 31 10" ], "returned_codes": [ "KCS 41 31 10", "KCS 41 31 05", "KCS 41 31 15", "KCS 41 31 25", "KCS 41 31 35" ], "search_hit": true, "evidence_hit": true, "matched_evidence_keywords": [ "강재", "자재", "강구조", "품질" ], "judgment": { "evaluated": true, "pass": true, "expected": "needs_more_info", "actual": "needs_more_info", "missing_condition_recall": 1.0 } }, { "id": "qa-steel-007", "domain": "steel_connection_bolts", "query": "강구조 한계상태설계법 기준으로 부재 검토에 필요한 기준을 찾아줘. 강구조 한계상태설계", "expected_codes": [ "KCS 24 31 05" ], "returned_codes": [ "KCS 24 31 05", "KCS 24 11 05", "KCS 24 31 15", "KCS 24 31 10", "KCS 24 11 10" ], "search_hit": true, "evidence_hit": true, "matched_evidence_keywords": [ "강구조", "한계상태", "설계", "시공" ], "judgment": { "evaluated": true, "pass": true, "expected": "needs_more_info", "actual": "needs_more_info", "missing_condition_recall": 1.0 } }, { "id": "qa-quality-001", "domain": "quality_test_inspection_tolerance", "query": "건설공사 품질관리계획 적정성을 검토하려면 어떤 기준을 봐야 하나요? 품질관리 품질관리계획", "expected_codes": [ "KCS 10 10 15" ], "returned_codes": [ "KCS 10 10 15", "EXCS 10 10 15", "KWCS 10 10 15", "SMCS 10 10 15", "KCS 10 70 50" ], "search_hit": true, "evidence_hit": true, "matched_evidence_keywords": [ "품질관리", "계획", "시험", "검사" ], "judgment": { "evaluated": true, "pass": true, "expected": "conditional_pass", "actual": "conditional_pass", "missing_condition_recall": 1.0 } }, { "id": "qa-quality-002", "domain": "quality_test_inspection_tolerance", "query": "시험 기준과 시험 빈도 검토에 필요한 공통 기준을 찾아주세요. 시험 시험 기준", "expected_codes": [ "KCS 10 40 00" ], "returned_codes": [ "KCS 10 40 00", "EXCS 10 40 00", "SMCS 10 40 00", "LHCS 10 40 00", "KCS 61 20 40" ], "search_hit": true, "evidence_hit": true, "matched_evidence_keywords": [ "시험", "검사", "품질", "기준" ], "judgment": { "evaluated": true, "pass": true, "expected": "needs_more_info", "actual": "needs_more_info", "missing_condition_recall": 1.0 } }, { "id": "qa-quality-003", "domain": "quality_test_inspection_tolerance", "query": "말뚝재하시험 성과로 시공 품질을 판정할 때 필요한 기준을 알려줘. 말뚝재하시험 품질 판정", "expected_codes": [ "KCS 11 50 40" ], "returned_codes": [ "LHCS 11 50 40", "EXCS 11 50 40", "KCS 11 50 40", "SMCS 11 50 40", "NHCS 11 50 40" ], "search_hit": true, "evidence_hit": true, "matched_evidence_keywords": [ "말뚝", "재하시험", "시험" ], "judgment": { "evaluated": true, "pass": true, "expected": "conditional_pass", "actual": "conditional_pass", "missing_condition_recall": 1.0 } }, { "id": "qa-quality-004", "domain": "quality_test_inspection_tolerance", "query": "상수도공사 시험 및 검사 기준으로 수압시험 결과를 검토하려고 합니다. 상수도공사 시험 및 검사", "expected_codes": [ "KCS 57 60 20" ], "returned_codes": [ "SMCS 57 60 20", "KCS 57 60 20", "KCS 57 00 00", "KCS 57 30 35", "SMCS 57 30 35" ], "search_hit": true, "evidence_hit": true, "matched_evidence_keywords": [ "상수도", "시험", "검사", "수압" ], "judgment": { "evaluated": true, "pass": true, "expected": "needs_more_info", "actual": "needs_more_info", "missing_condition_recall": 1.0 } }, { "id": "qa-quality-005", "domain": "quality_test_inspection_tolerance", "query": "설비 시험조정 및 평가 결과가 적정한지 확인할 기준은 무엇인가요? 설비 시험조정 및 평가", "expected_codes": [ "KCS 31 25 25" ], "returned_codes": [ "KCS 31 25 25", "SMCS 31 25 25", "EXCS 31 25 25", "KCS 10 40 00", "KCS 31 00 00" ], "search_hit": true, "evidence_hit": true, "matched_evidence_keywords": [ "시험", "조정", "평가", "설비" ], "judgment": { "evaluated": true, "pass": true, "expected": "conditional_pass", "actual": "conditional_pass", "missing_condition_recall": 1.0 } }, { "id": "qa-quality-006", "domain": "quality_test_inspection_tolerance", "query": "농업생산기반시설 품질관리와 계측관리 기준을 찾고 싶습니다. 농업생산기반시설 품질관리 및 계측관리", "expected_codes": [ "KCS 67 05 20" ], "returned_codes": [ "KRCCS 67 05 20", "KRCCS 67 90 05", "KCS 67 05 20", "KRCCS 67 95 05", "KCS 67 05 25" ], "search_hit": true, "evidence_hit": true, "matched_evidence_keywords": [ "품질관리", "계측관리", "시설", "검사" ], "judgment": { "evaluated": true, "pass": false, "expected": "needs_more_info", "actual": "conditional_pass", "missing_condition_recall": 1.0 } }, { "id": "qa-quality-007", "domain": "quality_test_inspection_tolerance", "query": "고속도로공사 전문시방서의 시험 기준을 기준으로 품질시험 계획을 검토해줘. 시험 품질시험 계획", "expected_codes": [ "EXCS 10 40 00" ], "returned_codes": [ "EXCS 10 40 00", "KRCCS 67 05 20", "KRCCS 67 90 05", "KRCCS 67 95 05", "KCS 44 10 00" ], "search_hit": true, "evidence_hit": true, "matched_evidence_keywords": [ "시험", "품질", "검사", "전문시방서" ], "judgment": { "evaluated": true, "pass": true, "expected": "conditional_pass", "actual": "conditional_pass", "missing_condition_recall": 1.0 } }, { "id": "qa-safety-001", "domain": "safety_temporary_construction_management", "query": "건설공사 안전 및 보건관리 계획이 충분한지 검토할 기준을 알려주세요. 안전 및 보건관리 안전관리계획", "expected_codes": [ "KCS 10 10 25" ], "returned_codes": [ "KCS 10 10 25", "EXCS 10 10 25", "KWCS 10 10 25", "SMCS 10 10 25", "LHCS 10 10 25" ], "search_hit": true, "evidence_hit": true, "matched_evidence_keywords": [ "안전", "보건", "관리", "계획" ], "judgment": { "evaluated": true, "pass": true, "expected": "needs_more_info", "actual": "needs_more_info", "missing_condition_recall": 1.0 } }, { "id": "qa-safety-002", "domain": "safety_temporary_construction_management", "query": "가설공사 일반사항 기준으로 현장 가설 계획을 검토하려고 합니다. 가설공사 가설 계획", "expected_codes": [ "KCS 21 10 00" ], "returned_codes": [ "SMCS 21 10 00", "KCS 21 00 00", "KCS 21 10 00", "EXCS 21 10 00", "KCS 51 10 10" ], "search_hit": true, "evidence_hit": true, "matched_evidence_keywords": [ "가설공사", "일반", "안전", "시공" ], "judgment": { "evaluated": true, "pass": true, "expected": "conditional_pass", "actual": "conditional_pass", "missing_condition_recall": 1.0 } }, { "id": "qa-safety-003", "domain": "safety_temporary_construction_management", "query": "현장가설공급설비와 가설시설물 설치 기준을 확인해줘. 현장가설시설물 설치 기준", "expected_codes": [ "KCS 21 20 05" ], "returned_codes": [ "SMCS 21 20 05", "EXCS 21 20 05", "KCS 21 20 05", "KCS 67 05 30", "KWCS 21 20 05" ], "search_hit": true, "evidence_hit": true, "matched_evidence_keywords": [ "현장가설", "공급설비", "가설시설물", "설치" ], "judgment": { "evaluated": true, "pass": true, "expected": "needs_more_info", "actual": "needs_more_info", "missing_condition_recall": 1.0 } }, { "id": "qa-safety-004", "domain": "safety_temporary_construction_management", "query": "안전시설공사 일반사항에서 추락방지와 통행 안전 시설 기준을 찾아주세요. 안전시설공사 추락방지 및 통행 안전", "expected_codes": [ "KCS 21 70 05" ], "returned_codes": [ "KCS 21 70 05", "SMCS 21 70 05", "EXCS 21 70 05", "EXCS 44 60 05", "NHCS 44 60 05" ], "search_hit": true, "evidence_hit": true, "matched_evidence_keywords": [ "안전시설", "추락", "시공" ], "judgment": { "evaluated": true, "pass": true, "expected": "conditional_pass", "actual": "conditional_pass", "missing_condition_recall": 1.0 } }, { "id": "qa-safety-005", "domain": "safety_temporary_construction_management", "query": "철도 공사환경 및 안전관리 기준에서 위험 작업 검토 항목을 찾아줘. 철도공사 공사환경 및 안전관리", "expected_codes": [ "KCS 47 10 10" ], "returned_codes": [ "KCS 47 10 10", "KCS 47 00 00", "KRACS 47 10 10", "SMCS 61 40 05", "SMCS 61 10 30" ], "search_hit": true, "evidence_hit": true, "matched_evidence_keywords": [ "공사환경", "안전관리", "철도" ], "judgment": { "evaluated": true, "pass": true, "expected": "needs_more_info", "actual": "needs_more_info", "missing_condition_recall": 1.0 } }, { "id": "qa-safety-006", "domain": "safety_temporary_construction_management", "query": "고속도로공사 전문시방서 기준으로 안전시설공사 일반 검토를 하고 싶습니다. 안전시설공사 전문시방서 검토", "expected_codes": [ "EXCS 21 70 05" ], "returned_codes": [ "EXCS 21 70 05", "EXCS 44 60 05", "SMCS 21 70 05", "KCS 21 70 05", "SMCS 44 60 05" ], "search_hit": true, "evidence_hit": true, "matched_evidence_keywords": [ "안전시설", "공사", "전문시방서", "시공" ], "judgment": { "evaluated": true, "pass": true, "expected": "conditional_pass", "actual": "conditional_pass", "missing_condition_recall": 1.0 } }, { "id": "qa-safety-007", "domain": "safety_temporary_construction_management", "query": "고속도로공사 안전 및 보건관리 기준으로 하수급인 안전관리 적정성을 봐야 합니다. 안전 및 보건관리 하수급인 안전관리", "expected_codes": [ "EXCS 10 10 25" ], "returned_codes": [ "EXCS 10 10 25", "KWCS 10 10 25", "LHCS 10 10 25", "SMCS 10 10 25", "KCS 10 10 25" ], "search_hit": true, "evidence_hit": true, "matched_evidence_keywords": [ "안전", "보건관리", "점검" ], "judgment": { "evaluated": true, "pass": true, "expected": "needs_more_info", "actual": "needs_more_info", "missing_condition_recall": 1.0 } }, { "id": "qa-seismic-001", "domain": "seismic_design_detailing", "query": "내진 설계기준 적용 여부를 검토하려면 어떤 기준을 먼저 확인해야 하나요? 내진설계 적용 여부", "expected_codes": [ "KDS 17 10 00" ], "returned_codes": [ "KDS 14 20 80", "KDS 17 10 00", "KDS 27 17 00", "KDS 61 15 00", "KDS 57 17 00" ], "search_hit": true, "evidence_hit": true, "matched_evidence_keywords": [ "내진설계", "지진", "하중", "적용" ], "judgment": { "evaluated": true, "pass": true, "expected": "needs_more_info", "actual": "needs_more_info", "missing_condition_recall": 1.0 } }, { "id": "qa-seismic-002", "domain": "seismic_design_detailing", "query": "내진설계 일반 기준에서 지진하중 산정 전 필요한 조건을 알려줘. 내진설계 지진하중 산정", "expected_codes": [ "KDS 17 10 00" ], "returned_codes": [ "KDS 17 10 00", "KDS 54 17 00", "KDS 14 20 80", "KDS 11 90 00", "KDS 61 15 00" ], "search_hit": true, "evidence_hit": true, "matched_evidence_keywords": [ "내진설계", "지진", "하중", "일반" ], "judgment": { "evaluated": true, "pass": true, "expected": "needs_more_info", "actual": "needs_more_info", "missing_condition_recall": 1.0 } }, { "id": "qa-seismic-003", "domain": "seismic_design_detailing", "query": "콘크리트 구조 내진상세가 적합한지 검토할 설계기준을 찾아줘. 콘크리트구조 내진상세", "expected_codes": [ "KDS 14 20 80" ], "returned_codes": [ "KDS 14 20 80", "KDS 41 20 10", "KDS 41 17 00", "KDS 14 20 30", "KDS 14 20 26" ], "search_hit": true, "evidence_hit": true, "matched_evidence_keywords": [ "콘크리트", "내진", "설계", "상세" ], "judgment": { "evaluated": true, "pass": true, "expected": "needs_more_info", "actual": "needs_more_info", "missing_condition_recall": 1.0 } }, { "id": "qa-seismic-004", "domain": "seismic_design_detailing", "query": "강구조 내진 설계기준으로 보-기둥 접합부 검토에 필요한 기준을 찾아줘. 강구조 내진 접합부", "expected_codes": [ "KDS 14 31 60" ], "returned_codes": [ "KDS 14 31 60", "KCS 41 31 25", "KDS 41 50 30", "KDS 41 17 00", "KDS 17 00 00" ], "search_hit": true, "evidence_hit": true, "matched_evidence_keywords": [ "강구조", "내진", "설계", "접합" ], "judgment": { "evaluated": true, "pass": true, "expected": "needs_more_info", "actual": "needs_more_info", "missing_condition_recall": 1.0 } }, { "id": "qa-seismic-005", "domain": "seismic_design_detailing", "query": "합성구조 내진 설계기준에서 합성부재의 내진 검토 조건을 알려주세요. 합성구조 내진 검토", "expected_codes": [ "KDS 14 31 85" ], "returned_codes": [ "KDS 14 31 85", "KDS 41 30 20", "KCS 41 31 65", "KCS 14 20 70", "KDS 41 40 10" ], "search_hit": true, "evidence_hit": true, "matched_evidence_keywords": [ "합성구조", "내진", "설계", "부재" ], "judgment": { "evaluated": true, "pass": true, "expected": "needs_more_info", "actual": "needs_more_info", "missing_condition_recall": 1.0 } }, { "id": "qa-seismic-006", "domain": "seismic_design_detailing", "query": "기초 내진 설계에서 지반과 기초 조건을 어떻게 확인해야 하나요? 기초 내진 설계", "expected_codes": [ "KDS 11 50 25" ], "returned_codes": [ "KDS 11 50 25", "KDS 24 17 11", "KDS 29 17 00", "KDS 51 17 00", "KDS 24 17 10" ], "search_hit": true, "evidence_hit": true, "matched_evidence_keywords": [ "기초", "내진", "설계", "지반" ], "judgment": { "evaluated": true, "pass": true, "expected": "needs_more_info", "actual": "needs_more_info", "missing_condition_recall": 1.0 } }, { "id": "qa-seismic-007", "domain": "seismic_design_detailing", "query": "비탈면 내진설계 검토 시 필요한 안정성 기준을 찾아주세요. 비탈면 내진 안정성", "expected_codes": [ "KDS 11 90 00" ], "returned_codes": [ "KDS 11 90 00", "KDS 27 17 00", "KDS 54 17 00", "KDS 14 20 80", "KDS 17 10 00" ], "search_hit": true, "evidence_hit": true, "matched_evidence_keywords": [ "비탈면", "내진설계", "안정", "지진" ], "judgment": { "evaluated": true, "pass": true, "expected": "needs_more_info", "actual": "needs_more_info", "missing_condition_recall": 1.0 } }, { "id": "qa-composite-001", "domain": "composite_structure_criteria", "query": "합성콘크리트 설계에서 전단 연결과 일체 거동을 검토할 기준을 찾아줘. 합성콘크리트 전단 연결", "expected_codes": [ "KDS 14 20 66" ], "returned_codes": [ "KDS 14 20 66", "KCS 41 30 03", "KRACS 47 10 60", "KDS 14 00 00", "KDS 41 40 10" ], "search_hit": true, "evidence_hit": true, "matched_evidence_keywords": [ "합성콘크리트", "설계", "전단", "연결" ], "judgment": { "evaluated": true, "pass": true, "expected": "needs_more_info", "actual": "needs_more_info", "missing_condition_recall": 1.0 } }, { "id": "qa-composite-002", "domain": "composite_structure_criteria", "query": "합성구조 콘크리트 시공 기준으로 품질관리 항목을 확인하고 싶습니다. 합성구조 콘크리트 시공 품질관리", "expected_codes": [ "KCS 14 20 70" ], "returned_codes": [ "KCS 14 20 70", "SMCS 14 20 70", "KDS 41 40 10", "KCS 41 31 65", "KDS 41 30 20" ], "search_hit": true, "evidence_hit": true, "matched_evidence_keywords": [ "합성구조", "콘크리트", "시공", "품질관리" ], "judgment": { "evaluated": true, "pass": true, "expected": "conditional_pass", "actual": "conditional_pass", "missing_condition_recall": 1.0 } }, { "id": "qa-composite-003", "domain": "composite_structure_criteria", "query": "합성구조 부재 설계기준에서 합성보 검토에 필요한 조건을 알려줘. 합성구조 합성보 부재 설계", "expected_codes": [ "KDS 14 31 80" ], "returned_codes": [ "KDS 14 31 80", "KDS 41 30 20", "KDS 14 31 85", "KDS 41 40 10", "KCS 14 20 70" ], "search_hit": true, "evidence_hit": true, "matched_evidence_keywords": [ "합성구조", "부재", "설계", "합성" ], "judgment": { "evaluated": true, "pass": true, "expected": "needs_more_info", "actual": "needs_more_info", "missing_condition_recall": 1.0 } }, { "id": "qa-composite-004", "domain": "composite_structure_criteria", "query": "건축물 강합성구조 설계기준으로 합성기둥 검토를 진행하려고 합니다. 건축물 강합성구조 합성기둥 설계 검토", "expected_codes": [ "KDS 41 30 20" ], "returned_codes": [ "KDS 41 30 20", "KCS 41 31 65", "KDS 41 40 10", "KDS 14 31 85", "KDS 14 31 80" ], "search_hit": true, "evidence_hit": true, "matched_evidence_keywords": [ "강합성구조", "설계", "건축물", "합성" ], "judgment": { "evaluated": true, "pass": true, "expected": "needs_more_info", "actual": "needs_more_info", "missing_condition_recall": 1.0 } }, { "id": "qa-composite-005", "domain": "composite_structure_criteria", "query": "강-콘크리트합성구조 설계기준에서 접합부 검토 항목을 찾아주세요. 강-콘크리트합성구조 접합부", "expected_codes": [ "KDS 41 40 10" ], "returned_codes": [ "KDS 41 40 10", "KDS 14 31 80", "KCS 14 20 70", "KDS 41 30 20", "KCS 41 31 65" ], "search_hit": true, "evidence_hit": true, "matched_evidence_keywords": [ "강", "콘크리트", "합성구조", "접합" ], "judgment": { "evaluated": true, "pass": true, "expected": "needs_more_info", "actual": "needs_more_info", "missing_condition_recall": 1.0 } }, { "id": "qa-composite-006", "domain": "composite_structure_criteria", "query": "건축물 강합성구조공사 시공 기준으로 현장 품질 검사를 하려고 합니다. 건축물 강합성구조공사 시공 품질 검사", "expected_codes": [ "KCS 41 31 65" ], "returned_codes": [ "KCS 41 31 65", "KDS 41 30 20", "KCS 41 31 40", "KDS 41 40 10", "KCS 41 31 45" ], "search_hit": true, "evidence_hit": true, "matched_evidence_keywords": [ "강합성구조", "공사", "시공", "검사" ], "judgment": { "evaluated": true, "pass": true, "expected": "conditional_pass", "actual": "conditional_pass", "missing_condition_recall": 1.0 } }, { "id": "qa-composite-007", "domain": "composite_structure_criteria", "query": "강교 및 강합성교 설계 검토에서 적용할 기준과 누락 조건을 알려줘. 강합성교 설계 검토", "expected_codes": [ "KDS 47 10 50" ], "returned_codes": [ "KDS 47 10 50", "KDS 41 30 20", "KCS 41 31 65", "KDS 41 40 10", "KDS 14 31 85" ], "search_hit": true, "evidence_hit": true, "matched_evidence_keywords": [ "강교", "강합성교", "설계" ], "judgment": { "evaluated": true, "pass": true, "expected": "needs_more_info", "actual": "needs_more_info", "missing_condition_recall": 1.0 } } ] }