Spaces:
Sleeping
Sleeping
| { | |
| "golden_path": "data\\eval\\qa_golden_set.verified.json", | |
| "candidate_path": "data\\eval\\qa_candidate_outputs_v2.json", | |
| "total_cases": 50, | |
| "top_k": 5, | |
| "elapsed_sec": 0.0, | |
| "metrics": { | |
| "search_hit_at_k_pct": 100.0, | |
| "evidence_relevance_pct": 100.0, | |
| "judgment_accuracy_pct": 92.0, | |
| "judgment_evaluated_cases": 50, | |
| "missing_condition_recall_pct": 100.0 | |
| }, | |
| "targets": { | |
| "search_hit_at_5_pct": 85, | |
| "evidence_relevance_pct": 80, | |
| "judgment_accuracy_pct": 70 | |
| }, | |
| "details": [ | |
| { | |
| "id": "qa-conc-001", | |
| "domain": "concrete_rebar_formwork", | |
| "query": "철근 정착 길이를 검토해야 하는데 어떤 설계기준과 조건을 확인해야 하나요? 콘크리트 철근 정착 길이", | |
| "expected_codes": [ | |
| "KDS 14 20 52" | |
| ], | |
| "returned_codes": [ | |
| "KDS 14 20 52", | |
| "LHCS 14 20 11", | |
| "EXCS 14 20 13", | |
| "KRCCS 67 50 20", | |
| "KCS 61 50 05" | |
| ], | |
| "search_hit": true, | |
| "evidence_hit": true, | |
| "matched_evidence_keywords": [ | |
| "철근", | |
| "정착", | |
| "이음", | |
| "상세" | |
| ], | |
| "judgment": { | |
| "evaluated": true, | |
| "pass": true, | |
| "expected": "needs_more_info", | |
| "actual": "needs_more_info", | |
| "missing_condition_recall": 1.0 | |
| } | |
| }, | |
| { | |
| "id": "qa-conc-002", | |
| "domain": "concrete_rebar_formwork", | |
| "query": "철근공사 현장에서 배근과 조립 상태를 검측할 때 어떤 시공기준을 봐야 하나요? 철근공사 배근 검측", | |
| "expected_codes": [ | |
| "KCS 14 20 11" | |
| ], | |
| "returned_codes": [ | |
| "EXCS 14 20 11", | |
| "KCS 14 20 11", | |
| "SMCS 14 20 11", | |
| "EXCS 14 20 14", | |
| "LHCS 14 20 11" | |
| ], | |
| "search_hit": true, | |
| "evidence_hit": true, | |
| "matched_evidence_keywords": [ | |
| "철근", | |
| "시공", | |
| "조립", | |
| "검사" | |
| ], | |
| "judgment": { | |
| "evaluated": true, | |
| "pass": true, | |
| "expected": "conditional_pass", | |
| "actual": "conditional_pass", | |
| "missing_condition_recall": 1.0 | |
| } | |
| }, | |
| { | |
| "id": "qa-conc-003", | |
| "domain": "concrete_rebar_formwork", | |
| "query": "거푸집과 동바리 설치가 안전한지 검토하려면 어떤 기준을 적용해야 하나요? 거푸집 및 동바리 설치 안전성", | |
| "expected_codes": [ | |
| "KCS 14 20 12" | |
| ], | |
| "returned_codes": [ | |
| "KCS 14 20 12", | |
| "SMCS 14 20 12", | |
| "EXCS 14 20 12", | |
| "LHCS 14 20 12", | |
| "SMCS 21 50 10" | |
| ], | |
| "search_hit": true, | |
| "evidence_hit": true, | |
| "matched_evidence_keywords": [ | |
| "거푸집", | |
| "동바리", | |
| "시공" | |
| ], | |
| "judgment": { | |
| "evaluated": true, | |
| "pass": true, | |
| "expected": "needs_more_info", | |
| "actual": "needs_more_info", | |
| "missing_condition_recall": 1.0 | |
| } | |
| }, | |
| { | |
| "id": "qa-conc-004", | |
| "domain": "concrete_rebar_formwork", | |
| "query": "고속도로공사 전문시방서 기준으로 일반콘크리트 타설 전 확인할 품질 조건은 무엇인가요? 일반콘크리트 타설 전 품질 확인", | |
| "expected_codes": [ | |
| "EXCS 14 20 10" | |
| ], | |
| "returned_codes": [ | |
| "EXCS 14 20 10", | |
| "KCS 14 20 10", | |
| "SMCS 14 20 10", | |
| "EXCS 14 20 13", | |
| "KRACS 47 10 60" | |
| ], | |
| "search_hit": true, | |
| "evidence_hit": true, | |
| "matched_evidence_keywords": [ | |
| "일반콘크리트", | |
| "자재", | |
| "시공", | |
| "품질관리" | |
| ], | |
| "judgment": { | |
| "evaluated": true, | |
| "pass": true, | |
| "expected": "conditional_pass", | |
| "actual": "conditional_pass", | |
| "missing_condition_recall": 1.0 | |
| } | |
| }, | |
| { | |
| "id": "qa-conc-005", | |
| "domain": "concrete_rebar_formwork", | |
| "query": "수중 콘크리트 배합강도와 타설 기준을 검토하려면 어떤 시방서를 찾아야 하나요? 수중 콘크리트 배합강도 및 타설", | |
| "expected_codes": [ | |
| "KCS 14 20 43" | |
| ], | |
| "returned_codes": [ | |
| "KCS 14 20 43", | |
| "EXCS 14 20 43", | |
| "SMCS 14 20 43", | |
| "KDS 24 14 20", | |
| "KDS 54 50 00" | |
| ], | |
| "search_hit": true, | |
| "evidence_hit": true, | |
| "matched_evidence_keywords": [ | |
| "수중", | |
| "콘크리트", | |
| "배합강도", | |
| "타설" | |
| ], | |
| "judgment": { | |
| "evaluated": true, | |
| "pass": true, | |
| "expected": "needs_more_info", | |
| "actual": "needs_more_info", | |
| "missing_condition_recall": 1.0 | |
| } | |
| }, | |
| { | |
| "id": "qa-conc-006", | |
| "domain": "concrete_rebar_formwork", | |
| "query": "콘크리트공사 일반 기준에서 시공 전 공통 확인사항을 알려줘. 콘크리트공사 공통 확인사항", | |
| "expected_codes": [ | |
| "EXCS 14 20 01" | |
| ], | |
| "returned_codes": [ | |
| "EXCS 14 20 01", | |
| "KCS 47 10 60", | |
| "SMCS 14 20 01", | |
| "LHCS 14 20 01", | |
| "KCS 14 20 01" | |
| ], | |
| "search_hit": true, | |
| "evidence_hit": true, | |
| "matched_evidence_keywords": [ | |
| "콘크리트공사", | |
| "일반", | |
| "시공", | |
| "품질" | |
| ], | |
| "judgment": { | |
| "evaluated": true, | |
| "pass": true, | |
| "expected": "conditional_pass", | |
| "actual": "conditional_pass", | |
| "missing_condition_recall": 1.0 | |
| } | |
| }, | |
| { | |
| "id": "qa-conc-007", | |
| "domain": "concrete_rebar_formwork", | |
| "query": "팽창 콘크리트 사용 시 재료와 품질관리 기준을 검토하고 싶습니다. 팽창 콘크리트 재료 및 품질관리", | |
| "expected_codes": [ | |
| "EXCS 14 20 24" | |
| ], | |
| "returned_codes": [ | |
| "EXCS 14 20 24", | |
| "KWCS 10 10 15", | |
| "LHCS 10 10 15", | |
| "EXCS 10 10 15", | |
| "KCS 10 10 15" | |
| ], | |
| "search_hit": true, | |
| "evidence_hit": true, | |
| "matched_evidence_keywords": [ | |
| "팽창", | |
| "콘크리트", | |
| "재료", | |
| "품질관리" | |
| ], | |
| "judgment": { | |
| "evaluated": true, | |
| "pass": false, | |
| "expected": "needs_more_info", | |
| "actual": "conditional_pass", | |
| "missing_condition_recall": 1.0 | |
| } | |
| }, | |
| { | |
| "id": "qa-conc-008", | |
| "domain": "concrete_rebar_formwork", | |
| "query": "매스 콘크리트 온도균열 검토에 필요한 기준 조항을 찾아줘. 매스 콘크리트 온도균열", | |
| "expected_codes": [ | |
| "EXCS 14 20 42" | |
| ], | |
| "returned_codes": [ | |
| "EXCS 14 20 42", | |
| "KCS 14 20 42", | |
| "SMCS 14 20 42", | |
| "LHCS 14 20 42", | |
| "KRCCS 67 71 30" | |
| ], | |
| "search_hit": true, | |
| "evidence_hit": true, | |
| "matched_evidence_keywords": [ | |
| "매스", | |
| "콘크리트", | |
| "온도", | |
| "균열" | |
| ], | |
| "judgment": { | |
| "evaluated": true, | |
| "pass": true, | |
| "expected": "needs_more_info", | |
| "actual": "needs_more_info", | |
| "missing_condition_recall": 1.0 | |
| } | |
| }, | |
| { | |
| "id": "qa-ground-001", | |
| "domain": "ground_foundation_earth_retaining", | |
| "query": "지반조사 결과가 부족한 상태에서 기초 설계 검토를 진행해도 되는지 판단하고 싶습니다. 지반조사 조사 적정성", | |
| "expected_codes": [ | |
| "KCS 10 20 20" | |
| ], | |
| "returned_codes": [ | |
| "KCS 10 20 20", | |
| "SMCS 10 20 20", | |
| "EXCS 10 20 20", | |
| "KRACS 47 10 20", | |
| "SMCS 11 10 10" | |
| ], | |
| "search_hit": true, | |
| "evidence_hit": true, | |
| "matched_evidence_keywords": [ | |
| "지반조사", | |
| "조사", | |
| "시험", | |
| "보고" | |
| ], | |
| "judgment": { | |
| "evaluated": true, | |
| "pass": true, | |
| "expected": "needs_more_info", | |
| "actual": "needs_more_info", | |
| "missing_condition_recall": 1.0 | |
| } | |
| }, | |
| { | |
| "id": "qa-ground-002", | |
| "domain": "ground_foundation_earth_retaining", | |
| "query": "가설흙막이 설계 검토에서 확인해야 할 설계기준은 무엇인가요? 가설흙막이 설계 검토", | |
| "expected_codes": [ | |
| "KDS 21 30 00" | |
| ], | |
| "returned_codes": [ | |
| "KDS 21 30 00", | |
| "KCS 21 30 00", | |
| "LHCS 21 30 00", | |
| "NHCS 21 30 00", | |
| "EXCS 21 30 00" | |
| ], | |
| "search_hit": true, | |
| "evidence_hit": true, | |
| "matched_evidence_keywords": [ | |
| "가설흙막이", | |
| "설계", | |
| "안정" | |
| ], | |
| "judgment": { | |
| "evaluated": true, | |
| "pass": true, | |
| "expected": "needs_more_info", | |
| "actual": "needs_more_info", | |
| "missing_condition_recall": 1.0 | |
| } | |
| }, | |
| { | |
| "id": "qa-ground-003", | |
| "domain": "ground_foundation_earth_retaining", | |
| "query": "가설흙막이 공사 시공 중 계측과 안전 확인 기준을 찾아줘. 가설흙막이 시공 및 계측", | |
| "expected_codes": [ | |
| "KCS 21 30 00" | |
| ], | |
| "returned_codes": [ | |
| "EXCS 21 30 00", | |
| "KCS 21 30 00", | |
| "NHCS 21 30 00", | |
| "LHCS 21 30 00", | |
| "SMCS 21 30 00" | |
| ], | |
| "search_hit": true, | |
| "evidence_hit": true, | |
| "matched_evidence_keywords": [ | |
| "가설흙막이", | |
| "시공", | |
| "계측", | |
| "안전" | |
| ], | |
| "judgment": { | |
| "evaluated": true, | |
| "pass": true, | |
| "expected": "conditional_pass", | |
| "actual": "conditional_pass", | |
| "missing_condition_recall": 1.0 | |
| } | |
| }, | |
| { | |
| "id": "qa-ground-004", | |
| "domain": "ground_foundation_earth_retaining", | |
| "query": "철도 흙막이 구조물 검토 시 적용할 구조 설계 기준이 필요합니다. 흙막이 구조물 구조 설계", | |
| "expected_codes": [ | |
| "KDS 47 10 35" | |
| ], | |
| "returned_codes": [ | |
| "KDS 47 10 35", | |
| "KCS 12 20 15", | |
| "EXCS 21 30 00", | |
| "KRCCS 67 56 10", | |
| "KRCCS 67 46 30" | |
| ], | |
| "search_hit": true, | |
| "evidence_hit": true, | |
| "matched_evidence_keywords": [ | |
| "흙막이", | |
| "구조물", | |
| "설계", | |
| "안정" | |
| ], | |
| "judgment": { | |
| "evaluated": true, | |
| "pass": true, | |
| "expected": "needs_more_info", | |
| "actual": "needs_more_info", | |
| "missing_condition_recall": 1.0 | |
| } | |
| }, | |
| { | |
| "id": "qa-ground-005", | |
| "domain": "ground_foundation_earth_retaining", | |
| "query": "얕은기초 지지력 검토를 하려면 고속도로공사 전문시방서에서 어떤 항목을 봐야 하나요? 얕은기초 지지력", | |
| "expected_codes": [ | |
| "EXCS 11 50 05" | |
| ], | |
| "returned_codes": [ | |
| "EXCS 11 50 05", | |
| "KCS 11 50 05", | |
| "LHCS 11 50 05", | |
| "NHCS 11 50 05", | |
| "EXCS 11 50 06" | |
| ], | |
| "search_hit": true, | |
| "evidence_hit": true, | |
| "matched_evidence_keywords": [ | |
| "얕은기초", | |
| "기초", | |
| "시공", | |
| "품질" | |
| ], | |
| "judgment": { | |
| "evaluated": true, | |
| "pass": true, | |
| "expected": "needs_more_info", | |
| "actual": "needs_more_info", | |
| "missing_condition_recall": 1.0 | |
| } | |
| }, | |
| { | |
| "id": "qa-ground-006", | |
| "domain": "ground_foundation_earth_retaining", | |
| "query": "말뚝재하시험 결과로 말뚝 지지력을 확인할 때 적용할 기준을 찾아줘. 말뚝 재하시험", | |
| "expected_codes": [ | |
| "KCS 11 50 40" | |
| ], | |
| "returned_codes": [ | |
| "KCS 11 50 40", | |
| "LHCS 11 50 40", | |
| "EXCS 11 50 40", | |
| "SMCS 11 50 40", | |
| "NHCS 11 50 40" | |
| ], | |
| "search_hit": true, | |
| "evidence_hit": true, | |
| "matched_evidence_keywords": [ | |
| "말뚝", | |
| "재하시험", | |
| "시험" | |
| ], | |
| "judgment": { | |
| "evaluated": true, | |
| "pass": false, | |
| "expected": "conditional_pass", | |
| "actual": "needs_more_info", | |
| "missing_condition_recall": 1.0 | |
| } | |
| }, | |
| { | |
| "id": "qa-ground-007", | |
| "domain": "ground_foundation_earth_retaining", | |
| "query": "연약지반개량공사에서 시공 전 확인해야 할 일반 기준을 알려주세요. 연약지반개량 시공 전 검토", | |
| "expected_codes": [ | |
| "EXCS 11 30 05" | |
| ], | |
| "returned_codes": [ | |
| "EXCS 11 30 05", | |
| "KCS 11 30 05", | |
| "EXCS 11 30 06", | |
| "LHCS 11 30 05", | |
| "SMCS 11 30 05" | |
| ], | |
| "search_hit": true, | |
| "evidence_hit": true, | |
| "matched_evidence_keywords": [ | |
| "연약지반", | |
| "개량", | |
| "시공", | |
| "품질" | |
| ], | |
| "judgment": { | |
| "evaluated": true, | |
| "pass": false, | |
| "expected": "needs_more_info", | |
| "actual": "conditional_pass", | |
| "missing_condition_recall": 1.0 | |
| } | |
| }, | |
| { | |
| "id": "qa-steel-001", | |
| "domain": "steel_connection_bolts", | |
| "query": "강구조공사 일반사항에서 시공 계획 검토 시 확인할 기준을 찾아줘. 강구조공사 일반사항", | |
| "expected_codes": [ | |
| "KCS 14 31 05" | |
| ], | |
| "returned_codes": [ | |
| "SMCS 14 31 05", | |
| "KCS 14 31 05", | |
| "EXCS 14 31 05", | |
| "KCS 41 31 05", | |
| "KCS 41 31 45" | |
| ], | |
| "search_hit": true, | |
| "evidence_hit": true, | |
| "matched_evidence_keywords": [ | |
| "강구조", | |
| "공사", | |
| "일반", | |
| "시공" | |
| ], | |
| "judgment": { | |
| "evaluated": true, | |
| "pass": true, | |
| "expected": "conditional_pass", | |
| "actual": "conditional_pass", | |
| "missing_condition_recall": 1.0 | |
| } | |
| }, | |
| { | |
| "id": "qa-steel-002", | |
| "domain": "steel_connection_bolts", | |
| "query": "볼트 접합과 핀 연결 검토에 필요한 시공기준은 무엇인가요? 강구조 볼트 접합", | |
| "expected_codes": [ | |
| "KCS 14 31 25" | |
| ], | |
| "returned_codes": [ | |
| "KCS 41 31 25", | |
| "KCS 14 31 25", | |
| "EXCS 14 31 25", | |
| "KCS 24 31 05", | |
| "LHCS 14 31 25" | |
| ], | |
| "search_hit": true, | |
| "evidence_hit": true, | |
| "matched_evidence_keywords": [ | |
| "볼트", | |
| "접합", | |
| "핀", | |
| "연결" | |
| ], | |
| "judgment": { | |
| "evaluated": true, | |
| "pass": true, | |
| "expected": "needs_more_info", | |
| "actual": "needs_more_info", | |
| "missing_condition_recall": 1.0 | |
| } | |
| }, | |
| { | |
| "id": "qa-steel-003", | |
| "domain": "steel_connection_bolts", | |
| "query": "건축물 강구조 고장력볼트 접합 검사를 어떤 기준으로 봐야 하나요? 건축물 강구조 고장력볼트", | |
| "expected_codes": [ | |
| "KCS 41 31 25" | |
| ], | |
| "returned_codes": [ | |
| "SMCS 44 56 30", | |
| "KCS 41 31 25", | |
| "KCS 14 31 25", | |
| "LHCS 14 31 25", | |
| "EXCS 14 31 25" | |
| ], | |
| "search_hit": true, | |
| "evidence_hit": true, | |
| "matched_evidence_keywords": [ | |
| "고장력볼트", | |
| "접합", | |
| "연결", | |
| "검사" | |
| ], | |
| "judgment": { | |
| "evaluated": true, | |
| "pass": true, | |
| "expected": "conditional_pass", | |
| "actual": "conditional_pass", | |
| "missing_condition_recall": 1.0 | |
| } | |
| }, | |
| { | |
| "id": "qa-steel-004", | |
| "domain": "steel_connection_bolts", | |
| "query": "강구조 용접부 시공 품질을 확인할 기준 조항을 찾아주세요. 강구조 용접 품질", | |
| "expected_codes": [ | |
| "KCS 41 31 20" | |
| ], | |
| "returned_codes": [ | |
| "KCS 14 31 20", | |
| "KCS 41 31 20", | |
| "KWCS 14 31 20", | |
| "EXCS 14 31 05", | |
| "KCS 41 31 40" | |
| ], | |
| "search_hit": true, | |
| "evidence_hit": true, | |
| "matched_evidence_keywords": [ | |
| "강구조", | |
| "용접", | |
| "시공", | |
| "검사" | |
| ], | |
| "judgment": { | |
| "evaluated": true, | |
| "pass": true, | |
| "expected": "needs_more_info", | |
| "actual": "needs_more_info", | |
| "missing_condition_recall": 1.0 | |
| } | |
| }, | |
| { | |
| "id": "qa-steel-005", | |
| "domain": "steel_connection_bolts", | |
| "query": "강구조 공장제작 단계에서 확인해야 할 제작 기준은 무엇인가요? 강구조 공장제작", | |
| "expected_codes": [ | |
| "KCS 41 31 15" | |
| ], | |
| "returned_codes": [ | |
| "KCS 41 31 15", | |
| "EXCS 14 31 05", | |
| "KCS 41 31 05", | |
| "KCS 41 31 10", | |
| "KCS 41 31 20" | |
| ], | |
| "search_hit": true, | |
| "evidence_hit": true, | |
| "matched_evidence_keywords": [ | |
| "공장제작", | |
| "강구조", | |
| "제작", | |
| "검사" | |
| ], | |
| "judgment": { | |
| "evaluated": true, | |
| "pass": true, | |
| "expected": "conditional_pass", | |
| "actual": "conditional_pass", | |
| "missing_condition_recall": 1.0 | |
| } | |
| }, | |
| { | |
| "id": "qa-steel-006", | |
| "domain": "steel_connection_bolts", | |
| "query": "강재와 자재 반입 검토 시 적용할 건축물 강구조공사 기준을 알려줘. 강구조 강재 및 자재", | |
| "expected_codes": [ | |
| "KCS 41 31 10" | |
| ], | |
| "returned_codes": [ | |
| "KCS 41 31 10", | |
| "KCS 41 31 05", | |
| "KCS 41 31 15", | |
| "KCS 41 31 25", | |
| "KCS 41 31 35" | |
| ], | |
| "search_hit": true, | |
| "evidence_hit": true, | |
| "matched_evidence_keywords": [ | |
| "강재", | |
| "자재", | |
| "강구조", | |
| "품질" | |
| ], | |
| "judgment": { | |
| "evaluated": true, | |
| "pass": true, | |
| "expected": "needs_more_info", | |
| "actual": "needs_more_info", | |
| "missing_condition_recall": 1.0 | |
| } | |
| }, | |
| { | |
| "id": "qa-steel-007", | |
| "domain": "steel_connection_bolts", | |
| "query": "강구조 한계상태설계법 기준으로 부재 검토에 필요한 기준을 찾아줘. 강구조 한계상태설계", | |
| "expected_codes": [ | |
| "KCS 24 31 05" | |
| ], | |
| "returned_codes": [ | |
| "KCS 24 31 05", | |
| "KCS 24 11 05", | |
| "KCS 24 31 15", | |
| "KCS 24 31 10", | |
| "KCS 24 11 10" | |
| ], | |
| "search_hit": true, | |
| "evidence_hit": true, | |
| "matched_evidence_keywords": [ | |
| "강구조", | |
| "한계상태", | |
| "설계", | |
| "시공" | |
| ], | |
| "judgment": { | |
| "evaluated": true, | |
| "pass": true, | |
| "expected": "needs_more_info", | |
| "actual": "needs_more_info", | |
| "missing_condition_recall": 1.0 | |
| } | |
| }, | |
| { | |
| "id": "qa-quality-001", | |
| "domain": "quality_test_inspection_tolerance", | |
| "query": "건설공사 품질관리계획 적정성을 검토하려면 어떤 기준을 봐야 하나요? 품질관리 품질관리계획", | |
| "expected_codes": [ | |
| "KCS 10 10 15" | |
| ], | |
| "returned_codes": [ | |
| "KCS 10 10 15", | |
| "EXCS 10 10 15", | |
| "KWCS 10 10 15", | |
| "SMCS 10 10 15", | |
| "KCS 10 70 50" | |
| ], | |
| "search_hit": true, | |
| "evidence_hit": true, | |
| "matched_evidence_keywords": [ | |
| "품질관리", | |
| "계획", | |
| "시험", | |
| "검사" | |
| ], | |
| "judgment": { | |
| "evaluated": true, | |
| "pass": true, | |
| "expected": "conditional_pass", | |
| "actual": "conditional_pass", | |
| "missing_condition_recall": 1.0 | |
| } | |
| }, | |
| { | |
| "id": "qa-quality-002", | |
| "domain": "quality_test_inspection_tolerance", | |
| "query": "시험 기준과 시험 빈도 검토에 필요한 공통 기준을 찾아주세요. 시험 시험 기준", | |
| "expected_codes": [ | |
| "KCS 10 40 00" | |
| ], | |
| "returned_codes": [ | |
| "KCS 10 40 00", | |
| "EXCS 10 40 00", | |
| "SMCS 10 40 00", | |
| "LHCS 10 40 00", | |
| "KCS 61 20 40" | |
| ], | |
| "search_hit": true, | |
| "evidence_hit": true, | |
| "matched_evidence_keywords": [ | |
| "시험", | |
| "검사", | |
| "품질", | |
| "기준" | |
| ], | |
| "judgment": { | |
| "evaluated": true, | |
| "pass": true, | |
| "expected": "needs_more_info", | |
| "actual": "needs_more_info", | |
| "missing_condition_recall": 1.0 | |
| } | |
| }, | |
| { | |
| "id": "qa-quality-003", | |
| "domain": "quality_test_inspection_tolerance", | |
| "query": "말뚝재하시험 성과로 시공 품질을 판정할 때 필요한 기준을 알려줘. 말뚝재하시험 품질 판정", | |
| "expected_codes": [ | |
| "KCS 11 50 40" | |
| ], | |
| "returned_codes": [ | |
| "LHCS 11 50 40", | |
| "EXCS 11 50 40", | |
| "KCS 11 50 40", | |
| "SMCS 11 50 40", | |
| "NHCS 11 50 40" | |
| ], | |
| "search_hit": true, | |
| "evidence_hit": true, | |
| "matched_evidence_keywords": [ | |
| "말뚝", | |
| "재하시험", | |
| "시험" | |
| ], | |
| "judgment": { | |
| "evaluated": true, | |
| "pass": true, | |
| "expected": "conditional_pass", | |
| "actual": "conditional_pass", | |
| "missing_condition_recall": 1.0 | |
| } | |
| }, | |
| { | |
| "id": "qa-quality-004", | |
| "domain": "quality_test_inspection_tolerance", | |
| "query": "상수도공사 시험 및 검사 기준으로 수압시험 결과를 검토하려고 합니다. 상수도공사 시험 및 검사", | |
| "expected_codes": [ | |
| "KCS 57 60 20" | |
| ], | |
| "returned_codes": [ | |
| "SMCS 57 60 20", | |
| "KCS 57 60 20", | |
| "KCS 57 00 00", | |
| "KCS 57 30 35", | |
| "SMCS 57 30 35" | |
| ], | |
| "search_hit": true, | |
| "evidence_hit": true, | |
| "matched_evidence_keywords": [ | |
| "상수도", | |
| "시험", | |
| "검사", | |
| "수압" | |
| ], | |
| "judgment": { | |
| "evaluated": true, | |
| "pass": true, | |
| "expected": "needs_more_info", | |
| "actual": "needs_more_info", | |
| "missing_condition_recall": 1.0 | |
| } | |
| }, | |
| { | |
| "id": "qa-quality-005", | |
| "domain": "quality_test_inspection_tolerance", | |
| "query": "설비 시험조정 및 평가 결과가 적정한지 확인할 기준은 무엇인가요? 설비 시험조정 및 평가", | |
| "expected_codes": [ | |
| "KCS 31 25 25" | |
| ], | |
| "returned_codes": [ | |
| "KCS 31 25 25", | |
| "SMCS 31 25 25", | |
| "EXCS 31 25 25", | |
| "KCS 10 40 00", | |
| "KCS 31 00 00" | |
| ], | |
| "search_hit": true, | |
| "evidence_hit": true, | |
| "matched_evidence_keywords": [ | |
| "시험", | |
| "조정", | |
| "평가", | |
| "설비" | |
| ], | |
| "judgment": { | |
| "evaluated": true, | |
| "pass": true, | |
| "expected": "conditional_pass", | |
| "actual": "conditional_pass", | |
| "missing_condition_recall": 1.0 | |
| } | |
| }, | |
| { | |
| "id": "qa-quality-006", | |
| "domain": "quality_test_inspection_tolerance", | |
| "query": "농업생산기반시설 품질관리와 계측관리 기준을 찾고 싶습니다. 농업생산기반시설 품질관리 및 계측관리", | |
| "expected_codes": [ | |
| "KCS 67 05 20" | |
| ], | |
| "returned_codes": [ | |
| "KRCCS 67 05 20", | |
| "KRCCS 67 90 05", | |
| "KCS 67 05 20", | |
| "KRCCS 67 95 05", | |
| "KCS 67 05 25" | |
| ], | |
| "search_hit": true, | |
| "evidence_hit": true, | |
| "matched_evidence_keywords": [ | |
| "품질관리", | |
| "계측관리", | |
| "시설", | |
| "검사" | |
| ], | |
| "judgment": { | |
| "evaluated": true, | |
| "pass": false, | |
| "expected": "needs_more_info", | |
| "actual": "conditional_pass", | |
| "missing_condition_recall": 1.0 | |
| } | |
| }, | |
| { | |
| "id": "qa-quality-007", | |
| "domain": "quality_test_inspection_tolerance", | |
| "query": "고속도로공사 전문시방서의 시험 기준을 기준으로 품질시험 계획을 검토해줘. 시험 품질시험 계획", | |
| "expected_codes": [ | |
| "EXCS 10 40 00" | |
| ], | |
| "returned_codes": [ | |
| "EXCS 10 40 00", | |
| "KRCCS 67 05 20", | |
| "KRCCS 67 90 05", | |
| "KRCCS 67 95 05", | |
| "KCS 44 10 00" | |
| ], | |
| "search_hit": true, | |
| "evidence_hit": true, | |
| "matched_evidence_keywords": [ | |
| "시험", | |
| "품질", | |
| "검사", | |
| "전문시방서" | |
| ], | |
| "judgment": { | |
| "evaluated": true, | |
| "pass": true, | |
| "expected": "conditional_pass", | |
| "actual": "conditional_pass", | |
| "missing_condition_recall": 1.0 | |
| } | |
| }, | |
| { | |
| "id": "qa-safety-001", | |
| "domain": "safety_temporary_construction_management", | |
| "query": "건설공사 안전 및 보건관리 계획이 충분한지 검토할 기준을 알려주세요. 안전 및 보건관리 안전관리계획", | |
| "expected_codes": [ | |
| "KCS 10 10 25" | |
| ], | |
| "returned_codes": [ | |
| "KCS 10 10 25", | |
| "EXCS 10 10 25", | |
| "KWCS 10 10 25", | |
| "SMCS 10 10 25", | |
| "LHCS 10 10 25" | |
| ], | |
| "search_hit": true, | |
| "evidence_hit": true, | |
| "matched_evidence_keywords": [ | |
| "안전", | |
| "보건", | |
| "관리", | |
| "계획" | |
| ], | |
| "judgment": { | |
| "evaluated": true, | |
| "pass": true, | |
| "expected": "needs_more_info", | |
| "actual": "needs_more_info", | |
| "missing_condition_recall": 1.0 | |
| } | |
| }, | |
| { | |
| "id": "qa-safety-002", | |
| "domain": "safety_temporary_construction_management", | |
| "query": "가설공사 일반사항 기준으로 현장 가설 계획을 검토하려고 합니다. 가설공사 가설 계획", | |
| "expected_codes": [ | |
| "KCS 21 10 00" | |
| ], | |
| "returned_codes": [ | |
| "SMCS 21 10 00", | |
| "KCS 21 00 00", | |
| "KCS 21 10 00", | |
| "EXCS 21 10 00", | |
| "KCS 51 10 10" | |
| ], | |
| "search_hit": true, | |
| "evidence_hit": true, | |
| "matched_evidence_keywords": [ | |
| "가설공사", | |
| "일반", | |
| "안전", | |
| "시공" | |
| ], | |
| "judgment": { | |
| "evaluated": true, | |
| "pass": true, | |
| "expected": "conditional_pass", | |
| "actual": "conditional_pass", | |
| "missing_condition_recall": 1.0 | |
| } | |
| }, | |
| { | |
| "id": "qa-safety-003", | |
| "domain": "safety_temporary_construction_management", | |
| "query": "현장가설공급설비와 가설시설물 설치 기준을 확인해줘. 현장가설시설물 설치 기준", | |
| "expected_codes": [ | |
| "KCS 21 20 05" | |
| ], | |
| "returned_codes": [ | |
| "SMCS 21 20 05", | |
| "EXCS 21 20 05", | |
| "KCS 21 20 05", | |
| "KCS 67 05 30", | |
| "KWCS 21 20 05" | |
| ], | |
| "search_hit": true, | |
| "evidence_hit": true, | |
| "matched_evidence_keywords": [ | |
| "현장가설", | |
| "공급설비", | |
| "가설시설물", | |
| "설치" | |
| ], | |
| "judgment": { | |
| "evaluated": true, | |
| "pass": true, | |
| "expected": "needs_more_info", | |
| "actual": "needs_more_info", | |
| "missing_condition_recall": 1.0 | |
| } | |
| }, | |
| { | |
| "id": "qa-safety-004", | |
| "domain": "safety_temporary_construction_management", | |
| "query": "안전시설공사 일반사항에서 추락방지와 통행 안전 시설 기준을 찾아주세요. 안전시설공사 추락방지 및 통행 안전", | |
| "expected_codes": [ | |
| "KCS 21 70 05" | |
| ], | |
| "returned_codes": [ | |
| "KCS 21 70 05", | |
| "SMCS 21 70 05", | |
| "EXCS 21 70 05", | |
| "EXCS 44 60 05", | |
| "NHCS 44 60 05" | |
| ], | |
| "search_hit": true, | |
| "evidence_hit": true, | |
| "matched_evidence_keywords": [ | |
| "안전시설", | |
| "추락", | |
| "시공" | |
| ], | |
| "judgment": { | |
| "evaluated": true, | |
| "pass": true, | |
| "expected": "conditional_pass", | |
| "actual": "conditional_pass", | |
| "missing_condition_recall": 1.0 | |
| } | |
| }, | |
| { | |
| "id": "qa-safety-005", | |
| "domain": "safety_temporary_construction_management", | |
| "query": "철도 공사환경 및 안전관리 기준에서 위험 작업 검토 항목을 찾아줘. 철도공사 공사환경 및 안전관리", | |
| "expected_codes": [ | |
| "KCS 47 10 10" | |
| ], | |
| "returned_codes": [ | |
| "KCS 47 10 10", | |
| "KCS 47 00 00", | |
| "KRACS 47 10 10", | |
| "SMCS 61 40 05", | |
| "SMCS 61 10 30" | |
| ], | |
| "search_hit": true, | |
| "evidence_hit": true, | |
| "matched_evidence_keywords": [ | |
| "공사환경", | |
| "안전관리", | |
| "철도" | |
| ], | |
| "judgment": { | |
| "evaluated": true, | |
| "pass": true, | |
| "expected": "needs_more_info", | |
| "actual": "needs_more_info", | |
| "missing_condition_recall": 1.0 | |
| } | |
| }, | |
| { | |
| "id": "qa-safety-006", | |
| "domain": "safety_temporary_construction_management", | |
| "query": "고속도로공사 전문시방서 기준으로 안전시설공사 일반 검토를 하고 싶습니다. 안전시설공사 전문시방서 검토", | |
| "expected_codes": [ | |
| "EXCS 21 70 05" | |
| ], | |
| "returned_codes": [ | |
| "EXCS 21 70 05", | |
| "EXCS 44 60 05", | |
| "SMCS 21 70 05", | |
| "KCS 21 70 05", | |
| "SMCS 44 60 05" | |
| ], | |
| "search_hit": true, | |
| "evidence_hit": true, | |
| "matched_evidence_keywords": [ | |
| "안전시설", | |
| "공사", | |
| "전문시방서", | |
| "시공" | |
| ], | |
| "judgment": { | |
| "evaluated": true, | |
| "pass": true, | |
| "expected": "conditional_pass", | |
| "actual": "conditional_pass", | |
| "missing_condition_recall": 1.0 | |
| } | |
| }, | |
| { | |
| "id": "qa-safety-007", | |
| "domain": "safety_temporary_construction_management", | |
| "query": "고속도로공사 안전 및 보건관리 기준으로 하수급인 안전관리 적정성을 봐야 합니다. 안전 및 보건관리 하수급인 안전관리", | |
| "expected_codes": [ | |
| "EXCS 10 10 25" | |
| ], | |
| "returned_codes": [ | |
| "EXCS 10 10 25", | |
| "KWCS 10 10 25", | |
| "LHCS 10 10 25", | |
| "SMCS 10 10 25", | |
| "KCS 10 10 25" | |
| ], | |
| "search_hit": true, | |
| "evidence_hit": true, | |
| "matched_evidence_keywords": [ | |
| "안전", | |
| "보건관리", | |
| "점검" | |
| ], | |
| "judgment": { | |
| "evaluated": true, | |
| "pass": true, | |
| "expected": "needs_more_info", | |
| "actual": "needs_more_info", | |
| "missing_condition_recall": 1.0 | |
| } | |
| }, | |
| { | |
| "id": "qa-seismic-001", | |
| "domain": "seismic_design_detailing", | |
| "query": "내진 설계기준 적용 여부를 검토하려면 어떤 기준을 먼저 확인해야 하나요? 내진설계 적용 여부", | |
| "expected_codes": [ | |
| "KDS 17 10 00" | |
| ], | |
| "returned_codes": [ | |
| "KDS 14 20 80", | |
| "KDS 17 10 00", | |
| "KDS 27 17 00", | |
| "KDS 61 15 00", | |
| "KDS 57 17 00" | |
| ], | |
| "search_hit": true, | |
| "evidence_hit": true, | |
| "matched_evidence_keywords": [ | |
| "내진설계", | |
| "지진", | |
| "하중", | |
| "적용" | |
| ], | |
| "judgment": { | |
| "evaluated": true, | |
| "pass": true, | |
| "expected": "needs_more_info", | |
| "actual": "needs_more_info", | |
| "missing_condition_recall": 1.0 | |
| } | |
| }, | |
| { | |
| "id": "qa-seismic-002", | |
| "domain": "seismic_design_detailing", | |
| "query": "내진설계 일반 기준에서 지진하중 산정 전 필요한 조건을 알려줘. 내진설계 지진하중 산정", | |
| "expected_codes": [ | |
| "KDS 17 10 00" | |
| ], | |
| "returned_codes": [ | |
| "KDS 17 10 00", | |
| "KDS 54 17 00", | |
| "KDS 14 20 80", | |
| "KDS 11 90 00", | |
| "KDS 61 15 00" | |
| ], | |
| "search_hit": true, | |
| "evidence_hit": true, | |
| "matched_evidence_keywords": [ | |
| "내진설계", | |
| "지진", | |
| "하중", | |
| "일반" | |
| ], | |
| "judgment": { | |
| "evaluated": true, | |
| "pass": true, | |
| "expected": "needs_more_info", | |
| "actual": "needs_more_info", | |
| "missing_condition_recall": 1.0 | |
| } | |
| }, | |
| { | |
| "id": "qa-seismic-003", | |
| "domain": "seismic_design_detailing", | |
| "query": "콘크리트 구조 내진상세가 적합한지 검토할 설계기준을 찾아줘. 콘크리트구조 내진상세", | |
| "expected_codes": [ | |
| "KDS 14 20 80" | |
| ], | |
| "returned_codes": [ | |
| "KDS 14 20 80", | |
| "KDS 41 20 10", | |
| "KDS 41 17 00", | |
| "KDS 14 20 30", | |
| "KDS 14 20 26" | |
| ], | |
| "search_hit": true, | |
| "evidence_hit": true, | |
| "matched_evidence_keywords": [ | |
| "콘크리트", | |
| "내진", | |
| "설계", | |
| "상세" | |
| ], | |
| "judgment": { | |
| "evaluated": true, | |
| "pass": true, | |
| "expected": "needs_more_info", | |
| "actual": "needs_more_info", | |
| "missing_condition_recall": 1.0 | |
| } | |
| }, | |
| { | |
| "id": "qa-seismic-004", | |
| "domain": "seismic_design_detailing", | |
| "query": "강구조 내진 설계기준으로 보-기둥 접합부 검토에 필요한 기준을 찾아줘. 강구조 내진 접합부", | |
| "expected_codes": [ | |
| "KDS 14 31 60" | |
| ], | |
| "returned_codes": [ | |
| "KDS 14 31 60", | |
| "KCS 41 31 25", | |
| "KDS 41 50 30", | |
| "KDS 41 17 00", | |
| "KDS 17 00 00" | |
| ], | |
| "search_hit": true, | |
| "evidence_hit": true, | |
| "matched_evidence_keywords": [ | |
| "강구조", | |
| "내진", | |
| "설계", | |
| "접합" | |
| ], | |
| "judgment": { | |
| "evaluated": true, | |
| "pass": true, | |
| "expected": "needs_more_info", | |
| "actual": "needs_more_info", | |
| "missing_condition_recall": 1.0 | |
| } | |
| }, | |
| { | |
| "id": "qa-seismic-005", | |
| "domain": "seismic_design_detailing", | |
| "query": "합성구조 내진 설계기준에서 합성부재의 내진 검토 조건을 알려주세요. 합성구조 내진 검토", | |
| "expected_codes": [ | |
| "KDS 14 31 85" | |
| ], | |
| "returned_codes": [ | |
| "KDS 14 31 85", | |
| "KDS 41 30 20", | |
| "KCS 41 31 65", | |
| "KCS 14 20 70", | |
| "KDS 41 40 10" | |
| ], | |
| "search_hit": true, | |
| "evidence_hit": true, | |
| "matched_evidence_keywords": [ | |
| "합성구조", | |
| "내진", | |
| "설계", | |
| "부재" | |
| ], | |
| "judgment": { | |
| "evaluated": true, | |
| "pass": true, | |
| "expected": "needs_more_info", | |
| "actual": "needs_more_info", | |
| "missing_condition_recall": 1.0 | |
| } | |
| }, | |
| { | |
| "id": "qa-seismic-006", | |
| "domain": "seismic_design_detailing", | |
| "query": "기초 내진 설계에서 지반과 기초 조건을 어떻게 확인해야 하나요? 기초 내진 설계", | |
| "expected_codes": [ | |
| "KDS 11 50 25" | |
| ], | |
| "returned_codes": [ | |
| "KDS 11 50 25", | |
| "KDS 24 17 11", | |
| "KDS 29 17 00", | |
| "KDS 51 17 00", | |
| "KDS 24 17 10" | |
| ], | |
| "search_hit": true, | |
| "evidence_hit": true, | |
| "matched_evidence_keywords": [ | |
| "기초", | |
| "내진", | |
| "설계", | |
| "지반" | |
| ], | |
| "judgment": { | |
| "evaluated": true, | |
| "pass": true, | |
| "expected": "needs_more_info", | |
| "actual": "needs_more_info", | |
| "missing_condition_recall": 1.0 | |
| } | |
| }, | |
| { | |
| "id": "qa-seismic-007", | |
| "domain": "seismic_design_detailing", | |
| "query": "비탈면 내진설계 검토 시 필요한 안정성 기준을 찾아주세요. 비탈면 내진 안정성", | |
| "expected_codes": [ | |
| "KDS 11 90 00" | |
| ], | |
| "returned_codes": [ | |
| "KDS 11 90 00", | |
| "KDS 27 17 00", | |
| "KDS 54 17 00", | |
| "KDS 14 20 80", | |
| "KDS 17 10 00" | |
| ], | |
| "search_hit": true, | |
| "evidence_hit": true, | |
| "matched_evidence_keywords": [ | |
| "비탈면", | |
| "내진설계", | |
| "안정", | |
| "지진" | |
| ], | |
| "judgment": { | |
| "evaluated": true, | |
| "pass": true, | |
| "expected": "needs_more_info", | |
| "actual": "needs_more_info", | |
| "missing_condition_recall": 1.0 | |
| } | |
| }, | |
| { | |
| "id": "qa-composite-001", | |
| "domain": "composite_structure_criteria", | |
| "query": "합성콘크리트 설계에서 전단 연결과 일체 거동을 검토할 기준을 찾아줘. 합성콘크리트 전단 연결", | |
| "expected_codes": [ | |
| "KDS 14 20 66" | |
| ], | |
| "returned_codes": [ | |
| "KDS 14 20 66", | |
| "KCS 41 30 03", | |
| "KRACS 47 10 60", | |
| "KDS 14 00 00", | |
| "KDS 41 40 10" | |
| ], | |
| "search_hit": true, | |
| "evidence_hit": true, | |
| "matched_evidence_keywords": [ | |
| "합성콘크리트", | |
| "설계", | |
| "전단", | |
| "연결" | |
| ], | |
| "judgment": { | |
| "evaluated": true, | |
| "pass": true, | |
| "expected": "needs_more_info", | |
| "actual": "needs_more_info", | |
| "missing_condition_recall": 1.0 | |
| } | |
| }, | |
| { | |
| "id": "qa-composite-002", | |
| "domain": "composite_structure_criteria", | |
| "query": "합성구조 콘크리트 시공 기준으로 품질관리 항목을 확인하고 싶습니다. 합성구조 콘크리트 시공 품질관리", | |
| "expected_codes": [ | |
| "KCS 14 20 70" | |
| ], | |
| "returned_codes": [ | |
| "KCS 14 20 70", | |
| "SMCS 14 20 70", | |
| "KDS 41 40 10", | |
| "KCS 41 31 65", | |
| "KDS 41 30 20" | |
| ], | |
| "search_hit": true, | |
| "evidence_hit": true, | |
| "matched_evidence_keywords": [ | |
| "합성구조", | |
| "콘크리트", | |
| "시공", | |
| "품질관리" | |
| ], | |
| "judgment": { | |
| "evaluated": true, | |
| "pass": true, | |
| "expected": "conditional_pass", | |
| "actual": "conditional_pass", | |
| "missing_condition_recall": 1.0 | |
| } | |
| }, | |
| { | |
| "id": "qa-composite-003", | |
| "domain": "composite_structure_criteria", | |
| "query": "합성구조 부재 설계기준에서 합성보 검토에 필요한 조건을 알려줘. 합성구조 합성보 부재 설계", | |
| "expected_codes": [ | |
| "KDS 14 31 80" | |
| ], | |
| "returned_codes": [ | |
| "KDS 14 31 80", | |
| "KDS 41 30 20", | |
| "KDS 14 31 85", | |
| "KDS 41 40 10", | |
| "KCS 14 20 70" | |
| ], | |
| "search_hit": true, | |
| "evidence_hit": true, | |
| "matched_evidence_keywords": [ | |
| "합성구조", | |
| "부재", | |
| "설계", | |
| "합성" | |
| ], | |
| "judgment": { | |
| "evaluated": true, | |
| "pass": true, | |
| "expected": "needs_more_info", | |
| "actual": "needs_more_info", | |
| "missing_condition_recall": 1.0 | |
| } | |
| }, | |
| { | |
| "id": "qa-composite-004", | |
| "domain": "composite_structure_criteria", | |
| "query": "건축물 강합성구조 설계기준으로 합성기둥 검토를 진행하려고 합니다. 건축물 강합성구조 합성기둥 설계 검토", | |
| "expected_codes": [ | |
| "KDS 41 30 20" | |
| ], | |
| "returned_codes": [ | |
| "KDS 41 30 20", | |
| "KCS 41 31 65", | |
| "KDS 41 40 10", | |
| "KDS 14 31 85", | |
| "KDS 14 31 80" | |
| ], | |
| "search_hit": true, | |
| "evidence_hit": true, | |
| "matched_evidence_keywords": [ | |
| "강합성구조", | |
| "설계", | |
| "건축물", | |
| "합성" | |
| ], | |
| "judgment": { | |
| "evaluated": true, | |
| "pass": true, | |
| "expected": "needs_more_info", | |
| "actual": "needs_more_info", | |
| "missing_condition_recall": 1.0 | |
| } | |
| }, | |
| { | |
| "id": "qa-composite-005", | |
| "domain": "composite_structure_criteria", | |
| "query": "강-콘크리트합성구조 설계기준에서 접합부 검토 항목을 찾아주세요. 강-콘크리트합성구조 접합부", | |
| "expected_codes": [ | |
| "KDS 41 40 10" | |
| ], | |
| "returned_codes": [ | |
| "KDS 41 40 10", | |
| "KDS 14 31 80", | |
| "KCS 14 20 70", | |
| "KDS 41 30 20", | |
| "KCS 41 31 65" | |
| ], | |
| "search_hit": true, | |
| "evidence_hit": true, | |
| "matched_evidence_keywords": [ | |
| "강", | |
| "콘크리트", | |
| "합성구조", | |
| "접합" | |
| ], | |
| "judgment": { | |
| "evaluated": true, | |
| "pass": true, | |
| "expected": "needs_more_info", | |
| "actual": "needs_more_info", | |
| "missing_condition_recall": 1.0 | |
| } | |
| }, | |
| { | |
| "id": "qa-composite-006", | |
| "domain": "composite_structure_criteria", | |
| "query": "건축물 강합성구조공사 시공 기준으로 현장 품질 검사를 하려고 합니다. 건축물 강합성구조공사 시공 품질 검사", | |
| "expected_codes": [ | |
| "KCS 41 31 65" | |
| ], | |
| "returned_codes": [ | |
| "KCS 41 31 65", | |
| "KDS 41 30 20", | |
| "KCS 41 31 40", | |
| "KDS 41 40 10", | |
| "KCS 41 31 45" | |
| ], | |
| "search_hit": true, | |
| "evidence_hit": true, | |
| "matched_evidence_keywords": [ | |
| "강합성구조", | |
| "공사", | |
| "시공", | |
| "검사" | |
| ], | |
| "judgment": { | |
| "evaluated": true, | |
| "pass": true, | |
| "expected": "conditional_pass", | |
| "actual": "conditional_pass", | |
| "missing_condition_recall": 1.0 | |
| } | |
| }, | |
| { | |
| "id": "qa-composite-007", | |
| "domain": "composite_structure_criteria", | |
| "query": "강교 및 강합성교 설계 검토에서 적용할 기준과 누락 조건을 알려줘. 강합성교 설계 검토", | |
| "expected_codes": [ | |
| "KDS 47 10 50" | |
| ], | |
| "returned_codes": [ | |
| "KDS 47 10 50", | |
| "KDS 41 30 20", | |
| "KCS 41 31 65", | |
| "KDS 41 40 10", | |
| "KDS 14 31 85" | |
| ], | |
| "search_hit": true, | |
| "evidence_hit": true, | |
| "matched_evidence_keywords": [ | |
| "강교", | |
| "강합성교", | |
| "설계" | |
| ], | |
| "judgment": { | |
| "evaluated": true, | |
| "pass": true, | |
| "expected": "needs_more_info", | |
| "actual": "needs_more_info", | |
| "missing_condition_recall": 1.0 | |
| } | |
| } | |
| ] | |
| } |