"""`proofread_diff@2` — 결과 행 하나의 순수 채점 (계획 2026-09-26 L3b D1·D2·D3). **이 모듈은 표준 라이브러리와 `solar_eval.evaluators.scoring` 만 import 한다.** 평가기 `impl_hash` 는 이 모듈에서 시작한 import 폐포(`core/snapshot/impl_hash.py`)로 뜨므로, 번들 읽기·writer·미러 같은 I/O 코드는 `from_bundle.py`·`case.py` 에 둔다 — 그래야 입출력 코드를 고쳐도 평가기 해시가 바뀌지 않고, 채점 규칙이 바뀌면 반드시 바뀐다(MB1). 채점 규칙은 레거시 `lcs_diff` 와 **같은 함수**(`compute_proofread_metrics`)다 — 두 벌 두지 않는다. 전제조건도 레거시 `runs eval`(`cli/commands/run_eval.py` `_score_all` → `validate_required_fields` → `LCSDiffEvaluator.evaluate`)과 같게 맞춘다: - `output is None` → `missing_output`, `golden is None` → `missing_golden`(레거시 `validate_required_fields` 의 ValueError). - `output` 이 문자열이 아님 → `output_not_text`(레거시는 `.split()` 의 AttributeError 로 실패). - 그 밖의 예외(입력이 객체가 아님, `original` 이 문자열이 아님 등) → `scoring_failed`. - `input` 에 `original` 이 없으면 `""`, `golden` 이 문자열이 아니면 `str(golden)` — 레거시가 내는 값과 같게. `exact` 라벨(D3): 정규화(`strip@1` → `ws_collapse@1`)한 출력이 빈 문자열 → `noanswer`, 정규화한 출력 = 정규화한 정답 → `correct`, `spans.tp > 0` → `partial`, 나머지 → `incorrect`. 정규화기 정의의 정본은 이 모듈 하나다(문서는 `PS/SCORING.md` §4.4 가 같은 말을 적고, 테스트가 두 어휘를 대조한다). """ from __future__ import annotations from collections.abc import Mapping from dataclasses import dataclass from typing import Any from solar_eval.evaluators.scoring import compute_proofread_metrics #: 정규화기 이름 — 평가기 문서 `params.exact_compare.normalizers` 에 이 순서로 실린다(해시 재료). NORMALIZERS: tuple[str, ...] = ("strip@1", "ws_collapse@1") #: 원문을 읽는 입력 필드 — 평가기 문서 `params.original_field`. ORIGINAL_FIELD = "original" LABEL_CORRECT = "correct" LABEL_PARTIAL = "partial" LABEL_INCORRECT = "incorrect" LABEL_NOANSWER = "noanswer" #: `exact` 지표 `levels` 순서(벡터 `scoring/bundles/02` 와 같다). LABELS: tuple[str, ...] = (LABEL_CORRECT, LABEL_PARTIAL, LABEL_INCORRECT, LABEL_NOANSWER) #: 라벨 → 점수(`label_scores`). correct 만 1. LABEL_SCORES: dict[str, int] = { LABEL_CORRECT: 1, LABEL_PARTIAL: 0, LABEL_INCORRECT: 0, LABEL_NOANSWER: 0, } REASON_MISSING_OUTPUT = "missing_output" REASON_MISSING_GOLDEN = "missing_golden" REASON_OUTPUT_NOT_TEXT = "output_not_text" REASON_SCORING_FAILED = "scoring_failed" #: 실패 판정 `reason` 어휘(행 단위). REASONS: tuple[str, ...] = ( REASON_MISSING_OUTPUT, REASON_MISSING_GOLDEN, REASON_OUTPUT_NOT_TEXT, REASON_SCORING_FAILED, ) #: `spans` 판정 `value` 의 키 — 레거시 `compute_proofread_metrics` 카운트 이름 그대로. SPAN_KEYS: tuple[str, ...] = ("tp", "fp", "missing", "redundant") @dataclass(frozen=True) class RowScore: """채점 성공 — `exact` 라벨·점수, `lcs_f1`(레거시 `f1`, 0~100), `spans` 카운트.""" label: str score_exact: int lcs_f1: float spans: dict[str, int] @dataclass(frozen=True) class RowError: """채점 실패 — 세 지표 모두 `status="error"` 이고 같은 `reason` 이다(D2).""" reason: str def strip_ws(text: str) -> str: """`strip@1` — 앞뒤의 `str.isspace()` 문자를 지운다(U+3000 전각 공백 포함).""" start, end = 0, len(text) while start < end and text[start].isspace(): start += 1 while end > start and text[end - 1].isspace(): end -= 1 return text[start:end] def collapse_ws(text: str) -> str: """`ws_collapse@1` — `str.isspace()` 문자의 연속을 U+0020 하나로 바꾼다.""" out: list[str] = [] in_space = False for ch in text: if ch.isspace(): if not in_space: out.append(" ") in_space = True else: out.append(ch) in_space = False return "".join(out) def normalize(text: str) -> str: """`NORMALIZERS` 순서(strip → collapse)로 정규화한다.""" return collapse_ws(strip_ws(text)) def label_of(norm_out: str, norm_gold: str, tp: int) -> str: """D3 라벨 규칙 — 정규화한 값을 받는다. 순서가 규칙이다(빈 출력이 먼저).""" if norm_out == "": return LABEL_NOANSWER if norm_out == norm_gold: return LABEL_CORRECT if tp > 0: return LABEL_PARTIAL return LABEL_INCORRECT def has_original(result_row: Mapping[str, Any]) -> bool: """입력 객체에 `original` 키가 있는가 — 없으면 레거시처럼 `""` 로 채점한다(보고용 건수).""" source = result_row.get("input") return isinstance(source, Mapping) and ORIGINAL_FIELD in source def score_row(result_row: Mapping[str, Any]) -> RowScore | RowError: """`results.jsonl` 행 하나를 채점한다. 입력을 바꾸지 않는다. 레거시가 실패로 모으는 행은 여기서도 `RowError` 다 — 실패 집합이 같아야 parity 가 뜻을 가진다. """ output = result_row.get("output") golden = result_row.get("golden") if output is None: return RowError(REASON_MISSING_OUTPUT) if golden is None: return RowError(REASON_MISSING_GOLDEN) if not isinstance(output, str): return RowError(REASON_OUTPUT_NOT_TEXT) reference = str(golden) try: # 레거시 `LCSDiffEvaluator.evaluate` 와 같은 식 — `sample.input.get("original", "")`. original = result_row.get("input").get(ORIGINAL_FIELD, "") # type: ignore[union-attr] metrics = compute_proofread_metrics(original, reference, output) except Exception: # noqa: BLE001 — 레거시 `_score_all` 도 모든 예외를 실패 샘플로 모은다. return RowError(REASON_SCORING_FAILED) spans = {key: int(metrics[key]) for key in SPAN_KEYS} label = label_of(normalize(output), normalize(reference), spans["tp"]) return RowScore( label=label, score_exact=LABEL_SCORES[label], lcs_f1=float(metrics["f1"]), spans=spans, )