"""`proofread_diff@2` 평가기 문서와 구현 해시 (계획 2026-09-26 L3b §2.4·MB1). - `impl_hash` = `json_fingerprint(["proofread-diff-impl/v1", closure_hash])` — `closure_hash` 는 `proofread_diff_v2` 에서 시작한 AST import 폐포(`core/snapshot/impl_hash.py`, 스텝·평가기 해시와 같은 규칙)의 파일 바이트 지문이다. `dependency_lock` 은 섞지 않는다: 폐포가 표준 라이브러리·`solar_eval` 밖을 import 하지 않음을 테스트가 고정하고(`test_impl_hash.py`), 서드파티가 들어오는 날 섞는다(열린 질문 Q-L3b-1). - **폐포는 넓히지 않는다**(계획 2026-09-27 L6 C-L6-7·Q-L6-8, L3b 후속 6). ① `drafts.py` 는 `poc_bundle` 을 import 해 넣으면 서드파티가 폐포에 들어와 `dependency_lock` 이 필요하다(U-L3b-4 로 넣지 않기로 했다). `evaluators/lcs_diff.py` 는 폐포 밖이지만 재채점 경로 **안**이다 — `drafts.legacy_span_scores` 가 `LCSDiffEvaluator.aggregate` 로 `producer_aggregates.json` 의 `spans` 집계를 낸다. ② 폐포를 바꾸면 `evaluator_config_hash` 가 바뀌어 기존 재채점이 새 평가기로 갈라진다. ③ 두 파일의 변화는 `from_bundle._same_as` 가 판정 행과 `producer_aggregates.json` 바이트를 함께 비교해 같은 `evaluation_run_id` 안의 `supersedes` 로 잡는다 — `test_impl_hash.py` 가 셋을 고정한다(판정 행만 바뀐 경우·집계만 바뀐 경우 각각). - `metrics` 는 벡터 `scoring/bundles/02-proofread-diff-v2-shape` 와 **같은 배열**이다(테스트가 벡터와 대조한다). 문서가 벡터와 다른 점은 `impl_hash`·`params.original_field`·`provenance` 셋이다. """ from __future__ import annotations import copy from typing import Any from poc_bundle.canonical import json_fingerprint from solar_eval._version import __version__ from solar_eval.core.snapshot.impl_hash import ImplRoots, closure_hash, default_roots from solar_eval.rescore.proofread_diff_v2 import ( LABEL_CORRECT, LABEL_SCORES, LABELS, NORMALIZERS, ORIGINAL_FIELD, ) #: 폐포 시작 모듈 — 평가기 문서 `impl.name` 과 같다. IMPL_START = "solar_eval.rescore.proofread_diff_v2" #: `impl_hash` 튜플 머리의 도메인 태그. 튜플을 바꾸면 새 태그다. IMPL_TAG = "proofread-diff-impl/v1" IMPL_VERSION = "2" EVALUATOR_KIND = "proofread_diff" #: 사람이 부르는 평가기 이름 — 판정 `actor` 는 `solar_eval.`. ALIAS = "proofread_diff@2" ACTOR = f"solar_eval.{ALIAS}" #: `params.noanswer` — 정규화한 출력이 빈 문자열이면 `noanswer`(D3). NOANSWER_RULE = "empty_output" #: 지표 선언 — 벡터 02 와 같은 배열(키 순서까지). `exact` 는 categorical, `lcs_f1` 은 continuous, `spans` 는 counts. METRICS: list[dict[str, Any]] = [ { "key": "exact", "level": "item", "score_type": "categorical", "unit": "ratio", "levels": list(LABELS), "label_scores": dict(LABEL_SCORES), "passing_labels": [LABEL_CORRECT], "aggregations": ["mean"], "primary": True, "primary_aggregation": "mean", }, { "key": "lcs_f1", "level": "item", "score_type": "continuous", "unit": "percent", "min": 0, "max": 100, "aggregations": ["mean"], }, { "key": "spans", "level": "item", "score_type": "counts", "unit": "percent", "count_roles": {"tp": "tp", "fp": "fd", "missing": "fn", "redundant": "fa"}, "empty_policy": "one", "scale": 100, "aggregations": ["micro_prf@1:f1", "micro_prf@1:precision", "micro_prf@1:recall"], }, ] def implementation_hash(roots: ImplRoots | None = None) -> tuple[str, list[str]]: """(`impl_hash`, 정렬된 폐포 라벨). `roots` 를 주면 그 해석 루트로 뜬다(테스트가 tmp 사본을 끼운다).""" closure, labels = closure_hash([IMPL_START], roots or default_roots()) return json_fingerprint([IMPL_TAG, closure]), labels def evaluator_document(impl_hash: str) -> dict[str, Any]: """`evaluator/v1` 문서(§2.4). 해시는 `config` 에만 뜨므로 `provenance` 의 버전 표기는 id 를 바꾸지 않는다.""" return { "schema": "evaluator/v1", "config": { "kind": EVALUATOR_KIND, "source_kind": "code", "impl": {"name": IMPL_START, "version": IMPL_VERSION, "impl_hash": impl_hash}, "params": { "exact_compare": {"normalizers": list(NORMALIZERS)}, "noanswer": NOANSWER_RULE, "original_field": ORIGINAL_FIELD, }, "metrics": copy.deepcopy(METRICS), }, "provenance": {"alias": ALIAS, "version_label": f"solar-eval {__version__}"}, } def current_evaluator_document() -> dict[str, Any]: """지금 디스크의 구현으로 뜬 평가기 문서 — 재채점 한 번(case 전체)에 한 번 부른다.""" impl_hash, _ = implementation_hash() return evaluator_document(impl_hash)