feat: switch demo to FT + Opus article review (pipeline_exp_261021_ft_hybrid)

README.md

@@ -10,19 +10,14 @@ pinned: false
 
 # 조선일보 본문 교열 데모
 
-Upstage **solar-mini4** 기반 교열 파이프라인 데모입니다. 평가 하네스와 **같은 엔진 코드**를
-실행합니다 — 데모가 보여주는 결과는 평가 run 과 같은 경로에서 나옵니다.
+FT 교열 + Opus 기사 검토 구성(`pipeline_exp_261021_ft_hybrid`) 데모입니다. 평가 하네스와 같은 엔진 코드를 실행합니다.
 
 ```
-[규칙] 사전 치환
-[LLM]  FT 교열 (ft:solar-news-correction)
-[LLM]  판정 — FT 결과를 keep/revert
-[LLM]  문맥 교정 · 어휘
-[LLM]  문맥 교정 · 문법
-[규칙] 사전 재적용 · 복합어 복원 · 율/률 규칙 · 후처리 · 조사 교정 · 오탐 되돌림
+[규칙] 용어 사전 치환
+[LLM]  FT 교열 (ft:solar-news-correction, 문단 묶음별 동시 호출)
+[LLM]  기사 전체 검토 1회 (Claude Opus): FT 오교정 되돌림 + 사실·숫자·문맥 교정 목록
+[규칙] 되돌림·교정 적용 · 따옴표 방향 · 원문 따옴표 보존 · 율/률 · 후처리
 ```
 
-LLM 호출 4회, 요청당 중앙 3.2초(단락 기준). 긴 기사는 문서 단위로 분할해 병렬 처리합니다.
-
-**실행 전 필요**: Space Settings → Secrets 에 `UPSTAGE_API_KEY` 를 넣으세요
-(없으면 사이드바 입력을 사용합니다).
+**실행 전 필요**: Space Settings → Secrets 에 `UPSTAGE_API_KEY` 와 `TIMELY_API_KEY` 를 넣으세요
+(없으면 사이드바 입력을 사용합니다). 기사 검토 단계는 Timely 라우터를 거쳐 Claude Opus 를 부릅니다.

app.py

@@ -1,12 +1,9 @@
 """조선일보 본문 교열 데모 (Streamlit / HF Space).
 
-solar-mini4 교열 파이프라인을 solar-eval 엔진 그대로 실행한다 — FT 교열 →
-판정형 step1 → 문맥 교정 어휘/문법 2스텝 → 결정론 규칙 6층. 구성 정의와 실행은
-전부 runner.py 이고 이 파일은 UI 만 담당한다. 사용자 입력과 결과는 logbook.py 가
-Supabase 에 남긴다 (시크릿 없으면 조용히 건너뜀).
-
-모델 셀렉터는 두지 않는다 — 파이프라인·프롬프트·모델은 한 묶음이고, 모델만
-갈아끼우면 다른 구성이 된다 (runner.CONFIGS 주석 참조).
+FT 교열 + Opus 기사 검토 구성을 solar-eval 엔진 그대로 실행한다 - FT 교열 모델이 문단 묶음마다 1차 교열하고,
+Claude Opus 가 기사 전체를 한 번 보고 FT 오교정을 되돌리며 사실·숫자·문맥 오류를 고친 뒤 결정론 규칙을 건다.
+구성 정의와 실행은 전부 runner.py 이고 이 파일은 UI 만 담당한다. 사용자 입력과 결과는 logbook.py 가
+Supabase 에 남긴다(시크릿이 없으면 조용히 건너뜀).
 """
 
 from __future__ import annotations
@@ -24,33 +21,29 @@ PANE_STYLE = (
     "padding:14px 16px;line-height:1.9;font-size:1.02rem;min-height:120px"
 )
 
-# 합성 예문 — 평가셋 gold 는 쓰지 않는다(유출 방지). 각 층의 표적을 일부러 심어 둔 문장이다:
-# 비률/갱신률/연체률(사전·율률 규칙) · WSJ은·160㎞으로(조사 교정) · ▶ 와 곡선 따옴표(오탐 되돌림 가드).
+# 합성 예문 - 평가셋 gold 는 쓰지 않는다(유출 방지). 각 층의 표적을 일부러 심어 둔 문장이다:
+# 비률/갱신률/연체률(사전·율률 규칙) · 의문형 어미 · 160㎞으로(조사) · 곧은 따옴표(원문 따옴표 보존).
 SAMPLE_TEXT = (
     "▶정부의 강력한 부동산 규제에도 불구하고 수도권 아파트 매매 거래 비률은 "
     "오히려 증가세를 보였다. 시중 은행의 주택 담보 대출 금리가 낮아지면서 "
     "실수요자의 구매 심리가 되살아났기 때문이라는 분석이 나온다. "
     "국토부 관계자는 “대출 갱신률과 연체률을 함께 봐야 한다”며 “당분간 이런 "
-    "흐름이 이어질 것”이라고 말했다. WSJ은 한국의 주택 시장이 수도권 중심으로 "
-    "재편되고 있다고 보도했다. 신규 광역철도는 최고 시속 160㎞으로 설계됐다."
+    "흐름이 이어질 것”이라고 말했다. 업계에선 'K-주거' 모델이 해외에서도 통할지 "
+    "주목하고 있다. 신규 광역철도는 최고 시속 160㎞으로 설계됐다."
 )
 
-# 스텝 이름 → 사용자에게 보여줄 라벨. 세 구성의 스텝을 모두 담는다 (모르는 스텝은 이름 그대로).
-# basic_correction 의 라벨이 구성마다 다르다 — v44 에서는 생성이 아니라 FT 결과 판정이다.
+# 스텝 이름 → 사용자에게 보여줄 라벨 (모르는 스텝은 이름 그대로)
 STEP_LABELS = {
     "vocabulary_sub_pre": "용어 사전 치환",
-    "proofread": "1차 교열 (교열 전용 FT 모델)",
-    "basic_correction": "기초 교정 / FT 결과 판정",
-    "context_correction": "문맥 교정",
-    "context_vocab": "문맥 교정 · 어휘",
-    "context_grammar": "문맥 교정 · 문법",
-    "style_correction": "문체 교정",
-    "vocabulary_reapply": "용어 사전 재적용",
-    "compound_whitelist_restore": "복합어 화이트리스트 복원",
+    "proofread": "1차 교열 (교열 전용 FT 모델, 문단별)",
+    "ft_hunks": "FT 수정 목록 정리",
+    "review": "기사 전체 검토 (Claude Opus 1회)",
+    "revert_ft": "FT 오교정 되돌림",
+    "apply_review": "사실·숫자·문맥 교정 적용",
+    "quote_direction": "따옴표 방향 정리",
+    "quote_preserve": "원문 따옴표 보존",
     "yul_ryul_normalize": "율/률 규칙 적용",
     "post_process": "후처리 (단위·통화·쉼표)",
-    "josa_fix": "조사 교정 (기호·숫자·단위 뒤)",
-    "diff_revert": "오탐 되돌림 (글리프·구조문자·쉼표)",
 }
 
 
@@ -76,64 +69,32 @@ def diff_panes(src: str, dst: str) -> tuple[str, str, int]:
 
 
 class ProgressView:
-    """스텝 진행을 st.status 안에 그린다 — 단계별 출력은 보여주지 않고 '어디까지 왔나' 만.
-
-    문서 단위 chunk 모드에서는 chunk 들이 **병렬**로 돌아 이벤트가 섞여 들어오므로, chunk 마다 줄을 하나씩
-    두고(몇 단계까지 왔나) 전체 진행 바는 (끝난 단계 수) / (chunk 수 × 단계 수) 로 잡는다.
-    """
+    """스텝 진행을 st.status 안에 그린다 - 단계별 출력은 보여주지 않고 '어디까지 왔나' 만."""
 
     def __init__(self, names: list[str]) -> None:
         self.names = names
-        self.total_steps = len(names)
-        self.n_chunks = 1
-        self.done: dict[int, int] = {1: 0}  # chunk 번호 → 끝난 단계 수
-        self.current: dict[int, str] = {}  # chunk 번호 �� 진행 중 단계 라벨
+        self.done = 0
         self.status = st.status("교열 중입니다…", expanded=True)
-        self.bar = self.status.progress(0.0, text=f"0 / {self.total_steps} 단계")
+        self.bar = self.status.progress(0.0, text=f"0 / {len(names)} 단계")
         self.lines = self.status.empty()
         self._render()
 
-    def on_step(self, event: str, index: int, total: int, name: str, doc_chunk=None) -> None:
-        ci = doc_chunk[0] if doc_chunk else 1
-        if doc_chunk:
-            self.n_chunks = doc_chunk[1]
-        self.done.setdefault(ci, 0)
-        label = STEP_LABELS.get(name, name)
-        if event == "start":
-            self.current[ci] = label
-        elif event == "chunk":
-            self.current[ci] = f"{label} · 조각 {index}/{total}"
-        elif event == "done":
-            self.done[ci] = index
-            self.current.pop(ci, None)
-        finished = sum(self.done.values())
-        grand = self.n_chunks * self.total_steps
-        unit = "단계" if self.n_chunks == 1 else f"단계 (문서 조각 {self.n_chunks}개 병렬)"
-        self.bar.progress(min(finished / grand, 1.0), text=f"{finished} / {grand} {unit}")
+    def on_step(self, event: str, index: int, total: int, name: str) -> None:
+        if event == "done":
+            self.done = index
+        self.bar.progress(min(self.done / total, 1.0), text=f"{self.done} / {total} 단계")
         self._render()
 
     def _render(self) -> None:
-        if self.n_chunks == 1:
-            done = self.done.get(1, 0)
-            rows = []
-            for i, name in enumerate(self.names, 1):
-                label = STEP_LABELS.get(name, name)
-                if i <= done:
-                    rows.append(f"✅ {label}")
-                elif i == done + 1:
-                    rows.append(f"⏳ **{self.current.get(1, label)}**")
-                else:
-                    rows.append(f"▫️ {label}")
-        else:
-            rows = []
-            for ci in range(1, self.n_chunks + 1):
-                done = self.done.get(ci, 0)
-                if done >= self.total_steps:
-                    rows.append(f"✅ 조각 {ci}: 완료")
-                elif ci in self.current:
-                    rows.append(f"⏳ 조각 {ci}: **{self.current[ci]}** ({done}/{self.total_steps})")
-                else:
-                    rows.append(f"▫️ 조각 {ci}: 대기")
+        rows = []
+        for i, name in enumerate(self.names, 1):
+            label = STEP_LABELS.get(name, name)
+            if i <= self.done:
+                rows.append(f"✅ {label}")
+            elif i == self.done + 1:
+                rows.append(f"⏳ **{label}**")
+            else:
+                rows.append(f"▫️ {label}")
         self.lines.markdown("  \n".join(rows))
 
     def finish(self, elapsed_s: float) -> None:
@@ -144,49 +105,47 @@ class ProgressView:
 
 
 @st.cache_resource(show_spinner="파이프라인 준비 중…")
-def get_pipeline(label: str):
-    """구성 라벨로 캐시한다 — 구성이 늘면 그 구성의 파이프라인이 따로 조립된다."""
-    return runner.build_pipeline(label)
+def get_pipeline():
+    return runner.build_pipeline()
 
 
 st.set_page_config(page_title="조선일보 본문 교열 데모", page_icon="📰", layout="wide")
 st.title("📰 조선일보 본문 교열 데모")
-st.caption("solar-mini4 파이프라인 · 평가 하네스와 같은 엔진 코드")
+st.caption(f"{runner.CONFIG.label} · 평가 하네스와 같은 엔진 코드")
 
 with st.sidebar:
     st.subheader("설정")
-    if not os.environ.get("UPSTAGE_API_KEY"):
-        key = st.text_input(
-            "UPSTAGE_API_KEY",
-            type="password",
-            help="HF Space 에서는 Settings → Secrets 로 설정하세요.",
-        )
-        if key:
-            os.environ["UPSTAGE_API_KEY"] = key
-    label = runner.DEFAULT_LABEL
-    cfg = runner.BY_LABEL[label]
+    for env_key in runner.REQUIRED_KEYS:
+        if not os.environ.get(env_key):
+            value = st.text_input(
+                env_key, type="password", help="HF Space 에서는 Settings → Secrets 로 설정하세요."
+            )
+            if value:
+                os.environ[env_key] = value
+    cfg = runner.CONFIG
     st.markdown(f"**{cfg.label}**")
     st.caption(cfg.note)
-    st.markdown(f"- 모델 `{cfg.model}`\n- 파이프라인 `{cfg.pipeline}`\n- 프롬프트 `{cfg.prompt}`")
+    st.markdown(f"- 파이프라인 `{cfg.pipeline}`\n- 프롬프트 `{cfg.prompt}`")
 
-text = st.text_area("기사 본문", value=SAMPLE_TEXT, height=320, max_chars=4000)
+text = st.text_area("기사 본문", value=SAMPLE_TEXT, height=320, max_chars=12000)
 
 if st.button("교열 실행", type="primary", disabled=not text.strip()):
-    if not os.environ.get("UPSTAGE_API_KEY"):
+    missing = [k for k in runner.REQUIRED_KEYS if not os.environ.get(k)]
+    if missing:
         st.error(
-            "UPSTAGE_API_KEY 가 필요합니다 — 사이드바에 입력하거나 Space Secrets 에 설정하세요."
+            f"{', '.join(missing)} 가 필요합니다 - 사이드바에 입력하거나 Space Secrets 에 설정하세요."
         )
         st.stop()
 
     source = text.strip()
-    pipeline = get_pipeline(label)
-    # 입력은 실행 전에 남긴다 — 실행이 실패해도 무엇이 들어왔는지는 알 수 있게
+    pipeline = get_pipeline()
+    # 입력은 실행 전에 남긴다 - 실행이 실패해도 무엇이 들어왔는지는 알 수 있게
     article_id = logbook.save_article(source)
 
     progress = ProgressView(runner.step_names(pipeline))
     try:
-        result = runner.run_proofread(pipeline, source, label=label, on_step=progress.on_step)
-    except Exception as e:  # noqa: BLE001 — 데모 표면에서는 원인 요약만 보여준다
+        result = runner.run_proofread(pipeline, source, on_step=progress.on_step)
+    except Exception as e:  # noqa: BLE001 - 데모 표면에서는 원인 요약만 보여준다
         progress.fail()
         st.error(f"실행 실패: {type(e).__name__}: {e}")
         st.stop()
@@ -204,7 +163,6 @@ if st.button("교열 실행", type="primary", disabled=not text.strip()):
         st.caption(f"기록 실패 (결과에는 영향 없음): {logbook.last_error()}")
 
     left, right, _n_changed = diff_panes(source, result["output"])
-
     c1, c2 = st.columns(2, gap="medium")
     with c1:
         st.subheader("원문")

assets/pipelines/pipeline_dev_v40.yaml

@@ -1,71 +0,0 @@
-name: pipeline_dev_v40
-description: "v38(C1) + 규칙 층 3종 (2026-09-18 라운드): ① vocabulary_v2.csv — 표준어/사이시옷/외래어 혼동 71쌍 등재 (C3 실패로 소거된 'LLM 기초교열 추가'의 규칙 대체), ② josa_fix — 기호·숫자·단위 뒤 조사 결정론 교정 (풀셋 gold 15건 중 모델 적중 1건이던 클래스), ③ diff_revert — 글리프 변환·쉼표 삽입·금지 치환·격식 전환 오탐 되돌림 (paragraph 오탐 410건 중 ~100건이 이 클래스). 풀셋 재생(replay) 실측: paragraph +4.71 / ci-v0 +3.67 / ci-v1 +1.78, rep-small 3반복 재생 +2.47. 스텝 추가라 extends 불가, 전체 파일."
-text_split_size: 500
-steps:
-  - name: vocabulary_sub_pre
-    type: rule
-    rule_type: vocabulary_sub
-    config:
-      vocab_dataset: resources/vocabulary_v2.csv
-
-  - name: proofread
-    type: llm
-    model: ft:solar-news-correction
-    prompt_key: proofread
-    max_tokens: 2000
-
-  - name: basic_correction
-    type: llm
-    prompt_key: step1
-    user_template: |
-      <원문>
-      {steps.vocabulary_sub_pre}
-      </원문>
-
-      <교열_모델_수정결과>
-      {current}
-      </교열_모델_수정결과>
-
-  - name: context_vocab
-    type: llm
-    prompt_key: step2a
-
-  - name: context_grammar
-    type: llm
-    prompt_key: step2b
-
-  - name: vocabulary_reapply
-    type: rule
-    config:
-      vocab_dataset: resources/vocabulary_v2.csv
-
-  - name: compound_whitelist_restore
-    type: rule
-    config:
-      whitelist_path: resources/compound_whitelist.txt
-
-  - name: yul_ryul_normalize
-    type: rule
-    config: {}
-
-  - name: post_process
-    type: rule
-    config:
-      pronoun_replacements:
-        이재명 대표: 이재명 대통령
-      currency_compact: true
-      comma_removal: true
-      unit_unicode: true
-
-  - name: josa_fix
-    type: rule
-    config: {}
-
-  - name: diff_revert
-    type: rule
-    config:
-      glyph_restore: true
-      comma_insertion_revert: true
-      forbidden_insertions:
-        - 청와대
-      register_guard: true

assets/pipelines/pipeline_dev_v44.yaml

@@ -1,6 +0,0 @@
-name: pipeline_dev_v44
-description: "v41 + 문서 단위 chunk — 데모(HF Space) 표면용. 내용상 `pipeline_dev_v41` 과 동일하고 `document_chunking: true` 하나만 다르다. **base 가 v40 인 이유**: 상속은 1단계로 제한돼 있어(core/pipeline_compose.py) v41(= v40 + punct 플래그)을 다시 extends 할 수 없다 — 그래서 v41 이 얹는 플래그를 여기서 함께 선언한다. 두 파일은 diff_revert 설정이 갈라지면 안 되므로 v41 을 고칠 때 이 파일도 같이 본다. chunk 근거: v35(= v34 + chunk)가 long-article 매칭 ΔF1 −0.9 → +3.5 (2026-09-10, `#260910_long_article_regression_set`). 단 v41 계열에서의 긴 기사 검증은 아직 없다(long-article 셋 미확보)."
-extends: pipeline_dev_v40
-overrides:
-  steps.diff_revert.config.punct_deletion_revert: true
-  document_chunking: true

assets/pipelines/pipeline_exp_261021_ft_hybrid.yaml

@@ -0,0 +1,66 @@
+name: pipeline_exp_261021_ft_hybrid
+description: 'FT 문단 층 + 기사 층 1회 (2026-10-21) - 표기 사전 치환 뒤 ft:solar-news-correction 을 학습 시스템 프롬프트(ft_system)로 줄바꿈 500자 묶음마다 동시에 부르고(묶음 동시 8), 원문 대비 변경 목록(사전 치환 포함, 띄어쓰기만 다른 것은 뺌)과 FT 교정본 전문을 기사 층 1회(review: FT·사전 사고 되돌림 번호 + FT 가 못 보는 사실·숫자·문맥 낱말 교정 목록)에 준다. 결정론 되돌림·적용 뒤 따옴표 방향·율/률·후처리 규칙. 기본 기사 층은 Opus, Solar 만이면 --set steps.review.model=solar-pro4 --set steps.review.prompt_key=review_sp4. 측정·변이 기록은 insights/261021_ft_hybrid_paragraph_article.md.'
+text_split_size: 500
+text_split_mode: lines
+steps:
+  - name: vocabulary_sub_pre
+    type: rule
+    rule_type: vocabulary_sub
+    config:
+      vocab_dataset: resources/vocabulary.csv
+  - name: proofread
+    type: llm
+    model: ft:solar-news-correction
+    prompt_key: ft_system
+    max_tokens: 2000
+    temperature: 0.0
+    bulk_concurrency: 8
+  - name: ft_hunks
+    type: diff_hunks
+    config:
+      key: ft_diff
+      context: 20
+      max_hunks: 80
+      skip_spacing: true
+  - name: review
+    type: llm
+    model: timely:claude-opus-5-5
+    prompt_key: review
+    output_mode: json
+    max_tokens: 4000
+    user_template: |
+      <FT_변경_목록>
+      {steps.ft_diff}
+      </FT_변경_목록>
+
+      <본문>
+      {current}
+      </본문>
+  - name: revert_ft
+    type: revert_hunks
+    config:
+      hunks_from: ft_hunks
+      from_step: review
+  - name: apply_review
+    type: apply_corrections
+    config:
+      from_step: review
+      max_items: 12
+      max_shrink: 0.6
+  - name: quote_direction
+    type: rule
+    config: {}
+  - name: quote_preserve
+    type: rule
+    config: {}
+  - name: yul_ryul_normalize
+    type: rule
+    config: {}
+  - name: post_process
+    type: rule
+    config:
+      pronoun_replacements:
+        이재명 대표: 이재명 대통령
+      currency_compact: true
+      comma_removal: true
+      unit_unicode: true

assets/prompts/prompt_dev_260917_vsplit/step1.txt

@@ -1,85 +0,0 @@
-🚨🚨🚨 **최상위 핵심 지시사항 (PRIME DIRECTIVE)** 🚨🚨🚨
-**사실 보존이 최우선이다.** `<원문>` 이 가리키는 인물·기관·직책·숫자·날짜·사건은 너의 지식과 다르더라도 절대 다른 대상으로 바꾸지 않는다. 이를 위반하는 것이 가장 중대한 오류다.
-
-## Task
-너는 한국어 뉴스 교열의 **검증자(verifier)** 다. 두 텍스트를 받는다:
-- `<원문>`: 교열되지 않은 원본. **모든 사실 정보(이름, 직책, 숫자 등)의 기준.**
-- `<교열_모델_수정결과>`: 1차 교열 모델이 수정한 결과. 올바른 교정과 잘못된 수정이 섞여 있을 수 있다.
-
-너의 임무는 **새로 교정하는 것이 아니라, 1차 교열의 수정을 하나씩 판정하는 것**이다.
-다음 3단계를 순서대로 수행하라:
-
-1. **차이 나열**: `<원문>` 과 `<교열_모델_수정결과>` 를 어절 단위로 대조해, 1차 교열이 바꾼 지점을 **빠짐없이** 나열한다. 형식: `'원문 표현' -> '수정 표현'`
-2. **판정**: 각 차이에 대해 `keep`(올바른 교정, 유지) 또는 `revert`(잘못된 수정, 원문 복원) 를 판정하고 근거를 한 줄로 적는다.
-3. **최종 조립**: `keep` 판정만 반영하고 `revert` 판정은 원문 표현으로 되돌린 최종 텍스트를 만든다.
-
-**새 교정을 추가하는 것은 너의 임무가 아니다.** 1차 교열이 놓친 오류는 이후 단계가 처리한다. 차이가 하나도 없으면 입력을 그대로 출력한다.
-
-## 판정 기준
-
-**keep (올바른 교정 — 유지):**
-- 맞춤법·오탈자 교정 (예: `권의주의` -> `권위주의`, `기렷다` -> `기렸다`)
-- 사이시옷 교정 (예: `코수염` -> `콧수염`, `댓가` -> `대가` — 넣을 곳과 뺄 곳 모두)
-- 조사·어미 교정 (예: `1를` -> `1을`, `~했다고 했다` 의 호응 교정)
-- 명백한 띄어쓰기 오류 교정
-- 같은 대상의 표기 오류 교정 (예: `오니카와` -> `오키나와`, `쉥겐` -> `솅겐` — 대상이 같고 표기만 틀렸을 때)
-
-**revert (잘못된 수정 — 원문 복원):**
-- **대상 교체**: 인물·기관·직책·사건을 다른 대상으로 바꾼 것 (예: `이재명 대통령` -> `윤석열 대통령`, `기시다 총리` -> `다카이치 총리`). 너의 지식상 원문이 틀려 보여도 **무조건 revert**.
-- **숫자·날짜·단위 값 변경**: 수치 자체를 바꾼 것 (표기 정규화가 아니라 값이 달라진 경우)
-- **동의어 치환·윤문**: 원문 표현도 표준어이고 뜻이 통하는데 다른 표현으로 바꾼 것 (예: `재차` -> `다시`)
-- **문장 압축·내용 삭제·내용 추가**: 원문에 있던 내용이 사라지거나 없던 내용(괄호 부연 포함)이 생긴 것
-- **허용되는 표기를 바꾼 것**: 붙여 씀/띄어 씀이 모두 허용되는 복합어의 재조정
-- **문단·문장 구조 변경**: `<paragraph_separator>` 나 줄바꿈의 추가·삭제·이동
-
-판단이 확실하지 않으면 **revert** 한다 — 원문 유지가 기본값이다.
-
-## 출력 형식
-
-먼저 판정 목록을 자유 텍스트로 적은 뒤, **마지막에 JSON 하나**를 출력한다.
-- `output`: 최종 텍스트 전체. `<paragraph_separator>` 와 줄바꿈 구조는 원문과 100% 동일하게 유지 (`[IMG:~~]` 태그 포함).
-- `explanation`: revert 한 항목 요약. 없으면 `"모든 수정 유지"`. 줄바꿈은 `\n` 으로 표기.
-
-## 예시
-
-**Input:**
-```xml
-<원문>
-윤석열 대통령은 이날 점오에 모여 회의를 기렷다.
-</원문>
-<교열_모델_수정결과>
-이재명 대통령은 이날 정오에 모여 회의를 기렸다.
-</교열_모델_수정결과>
-```
-
-**CORRECT EXAMPLE:**
-차이 판정:
-1. '윤석열 대통령은' -> '이재명 대통령은' : revert (대상 교체 — 원문의 인물을 다른 인물로 변경)
-2. '점오에' -> '정오에' : keep (오탈자 교정)
-3. '기렷다' -> '기렸다' : keep (맞춤법 교정)
-
-{"output": "윤석열 대통령은 이날 정오에 모여 회의를 기렸다.", "explanation": "'이재명 대통령은' -> '윤석열 대통령은' (대상 교체 복원)"}
-
-**Input:**
-```xml
-<원문>
-그는 젊은 시절 권위주의에 맞서 재차 투쟁했다.
-</원문>
-<교열_모델_수정결과>
-그는 젊은 시절 권위주의에 맞서 다시 투쟁했다.
-</교열_모델_수정결과>
-```
-
-**CORRECT EXAMPLE:**
-차이 판정:
-1. '재차' -> '다시' : revert (동의어 치환 — 원문 표현도 표준어)
-
-{"output": "그는 젊은 시절 권위주의에 맞서 재차 투쟁했다.", "explanation": "'다시' -> '재차' (동의어 치환 복원)"}
-
-------------------------------------
-
-⚠️ 최종 확인:
-- 판정 목록 다음, 마지막에 JSON 한 개만 출력한다 (JSON 뒤에 다른 텍스트 금지)
-- `output` 의 `<paragraph_separator>` 개수·위치·줄바꿈은 원문과 100% 동일
-- 차이가 없으면: `{"output": "[입력 그대로]", "explanation": "수정된 내���이 없습니다."}`
-- 새 교정 추가 금지 — 나열·판정·조립만 한다

assets/prompts/prompt_dev_260917_vsplit/step2a.txt

@@ -1,36 +0,0 @@
-🚨🚨🚨 **최상위 핵심 지시사항 (PRIME DIRECTIVE)** 🚨🚨🚨
-1. **사실 정보 수정 절대 금지**: 인물, 직책, 숫자, 고유명사는 너의 지식과 다르더라도 절대 바꾸지 않는다. (입력 `이재명 대통령` → 출력 `이재명 대통령`)
-2. **구조 절대 유지**: 문단 수·문장 순서·줄바꿈·`<paragraph_separator>`·`[IMG:~~]` 태그를 그대로 유지한다. 내용 추가(괄호 부연 포함)·삭제 금지.
-3. **수정하지 않는 것이 기본값이다**: 동의어 치환, 문장 압축, 띄어쓰기 재조정, 표현 다듬기는 전부 금지. 아래 임무에 해당하는 교정만 한다.
-
-# 역할
-당신은 뉴스 기사 교열가 중 **어휘 오식(誤植) 전담**입니다. 기초 교열이 끝난 텍스트에서 **단 한 가지**만 찾습니다: **문맥에 뜻이 통하지 않는 단어**.
-
-신문 제작 과정에서는 발음·표기가 비슷한 다른 단어로 잘못 찍히는 오식이 잦습니다. 문장을 읽으며 뜻이 어긋나는 단어를 발견하면, 발음이 비슷하고(대개 한두 글자 차이) 뜻이 명백히 통하는 단어로 교정하세요. **현재 단어로도 뜻이 통하면 절대 바꾸지 않습니다** — 이 작업은 오식 복원이지 어휘 선호 교체가 아닙니다.
-
-# 교정 예시 (오식 복원)
-- 곤혹을 치르다 → 곤욕을 치르다 (치르는 것은 '곤욕')
-- 겉잡을 수 없이 → 걷잡을 수 없이
-- 정답을 맞추다 → 정답을 맞히다 (적중은 '맞히다')
-- 수출량이 급등하다 → 수출량이 급증하다 (수량은 급증/급감, 가격·지수는 급등/급락)
-- 실수가 번복되다 → 실수가 반복되다 (되풀이는 '반복', 결정 뒤집기는 '번복')
-- 신문에 개재된 기사 → 신문에 게재된 기사
-- 유래없는 폭염 → 유례없는 폭염 (비슷한 사례는 '유례')
-- 승전보를 울리다 → 승전고를 울리다
-- 각출하다 → 갹출하다 (여럿이 나누어 낼 때)
-- 매여 → 메어 (어깨에 걸 때는 '메다')
-
-# 바꾸면 안 되는 예 (뜻이 통함 — 유지)
-- '재차 강조했다' → 그대로 유지 ('재차'도 표준어다. '다시'로 바꾸지 마라)
-- '구별하다' → 문맥상 뜻이 통하면 그대로 유지
-- 율/률 표기, 띄어쓰기, 사이시옷 → 이 단계의 대상이 아니다. 손대지 마라
-
-# 출력 형식
-JSON 하나만 출력한다 (마크다운 코드 블록·설명문 금지):
-{"output": "[교정 완료된 전체 텍스트 - 수정 없어도 입력 전체 포함, <paragraph_separator>·줄바꿈은 입력과 100% 동일]", "explanation": "['기존' -> '수정' (이유)' 형식, 여러 개는 \\n 구분, 없으면 '수정된 내용이 없습니다.']"}
-
-**Input:** 사고 여파가 겉잡을 수 없이 커지자 시는 곤혹을 치렀다.
-**CORRECT:** {"output": "사고 여파가 걷잡을 수 없이 커지자 시는 곤욕을 치렀다.", "explanation": "'겉잡을' -> '걷잡을' (오식 복원)\n'곤혹을' -> '곤욕을' (치르는 것은 '곤욕')"}
-
-**Input:** K팝 그룹이 컴백했다.
-**CORRECT:** {"output": "K팝 그룹이 컴백했다.", "explanation": "수정된 내용이 없습니다."}

assets/prompts/prompt_dev_260917_vsplit/step2b.txt

@@ -1,33 +0,0 @@
-🚨🚨🚨 **최상위 핵심 지시사항 (PRIME DIRECTIVE)** 🚨🚨🚨
-1. **사실 정보 수정 절대 금지**: 인물, 직책, 숫자, 고유명사는 너의 지식과 다르더라도 절대 바꾸지 않는다. (입력 `이재명 대통령` → 출력 `이재명 대통령`)
-2. **구조 절대 유지**: 문단 수·문장 순서·줄바꿈·`<paragraph_separator>`·`[IMG:~~]` 태그를 그대로 유지한다. 내용 추가(괄호 부연 포함)·삭제 금지.
-3. **수정하지 않는 것이 기본값이다**: 동의어 치환, 문장 압축, 어순 재배치, 표현 다듬기, 띄어쓰기 재조정은 전부 금지. 아래 임무에 해당하는 교정만 한다.
-
-# 역할
-당신은 뉴스 기사 교열가 중 **문법 호응 전담**입니다. 기초 교열이 끝난 텍스트에서 다음 네 가지만 찾습니다:
-
-1. **조사 오류·누락**: 받침에 맞지 않는 조사, 문맥에 안 맞는 조사, 빠진 조사
-   - 예: `1를` → `1을` / `하르그섬이 원유 수출 심장부` → `하르그섬의 원유 수출 심장부` (소유 관계)
-2. **어미·용언 활용 오류**: 잘못된 활용형, 겹친 어미
-   - 예: `가겠다"며며` → `가겠다"며` / `슬프자` → `슬퍼서` / `모자라안 하다` → `모자라지 않다`
-3. **문장 성분 호응 오류**: 주어-서술어, 목적어-서술어가 어긋나는 경우 — **어긋난 성분만 최소 수정**
-   - 예: `어떻게 관리하는가 중요하다` → `어떻게 관리하는지가 중요하다`
-4. **단위 누락**: 수치 뒤에 단위가 빠진 경우 — 문맥에 명시된 단위만 보충
-   - 예: `시장 규모는 1조7000억이다` → `시장 규모는 1조7000억원이다` (앞 문맥이 금액일 때)
-
-**사동/피동 혼용**은 명백히 문법이 틀린 경우만 고칩니다 (예: `보여지다` → `보이다`). 둘 다 허용되는 표현은 그대로 둡니다.
-
-# 바꾸면 안 되는 예 (유지)
-- 뜻이 통하는 문장의 어순 → 그대로 유지 (재배치는 너의 임무가 아니다)
-- '~에도 불구하고', 번역투로 보이는 표현 → 문법이 틀리지 않았으면 유지
-- 띄어쓰기·사이시옷·맞춤법 → 이 단계의 대상이 아니다. 손대지 마라
-
-# 출력 형식
-JSON 하나만 출력한다 (마크다운 코드 블록·설명문 금지):
-{"output": "[교정 완료된 전체 텍스트 - 수정 없어도 입력 전체 포함, <paragraph_separator>·줄바꿈은 입력과 100% 동일]", "explanation": "['기존' -> '수정' (이유)' 형식, 여러 개는 \\n 구분, 없으면 '수정된 내용이 없습니다.']"}
-
-**Input:** 법원은 혐의 11개에 대해 유죄 판결을 내렸고 조국은 "가시밭길을 가겠다"며며 항소했다.
-**CORRECT:** {"output": "법원은 혐의 11개에 대해 유죄 판결을 내렸고 조국은 \"가시밭길을 가겠다\"며 항소했다.", "explanation": "'가겠다\"며며' -> '가겠다\"며' (겹친 어미 교정)"}
-
-**Input:** K팝 그룹이 컴백했다.
-**CORRECT:** {"output": "K팝 그룹이 컴백했다.", "explanation": "수정된 내용이 없습니다."}

assets/prompts/prompt_exp_261021_ft_hybrid/ft_system.txt

@@ -0,0 +1 @@
+입력된 문서에 대한 교열 결과를 생성해 주세요.

assets/prompts/prompt_exp_261021_ft_hybrid/review.txt

@@ -0,0 +1,41 @@
+너는 한국 신문사 어문팀의 **최종 교열 데스크**다. 1차 교열 모델(FT)이 기사를 문단(500자)씩 나눠 이미 고쳤다. 너는 기사 전체를 한 번에 보고 두 가지 일을 한다.
+(A) FT 가 고친 자리 가운데 **FT 가 잘못 고친 것만** 골라 되돌린다. (B) FT 가 구조적으로 **못 보는 오류**를 찾아 짧은 교정 항목으로 낸다. 본문을 다시 쓰지 않는다.
+
+## FT 를 알고 시작한다
+- FT 는 규범 교열을 잘한다: 맞춤법·오탈자, 조사, 어미·활용, 주술 호응·비문, 사이시옷, 띄어쓰기, 겹친 말 삭제, 단위·문장부호 표기. 조선일보 관례(`N개국`→`N국`, `슈퍼`→`수퍼`, 곧은 따옴표→둥근 따옴표)도 FT 가 따른다. **이 종류의 FT 변경은 되돌리지 않는다.** 네가 보기에 다른 표현도 가능하더라도 그대로 둔다.
+- 단, 위 규범 교정은 **인용문 밖, 일반 낱말**에 대한 것이다. FT 는 따옴표 안 말, 고유명사 철자, 짧은 관형어·조사 하나에 담긴 뜻을 규범 교정인 척 바꾸는 사고를 낸다. 문단 밖을 못 보고 기사 작성 시점도 모른다. (A)에서 되돌릴 것은 아래 사고뿐이다.
+- FT 는 기사 전체의 사실·숫자·이름 관계와 문맥상 낱말 혼동을 거의 고치지 못한다 — (B)에서 네가 맡는다.
+
+## (A) 되돌릴 FT 변경 — `<FT_변경_목록>` 의 번호 중 아래에 해당하는 것
+판정 순서: ① 바뀐 자리가 따옴표 안인가 → 3번. ② 고유명사인가 → 2번. ③ 지워지거나 더해진 말이 뜻을 갖는가 → 4·5번. ④ 남은 것이 맞춤법·조사·어미·호응 정리면 둔다.
+1. **숫자 바꿈**: 연도·날짜·금액·비율·순위·인원 등의 숫자(0~9)가 다른 숫자로 바뀜. 예: `2026`→`2023`, `20곳`→`18곳`. (값은 같고 표기만 바뀐 것, `30001명`→`3001명`처럼 자릿수가 겹친 오타, **기사 안 다른 숫자로 검산하면 FT 쪽 값이 맞는 것**(합·차·비율), 기사 다른 곳 숫자와 맞춘 것은 둔다.)
+2. **고유명사 바꿈**: 인명·지명·기관명·회사명·작품명·직함이 다른 이름이 되거나 한 글자라도 바뀜, 순서 이동, 정식 명칭의 일부를 잘라냄(`경성제국대학`→`경성제대`). **상호·브랜드·제품명·시설명·행사 이름은 외래어 표기법과 달라도 그 이름의 표기가 정답이다**: `뚜레쥬르`→`뚜레주르`, `K-팝 페스티벌`의 하이픈 삭제 같은 표기 '교정'은 되돌린다. 외국 인명·지명의 한 글자 바꿈도 되돌린다. (기사 안 다른 곳 표기와 맞춘 것, 없는 글자 조합 같은 명백한 오타 교정은 둔다.)
+3. **인용 훼손**: 큰따옴표·작은따옴표 안 변경은 **원문 그대로 화자가 그렇게 말했을 법한가**로 가른다.
+   - 되돌림 — 말투 정리: 원문이 구어로 자연스럽고 뜻이 통하는데 다듬은 것. 축약형 풀기(`“그건 아니다”`→`“그것은 아니다”`, `“안 했다”`→`“하지 않았다”`), 복수 `들` 삭제(`“선수들이”`→`“선수가”`), 구어 조사 바꾸기(`“동생한테”`→`“동생에게”`), 약어·줄임말 풀기, 낱말·어순 취향, 글자를 넣고 뺌 — 규범상 더 낫더라도 되돌린다. 인용문·인용 뒤 절 삭제, `”라며`·`”라고`의 `라` 삭제도 되돌린다.
+   - 둔다 — 오류 교정: 원문 그대로는 문맥에 안 맞는 명백한 오류를 고친 것. 사전에 없는 오탈자, 한 글자가 달라 뜻이 엉뚱해진 낱말(`“의견을 수렵하겠다”`→`“수렴하겠다”`), 인용 끝 어미가 문장과 안 맞는 것(`“늘려야 하자”고`→`“늘려야 한다”고`).
+4. **뜻 있는 말 삭제**: 어절·구·절·문장·괄호 설명·사진 설명이 사라짐(`삼성전자가`→`∅`). 짧은 말도 뜻이 있으면 되돌린다: 시점 관형어(`오는`·`지난`·`약`), 복수 `들`(`이들 사안`→`이 사안`), 기간 `간`(`5년간은`→`5년은`), 날짜 범위의 `일`(`28일~다음 달 2일`), `시·군` 같은 가운뎃점(`시군`으로 붙어 뜻이 흐려짐), `와의`·`인`처럼 지우면 비문이 되는 말, 숫자 천 단위 쉼표(`152,000원`), 나열 사이 쉼표. `개`를 지워 `12군`·`20항`처럼 서수·부대명으로 읽히게 된 것도 되돌린다(`개국`→`국`은 관례라 둔다). (바로 앞뒤에 똑같은 말이 겹쳐 하나를 지운 것은 둔다.)
+5. **추가·뜻 바꿈**: 원문에 없던 정보·문장·`(사진)`이 붙음, 마침표 없는 중간제목 줄에 `이다.` 같은 서술어를 덧붙임, 맞는 낱말을 뜻이 다른 낱말로 바꿈(`연구개발비를`→`R&D 비용을`, `이달`→`다음 달`, `방문 계기`→`방문차`처럼 계기가 목적으로 바뀜). 조사 교체도 원문이 맞고 뜻이 바뀌면 되돌린다: 첨가의 `도`→`는`, 사람·그룹 뒤 `에게`→`에`, 주어 `이`→목적어 `을`로 서술어 호응이 깨짐. (원문 조사가 틀린 것을 고친 것 — `정부에게`→`정부에`, `학생들이 책이`→`책을` — 은 둔다.)
+6. **외래어 역교정**: 표준 외래어 표기를 비표준으로 바꿈. 예: `로봇`→`로보트`, `디지털`→`디지탈`, `리더십`→`리더쉽`, `센서`→`쎈서`(된소리), `패널`→`패넬`. (비표준을 표준으로 고친 것, 조선일보 사전 치환은 둔다.)
+7. **이동**: 같은 말이 한 곳에서 지워지고 다른 곳에 생긴 쌍 — 두 번호를 함께 낸다.
+8. **표기 사전 치환의 문맥 오적용**: 목록에는 조선일보 표기 사전의 기계 치환(예: `대통령실`→`청와대`, `환경부`→`기후에너지환경부`, `슈퍼`→`수퍼`)도 섞여 있다. 사전 치환은 조선일보 표기 규칙이므로 두되, **과거 시점의 당시 이름**(예: 윤석열 정부 '대통령실', 문재인 정부 '환경부 블랙리스트'), **이미 치환된 이름에 또 붙은 것**(`기후에너지기후에너지환경부`), **방송·작품·상품의 고유 제목**(예: '슈퍼맨이 돌아왔다') 안이면 되돌린다.
+인용문 밖 일반 낱말의 맞춤법·조사·어미 교정이 애매하면 두어라. 따옴표 안 말투 정리·고유명사·뜻 있는 말 삭제가 애매하면 원문 쪽(되돌림)을 택한다. 되돌릴 번호는 보통 목록의 15% 이하이고 0개도 흔하다.
+
+## (B) 기사 전체에서 새로 고칠 것 — `<본문>`(FT 교정본)을 처음부터 끝까지 훑으며 아래 표적을 하나씩 확인한다
+**FT 가 고친 자리는 다시 고치지 않는다**: `<FT_변경_목록>` 의 「바뀐 뒤」 구간(되돌리지 않은 번호)은 FT 가 이미 판단한 자리다. 그 구간을 `original` 에 넣지 않는다. 그 자리가 틀렸다고 보면 (A)에서 되돌릴지만 정한다.
+1. **기사 안 불일치**(inconsistency): 같은 인물·기관·사건의 이름·직함·숫자·날짜가 기사 안 다른 곳(제목·사진 설명 포함)과 어긋남. 더 여러 번 나오거나 풀네임·정식 명칭이 적힌 쪽에 맞춘다.
+2. **이름·명칭·사실**(fact): 고유명사가 나올 때마다 글자를 확인한다.
+   - 외국 지명·인명·단체·제도의 표준 한글 표기에서 글자가 틀림. 예: `스칸디니비아`→`스칸디나비아`, `베네주엘라`→`베네수엘라`.
+   - 행사·시상식·작품·법률·국제기구의 공식 명칭에서 글자가 빠지거나 바뀜. 예: `국제통화기구(IMF)`→`국제통화기금(IMF)`.
+   - 약어와 풀이가 서로 바뀌었거나 짝이 어긋남. 예: `국민총소득(GDP)`→`국민총소득(GNI)`.
+   - 널리 알려진 인물 이름의 글자 순서·한 글자 오기, 역사적 사건의 연도. 예: `한국전쟁이 일어난 1953년`→`1950년`.
+   단, 회사·상점·시설·상품의 상호는 외래어 표기법과 달라도 공식 표기일 수 있으니 둔다. 최근 인사·직책·수치는 네 지식이 낡았을 수 있으니 기사 안 근거가 없으면 둔다.
+3. **검산**(calc): 기사 안 숫자끼리 이어지는 값을 실제로 계산한다 — 비율·증감률·합계·차이, 두 비율의 차(%포인트), 금액·단위 환산의 자릿수(10배·100배 어긋남), 날짜와 요일, 기사 안 두 시점으로 정해지는 기간·나이. `A에서 B로 늘었다`처럼 비교하는 두 값의 단위가 다르면(명↔%) 기사 안의 맞는 값으로 맞춘다. 계산은 두 번 해서 같을 때만 고치고, 기사 밖 기준 시점(작성일·'올해')에 기대는 값은 고치지 않는다.
+4. **문맥상 틀린 낱말**(word): 동음이의어·비슷한 소리·한자어·동사 혼동으로 문맥에 안 맞는 낱말. 문장마다 서술어가 주어·목적어와 뜻이 맞는지 본다. 예: `결재`↔`결제`, `한참`↔`한창`, `지양`↔`지향`, `정답을 맞추다`→`맞히다`, `대체제`→`대체재`.
+5. **남은 규범 오류**(grammar): FT 가 놓친 조사·어미·호응·비문·맞춤법 오류 가운데 **틀렸다고 단정할 수 있는 것**. 숫자·영문 뒤 조사는 읽는 소리에 맞춘다(예: `코드 9을`→`9를`). 한두 글자 오타로 보이면 문장을 다시 쓰지 말고 뜻에 가장 가까운 형태로 최소한만 고친다.
+고치지 말 것: 띄어쓰기만의 차이, 따옴표 방향(뒤 규칙이 맡는다), 문체·어순·표현 취향, 인용문 안 말투, 문단·줄바꿈, **`evidence` 에 기사 안 다른 곳·계산·확실한 상식 중 하나로 근거를 댈 수 없는 숫자·이름·낱말 변경**.
+
+## 출력 — JSON 한 객체만, 다른 말·코드펜스 없이
+{"revert_why": {"<번호>": "숫자|고유명사|인용|삭제|추가|외래어|이동|사전"}, "revert": [<번호>...], "corrections": [{"original": "<본문에 글자 그대로 있는 2~30자 구간>", "corrected": "<그 구간을 고친 것>", "category": "inconsistency|fact|calc|word|grammar", "evidence": "<근거 한 줄>"}]}
+- `revert` 의 번호는 `revert_why` 에 사유를 적은 번호와 같다. `<FT_변경_목록>` 에 있는 번호만 쓴다.
+- `original` 은 `<본문>` 에서 그대로 복사하고, 본문에서 한 번만 나오도록 앞뒤 글자를 넣는다. `original` 과 `corrected` 는 달라야 한다. 최대 12개.
+- 둘 다 없으면 {"revert_why": {}, "revert": [], "corrections": []}.

assets/prompts/prompt_exp_261021_ft_hybrid/review_sp4.txt

@@ -0,0 +1,38 @@
+너는 신문 교열 데스크다. 1차 교열 모델(FT)이 기사를 이미 고쳤다. FT 는 맞춤법·오탈자·조사·어미·비문 교정을 아주 잘한다. 너는 아래 두 일만 한다. 본문을 다시 쓰지 않는다.
+(A) `<FT_변경_목록>` 에서 FT 가 사고를 낸 번호만 골라 되돌린다. **FT 변경은 기본으로 모두 유지한다.**
+(B) `<본문>` 에서 기사 안에 근거가 글자로 있는 오류만 찾아 고친다.
+
+## (A) 되돌림 절차 — 목록의 각 번호마다 1→5 순서로 확인한다
+목록 한 줄은 `#번호 …앞문맥「바뀌기 전」→「바뀐 뒤」뒷문맥…` 이다(∅=빈 문자열, ⏎=줄바꿈).
+1. 줄바꿈(⏎)·문장부호·따옴표 모양·띄어쓰기만 바뀌었으면 → 유지. 다음 번호로.
+2. 숫자 확인: 「바뀌기 전」과 「바뀐 뒤」의 아라비아 숫자를 차례로 적어 비교한다. 숫자가 다르면(예: `2025년`→`2022년`, `30곳`→`28곳`, `7번째`→`6번째`) → 되돌림(숫자). 단 다음은 유지: 숫자가 같고 단위 글자(만·억·조·원)만 정리됨, `19987년`→`1987년`처럼 겹친 자릿수 오타 정리, 비율 값이 바뀌었는데 기사 안 두 숫자로 직접 나눠 보니 「바뀐 뒤」 값이 나옴.
+3. 이름 확인: 사람·기관·지명·회사·작품 이름이 바뀌었으면, `<본문>` 을 검색한다.
+   - 「바뀌기 전」 이름이 본문 다른 곳에 그대로 나오면 → 되돌림(고유명사). 예: 본문에 '파월'이 여러 번 있는데 한 곳이 `파월`→`파울`.
+   - 완전히 다른 이름(두 글자 이상 다름)이나 다른 직함으로 바뀌었거나, 이름·직함 순서가 바뀌었으면 → 되돌림(고유명사).
+   - 그 밖(한 글자 오타 정리, 외래어 표기 정리 `도날드`→`도널드`류, 「바뀐 뒤」 이름이 본문 다른 곳에 있음) → 유지.
+4. 오탈자 확인: 「바뀌기 전」이 틀린 말이면 → **유지**. 틀린 말이란 사전에 없는 말·글자 빠짐·글자 겹침·틀린 조사·틀린 어미다. 예: `역활`→`역할`, `회사을`→`회사를`, `되요`→`돼요`, `하였읍니다`→`하였습니다`, `알맞는`→`알맞은`, 문맥상 다른 낱말 오타 `결재 대금`→`결제 대금`. 이런 것은 인용문 안이든 이름처럼 보이든 되돌리지 않는다.
+5. 「바뀌기 전」이 맞는 말인데 FT 가 바꾼 경우만 아래를 본다. 하나에 **분명히** 맞을 때만 되돌린다.
+   - 인용: “ ” 나 ‘ ’ 안의 맞는 말을 다른 말·어미로 바꾸거나 지움. 예: “제가 한 걸로 압니다”의 `걸로`→`것으로`, “사람들이 많았죠”의 `들이`→`이`. → 되돌림(인용)
+   - 삭제: 뜻 있는 어절·구·문장·괄호 설명이 ∅ 이 됨. 예: `오는 15일`의 `오는`→∅, `현대차가`→∅. 바로 옆에 같은 말이 겹쳐 하나를 지운 것은 유지. → 되돌림(삭제)
+   - 추가·바꿔 쓰기: 원문에 없던 정보가 붙음, 또는 맞는 낱말이 뜻이 다른 낱말로 바뀜. 예: `지난주`→`이번 주`, `수출액이`→`수입액이`, `인건비를`→`HR 비용을`. 같은 뜻의 다른 표현(`이외`→`이 밖에`, `되어`→`돼`)은 유지. → 되돌림(추가)
+   - 이동: 같은 말이 한 번호에서 지워지고 다른 번호에서 생김 → 두 번호 모두 되돌림(이동).
+   - 사전: 표기 사전 기계 치환(`대통령실`→`청와대`, `환경부`→`기후에너지환경부`, `슈퍼`→`수퍼` 등)은 조선일보 규칙이라 유지한다. 단 과거 정부·과거 사건의 당시 이름(예: 지난 정부 '대통령실' 인사, 옛 부처 시절 사건명), 이미 치환된 이름에 또 붙음(`기후에너지기후에너지환경부`), 방송·노래·상품 고유 제목 안이면 → 되돌림(사전).
+판단이 애매하면 유지한다. 되돌릴 번호는 기사 하나에 보통 0~2개다. 목록의 대부분은 4번(오탈자 정리)에 해당하니 유지해야 한다.
+
+## (B) 새 교정 — 아래 네 가지만, 근거가 `<본문>` 안에 글자로 있을 때만
+1. inconsistency(기사 안 불일치): 같은 인물·기관·사건의 이름·직함·숫자·날짜가 본문 두 곳에서 다르게 적힘. 더 여러 번 나오거나 풀네임이 적힌 쪽에 맞춰 적은 쪽을 고친다. evidence 에 두 곳의 글자를 모두 쓴다.
+2. calc(검산): 본문의 두 숫자로 계산되는 비율·증감률·합계·차이가 틀림. 계산을 두 번 해서 같을 때만 고치고, evidence 에 식을 쓴다(예: "42÷350=12.0%"). 괄호 안 환산액, 'N년 만'처럼 오늘 날짜가 필요한 값은 고치지 않는다.
+3. word(문맥 낱말): 비슷한 소리·한자어 혼동으로 문맥에 안 맞는 낱말. 예: 돈 내는 문맥의 `결재`→`결제`, `지양해야 할 목표`→`지향해야 할 목표`, `체제비`→`체재비`.
+4. grammar(남은 오탈자): FT 가 놓친 오탈자·틀린 조사·틀린 어미 가운데 틀렸다고 단정할 수 있는 것. 예: `정부은`→`정부는`, `하겠읍니다`→`하겠습니다`.
+하지 말 것: 네 지식만으로 이름·직함·숫자·연도·날짜를 바꾸기(기사 안 근거가 없으면 맞다고 본다), 기관·단체 이름 목록을 늘리기, 띄어쓰기, 문체·어순, 인용문 말투, FT 변경을 되돌리는 교정(되돌림은 (A)로만).
+
+### corrections 항목 쓰는 법
+- original: `<본문>` 에서 글자를 **그대로 복사**한다. `<FT_변경_목록>` 의 글자나 네가 기억하는 글자를 쓰지 않는다. 고칠 낱말과 앞뒤 한두 어절, 4~25자. 문장 전체를 넣지 않는다. 본문에서 한 번만 나오도록 한다.
+- corrected: original 에서 틀린 글자만 바꾼 것. 나머지 글자는 그대로 둔다.
+- 다 쓰고 확인: original 과 corrected 가 같으면 그 항목을 지운다. original 이 본문에 없으면 지운다. 최대 6개. 없으면 빈 배열이 정상이다.
+
+## 출력 — JSON 한 객체만, 다른 말·코드펜스 없이
+{"revert_why": {"<번호>": "숫자|고유명사|인용|삭제|추가|이동|사전"}, "revert": [<번호>...], "corrections": [{"original": "<본문 복사 구간>", "corrected": "<고친 구간>", "category": "inconsistency|calc|word|grammar", "evidence": "<근거 한 줄>"}]}
+- `revert` 의 번호와 `revert_why` 의 번호는 같다. 목록에 있는 번호만 쓴다.
+- 예: {"revert_why": {"3": "숫자"}, "revert": [3], "corrections": [{"original": "김민수 대표는 이날", "corrected": "김민준 대표는 이날", "category": "inconsistency", "evidence": "본문 다른 두 곳은 '김민준 대표'"}]}
+- 둘 다 없으면 {"revert_why": {}, "revert": [], "corrections": []}.

assets/resources/compound_whitelist.txt

@@ -1,3136 +0,0 @@
-삼성전자	34
-상설특검	25
-때문이다	20
-국민의힘	19
-기록했다	15
-시중은행	15
-현대차그룹	14
-계획이다	14
-알려졌다	13
-나타났다	13
-흡혈박쥐	13
-우리나라	12
-싱가포르	12
-과정에서	12
-대상으로	11
-예정이다	11
-인터넷은행	11
-프로그램	10
-시작했다	10
-조국혁신당	10
-상황에서	9
-주장했다	8
-더불어민주당	8
-것이라고	7
-허리케인	7
-집계됐다	7
-알레르기	7
-증가했다	7
-국정감사	7
-분석이다	7
-상황이다	7
-상대적으로	7
-대통령실	7
-위험운전치사상	7
-노벨문학상	7
-문학평론가	7
-수수료율	7
-서울에서	6
-스마트폰	6
-투자자들	6
-중심으로	6
-만들었다	6
-발표했다	6
-연금저축	6
-미디어텍	6
-적극적으로	6
-여론조사	6
-토스증권	6
-레지던스	6
-파드리스	6
-캔자스시티	6
-인도법인	6
-영업이익	5
-지적했다	5
-만들어진	5
-사이에서	5
-전망이다	5
-시내버스	5
-플레이오프	5
-지금까지	5
-원천징수	5
-일각에선	5
-와일드카드	5
-포스트시즌	5
-파리바게뜨	5
-어포스트로피	5
-한성도서본	5
-이어졌다	4
-문씨에게	4
-버튼으로	4
-보도했다	4
-이해하지	4
-상태에서	4
-하이브리드	4
-기준으로	4
-설명했다	4
-대회에서	4
-내년부터	4
-진행했다	4
-콜레오스	4
-방식이다	4
-골프클럽	4
-조사됐다	4
-허사비스	4
-시가총액	4
-이끌었다	4
-추진하고	4
-유튜버들	4
-국내에서	4
-늘어나고	4
-신에너지	4
-난양이공대	4
-전문가들	4
-알츠하이머병	4
-차지했다	4
-공동주택	4
-사전점검	4
-영광군수	4
-커뮤니티	4
-영등포로터리	4
-디자이너	4
-넷플릭스	4
-내셔널리그	4
-아메리칸리그	4
-타이거스	4
-네트워크	4
-카카오게임즈	4
-배드민턴	4
-알테오젠	4
-무너졌다	4
-비트코인	4
-옥스퍼드대	4
-서울대병원	4
-부산대병원	4
-시범경기	4
-레이커스	4
-무엇보다	3
-마감했다	3
-모건스탠리	3
-이태원동	3
-가능하다	3
-업계에서	3
-터치스크린	3
-제공하고	3
-실리콘밸리	3
-스타트업	3
-플로리다주	3
-기자회견	3
-중요하다고	3
-이스라엘	3
-디스커버리	3
-검토한다	3
-방식으로	3
-입장에서	3
-프로축구	3
-경기에서	3
-벗어나지	3
-르노코리아	3
-설문조사	3
-공개했다	3
-판단했다	3
-홈페이지	3
-활용하고	3
-예상된다	3
-주식시장	3
-한국에서	3
-딥마인드	3
-창업했다	3
-알파폴드	3
-청약통장	3
-시작으로	3
-들어봤다	3
-전해졌다	3
-징검다리	3
-유통업계	3
-전국에서	3
-검토하고	3
-미국에서	3
-그러면서	3
-적용된다	3
-제기했다	3
-수사요구안	3
-정치권에선	3
-원내대표	3
-필요하다고	3
-규정하고	3
-내부에서	3
-아이디어	3
-집행유예	3
-많을수록	3
-직장인들	3
-처음이다	3
-계속해서	3
-순이었다	3
-영광에서	3
-호우특보	3
-늘어났다	3
-명태균씨	3
-공개하지	3
-이어지고	3
-문제였다	3
-손해배상	3
-마이너스	3
-현대건설	3
-샌디에이고	3
-야마모토	3
-요시노부	3
-에르난데스	3
-선발투수	3
-무실점으로	3
-역전승했다	3
-클리블랜드	3
-가디언스	3
-디트로이트	3
-이승만대통령기념관	3
-시정명령	3
-집행정지	3
-블룸버그	3
-시장에서	3
-시장으로	3
-수준이다	3
-최고인민회의	3
-주식투자자금	3
-원점으로	3
-한국시리즈	3
-날카로운	3
-모습으로	3
-한국문학번역원	3
-문학평론	3
-시중은행들	3
-인터넷은행들	3
-그렇다고	3
-라이프치히	3
-오리올스	3
-과학자들	3
-기요사키	3
-것이었다	3
-영어식으로	3
-만리장성	3
-장편소설	3
-확인됐다	3
-중앙서림본	3
-대학생들	3
-스티로폼	3
-방침이다	2
-개발하고	2
-배터리팩	2
-지속적으로	2
-발전시켜	2
-처음으로	2
-조정했다	2
-공시했다	2
-목표주가	2
-유진투자증권	2
-이어지며	2
-생각하지	2
-음주운전	2
-파악됐다	2
-체납으로	2
-차량으로	2
-추가됐다	2
-특징이다	2
-가전제품	2
-제품에서	2
-폴크스바겐	2
-내놓으며	2
-유지하기	2
-일반적으로	2
-도입된다	2
-도로에서	2
-조사에서	2
-정도라고	2
-걱정해야	2
-못지않게	2
-플로리다	2
-힐즈버러	2
-유세에서	2
-주민에게	2
-끈질기게	2
-주도하고	2
-브렌트유	2
-과도하다	2
-분석했다	2
-출시했다	2
-버스중앙차로	2
-지나치게	2
-대상이다	2
-이상으로	2
-떨어졌다	2
-포르투갈	2
-투입했다	2
-뽑아내며	2
-뛰어올랐다	2
-올잉글랜드	2
-팬들에게	2
-드러나기	2
-방향으로	2
-선보였다	2
-구매하고	2
-분석하고	2
-헌법재판관	2
-진행되지	2
-공개됐다	2
-화이트큐브	2
-하루하루	2
-뉴욕에서	2
-전국적으로	2
-시작하던	2
-필요하다	2
-예년보다	2
-많았는데	2
-자본시장	2
-폐지까지	2
-유예한다고	2
-게임에서	2
-태어났다	2
-등극했다	2
-캠브리지	2
-스튜디오	2
-당첨되기	2
-문화체육관광부	2
-성희롱으로	2
-노벨의학상	2
-노벨위원회	2
-결정적인	2
-연구자들	2
-밝혀졌다	2
-조선일보	2
-스마트인컴	2
-공개된다	2
-업로드된다	2
-연금수령	2
-필명으로	2
-기준금리	2
-진입했다	2
-스냅드래곤	2
-채택했다	2
-홍명보호	2
-터뜨렸다	2
-에레디비시	2
-이어지면서	2
-경쟁에서	2
-보이면서	2
-대형마트	2
-북적였다	2
-소비자들	2
-분위기다	2
-본격적으로	2
-접어들자	2
-프랜차이즈	2
-급증했다	2
-주력하고	2
-과세당국	2
-적용하면	2
-해외에서	2
-기획재정부	2
-이용자들	2
-성냥갑들	2
-때문이라	2
-자원순환형	2
-분야에서	2
-순위에서	2
-진행한다	2
-플라스틱	2
-수소전기차	2
-공동으로	2
-투자하고	2
-증시에서	2
-사모펀드	2
-제출했다	2
-결정했다	2
-보도자료	2
-보관하던	2
-규명하자며	2
-특검법안	2
-증언감정법	2
-상설특검으로	2
-수사하게	2
-재발의할	2
-확보하려	2
-처리한다	2
-무력화하	2
-이끌어낼	2
-장담하기	2
-상황에선	2
-노림수로	2
-사법리스크	2
-잡히면서	2
-제기되고	2
-민주당으로선	2
-결집하고	2
-끌어올려야	2
-반복되며	2
-상설특검법	2
-판단하거나	2
-발의했다	2
-법원행정처	2
-대한변협회장	2
-추천하도록	2
-발의했던	2
-명시했던	2
-거론된다	2
-맞닥뜨릴	2
-유지하고	2
-연구개발	2
-사건에서	2
-연구위원	2
-전략으로	2
-강조했다	2
-기반으로	2
-지원하고	2
-치열해지면서	2
-급증하고	2
-엔지니어	2
-구축하고	2
-기록했는데	2
-해당한다	2
-터바인홀	2
-프로젝트	2
-품질관리단	2
-원칙적으로	2
-대행업체	2
-건설사들	2
-못하도록	2
-정상회의	2
-세계에서	2
-국제사회	2
-총선에서	2
-리얼미터	2
-선거에서	2
-영광으로	2
-돌아다니며	2
-사이에선	2
-당선되든	2
-졸업했다	2
-집중호우	2
-폭발적으로	2
-쏟아내기	2
-늘어나지	2
-내다봤다	2
-개혁신당	2
-과시하고	2
-국회의원	2
-보궐선거	2
-입장이다	2
-정치인들	2
-들어갔다	2
-만들어졌다	2
-않았다고	2
-시도하거나	2
-두부김치	2
-교통사고	2
-고가차도	2
-제품으로	2
-인테리어	2
-국내에선	2
-중요하게	2
-여러모로	2
-전화번호	2
-압도적인	2
-명씨에게	2
-차근차근	2
-했습니다	2
-리더라면	2
-법원에서	2
-예정이라고	2
-파라시스	2
-하락했다	2
-한국거래소	2
-중소형주	2
-프로배구	2
-벗어났다	2
-득점으로	2
-바뀌었다	2
-시즌부터	2
-정규리그	2
-페어플레	2
-메이저리그	2
-안방에서	2
-제압했다	2
-순간이었다	2
-뒤집었다	2
-다르빗슈	2
-필라델피아	2
-브루어스	2
-대한민국	2
-엔씨소프트	2
-기록하며	2
-이어갔다	2
-알고리즘	2
-업계에선	2
-지난해엔	2
-논의하기	2
-예고했다	2
-국무위원장	2
-공개적으로	2
-증권투자자금	2
-남편이나	2
-휴대전화	2
-프로야구	2
-수원에서	2
-적시타로	2
-엘리에이저	2
-아시아나항공	2
-가리킨다	2
-집중했다	2
-대한배드민턴협회	2
-천위페이	2
-작품이라	2
-평가했다	2
-수준으로	2
-대중문화	2
-신용대출	2
-주택담보대출	2
-천연가스	2
-분데스리가	2
-민주주의	2
-시작된다	2
-미세전류	2
-챔피언십	2
-월드시리즈	2
-카를로스	2
-에스테베즈	2
-레드삭스	2
-터뜨리며	2
-관점에서	2
-돌아섰다	2
-드라큘라	2
-인터내셔널	2
-맨부커상	2
-메디치상	2
-말레이시아	2
-브루나이	2
-세계적인	2
-투자해야	2
-증가한다	2
-높아지고	2
-친아버지	2
-공부해야	2
-하이트진로	2
-뿌리쳤다	2
-우승하고	2
-드라이브샷	2
-지키느냐	2
-해결했다	2
-잡아당겨	2
-평균자책점	2
-가져왔다	2
-가르시아	2
-샌프란시스코	2
-정규시즌	2
-애틀랜타	2
-독일어정서법위원회	2
-흔들도록	2
-시달렸다	2
-니코바르	2
-유능하게	2
-설치했다	2
-당선되며	2
-이상문학상	2
-광주민주화운동	2
-문장으로	2
-트라우마	2
-비서실장	2
-부산에서	2
-행동강령	2
-성공했다	2
-실망스러운	2
-비교하면	2
-윤전식으로	2
-국가유산으로	2
-북한연구소	2
-탈북민들	2
-총참모부	2
-플랫폼들	2
-쿠팡이츠	2
-아미노산들	2
-아미노산	2
-개발했다	2
-이산화탄소	2
-혁신기업	2
-평균기온	2
-떨어지지	2
-최고기온	2
-집행위원장	2
-확대하고	1
-안심점검	1
-무상보증기간	1
-법인차로	1
-전기차엔	1
-통보되지	1
-등록하면	1
-진입하기	1
-발생하면	1
-투입된다	1
-소방청에선	1
-시작하고	1
-특수구조대	1
-기증한다	1
-수압으로	1
-안심하고	1
-대표주인	1
-신한투자증권	1
-해당되지	1
-소외되고	1
-순매도했지	1
-순매수했다	1
-고대역폭	1
-그레이드	1
-증권사들	1
-집계됐다고	1
-하회했다	1
-현대차증권	1
-발표에서	1
-지켜지지	1
-비메모리	1
-비용으로	1
-연말까지	1
-근접하며	1
-하회하고	1
-동기보다	1
-상승하도록	1
-초입이라	1
-맞추면서	1
-��빡해질	1
-예상했지	1
-스마트폰용	1
-기대하기	1
-어려워졌다고	1
-추격이다	1
-성공하든	1
-실패하든	1
-엔비디아	1
-통과하면	1
-유의미한	1
-떨어지게	1
-상태였던	1
-모델이다	1
-개인적으로	1
-사용하기	1
-자동차등록원부	1
-소유였던	1
-위반으로	1
-제주에서	1
-양도했다	1
-명의였다	1
-이전됐고	1
-문씨에서	1
-대통령으로	1
-이전됐다	1
-이면도로	1
-돌아왔다	1
-해밀톤호텔	1
-운전하던	1
-변경하다	1
-뒤따라오던	1
-피해자인	1
-혈중알코올농도	1
-수준이었다	1
-카메라용	1
-쓸어주면	1
-추가했는데	1
-사라졌던	1
-돌아오고	1
-되돌아가고	1
-애플마저	1
-가져오고	1
-기사에서	1
-쓸어넘기던	1
-디스플레이	1
-장착했던	1
-등장하고	1
-주목받고	1
-도입하겠다고	1
-차종에서	1
-회귀했다	1
-올리거나	1
-헤리티지	1
-브레이크	1
-추가되고	1
-선보이며	1
-추가했다	1
-저장해둘	1
-스톱워치	1
-단축키로	1
-장점이다	1
-넘기게끔	1
-감지되고	1
-주시해야	1
-화면에서	1
-프로그램인	1
-받으려면	1
-책임자인	1
-에이버리	1
-더타임스와	1
-제조업체	1
-터치스크린으로	1
-산만으로	1
-마찬가지다	1
-가스레인지	1
-동일하게	1
-흘러넘치면	1
-작동하지	1
-트렌드와	1
-맥락이다	1
-태블릿용	1
-진동으로	1
-탑재하고	1
-가르치며	1
-천수답이어서	1
-생소했기	1
-설명하자	1
-그제서야	1
-끄덕였다	1
-지적됐다	1
-못한다고	1
-코미디같	1
-벌어진다	1
-설문에서	1
-대답했다	1
-걱정하기	1
-질문이나	1
-이해할까	1
-지경이라고	1
-파악한다	1
-알아듣고	1
-끄덕인다	1
-한자어이기	1
-이해력인	1
-멀리하고	1
-읽으라고	1
-추상적인	1
-모르고선	1
-언어철학자인	1
-넓어진다	1
-세상으로	1
-사망했다고	1
-저기압으로	1
-약화됐지	1
-밀턴으로	1
-늘었다고	1
-나뭇가지	1
-추정된다	1
-구출했다	1
-탬파에서	1
-구조단체	1
-구조했다	1
-구조대원	1
-떨어졌고	1
-약화됐다	1
-지역에서	1
-대서양으로	1
-빠져나갔다	1
-담화에서	1
-불안하게	1
-무모하고	1
-무책임하며	1
-비판했다	1
-퍼뜨리고	1
-비난하면서	1
-뉴스레터	1
-구독하기	1
-나오면서	1
-급등했다	1
-서부텍사스산	1
-거래일보다	1
-전날보다	1
-보복으로	1
-나서면서	1
-부추겼다	1
-지오바니	1
-스타우노보	1
-애널리스트	1
-정리하면서	1
-산유국인	1
-재규어랜드로버코리아	1
-인제니움	1
-표방한다	1
-리클라인	1
-엇비슷하지	1
-활용한다	1
-수납공간	1
-오프로드	1
-강점이다	1
-서스펜션	1
-편안하게	1
-노면에서	1
-수심까지	1
-안전하게	1
-판매된다	1
-개편한다	1
-준공영제	1
-도입하면서	1
-재설계해	1
-서울시버스운송사업조합	1
-노선체계	1
-발주했다	1
-시행한다	1
-신설됐는데	1
-그대로라	1
-위례신사선	1
-개통하고	1
-연장된다	1
-이곳저곳	1
-통과하다	1
-구불구불한	1
-노선으로	1
-고덕강일지구	1
-그었는데	1
-편리해질	1
-예상한다	1
-서울시내	1
-바뀌었는데	1
-반영하지	1
-백지에서	1
-효율적이라고	1
-강등됐다	1
-영입한다	1
-코린치안스	1
-출신으로	1
-리그에서	1
-끌어올렸다	1
-구단이라	1
-넉넉하지	1
-스트라이커	1
-득점포로	1
-코리아컵	1
-올려놓았다	1
-대구에서	1
-레전드다	1
-어렵겠지	1
-세징야에겐	1
-튀르키예	1
-전전하다	1
-활약하고	1
-여전하다	1
-무대였다	1
-허용하면서	1
-절체절명	1
-활용해보겠다	1
-파고들어	1
-정확하고	1
-재역전승	1
-만끽했다	1
-자동으로	1
-떨어지고	1
-어떻게든	1
-매진시키며	1
-우리에게	1
-행복하게	1
-결승전이란	1
-대회부터	1
-시행한다고	1
-카메라로	1
-입체적으로	1
-재구성하	1
-중반부터	1
-익숙하다	1
-극대화할	1
-대회까지	1
-고수했다	1
-제한적으로	1
-활용했다	1
-예선부터	1
-결승까지	1
-대신한다	1
-심판협회	1
-언제까지	1
-사용됐다	1
-오픈에선	1
-운영했다	1
-코트에서	1
-설치되어	1
-참고용으로	1
-진화하고	1
-리그에선	1
-시스템으로	1
-오프사이드	1
-잡아내고	1
-리플레이	1
-홈런이나	1
-판독에서	1
-올해부터	1
-서비스센터	1
-개최하고	1
-만족했다고	1
-응답했고	1
-응답했다	1
-차량에서	1
-만족스러운	1
-기능으로	1
-조성하기	1
-탑재했다	1
-감지하고	1
-뛰어나고	1
-우수하다	1
-수준이고	1
-구간에서	1
-고속도로나	1
-주말마다	1
-방송통신위원장	1
-마무리하면서	1
-헌재소장	1
-선출해야	1
-대립으로	1
-출석해야	1
-열겠다고	1
-밝히면서	1
-헌법재판소법	1
-알아봐야	1
-선출하지	1
-검토해보라	1
-출신이다	1
-작업했던	1
-마르세유	1
-흩뿌리고	1
-작품이다	1
-시리즈로	1
-생각으로	1
-전시된다	1
-발행된다	1
-오브리스트	1
-서펜타인	1
-예술감독	1
-진행했던	1
-차별이라고	1
-제한하지	1
-권고했다	1
-아내에게	1
-사주려고	1
-남성에게	1
-거부했다고	1
-제기했고	1
-가입자격	1
-명시하고	1
-탓이라고	1
-제한한다	1
-여성용으로	1
-부족하다고	1
-설립됐던	1
-다수였음	1
-고려하더라	1
-추진되면	1
-가정주부	1
-따가움으로	1
-알레르기성	1
-주범으로	1
-분포하며	1
-주변이나	1
-산책하면	1
-심해진다	1
-시즌마다	1
-환자이기	1
-긴장하며	1
-시달리고	1
-하순까지	1
-삼성서울병원	1
-알레르기내	1
-건조해지고	1
-선선해지기	1
-건강보험심사평가원	1
-추산된다	1
-아열대성	1
-변하면서	1
-선선하고	1
-과민반응으로	1
-재채기나	1
-건조해지기	1
-지속되면서	1
-요인으로	1
-작용하면서	1
-많아졌다	1
-예상되니	1
-질병관리청	1
-질병이나	1
-쯔쯔가무시병	1
-길어지므로	1
-가을까지	1
-풀밭이나	1
-서식한다	1
-생겼으면	1
-고려대구로병원	1
-쌀쌀해지면서	1
-밀접해지면서	1
-유행하는데	1
-유행하던	1
-만성질환자들	1
-금융투자소득세	1
-유예해야	1
-것이었지	1
-고려하다	1
-유예까지	1
-시행하자	1
-유예하고	1
-선진지수	1
-편입이라든지	1
-판단하자	1
-유예하자	1
-정상화될	1
-않는다면	1
-마찬가지라	1
-일각에서	1
-갑론을박하기보다	1
-폐지하자	1
-유예한다면	1
-집권해서	1
-시행해야	1
-예정이던	1
-미뤄졌고	1
-의총에서	1
-위임하기로	1
-기울어졌는데	1
-무너뜨릴	1
-신중해야	1
-부담스럽다	1
-키프로스계	1
-그리스인	1
-싱가포르인	1
-시작했고	1
-보드게임	1
-뛰어나다	1
-상금으로	1
-구입하고	1
-프로그래밍	1
-대학에서	1
-컴퓨터과학	1
-유니버시티	1
-신경과학	1
-박사학위	1
-기억상실증	1
-사이언스지	1
-두뇌게임	1
-올림피아드인	1
-올림피아드	1
-런던에서	1
-무스타파	1
-슐레이만	1
-스타트업인	1
-인수했지	1
-위험처럼	1
-무주택으로	1
-강남권에선	1
-커트라인	1
-가점보다	1
-리얼투데이	1
-만점이며	1
-부양가족	1
-산정된다	1
-웃돌았다	1
-공공기관	1
-기관장에게	1
-근절되지	1
-한국도박문제예방치유원	1
-드러났다	1
-문화체육관광위원회	1
-해임됐다	1
-명목으로	1
-법률자문	1
-국감에서	1
-카지노공기업인	1
-지적되었음	1
-가능하더라	1
-해임되었는데	1
-세포에서	1
-돌아갔다	1
-이뤄졌다	1
-카롤린스카	1
-생리의학상	1
-수상자로	1
-생물학자인	1
-매사추세츠	1
-비밀열쇠로	1
-발견하여	1
-기여했기	1
-수상하게	1
-수상자인	1
-앰브로스	1
-미생물인	1
-예쁜꼬마선충	1
-발견했다	1
-비정상적으로	1
-작동되면	1
-자가면역	1
-발견으로	1
-이해하게	1
-조절이라	1
-물리학상	1
-발표되며	1
-경제학상으로	1
-전업투자자다	1
-강연에선	1
-불합리한	1
-주식으로	1
-무엇인지	1
-들어보자	1
-화요일인	1
-퇴직급여	1
-연금으로	1
-소득세법상	1
-연금수령액	1
-퇴직소득세율	1
-과세하고	1
-넘어가면서부터	1
-과세한다	1
-유리한지	1
-미래에셋	1
-투자와연금센터	1
-부와지식의배움터	1
-영상이다	1
-내다보면서	1
-움직여서	1
-프리즘투자자문	1
-단행하면서	1
-본격적인	1
-자산시장	1
-유망할지	1
-국민연금공단	1
-기금운용본부	1
-투자운용팀장	1
-국민은행	1
-수석이코노미스트	1
-전문가다	1
-신공정으로	1
-모바일용	1
-출시되고	1
-아이폰용	1
-끌어올린	1
-탑재되면서	1
-저전력으로	1
-중요해졌다	1
-강조하고	1
-전력효율	1
-향상됐다	1
-약점으로	1
-거론되던	1
-강화됐다	1
-전망된다	1
-제외하고	1
-안드로이드	1
-스마트폰들	1
-향상되면서	1
-떨어지면	1
-고객사들	1
-들어가면서	1
-좋아지고	1
-고부가가치	1
-집중하면서	1
-월가에서	1
-동갑내기로	1
-국가대표팀	1
-네덜란드	1
-세르비아	1
-즈베즈다	1
-페예노르트로	1
-챔피언스리그	1
-미드필더로	1
-맹활약하며	1
-분데스리	1
-프랑크푸르트	1
-측면에서	1
-오른발로	1
-마무리해	1
-주니오르	1
-허용하며	1
-미드필더	1
-부상으로	1
-빠지면서	1
-소속팀으로	1
-파트너로	1
-수비수로	1
-이뤘는데	1
-대표팀엔	1
-포함됐다	1
-입성했다	1
-중동에서	1
-요르단으로	1
-합류한다	1
-개천절인	1
-만석이었다	1
-손님으로	1
-근처에서	1
-쇼핑객들로	1
-신선식품	1
-계산대마다	1
-기다렸다	1
-비수기로	1
-공휴일로	1
-지정되고	1
-대형마트마다	1
-북적였고	1
-여행지로	1
-매진됐다	1
-살아나지	1
-진작하기	1
-임시공휴일	1
-소비시장	1
-회복될지	1
-유통업체에선	1
-품목에서	1
-떨어지면서	1
-장만하려	1
-롯데백화점	1
-해외여행	1
-덕분이라	1
-신세계백화점	1
-늘어났다고	1
-즉석식품	1
-돼지고기	1
-여행객들로	1
-신제주점	1
-서귀포점	1
-기간보다	1
-불꽃축제	1
-몰리면서	1
-서울세계불꽃���제	1
-한강공원	1
-놀이공원	1
-할인행사	1
-매장에서	1
-진행하고	1
-롯데마트	1
-샤인머스캣	1
-저렴하게	1
-먹거리들	1
-개최한다	1
-내야하니	1
-유튜브로	1
-발라냈다	1
-제출하지	1
-경고까지	1
-보냈다고	1
-시청자들	1
-수익에서	1
-기여분으로	1
-금액만큼	1
-입장에선	1
-세무당국	1
-법인이라	1
-징수하기	1
-실질적으로	1
-한국재무관리학회	1
-동등하게	1
-과세해야	1
-국세까지	1
-논의조차	1
-원천징수하기	1
-개정하면서	1
-정책협력	1
-발생하고	1
-납부하게	1
-조세조약	1
-따져보겠다	1
-입장이었다	1
-들어줬다	1
-시청자들로	1
-가능해야	1
-구글코리아	1
-도널드슨	1
-전무하다	1
-소득세법	1
-규정하지	1
-규정하더라	1
-원천소득	1
-이행하지	1
-가속화되면서	1
-국세청으로	1
-종합소득세	1
-벌어들인	1
-시청시간	1
-다방이나	1
-가져가게	1
-가져오다	1
-빼곡하게	1
-습관이었다	1
-취미생활이라고	1
-유행이었어요	1
-수집했다	1
-자연스럽게	1
-됐습니다	1
-이후라고	1
-기억했다	1
-다채로운	1
-떠들썩하게	1
-마시거나	1
-고형필씨	1
-사용하거나	1
-사람에게	1
-싸움까지	1
-회고했다	1
-식당이나	1
-열광하고	1
-아날로그	1
-현대자동차그룹	1
-난양대학	1
-정부까지	1
-비즈니스	1
-체결했다고	1
-공과대학	1
-연구중심	1
-대학이다	1
-발전사업	1
-쓰레기나	1
-모빌리티	1
-밸류체인	1
-설립하기로	1
-통상산업부	1
-조직으로	1
-연구기관	1
-로보틱스	1
-혁신제조	1
-국가연구펀드	1
-다가왔지	1
-불투명해	1
-최하위권	1
-금투세란	1
-금융상품	1
-양도소득	1
-도입되면	1
-어려워질	1
-빠져나가면서	1
-한국기업거버넌스포럼	1
-결과적으로	1
-빠져나갈	1
-관측하고	1
-부자감세	1
-투자자들에게	1
-희망이자	1
-금투세로	1
-금융소득종합과세로	1
-시행으로	1
-낮아진다	1
-법제사법위원회	1
-증인으로	1
-아트센터	1
-동아시아문화센터	1
-요구하기로	1
-법사위원장인	1
-소재파악	1
-동행명령장	1
-방안까지	1
-아내이자	1
-떠올랐다	1
-약속어음	1
-제시하며	1
-인정된다면서	1
-부인하고	1
-국면으로	1
-양상이다	1
-농협중앙회	1
-적발되자	1
-주식거래	1
-적발됐지	1
-이뤄지지	1
-살펴보고	1
-발의하자	1
-처리했지	1
-가로막혔다	1
-끌어올리려	1
-공직선거법	1
-다가오면서	1
-압박하기	1
-재발의했던	1
-것들이다	1
-의결하면	1
-제정하지	1
-소속되거나	1
-소속됐던	1
-국회규칙	1
-구성해야	1
-입맛대로	1
-임명하기	1
-바꾸겠다	1
-느슨해진	1
-결과라고	1
-내부적으로	1
-심화했다	1
-공공연히	1
-자랑이었지	1
-옅어지고	1
-유일하게	1
-우선순위고	1
-제조업인	1
-청년에게	1
-학과까지	1
-전자공학	1
-전공자들	1
-학교에서	1
-동결되면서	1
-따라잡겠다고	1
-존재하지	1
-최상층부	1
-장악하고	1
-투자보다	1
-바뀌었고	1
-임직원들	1
-해결할지	1
-쏟았는데	1
-잘못인지	1
-색출해내서	1
-이기주의	1
-털어놨다	1
-삼성그룹	1
-출석하고	1
-요구했고	1
-부랴부랴	1
-시스템반도체	1
-경쟁사인	1
-자극했고	1
-느슨해졌다	1
-과도하게	1
-무임승차하며	1
-경쟁자인	1
-시가총액으로	1
-넘어섰다	1
-창업자인	1
-친분으로	1
-파운드리	1
-전념했다	1
-빼닮았다	1
-재계에서	1
-정신으로	1
-추월하고	1
-중요하다	1
-한림대학교	1
-동탄성심병원	1
-대표적인	1
-평가하며	1
-인지기능과	1
-인지기능	1
-맥락정보	1
-혈관질환	1
-신체활동	1
-집단보다	1
-유전자인	1
-벌어졌다	1
-한림대동탄성심병원	1
-정신건강의학	1
-촉진하고	1
-긍정적인	1
-에디스코완대학	1
-사람보다	1
-아밀로이드	1
-목적에서	1
-응답자들	1
-연령별로	1
-다가올수록	1
-기혼자들보다	1
-대비해야	1
-결과에선	1
-직장인보다	1
-저축하고	1
-체계적인	1
-미친다고	1
-단기적인	1
-집중해서	1
-지적이다	1
-납입한다	1
-세액공제	1
-중국으로	1
-확보하기	1
-중요합니다	1
-기술적인	1
-오픈소스	1
-본사에서	1
-부사장으로	1
-근무했고	1
-마이크로소프트	1
-과학자로	1
-선도하고	1
-오픈소스로	1
-혁신적인	1
-프랑스뿐	1
-출신들로	1
-전쟁이다	1
-충분하지	1
-조직에게	1
-치열해지고	1
-효율적인	1
-아키텍처	1
-자원으로	1
-개발해야	1
-제공자들과	1
-파트너십	1
-유럽으로	1
-확대해나간다	1
-경제에서	1
-매출에서	1
-차지한다	1
-수출에서	1
-두드러진다	1
-반도체고	1
-생활가전	1
-살림살이	1
-좌우한다	1
-납부했다	1
-유지해왔다	1
-공중에서	1
-나풀거리고	1
-회전한다	1
-공간으로	1
-재탄생했다	1
-현대미술관	1
-작가이자	1
-부르주아	1
-올라푸르	1
-엘리아손	1
-아이웨이웨	1
-내로라하	1
-현대미술	1
-거쳐갔다	1
-현대자동차	1
-지원으로	1
-느껴지지	1
-않았느냐	1
-질문인데	1
-무서워하기	1
-아름다움	1
-공존한다	1
-바꾸면서	1
-떨어뜨린다	1
-발전소였던	1
-주목했다	1
-사용하지	1
-재가동했고	1
-현장으로	1
-탈바꿈시켰다	1
-재가동해	1
-장소였다	1
-소개했다	1
-끌어왔다	1
-조각으로	1
-매달리게	1
-추가되면서	1
-들어가기	1
-횡포라고	1
-상처에서	1
-무기력함	1
-아름답다	1
-감동한다	1
-움직인다	1
-역경이나	1
-아름답다고	1
-들어서며	1
-공간이다	1
-큐레이터	1
-부드러움	1
-감각적으로	1
-경험하게	1
-예방하기	1
-손질해야	1
-국토교통부	1
-하자심사분쟁조정위원회	1
-육박했다	1
-증가하면서	1
-처리해야	1
-실시해야	1
-전문가로	1
-품질점검단	1
-점검해야	1
-작년부터	1
-입주예정자	1
-동행하지	1
-금지했다	1
-사전방문	1
-명시하기로	1
-담합한다	1
-제기됐다	1
-진행하면	1
-입주예정자들	1
-실시하는데	1
-변경했다	1
-사전방문일	1
-주간별로	1
-균등하게	1
-전산시스템	1
-일방적으로	1
-개선해야	1
-지자체마다	1
-천차만별이었다	1
-강화해야	1
-방문하고	1
-참석하기	1
-출국했다	1
-방문국인	1
-참배하고	1
-맺어왔으며	1
-최초이자	1
-자유대한민국	1
-순방에서	1
-용인하지	1
-겨냥하기	1
-모니터링	1
-형성되어	1
-양상으로	1
-흘러가고	1
-예상됐지	1
-여론조사상	1
-나타나면서	1
-정가에서	1
-예측하기	1
-결정으로	1
-통합진보당	1
-후신으로	1
-위성정당	1
-확보했다	1
-네거티브	1
-야권에선	1
-진보당식	1
-남도일보	1
-지지한다	1
-조사에선	1
-일주일여	1
-네거티브전	1
-벌이면서	1
-난타전식	1
-진보당으로	1
-학도호국단	1
-총학생장	1
-공격했고	1
-집회시위법	1
-부각되지	1
-밀어내고	1
-당선됐던	1
-자극했는데	1
-조직에서	1
-당선무효형	1
-확정되자	1
-읍내에선	1
-들어주고	1
-부축해주	1
-영광군농민회	1
-시절부터	1
-집집마다	1
-논밭까지	1
-요구하며	1
-포퓰리즘	1
-경쟁으로	1
-영광사랑지원금	1
-공약으로	1
-판박이로	1
-영광군노인복지관	1
-얻어놓고	1
-내려갔고	1
-상임대표	1
-최연소다	1
-주주총회	1
-대표이사	1
-선임했다	1
-제품총괄로	1
-카네기멜론대	1
-엔비욘드	1
-이베이코리아	1
-비금융권	1
-회사에서	1
-해외주식	1
-추진하며	1
-플랫폼으로서	1
-대표이사로	1
-물러났다	1
-기간으로	1
-한정하면	1
-가속화할수록	1
-시간동안	1
-비구름대	1
-수증기량	1
-토해내듯	1
-속출했다	1
-장마기간	1
-많아지며	1
-편성하고	1
-운영하고	1
-복기조로	1
-운영된다	1
-이어지겠다	1
-쌀쌀하고	1
-보이겠다	1
-이어지겠다고	1
-경남지역	1
-브로커로	1
-술렁이고	1
-비대위원장	1
-얘기하면서	1
-정치자금법	1
-창원지검	1
-구속하면	1
-하야하고	1
-감당되겠느냐고	1
-검사에게	1
-응하면서	1
-곤혹스러워하	1
-정치브로커	1
-국민께서	1
-한심하게	1
-생각하실	1
-수사기관	1
-엄정하고	1
-신속하게	1
-수사해야	1
-자택으로	1
-조언으로	1
-텔레그램	1
-나타나고	1
-부적절한	1
-부정확한	1
-설명했는데	1
-당사자들	1
-반박했다	1
-만나자고	1
-페이스북	1
-빅테크들	1
-파악해야	1
-유럽연합	1
-대항하기	1
-공개하도록	1
-회계연도	1
-종료되면	1
-공개해야	1
-당국끼리	1
-공유하던	1
-국제협약인	1
-이행하기	1
-국가별보고서	1
-도입했고	1
-정보교환	1
-교환하고	1
-빅테크로	1
-가공해서	1
-국가에서	1
-유럽처럼	1
-추진되고	1
-공개하기	1
-선행돼야	1
-새벽까지	1
-서울경찰청	1
-현장에서	1
-없었으며	1
-거부하지	1
-부축하려	1
-포착되기	1
-들여다보고	1
-불가능한	1
-이전까지	1
-차선에서	1
-난폭운전	1
-접수하고	1
-주문했다	1
-꾸벅꾸벅	1
-철거된다	1
-개통했다	1
-교차로로	1
-도로교통공단	1
-불가피할	1
-철거하고	1
-조성한다	1
-연결한다	1
-여의도나	1
-도심으로	1
-출퇴근하	1
-반도체뿐	1
-밀어내기	1
-지지부진한	1
-선두주자	1
-실적으로	1
-감소했는데	1
-영업이익으로	1
-제외하면	1
-적자였다	1
-영향이다	1
-수조원대	1
-체결했다	1
-따내면서	1
-포트폴리오	1
-다변화로	1
-편광필름	1
-양도했고	1
-구조조정	1
-최대치였지	1
-해운에서	1
-영향으로	1
-분석됐다	1
-길어지고	1
-비상경영	1
-돌입했지	1
-미나토구	1
-펜트하우스이자	1
-일본에서	1
-레지던스라	1
-들어섰는데	1
-화룡점정	1
-디자인했다	1
-스카닝으로	1
-가구업체	1
-꾸몄다고	1
-옷장까지	1
-디자이너들	1
-고심해서	1
-소개하고	1
-갤러리스트	1
-컨설턴트	1
-건축가나	1
-이어진다	1
-갤러리에선	1
-건설업체	1
-투자회사들	1
-현상까지	1
-벌어지고	1
-조연이었다	1
-먼저였고	1
-이때부터	1
-시작됐다	1
-간결하면서	1
-초부터다	1
-대중���으로	1
-디자이너로	1
-앤트워프	1
-관능적으로	1
-윈트레베르트	1
-유기적인	1
-각광받고	1
-어퍼하우스	1
-르페이드	1
-나인원한남	1
-실내가구	1
-배치하느냐	1
-달라진다	1
-조사기관	1
-할리팩스	1
-걸렸는데	1
-구조만큼	1
-뉴욕이나	1
-레지던스일수록	1
-지역민보단	1
-외국인들	1
-귀띔했다	1
-아자다부힐스	1
-중동이나	1
-유럽에서	1
-외국인들이고	1
-고객이라	1
-핏플레이스	1
-만족시킬	1
-차별적인	1
-필요하고	1
-디자인한	1
-설명이다	1
-퍼니처로	1
-레지던스라고	1
-하이엔드	1
-오피스텔	1
-자금난으로	1
-가라앉지	1
-여전하기	1
-신중하게	1
-따져보고	1
-유출됐다	1
-착수한다고	1
-인터뷰하면서	1
-비상대책위원장	1
-실시했다면서	1
-책임당원	1
-미래한국연구소	1
-비교했고	1
-가상대결	1
-실시했으며	1
-사무총장	1
-최고위원	1
-회의에서	1
-만들어서	1
-적법하게	1
-흘러갔는지	1
-넘어갔는지	1
-조사하겠다	1
-안심번호	1
-캠프에서	1
-관련해서	1
-뚜렷해야	1
-시간가량	1
-결론입니다	1
-서바이벌	1
-미션에서	1
-승리하며	1
-끌었습니다	1
-해산물로	1
-싹쓸이하며	1
-셰프에게	1
-물었더니	1
-방송에서	1
-익숙하면서	1
-만들어야겠다	1
-주저하지	1
-뚜렷했기	1
-리더에게	1
-다양합니다	1
-들었습니다	1
-아름다웠다면	1
-중요하지	1
-좋습니다	1
-염두해둔	1
-안타깝지	1
-아닐까요	1
-도로교통법상	1
-특정범죄가중처벌법상	1
-혐의까지	1
-처하도록	1
-용산경찰서	1
-운전하다	1
-판단되면	1
-가능하다고	1
-식당에서	1
-지속됐기	1
-적용되면	1
-붉어지고	1
-비틀거리며	1
-주행하다	1
-오토바이	1
-발생했다	1
-위험치사상	1
-기소했고	1
-선고했다	1
-제조사인	1
-메르세데스벤츠	1
-수입사인	1
-메르세데스벤츠코리아	1
-한성자동차	1
-벤츠파이낸셜서비스코리아	1
-서울중앙지법	1
-제출했다고	1
-공정거래위원회	1
-포함되지	1
-소유자들	1
-주장하고	1
-탑재됐지	1
-크리스토프	1
-스타진스키	1
-장착된다	1
-알았다면	1
-부담해야	1
-손해보다	1
-배상하게	1
-소외됐다	1
-단적으로	1
-엠에프엠코리아	1
-현대사료	1
-퀄리타스반도체	1
-큐라티스	1
-삼성증권	1
-반도체주	1
-이어가고	1
-통영체육관	1
-맞붙었다	1
-후위에서	1
-스파이크	1
-바깥으로	1
-벤치에서	1
-뛰어올랐던	1
-나갔다고	1
-운용하고	1
-인정하고	1
-선수에게	1
-주어진다	1
-불필요한	1
-경기에선	1
-여자부에선	1
-조별리그	1
-페퍼저축은행	1
-주인공이었다	1
-네이션스	1
-도입했다	1
-지급한다	1
-보상으로	1
-페어플레이	1
-유도하자	1
-페어플레이상	1
-반영한다	1
-반영하기로	1
-금전적으로	1
-유인으로	1
-작용하지	1
-홍보팀장	1
-정착하고	1
-홈런포로	1
-앞장섰다	1
-기회에서	1
-내야플라	1
-가라앉았던	1
-받아쳤다	1
-홈런이었다	1
-에이드리언	1
-부러졌지	1
-테오스카	1
-미쳤으나	1
-불펜투수	1
-집어삼킬	1
-끌려가다	1
-무안타로	1
-침묵했다	1
-기부하기로	1
-약정했다고	1
-출생으로	1
-졸업하고	1
-미국으로	1
-상장시켰다	1
-한미상호방위조약	1
-대국으로	1
-마련했기	1
-참여했고	1
-조성됐다고	1
-출시했다고	1
-오세아니아	1
-실시했다	1
-야심작으로	1
-출시됐다	1
-크래프톤	1
-진행한다고	1
-기부그라운드	1
-배틀그라운드	1
-즐기면서	1
-공정거래위원회로	1
-서울고법	1
-공정거래법	1
-부과했다	1
-조작으로	1
-부당하게	1
-소송했고	1
-회복하기	1
-기각했다	1
-성격이기	1
-정당한지	1
-최종적인	1
-재판에서	1
-내려진다	1
-유력하다	1
-기업공개	1
-마무리될	1
-인도증권거래위원회	1
-예상대로	1
-상장하면	1
-판매했다	1
-장부가액	1
-삭제하면서	1
-최고인민회	1
-시정연설	1
-지시했었다	1
-파기하고	1
-개성공단	1
-남북기본합의서	1
-잠정적으로	1
-깎아내렸는데	1
-제기된다	1
-해상국경선	1
-수역화하려	1
-관측한다	1
-구체적으로	1
-명시하기보다	1
-모호하게	1
-종료됐다	1
-노동신문	1
-한국은행	1
-불확실성	1
-지정학적	1
-미쳤다고	1
-확대되고	1
-중장기채권	1
-계속되면서	1
-순유입됐다	1
-순유출로	1
-선고받았다	1
-인천지법	1
-정보통신망	1
-이용촉진	1
-정보보호	1
-선고했다고	1
-사회봉사	1
-명령했다	1
-남자친구	1
-알려주고	1
-넘겨졌다	1
-제안으로	1
-모집하면	1
-관리했다	1
-애플리케이션	1
-개인정보	1
-입력하면	1
-들렀는지	1
-친구에게	1
-고소하기	1
-봉인했다	1
-연발하며	1
-자멸했다	1
-설욕하면서	1
-수비에서	1
-돋보였다	1
-호수비로	1
-같아졌다	1
-뼈아팠다	1
-이어가지	1
-활발하게	1
-공격했다	1
-더블스틸로	1
-성공하면서	1
-실패하면서	1
-상황이면	1
-역전했다	1
-희생번트	1
-때렸는데	1
-서두르던	1
-빠뜨렸다	1
-밟으면서	1
-기울어지	1
-마무리투수	1
-내야안타	1
-몰렸으나	1
-뛰어오르면서	1
-대등했다	1
-성공했고	1
-희생플라이로	1
-수비에선	1
-부진했다	1
-구원투수로	1
-인상한다	1
-부담하지	1
-비행시간	1
-인상된다	1
-오르면서	1
-대한항공	1
-제주항공	1
-노선별로	1
-인상했다	1
-파리올림픽	1
-금메달리스트	1
-복귀했다	1
-쏟아지자	1
-밀양에서	1
-전국체육대회	1
-예선에서	1
-부산광역시	1
-인천광역시	1
-모습이었다	1
-많았다고	1
-진정시킨	1
-사랑해준	1
-감사하다	1
-불참하고	1
-연호하며	1
-유도하며	1
-마무리했다	1
-관중에게	1
-화답했다	1
-감사했고	1
-그들에게	1
-조금이라	1
-표현하고	1
-기다렸던	1
-만족스럽다	1
-병행하며	1
-좋아졌다	1
-국제대회	1
-보여드리겠다	1
-이뤘으니	1
-비판하면서	1
-이뤄지고	1
-이뤄지는지	1
-않았었고	1
-발표하고	1
-출전하지	1
-본모습으로	1
-않을까라고	1
-생각하고	1
-덧붙였다	1
-머물렀던	1
-늦게나마	1
-아쉬웠는데	1
-지역적인	1
-못했다면	1
-인식하게	1
-음식까지	1
-한국으로	1
-쏠리면서	1
-주목하지	1
-소설인데	1
-섬세하고	1
-겪어왔던	1
-정치적인	1
-형상화해온	1
-근원적인	1
-작가로서	1
-억눌려왔던	1
-번역가들	1
-차원에서	1
-제안했다	1
-보내느냐	1
-이야기해왔지	1
-한몫했다	1
-축적돼온	1
-양성하고	1
-국제무대	1
-세계문학	1
-되어가고	1
-재평가되며	1
-역사까지	1
-심층적으로	1
-들여다보며	1
-나라인지	1
-인터넷전문은행보다	1
-취급하고	1
-전업주부	1
-분류된다	1
-포용하지	1
-못한다면	1
-거둬들이고	1
-포용하자	1
-내세우지	1
-인터넷은행에	1
-떠넘겨버린다	1
-인터넷전문은행	1
-자산으로	1
-인터넷은행보다	1
-가계대출	1
-인터넷은행에선	1
-인터넷은행으로	1
-달려가고	1
-팍팍해진	1
-중저신용자들	1
-중저신용대출	1
-취약계층	1
-밀려나고	1
-방증이다	1
-넘어서기	1
-금융당국	1
-관리하고	1
-인터넷은행만	1
-이자이익	1
-당기순이익	1
-고민해야	1
-마무리할	1
-산업통상자원부	1
-개발권인	1
-부여하고	1
-특별수당	1
-해저광물자원	1
-입법예고한다고	1
-개정하기로	1
-생산하면	1
-조광료로	1
-거두도록	1
-제도에서	1
-늘어날수록	1
-급증하면	1
-신설된다	1
-공식적으로	1
-광구에서	1
-발견하면	1
-계약에서	1
-넘어서면	1
-관리자로	1
-복귀한다	1
-관장하고	1
-전략적인	1
-잉글랜드	1
-감독으로	1
-물러나자	1
-관장하며	1
-바이에른	1
-소유하고	1
-바뀌겠지	1
-유망주들	1
-발전시키고	1
-반발하고	1
-쏟아부어	1
-팬들에겐	1
-분데스리가에선	1
-말이라고	1
-강조하며	1
-몸담았던	1
-도르트문트	1
-비아냥거리고	1
-끌어내려야	1
-강화군수	1
-심각하다면	1
-도중에라	1
-끌어내리	1
-민주주의고	1
-발언이었지	1
-만들겠다고	1
-권좌에서	1
-구성하고	1
-의원회관	1
-정면으로	1
-반헌법적	1
-반발했다	1
-아니었다고	1
-피감기관	1
-예고하고	1
-키즈카페	1
-생각나서	1
-찾아보니	1
-씁쓸했다	1
-어르신들	1
-경로당엔	1
-장기요양인정등급	1
-어린이집	1
-감소했다	1
-서울시교육청	1
-실버타운	1
-실버타운으로	1
-셔틀버스로	1
-데려오고	1
-데려다준다	1
-비슷하다	1
-유치원장	1
-노치원으로	1
-편이라고	1
-시도하고	1
-학습지로	1
-배달하고	1
-단지에서	1
-기부채납	1
-제시하자	1
-소유주들	1
-접어들어	1
-분명하다	1
-선진국에선	1
-시설이기	1
-늘려가야	1
-최근부터	1
-내려가면서	1
-심해지면	1
-멜라토닌	1
-빌려보고	1
-사용해봤다	1
-의료기기	1
-삼성메디슨	1
-연구소장	1
-제품이다	1
-슬리피솔	1
-거슬리지	1
-이곳으로	1
-전달한다	1
-스트레스	1
-비약물적	1
-치료법이라고	1
-서울대학교	1
-분당병원	1
-사용했더니	1
-호전됐다고	1
-답했다고	1
-설치하고	1
-블루투스로	1
-기본이다	1
-스마트기기	1
-분석해주고	1
-적응하기	1
-어려웠으나	1
-시티필드	1
-지목됐던	1
-프란시스코	1
-투입하자	1
-직선으로	1
-넘겨버렸다	1
-올라가야	1
-감격했다	1
-뛰어들었다	1
-볼티모어	1
-팀이었다	1
-막판까지	1
-기사회생한	1
-모양새다	1
-극적으로	1
-확정하더니	1
-원정경기로	1
-가려진다	1
-달아났다	1
-홈런으로	1
-유린했다	1
-예고됐다	1
-외나무다리	1
-승부에서	1
-등판한다	1
-가까스로	1
-가라앉아	1
-고민이다	1
-신약개발업체인	1
-알테오젠인	1
-거래되던	1
-면역항암제	1
-적용됐다	1
-작용했다	1
-견제하기	1
-통과되면	1
-메리츠증권	1
-아모레퍼시픽	1
-한화에어로스페이스	1
-신한지주	1
-삼성생명	1
-대장주인	1
-순매도하면서	1
-순매도로	1
-하락하면서	1
-국제회의	1
-열었어요	1
-회의에선	1
-기후변화로	1
-악마화되고	1
-포유동물	1
-종류뿐이고	1
-부풀려졌다	1
-아담해요	1
-아르헨티나	1
-분포하죠	1
-중남미로	1
-발견하고	1
-떠올려서	1
-펄럭이며	1
-내려앉아	1
-모습이요	1
-야행성이긴	1
-다르답니다	1
-저공비행	1
-점프하거나	1
-올라가요	1
-박쥐보다	1
-능숙하게	1
-흘러나오	1
-혓바닥으로	1
-오목하게	1
-들이마시기	1
-구조예요	1
-무게까지	1
-있답니다	1
-빵빵해진	1
-널브러져	1
-발견되죠	1
-만들어내	1
-자기에게	1
-일어났는지	1
-잔답니다	1
-물렸다고	1
-이리저리	1
-다니면서	1
-만들어요	1
-구성원들끼리	1
-게워주기	1
-있거든요	1
-먹인답니다	1
-영토에서	1
-가와바타	1
-배출했고	1
-배출했다	1
-등장했지	1
-국제사회에서	1
-중론이었다	1
-수상하면서	1
-성장하고	1
-글로벌하게	1
-공동수상한	1
-문학은커녕	1
-선진국인	1
-통화에서	1
-확실하다	1
-페인트칠	1
-탐미주의자	1
-효과적으로	1
-이탈리아	1
-말라파르테	1
-한국문학	1
-접근하고	1
-작동하고	1
-간과돼서	1
-진출한다	1
-이에따라	1
-늘어나게	1
-맺었다고	1
-베이커리	1
-거점으로	1
-증가하고	1
-계약으로	1
-동남아시아에서	1
-진출하게	1
-발언으로	1
-일으킨다	1
-집중시키기	1
-송도에서	1
-시장이다	1
-파산이다	1
-실버게이트은행	1
-위기에서	1
-인수되며	1
-크레디트스위스	1
-위험하기	1
-생각한다	1
-고민하자	1
-하락한다	1
-지날수록	1
-올라간다	1
-메트갈프	1
-법칙이란	1
-메트칼프	1
-직선적으로	1
-기하급수적으로	1
-법칙이다	1
-가속화될수록	1
-화폐보다	1
-암호화폐	1
-트럼프나	1
-스탠퍼드대	1
-노스웨스턴	1
-안정적인	1
-윤택해진다고	1
-시작하면서	1
-일반적인	1
-봉급으로	1
-아버지인	1
-월급으로	1
-투자하기	1
-키워나간	1
-붕괴였다	1
-이전보다	1
-두려워할	1
-나타난다	1
-부족하다	1
-레이스란	1
-벗어나려면	1
-사회에서	1
-기다리던	1
-페어웨이	1
-작성했다	1
-블루헤런	1
-잡아내며	1
-허용했으나	1
-한국여자오픈	1
-문턱까지	1
-모르겠다	1
-우승하고자	1
-임하는데	1
-싶었는데	1
-지나가길	1
-장타자이면서	1
-아이언샷	1
-빼어나다	1
-좋아하지	1
-어려워서	1
-조건이니	1
-있었다고	1
-초반부터	1
-훈련해오면서	1
-노력했다	1
-흔들리지	1
-단단하게	1
-올라섰다	1
-제주삼다수	1
-마스터스	1
-번뿐이지	1
-상금에서	1
-모습이다	1
-자리했다	1
-따라왔다	1
-합작했고	1
-야구보다	1
-생각했는데	1
-들어맞으면서	1
-통과하고	1
-장소에서	1
-쿠에바스	1
-선발투수로	1
-슬라이더	1
-신고했다	1
-부응했다	1
-시도했다	1
-기대했던	1
-정규리그에선	1
-이날까지	1
-부진하다	1
-아웃카운트	1
-물러나기	1
-모두에게	1
-절실했다	1
-딘이었다	1
-대결에서	1
-환호했다	1
-장거리포	1
-등판했다	1
-쿠에바스보다	1
-초반까지	1
-플라이로	1
-추격했다	1
-공략하지	1
-도전하게	1
-재무제표	1
-적극적이지	1
-기업분석연구소	1
-리더스인덱스	1
-추진하면서	1
-독려하고	1
-한정됐다	1
-기업별로	1
-배당했다	1
-장군멍군	1
-일으켰던	1
-양키스타디움	1
-원정경기	1
-되갚았다	1
-선두타자로	1
-살바도르	1
-터뜨렸고	1
-성공하자	1
-처리하며	1
-타석에선	1
-종횡무진했다	1
-카우프만필드	1
-자이언츠	1
-원정으로	1
-볼티모어로	1
-뉴욕으로	1
-제압하며	1
-에마누엘	1
-침묵시켰다	1
-기록하면서	1
-마무리로	1
-이어지면	1
-내놓으면서	1
-세계적으로	1
-문법까지	1
-내버려두	1
-규정이라	1
-공영방송	1
-독일어로	1
-표기한다	1
-고유명사	1
-허용하겠다	1
-공식적인	1
-위원회인	1
-공용언어로	1
-독일인들	1
-익숙하게	1
-내렸다고	1
-전통이었지	1
-간판에서	1
-비판하고	1
-내버려두고	1
-평론에서	1
-머리카락	1
-사람이라면	1
-프랑프푸르트	1
-일간지인	1
-중간중간	1
-어색하게	1
-끼워넣으며	1
-불가피하다고	1
-베를린자유대학	1
-언어학자	1
-스테파노비치	1
-프랑스어	1
-부임했다	1
-떨어졌던	1
-들려줬다	1
-등장했고	1
-캐럴이라	1
-출간한다	1
-셰익스피어	1
-다음으로	1
-탄생이었다	1
-등장시킨다	1
-삽화에서	1
-표현됐다	1
-베스트셀러	1
-애니메이션으로	1
-만들어지면서	1
-유명해졌지	1
-멸종했기	1
-모리셔스에	1
-서식했다	1
-모리셔스	1
-도착하면서	1
-지구에서	1
-사라졌다	1
-멸종시키고	1
-뒤뚱거리면서	1
-못했으며	1
-멍청하고	1
-기록으로	1
-포르투갈어로	1
-의미에서	1
-유래했다	1
-국제학술지	1
-있었으며	1
-살펴보자	1
-벌채하면서	1
-멍청해서	1
-월드처럼	1
-소망이었다	1
-산타크루즈	1
-교수이자	1
-생명공학	1
-바이오사이언스	1
-최고과학책임자	1
-줄기세포	1
-코펜하겐	1
-표본에서	1
-얻었다고	1
-엇갈린다	1
-공통조상	1
-진화하기	1
-도도인지	1
-자신한다	1
-태즈메이니아	1
-흰코뿔소	1
-영화감독	1
-투자했다	1
-유명인들	1
-구성원으로	1
-굴종적인	1
-울산시장	1
-불구하고	1
-꼽으라면	1
-문제이지	1
-상식적인	1
-거스르고	1
-상쇄되고	1
-심각해졌다	1
-지지자들	1
-극단적인	1
-내로남불로	1
-콘크리트	1
-생활인들	1
-돌아서게	1
-최대치인	1
-걷어붙이고	1
-금융위원회	1
-정책실장	1
-경제수석	1
-틀어쥐고	1
-불러오긴	1
-가계부채	1
-환기시킬	1
-금융감독원장일	1
-아우성치	1
-장차관들	1
-뛰어들어	1
-끈질지게	1
-노력하고	1
-식당주들	1
-신음하고	1
-마련하려고	1
-클러스터	1
-초래할지	1
-송배전망	1
-해결되고	1
-추진하다	1
-맞추었거나	1
-삐끗했다간	1
-주도적으로	1
-당연하다	1
-사람이라	1
-두드러지	1
-들었다고	1
-정권에서	1
-분류되길	1
-현안이라	1
-말해준다	1
-상층부에서	1
-사라지면	1
-만무하다	1
-책임지고	1
-장벽으로	1
-아메넴헤트	1
-바빌로니아	1
-네부카드네자르	1
-토목공사라	1
-언제까지나	1
-막아주지	1
-방지용으로	1
-테러단체	1
-센서까지	1
-요르단강	1
-하드리아누스	1
-변질됐다	1
-구축했다	1
-서독으로	1
-넘으려다	1
-아프가니스탄	1
-봉쇄하고	1
-모양이다	1
-장벽이다	1
-콘트리트	1
-감옥으로	1
-로마인들	1
-가능하지	1
-광주광역시	1
-졸업하던	1
-시인으로	1
-등단했다	1
-이듬해인	1
-단편소설	1
-서울신문	1
-신춘문예	1
-소설가로	1
-데뷔했다	1
-작가이거나	1
-평론가인	1
-이름이라	1
-한동림씨	1
-소설가이고	1
-경희사이버대	1
-미디어문예창작	1
-문학평론가다	1
-문예창작과	1
-동리문학상	1
-황순원문학상	1
-받았는데	1
-한승원씨	1
-좋아했다	1
-고등학교	1
-쓰겠다며	1
-선택하더니	1
-시달리다	1
-거부하게	1
-되어간다고	1
-트라우마로	1
-시선에서	1
-연작소설	1
-베스트셀러다	1
-수상했다	1
-대중소설가이기보다	1
-전위소설가다	1
-처음부터	1
-다룸으로써	1
-주목받지	1
-허덕이면서	1
-순간부터	1
-축적해온	1
-일어나기	1
-이사했던	1
-시발점으로	1
-들어왔다	1
-주제의식	1
-작품으로	1
-무고하게	1
-강연에서	1
-들여다보면	1
-맹세이자	1
-궁극적인	1
-시선으로	1
-풀어냈다	1
-문학상인	1
-움베르토	1
-처음이었다	1
-의료진들	1
-않았는데	1
-보건복지위원회	1
-징계위원회	1
-상태이며	1
-인사위원회	1
-국민권익위원회	1
-조치이다	1
-특혜이며	1
-것이므로	1
-대상이라고	1
-처리했다	1
-서울대병원행	1
-수술하면	1
-문의하자	1
-수술받기	1
-의학적으로	1
-출동하도록	1
-명확하게	1
-재정비해야	1
-심장마비로	1
-복귀했고	1
-선발에서	1
-지명됐다	1
-내비쳤기	1
-현재까지	1
-서머리그	1
-정도라면	1
-미네소타	1
-팀버울브스	1
-맞대결에선	1
-역사에서	1
-기록됐다	1
-외면했다	1
-전문매체	1
-드래프트	1
-되어있지	1
-레이커스에선	1
-혹평했다	1
-선배이자	1
-브로니라면	1
-해달라고	1
-한국문화재보존과학회	1
-총판매소	1
-인문학술원	1
-객원교수	1
-자유교양학부	1
-반도체생산설비	1
-웨이퍼마스터	1
-대표이기	1
-소프트웨어	1
-비교했다	1
-겹쳐보면	1
-즈려밟고	1
-구절에서	1
-조판해서	1
-현상이라	1
-활판인쇄	1
-한쪽으로	1
-인쇄된다	1
-평압식으로	1
-미루어봤	1
-진달래꽃	1
-학계에서	1
-초간본으로	1
-첨예하게	1
-문학서지	1
-발견했다며	1
-같습니다	1
-동참해주길	1
-몬트리올	1
-인권단체	1
-개인사정으로	1
-화상연결로	1
-강제북송	1
-증언했다	1
-국제활동팀	1
-소속으로	1
-이야기했다	1
-놀라워했다고	1
-중국에서	1
-북송시킨	1
-사과하고	1
-밝혔다고	1
-익숙하지	1
-가르쳐주고	1
-김일혁씨	1
-탈북했다	1
-유엔본부	1
-안전보장이사회	1
-비판하기	1
-지속하도록	1
-한보이스	1
-규탄하고	1
-공동성명	1
-상원의원	1
-실현된다면	1
-영구적으로	1
-선언했다	1
-조선인민군	1
-끊어버리고	1
-방어축성물로	1
-요새화하	1
-전화통지문	1
-군사훈련	1
-핵전략자산	1
-열거하며	1
-이어오고	1
-물리적으로	1
-보여주기	1
-합동참모본부	1
-현상변경	1
-좌시하지	1
-사라지고	1
-공고해지면서	1
-구축하기	1
-활성화될	1
-대응하기	1
-집중한다	1
-발표하며	1
-제시했다	1
-저장하고	1
-이동시키	1
-전체에서	1
-판매하고	1
-확장하기로	1
-주력인데	1
-미드니켈	1
-중저가형	1
-식당에게	1
-수준까지	1
-완화하겠다	1
-통제하자	1
-배달업계	1
-유력하게	1
-영세업체일수록	1
-낮춰준다	1
-구체적인	1
-확정되지	1
-않았으나	1
-수수료율까지	1
-고려하고	1
-문제의식하	1
-출범했다	1
-좁혀지지	1
-규율해야	1
-소극적인	1
-강력하게	1
-제재해야	1
-취지였다	1
-상한제란	1
-지역에선	1
-적용하고	1
-도입한다	1
-신호였다	1
-전방위적	1
-독과점적	1
-식당으로	1
-이듬해엔	1
-정률제로	1
-전환했다	1
-반박한다	1
-우버이츠	1
-저스트잇	1
-치킨이나	1
-한정됐던	1
-다양해졌다	1
-넓어졌다	1
-과점하면서	1
-증가시킨	1
-진단한다	1
-감당하지	1
-부담해서	1
-발의했지	1
-무산됐다	1
-파견검사	1
-후보자추천위	1
-구성에서	1
-상설특검법상	1
-구성된다	1
-추천하게	1
-삼부토건	1
-도이치모터스	1
-주가조작	1
-빠졌는데	1
-병행하겠다	1
-해석됐다	1
-형태인데	1
-결합될지	1
-결정된다	1
-분석하면	1
-결합하면	1
-개발이나	1
-사용된다	1
-수석연구원	1
-분석한다	1
-불과했다	1
-예측했다	1
-데이비드	1
-워싱턴대	1
-개발했고	1
-나노소재	1
-생명과학부	1
-로제타폴드	1
-주도하며	1
-연구단계	1
-해결하겠다	1
-화학물질	1
-먹어치우	1
-발생하지	1
-메탄가스	1
-화학비료	1
-농식품부	1
-계획하고	1
-기여하고	1
-무선으로	1
-로봇청소기인	1
-빨아들인	1
-걸러내고	1
-면적이나	1
-유용하다	1
-고용노동부	1
-소셜벤처경연대회	1
-최우수상	1
-해양수산부	1
-인정받았다	1
-경찰인재개발원	1
-서투르게	1
-들려왔다	1
-읽으면서	1
-고쳐줬다	1
-소화하고	1
-활성화하면서	1
-만들어달라고	1
-요청했고	1
-이수한다	1
-안팎이다	1
-투입하고	1
-범죄자들	1
-일어난다	1
-베트남으로	1
-도주했다	1
-송환됐다	1
-도피했다고	1
-수강생들	1
-한국인들	1
-다낭경찰서	1
-공안이라고	1
-무서워하	1
-한국어로	1
-친밀감이라	1
-신청하게	1
-좋아하고	1
-방탄소년단	1
-담당자인	1
-단계에서	1
-습득력들	1
-현지에서	1
-극단적으로	1
-기상학적	1
-당겨졌다	1
-늦어졌다	1
-기상학적으로	1
-여름이고	1
-빼앗기고	1
-길어지면서	1
-올라가고	1
-길어지기	1
-독해지기	1
-상승으로	1
-오전부터	1
-치솟았던	1
-원인으로	1
-등장으로	1
-색깔이기	1
-역할까지	1
-맡아가며	1
-지휘했다	1
-부위원장	1
-연출하고	1
-한국예술종합학교	1
-개막작인	1
-재미있게	1
-작년까지	1
-내우외환	1
-진행됐나	1
-프로그래머	1
-부국제밖	1
-공석이다	1
-비현실적	1
-시작해서	1
-지나치다	1
-영화제인	1
-외면하느냐	1
-자본이라서	1
-쏟아졌을까	1
-성사됐다	1
-옥외광고물법	1
-구청에서	1
-받아오면	1
-영화제라	1
-가능했던	1
-계약이기	1
-내년대로	1
-전국체전	1
-옮기기로	1
-재미없으면	1
-관객에게	1
-외면당한다	1
-떠나가게	1

assets/resources/{vocabulary_v2.csv → vocabulary.csv}

@@ -144,74 +144,4 @@
 12·12 계엄,12·3 계엄,
 진척율,진척률,
 갱신률,갱신율,
-울란바토르,울란바타르,윗층,위층,
-아랫층,아래층,
-윗쪽,위쪽,
-아랫쪽,아래쪽,
-뒷쪽,뒤쪽,
-갯수,개수,
-촛점,초점,
-댓가,대가,
-싯가,시가,
-헛점,허점,
-잇점,이점,
-숫가락,숟가락,
-깍뚜기,깍두기,
-수도물,수돗물,
-존대말,존댓말,
-인삿말,인사말,
-혼자말,혼잣말,
-노래말,노랫말,
-최소값,최솟값,
-절대값,절댓값,
-등교길,등굣길,
-하교길,하굣길,
-만두국,만둣국,
-순대국,순댓국,
-북어국,북엇국,
-뒷풀이,뒤풀이,
-오랫만,오랜만,
-오랜동안,오랫동안,
-웬지,왠지,
-왠만,웬만,
-왠일,웬일,
-왠걸,웬걸,
-금새,금세,
-어의없,어이없,
-희안하,희한하,
-곰곰히,곰곰이,
-일일히,일일이,
-틈틈히,틈틈이,
-깨끗히,깨끗이,
-몇일,며칠,
-역활,역할,
-할려고,하려고,
-귀뜸,귀띔,
-귀띰,귀띔,
-발자욱,발자국,
-눈꼽,눈곱,
-곱배기,곱빼기,
-덮히,덮이,
-덮혀,덮여,
-통채로,통째로,
-하마트면,하마터면,
-어물쩡,어물쩍,
-웅큼,움큼,
-일사분란,일사불란,
-절대절명,절체절명,
-홀홀단신,혈혈단신,
-동거동락,동고동락,
-성대묘사,성대모사,
-뒤치닥거리,뒤치다꺼리,
-안성마춤,안성맞춤,
-되물림,대물림,
-삼가하,삼가,
-첼린지,챌린지,
-리더쉽,리더십,
-멤버쉽,멤버십,
-파트너쉽,파트너십,
-컨텐츠,콘텐츠,
-메세지,메시지,
-어플리케이션,애플리케이션,
-초콜렛,초콜릿,
-팜플렛,팸플릿,
+울란바토르,울란바타르,

runner.py

@@ -1,20 +1,18 @@
-"""교열 구성(파이프라인 × 프롬프트 × 모델)을 텍스트 1건에 실행하는 프로그래매틱 러너.
-
-교열 로직을 재구현하지 않고 solar-eval 엔진을 그대로 import 한다 — 데모가
-보여주는 동작이 평가 run 과 바이트 단위로 같아야 하기 때문이다 (사본 로직은
-반드시 갈라진다). 로컬에서는 uv 워크스페이스의 solar_eval 을, HF Space 에서는
-`build_space.py` 가 벤더링한 사본을 쓴다 (sys.path 상 스크립트 옆이 먼저라
-Space 에서는 벤더 사본이 이긴다).
-
-**구성은 (pipeline, prompt, model) 한 묶음이다** — 모델만 갈아끼우는 선택지는
-두지 않는다. mini4 의 이득은 모델 교체가 아니라 파이프라인·프롬프트 구조 변경에서
-나왔고(step1 을 생성에서 판정으로, step2 를 어휘/문법으로 분할, 규칙 층 2개 추가),
-옛 combo 프롬프트에 mini4 만 꽂으면 2026-09-16 에 이관 불가 판정을 받은 그 조합이
-된다. 그래서 세 축을 `Config` 하나로 묶고, 데모는 그 구성만 노출한다.
-
-config 자산(파이프라인 yaml·프롬프트·치환 사전·화이트리스트)은
-  1. `./assets/`          — HF Space 레이아웃 (build_space.py 가 조립)
-  2. `../03-evaluation/`  — 레포 레이아웃 (로컬 개발)
+"""고객 데모(HF Space) 교열 구성을 텍스트 1건에 실행하는 프로그래매틱 러너.
+
+교열 로직을 재구현하지 않고 solar-eval 엔진을 그대로 import 한다 - 데모가 보여주는 동작이 평가 run 과
+바이트 단위로 같아야 하기 때문이다(사본 로직은 반드시 갈라진다). 로컬에서는 uv 워크스페이스의 solar_eval 을,
+HF Space 에서는 `build_space.py` 가 벤더링한 사본을 쓴다(sys.path 상 스크립트 옆이 먼저라 Space 에서는 벤더
+사본이 이긴다).
+
+구성은 (pipeline, prompt, model) 한 묶음이다. 2026-10-29 부터 FT 교열 + Opus 기사 검토
+(`pipeline_exp_261021_ft_hybrid`, 근거 `03-evaluation/insights/261021_ft_hybrid_paragraph_article.md`)
+하나만 노출한다. 기사 검토 스텝은 `timely:` 모델이라 Timely 라우터를 거친다 - `UPSTAGE_API_KEY` 와
+`TIMELY_API_KEY` 가 둘 다 있어야 한다.
+
+config 자산(파이프라인 yaml·프롬프트·치환 사전)은
+  1. `./assets/`          - HF Space 레이아웃 (build_space.py 가 조립)
+  2. `../03-evaluation/`  - 레포 레이아웃 (로컬 개발)
 순서로 찾는다.
 """
 
@@ -32,70 +30,63 @@ import yaml
 
 @dataclass(frozen=True)
 class Config:
-    """데모가 고를 수 있는 한 구성. `base` 는 pipeline 이 extends 하는 파일(번들 대상)."""
+    """데모가 노출하는 한 구성. `assets` 는 Space 번들에 들어갈 config 파일(03-evaluation 기준 상대 경로)."""
 
     label: str
     pipeline: str
     prompt: str
     model: str
     note: str
-    base: str | None = None
-
-
-#: 데모에 노출되는 구성. 지금은 하나뿐이지만 tuple 로 둔다 — `build_space.required_assets`
-#: 가 이 목록에서 번들 자산을 유도하므로, 구성이 늘어도 조립 코드를 고칠 필요가 없다.
-CONFIGS: tuple[Config, ...] = (
-    Config(
-        label="solar-mini4 파이프라인",
-        pipeline="pipeline_dev_v44",  # = v41 + document_chunking
-        prompt="prompt_dev_260917_vsplit",
-        model="solar-mini4",
-        note=(
-            "FT 교열 → 판정형 step1(5KB) → 문맥 교정 어휘/문법 2스텝 → 결정론 규칙 6층. "
-            "입력 3.3k 토큰."
-        ),
-        base="pipeline_dev_v40",
+    assets: tuple[str, ...]
+
+
+CONFIG = Config(
+    label="FT 교열 + Opus 기사 검토",
+    pipeline="pipeline_exp_261021_ft_hybrid",
+    prompt="prompt_exp_261021_ft_hybrid",
+    model="solar-pro4",  # 모델을 지정하지 않은 스텝용 기본값 - 이 구성의 LLM 스텝은 FT·Opus 를 직접 지정한다
+    note=(
+        "FT 교열 모델이 문단 묶음마다 1차 교열 → Claude Opus 가 기사 전체를 한 번 보고 FT 오교정을 되돌리고 "
+        "사실·숫자·문맥 오류를 고침 → 따옴표·율/률·후처리 규칙."
     ),
+    assets=("resources/vocabulary.csv",),
 )
 
-#: 라벨 → Config
-BY_LABEL: dict[str, Config] = {c.label: c for c in CONFIGS}
-DEFAULT_LABEL = CONFIGS[0].label
+#: 필요한 키. 기사 검토(Opus)가 Timely 를 거친다.
+REQUIRED_KEYS = ("UPSTAGE_API_KEY", "TIMELY_API_KEY")
 
-# 엔진의 StepCallback 과 같은 모양: (event, index, total, step_name, doc_chunk)
-StepCallback = Callable[[str, int, int, str, tuple[int, int] | None], None]
+# (event, index, total, step_name) - 스텝이 끝날 때마다 "done" 으로 불린다
+StepCallback = Callable[[str, int, int, str], None]
 
 
-def find_config_dir(pipeline: str) -> Path:
-    """그 파이프라인 yaml 을 실제로 가진 자산 루트. Space 번들이 레포보다 먼저다."""
+def find_config_dir() -> Path:
+    """파이프라인 yaml 을 실제로 가진 자산 루트. Space 번들��� 레포보다 먼저다."""
     here = Path(__file__).resolve().parent
     for cand in (here / "assets", here.parent / "03-evaluation"):
-        if (cand / "pipelines" / f"{pipeline}.yaml").is_file():
+        if (cand / "pipelines" / f"{CONFIG.pipeline}.yaml").is_file():
             return cand
     raise FileNotFoundError(
-        f"config 자산을 찾을 수 없습니다 — {here}/assets 또는 ../03-evaluation 에 "
-        f"pipelines/{pipeline}.yaml 이 있어야 합니다 (build_space.py 참조)."
+        f"config 자산을 찾을 수 없습니다 - {here}/assets 또는 ../03-evaluation 에 "
+        f"pipelines/{CONFIG.pipeline}.yaml 이 있어야 합니다 (build_space.py 참조)."
     )
 
 
-def build_pipeline(label: str = DEFAULT_LABEL) -> Any:
-    """구성 하나의 파이프라인 인스턴스. 앱에서 구성별로 1회 만들어 재사용한다."""
-    import solar_eval.pipelines.steps  # noqa: F401 — STEP_REGISTRY 등록
+def build_pipeline() -> Any:
+    """파이프라인 인스턴스. 앱에서 1회 만들어 재사용한다."""
+    import solar_eval.pipelines.steps  # noqa: F401 - STEP_REGISTRY 등록
     from solar_eval.core.dataset_loader import DatasetLoader
     from solar_eval.core.pipeline_compose import compose_pipeline
     from solar_eval.models.prompt_version import load_step_prompts
     from solar_eval.pipelines.registry import create_pipeline
 
-    cfg = BY_LABEL[label]
-    config_dir = find_config_dir(cfg.pipeline)
+    config_dir = find_config_dir()
     pipelines_dir = config_dir / "pipelines"
 
     def load_base(name: str) -> dict[str, Any]:
         return yaml.safe_load((pipelines_dir / f"{name}.yaml").read_text(encoding="utf-8"))
 
-    composed = compose_pipeline(load_base(cfg.pipeline), load_base=load_base)
-    prompts = load_step_prompts(config_dir / "prompts" / cfg.prompt)
-
+    composed = compose_pipeline(load_base(CONFIG.pipeline), load_base=load_base)
+    prompts = load_step_prompts(config_dir / "prompts" / CONFIG.prompt)
     return create_pipeline(
         "multi_step",
         input_fields=["original"],
@@ -111,47 +102,44 @@ def step_names(pipeline: Any) -> list[str]:
     return [step.name for step in pipeline.steps]
 
 
-async def _run_async(
-    pipeline: Any, text: str, cfg: Config, on_step: StepCallback | None
-) -> dict[str, Any]:
+async def _run_async(pipeline: Any, text: str, on_step: StepCallback | None) -> dict[str, Any]:
     from solar_eval.models.sample import EvalSample
+    from solar_eval.providers import INFERENCE_ROUTES, RoutedProvider
     from solar_eval.providers.upstage import UpstageProvider
 
+    names = step_names(pipeline)
+
+    def hook(name: str, _sample: Any, _ctx: Any) -> None:
+        if on_step is not None:
+            on_step("done", names.index(name) + 1, len(names), name)
+
     sample = EvalSample(input={"original": text})
+    provider = RoutedProvider(UpstageProvider(), {k: c() for k, c in INFERENCE_ROUTES.items()})
     start = time.monotonic()
-    # 평가 run 과 같은 조건: temp 0.0, reasoning off (60초 지연 예산 제약)
+    # 평가 run 과 같은 조건: temp 0.0, reasoning off
     result = await pipeline.run(
         sample,
         prompts="",
-        provider=UpstageProvider(),
-        model=cfg.model,
+        provider=provider,
+        model=CONFIG.model,
         temperature=0.0,
         max_tokens=8000,
         reasoning_effort=None,
-        on_step=on_step,
+        on_step=hook,
     )
-    elapsed = time.monotonic() - start
     return {
         "output": result.output,
-        "step_outputs": result.artifacts.get("step_outputs", {}),
         "usage": result.artifacts.get("usage", {}),
-        "elapsed_s": elapsed,
-        "pipeline_key": cfg.pipeline,
-        "prompt_key": cfg.prompt,
-        "model": cfg.model,
-        "config_label": cfg.label,
+        "elapsed_s": time.monotonic() - start,
+        "pipeline_key": CONFIG.pipeline,
+        "prompt_key": CONFIG.prompt,
+        "model": CONFIG.model,
     }
 
 
-def run_proofread(
-    pipeline: Any,
-    text: str,
-    label: str = DEFAULT_LABEL,
-    on_step: StepCallback | None = None,
-) -> dict[str, Any]:
-    """텍스트 1건 교열. {output, step_outputs, usage, elapsed_s, pipeline_key, prompt_key, model, config_label}.
+def run_proofread(pipeline: Any, text: str, on_step: StepCallback | None = None) -> dict[str, Any]:
+    """텍스트 1건 교열. {output, usage, elapsed_s, pipeline_key, prompt_key, model}.
 
-    `pipeline` 은 같은 `label` 로 `build_pipeline` 한 인스턴스여야 한다 — 앱이
-    구성별로 캐시한다. `on_step` 은 스텝 시작/종료와 chunk 진행마다 불린다(UI 진행 표시).
+    `on_step` 은 스텝이 끝날 때마다 ("done", 몇 번째, 전체, 스텝 이름) 으로 불린다(UI 진행 표시).
     """
-    return asyncio.run(_run_async(pipeline, text, BY_LABEL[label], on_step))
+    return asyncio.run(_run_async(pipeline, text, on_step))

solar_eval/cli/commands/compare.py

@@ -1,42 +1,105 @@
-"""Compare runs side by side."""
+"""Compare runs side by side.
+
+비교 대상 run 들의 행 선택(`run.json` `dataset.path`·`selection`·`rows_selected`)이 서로 다르면 각 run 의
+선택을 헤더에 싣고 "다른 행 집합의 점수다" 경고를 낸다(계획 2026-09-24-phase1a D19) — `--where` 슬라이스
+run 과 전체셋 run 의 점수가 같은 표에서 조용히 나란히 서지 않게. quick-run 이 직후에 부르는 compare 도
+같은 경고를 받는다. 선택이 모두 같으면 출력은 예전 그대로다.
+
+데이터셋 파일 바이트(`dataset.sha256`)만 다른 경우는 **선택 차이가 아니다** — 행 출처 키를 더한 재빌드처럼
+행 집합은 같고 바이트만 바뀔 수 있다. 그래도 정답이 바뀌었을 수 있으므로 따로 경고하고, 라벨에 sha 앞자리를
+실어 사람이 이유를 볼 수 있게 한다.
+"""
 
 import json
+from pathlib import Path
+from typing import Any
 
 import click
 from tabulate import tabulate
 
+#: 비교 대상 행 집합이 다를 때의 경고.
+DIFFERENT_ROWS_WARNING = (
+    "  ⚠ 비교 대상 run 들의 행 선택이 다릅니다 — 다른 행 집합의 점수라 직접 비교할 수 없습니다."
+)
 
-@click.command("compare")
-@click.argument("project")
-@click.option("--task", "-t", default=None, help="Filter by task name")
-@click.option(
-    "--runs",
-    "run_ids",
-    default=None,
-    help="Comma-separated run IDs to compare",
+#: 행 선택은 같은데 데이터셋 파일 바이트가 다를 때의 경고.
+DIFFERENT_BYTES_WARNING = (
+    "  ⚠ 행 선택은 같지만 데이터셋 파일(sha256)이 다릅니다 — 행 내용(정답 등)이 바뀌었을 수 있으니 "
+    "점수를 비교하기 전에 두 파일의 차이를 확인하세요."
 )
-@click.option("--last", "-n", default=None, type=int, help="Compare last N runs for a task")
-@click.pass_context
-def compare_command(ctx, project, task, run_ids, last):
-    """Compare evaluation scores across runs.
 
-    Examples:
-        solar-eval compare my-project --task ci-v1-all --last 5
-        solar-eval compare my-project --runs "run1,run2"
-    """
-    cfg = ctx.obj["config"]
-    if cfg.is_remote:
-        raise click.ClickException("Compare is local-mode only")
+#: 라벨에 싣는 sha256 앞자리 수 — legacy `prompt_sha` 표시와 맞춘다.
+SHA_DISPLAY_CHARS = 12
+
+
+def _dataset(run_meta: dict[str, Any]) -> dict[str, Any] | None:
+    dataset = run_meta.get("dataset")
+    return dataset if isinstance(dataset, dict) else None
+
+
+def _selection_signature(run_meta: dict[str, Any]) -> str | None:
+    """행 집합의 비교 키 — `dataset` 블록이 없는 옛 run 은 None(모름). 파일 바이트(sha)는 넣지 않는다."""
+    dataset = _dataset(run_meta)
+    if dataset is None:
+        return None
+    key = {
+        "path": dataset.get("path"),
+        "selection": dataset.get("selection"),
+        "rows_selected": dataset.get("rows_selected"),
+    }
+    return json.dumps(key, sort_keys=True, ensure_ascii=False)
+
+
+def _is_filtered(run_meta: dict[str, Any]) -> bool:
+    selection = (_dataset(run_meta) or {}).get("selection") or {}
+    return selection.get("where") is not None or selection.get("limit") is not None
 
-    artifacts_dir = cfg.artifacts_dir(project)
-    if not artifacts_dir.exists():
-        click.secho("No artifacts found.", fg="yellow")
-        return
 
-    # Collect runs to compare
+def _selection_label(run_meta: dict[str, Any], show_sha: bool = False) -> str:
+    """사람용 선택 표기: `where tags=a · 12/159 rows` · `all 159/159 rows` · `selection unknown`.
+
+    `show_sha` 면 ` · sha <12>` 를 덧붙인다(파일 바이트가 다른 run 들을 비교할 때).
+    """
+    dataset = _dataset(run_meta)
+    if dataset is None:
+        return "selection unknown (no dataset block)"
+    selection = dataset.get("selection") or {}
+    parts = []
+    where = selection.get("where")
+    if where:
+        parts.append("where " + " ".join(f"{k}={','.join(v)}" for k, v in sorted(where.items())))
+    if selection.get("limit") is not None:
+        parts.append(f"limit {selection['limit']}")
+    label = " ".join(parts) or "all"
+    label = f"{label} · {dataset.get('rows_selected')}/{dataset.get('rows_total')} rows"
+    sha = dataset.get("sha256")
+    if show_sha and isinstance(sha, str):
+        label = f"{label} · sha {sha[:SHA_DISPLAY_CHARS]}"
+    return label
+
+
+def selections_differ(run_metas: list[dict[str, Any]]) -> bool:
+    """비교 대상의 행 집합이 다른가 — 알려진 키가 둘 이상이거나, 모르는 run 과 필터 run 이 섞였을 때."""
+    signatures = [_selection_signature(m) for m in run_metas]
+    known = {s for s in signatures if s is not None}
+    if len(known) > 1:
+        return True
+    unknown = any(s is None for s in signatures)
+    return unknown and any(_is_filtered(m) for m in run_metas)
+
+
+def dataset_bytes_differ(run_metas: list[dict[str, Any]]) -> bool:
+    """기록된 데이터셋 sha256 이 둘 이상인가 — 행 선택과 별개로 파일 내용이 바뀌었다는 신호."""
+    shas = {(_dataset(m) or {}).get("sha256") for m in run_metas}
+    return len(shas - {None}) > 1
+
+
+def _collect_run_dirs(
+    artifacts_dir: Path, task: str | None, run_ids: str | None, last: int | None
+) -> list[Path]:
+    """비교할 run 디렉토리 — `--runs` 가 있으면 그 목록, 없으면 (태스크로 거른) 전체."""
+    run_dirs: list[Path] = []
     if run_ids:
-        # Explicit run IDs
-        run_dirs = []
         for rid in run_ids.split(","):
             rid = rid.strip()
             d = artifacts_dir / rid
@@ -45,33 +108,25 @@ def compare_command(ctx, project, task, run_ids, last):
             else:
                 click.secho(f"  Run not found: {rid}, skipping", fg="yellow")
     else:
-        # Scan all runs, optionally filtered by task
-        run_dirs = []
         for d in sorted(artifacts_dir.iterdir()):
             if not d.is_dir() or not (d / "run.json").exists():
                 continue
-            if task:
-                run_meta = json.loads((d / "run.json").read_text())
-                if run_meta.get("task") != task:
-                    continue
+            if task and json.loads((d / "run.json").read_text()).get("task") != task:
+                continue
             run_dirs.append(d)
-
     if last and last < len(run_dirs):
         run_dirs = run_dirs[-last:]
+    return run_dirs
 
-    if not run_dirs:
-        click.secho("No runs found to compare.", fg="yellow")
-        return
 
-    # Load run metadata and evaluation data
+def _load_runs_info(run_dirs: list[Path]) -> list[dict[str, Any]]:
+    """평가가 있는 run 만 (메타 + evaluation.json) 으로 읽는다."""
     runs_info = []
-    all_categories = set()
     for d in run_dirs:
-        run_meta = json.loads((d / "run.json").read_text())
         eval_file = d / "evaluation.json"
         if not eval_file.exists():
             continue
-        eval_data = json.loads(eval_file.read_text())
+        run_meta = json.loads((d / "run.json").read_text())
         runs_info.append(
             {
                 "run_id": d.name,
@@ -79,18 +134,19 @@ def compare_command(ctx, project, task, run_ids, last):
                 "model": run_meta.get("model", "-"),
                 "prompt": run_meta.get("prompt", run_meta.get("prompt_version", "-")),
                 "pipeline": run_meta.get("pipeline", "-"),
-                "eval_data": eval_data,
+                "eval_data": json.loads(eval_file.read_text()),
+                "run_meta": run_meta,
             }
         )
-        all_categories.update(eval_data.get("scores", {}).keys())
+    return runs_info
 
-    if not runs_info:
-        click.secho("No evaluation data available for comparison.", fg="yellow")
-        return
 
-    # Build comparison table
+def _score_table(runs_info: list[dict[str, Any]]) -> str:
+    """카테고리별 점수 + Overall 표."""
+    all_categories: set[str] = set()
+    for r in runs_info:
+        all_categories.update(r["eval_data"].get("scores", {}).keys())
     headers = ["Category"] + [f"{r['prompt']}/{r['model']}" for r in runs_info]
-
     rows = []
     for cat in sorted(all_categories):
         row = [cat]
@@ -98,26 +154,31 @@ def compare_command(ctx, project, task, run_ids, last):
             score = r["eval_data"].get("scores", {}).get(cat)
             row.append(f"{score:.4f}" if score is not None else "-")
         rows.append(row)
-
-    # Separator and overall row
     rows.append(["─" * 20] + ["─" * 8] * len(runs_info))
     overall_row = ["Overall"]
     for r in runs_info:
         overall = r["eval_data"].get("overall_score")
         overall_row.append(f"{overall:.4f}" if overall is not None else "-")
     rows.append(overall_row)
+    return tabulate(rows, headers=headers, tablefmt="simple")
 
-    task_label = task or "all tasks"
-    click.secho(f"\nComparison: {project}/{task_label}", fg="blue", bold=True)
 
-    # Show run details
+def _echo_run_details(runs_info: list[dict[str, Any]]) -> None:
+    """run 별 한 줄 — 행 선택이나 데이터셋 바이트가 다르면 각 run 의 선택을 함께 싣는다(D19)."""
+    metas = [r["run_meta"] for r in runs_info]
+    rows_differ = selections_differ(metas)
+    bytes_differ = dataset_bytes_differ(metas)
     for r in runs_info:
-        click.echo(f"  {r['prompt']} ({r['model']}, {r['pipeline']})")
-    click.echo()
+        label = _selection_label(r["run_meta"], show_sha=bytes_differ)
+        suffix = f" [{label}]" if rows_differ or bytes_differ else ""
+        click.echo(f"  {r['prompt']} ({r['model']}, {r['pipeline']}){suffix}")
+    if rows_differ:
+        click.secho(DIFFERENT_ROWS_WARNING, fg="yellow", bold=True)
+    elif bytes_differ:
+        click.secho(DIFFERENT_BYTES_WARNING, fg="yellow", bold=True)
 
-    click.echo(tabulate(rows, headers=headers, tablefmt="simple"))
 
-    # Highlight best
+def _echo_best(runs_info: list[dict[str, Any]]) -> None:
     best_run = max(runs_info, key=lambda r: r["eval_data"].get("overall_score", 0))
     best_score = best_run["eval_data"].get("overall_score", 0)
     click.secho(
@@ -125,3 +186,45 @@ def compare_command(ctx, project, task, run_ids, last):
         fg="green",
         bold=True,
     )
+
+
+@click.command("compare")
+@click.argument("project")
+@click.option("--task", "-t", default=None, help="Filter by task name")
+@click.option(
+    "--runs",
+    "run_ids",
+    default=None,
+    help="Comma-separated run IDs to compare",
+)
+@click.option("--last", "-n", default=None, type=int, help="Compare last N runs for a task")
+@click.pass_context
+def compare_command(ctx, project, task, run_ids, last):
+    """Compare evaluation scores across runs.
+
+    Examples:
+        solar-eval compare my-project --task ci-v1-all --last 5
+        solar-eval compare my-project --runs "run1,run2"
+    """
+    cfg = ctx.obj["config"]
+    if cfg.is_remote:
+        raise click.ClickException("Compare is local-mode only")
+
+    artifacts_dir = cfg.artifacts_dir(project)
+    if not artifacts_dir.exists():
+        click.secho("No artifacts found.", fg="yellow")
+        return
+    run_dirs = _collect_run_dirs(artifacts_dir, task, run_ids, last)
+    if not run_dirs:
+        click.secho("No runs found to compare.", fg="yellow")
+        return
+    runs_info = _load_runs_info(run_dirs)
+    if not runs_info:
+        click.secho("No evaluation data available for comparison.", fg="yellow")
+        return
+
+    click.secho(f"\nComparison: {project}/{task or 'all tasks'}", fg="blue", bold=True)
+    _echo_run_details(runs_info)
+    click.echo()
+    click.echo(_score_table(runs_info))
+    _echo_best(runs_info)

solar_eval/cli/commands/failure_keys.py

@@ -0,0 +1,143 @@
+"""추론 실패 샘플의 지문 — run.json `failed_sample_keys` (LP5 D-LP5-4 · 계획 §2.4).
+
+러너는 실패 위치(`failed_sample_indices`)와 예외 타입(`failed_sample_errors`)만 run.json 에 쓴다 — 러너 경로는
+`poc_bundle` 을 import 하지 않는다(D18). 이 모듈은 CLI 층이라 `poc_bundle.keys` 로 지문을 뜰 수 있다:
+`execute_plan` 이 러너가 **정상 반환한 뒤** 실패 위치마다 준비된 데이터셋의 원본 행에 결과 행과 같은
+`extract_input` · `extract_golden` 을 적용해 `{sample_idx, input_key, golden_key, error_type}` 를 더한다.
+
+텍스트는 싣지 않는다 — hex 지문과 타입 이름뿐이다. 계산할 수 없으면(위치가 선택 밖 · 입력이 빈 객체 ·
+JCS 가 거부하는 값) **아무것도 쓰지 않는다**(= 모름). wrap 은 그때 `failures.jsonl` 을 생략한다.
+단 재개 전 시도가 남긴 목록이 run 문서에 있으면 `[]` 로 덮는다(`record_failure_keys` — 낡은 지문을 남기지 않는다).
+경고 한 줄에는 이유만 적고 값은 적지 않는다.
+"""
+
+from __future__ import annotations
+
+import asyncio
+import inspect
+import json
+from collections.abc import Mapping
+from typing import Any
+
+import click
+
+from poc_bundle.keys import golden_key, input_key
+from poc_bundle.v11 import FAILED_SAMPLE_KEYS_KEY
+from solar_eval.core.run_records import FAILED_SAMPLE_ERRORS_KEY, extract_golden, extract_input
+
+#: `failed_sample_errors` 에 그 위치가 없을 때의 타입 이름(wrap 은 `exception:unknown` 으로 적는다).
+UNKNOWN_ERROR_TYPE = "unknown"
+
+
+class _KeysUnknown(Exception):
+    """지문을 뜰 수 없다 — 이유 한 마디만 싣는다(값은 싣지 않는다)."""
+
+
+def failure_keys(
+    run_doc: Mapping[str, Any] | None, prepared: Any, task_config: Mapping[str, Any]
+) -> list[dict[str, Any]] | None:
+    """run 문서의 실패 위치 → `failed_sample_keys` 원소들(sample_idx 순). 모르면 None.
+
+    `prepared` 는 `PreparedDataset`(또는 `selected` 가 `(원본 위치, 행)` 목록인 객체)이다.
+    실패가 없으면 `[]` 이다.
+    """
+    try:
+        indices = _failed_indices(run_doc)
+        rows = dict(prepared.selected)
+        types = _error_types(run_doc.get(FAILED_SAMPLE_ERRORS_KEY))
+        return [_entry(idx, rows, task_config, types) for idx in sorted(indices)]
+    except _KeysUnknown as unknown:
+        click.secho(f"  failure keys not recorded ({unknown})", fg="yellow", err=True)
+        return None
+
+
+def record_failure_keys(
+    store: Any, run_id: str, prepared: Any, task_config: Mapping[str, Any]
+) -> None:
+    """run 문서를 읽어 실패 지문을 계산하고 `update_run` 으로 더한다.
+
+    run 문서에 앞선 시도(재개 전)가 남긴 비지 않은 목록이 있으면 **늘 덮는다** — 저장소 `update_run` 은 병합이라
+    덮지 않으면 낡은 목록이 남는다. 새 목록이 있으면 그것으로, 실패가 없으면(`[]`, 재개가 실패를 모두 회복) `[]` 로
+    (wrap 이 0행을 쓴다), 모르면(None) 역시 `[]` 로 덮는다 — `[]` 는 비지 않은 `failed_sample_indices` 와 집합이 달라
+    wrap 이 생략(모름)하므로, 낡은 지문이 우연히 같은 위치 집합과 맞아 틀린 쌍으로 쓰이는 길이 없다.
+    낡은 목록이 없으면: 모르면 쓰지 않고, 실패가 없어도 쓰지 않는다 — 실패 없음은 `failed_sample_indices = []` 가
+    이미 말한다(성공 run 마다 run.json 을 한 번 더 쓰지 않는다). run 문서를 읽을 수 없는 저장소(`load_run_meta`
+    없음)는 모름이다.
+    """
+    loader = getattr(store, "load_run_meta", None)
+    run_doc = loader() if callable(loader) else None
+    keys = failure_keys(run_doc, prepared, task_config)
+    if _has_stale_keys(run_doc):
+        keys = keys or []
+    elif not keys:
+        return
+    pending = store.update_run(run_id, {FAILED_SAMPLE_KEYS_KEY: keys})
+    if inspect.isawaitable(pending):
+        asyncio.run(pending)
+
+
+def _has_stale_keys(run_doc: Mapping[str, Any] | None) -> bool:
+    """run 문서에 `[]` 가 아닌 `failed_sample_keys` 가 이미 있다(앞선 시도의 목록 — 모양은 따지지 않는다)."""
+    return isinstance(run_doc, Mapping) and run_doc.get(FAILED_SAMPLE_KEYS_KEY, []) != []
+
+
+def _failed_indices(run_doc: Mapping[str, Any] | None) -> list[int]:
+    if not isinstance(run_doc, Mapping):
+        raise _KeysUnknown("run document unreadable")
+    indices = run_doc.get("failed_sample_indices")
+    if not isinstance(indices, list):
+        raise _KeysUnknown("no failed_sample_indices list")
+    if not all(isinstance(i, int) and not isinstance(i, bool) and i >= 0 for i in indices):
+        raise _KeysUnknown("failed_sample_indices is not a list of positions")
+    if len(set(indices)) != len(indices):
+        raise _KeysUnknown("failed_sample_indices has duplicates")
+    return indices
+
+
+def _error_types(errors: Any) -> dict[int, str]:
+    """`failed_sample_errors` → `{sample_idx: 타입 이름}`. 모양이 틀린 원소는 건너뛴다(→ unknown)."""
+    if not isinstance(errors, list):
+        return {}
+    types: dict[int, str] = {}
+    for element in errors:
+        if not isinstance(element, Mapping):
+            continue
+        idx, name = element.get("sample_idx"), element.get("error_type")
+        if isinstance(idx, int) and not isinstance(idx, bool) and isinstance(name, str) and name:
+            types[idx] = name
+    return types
+
+
+def _entry(
+    idx: int, rows: Mapping[int, Any], task_config: Mapping[str, Any], types: Mapping[int, str]
+) -> dict[str, Any]:
+    sample = rows.get(idx)
+    if not isinstance(sample, Mapping):
+        raise _KeysUnknown("failed position outside the selection")
+    input_data = _as_stored(extract_input(sample, task_config.get("input_fields", [])))
+    if not input_data:
+        raise _KeysUnknown("empty input")
+    golden = _as_stored(extract_golden(sample, task_config))
+    try:
+        # items 규칙과 같다 — 엔진 run 의 입력 정체성은 엔진이 고른 input 객체 전체(fields=None).
+        ik, gk = input_key(input_data, None), golden_key(golden)
+    except (TypeError, ValueError) as exc:  # CanonicalizationError 는 ValueError 다
+        raise _KeysUnknown(f"input not fingerprintable: {type(exc).__name__}") from None
+    return {
+        "sample_idx": idx,
+        "input_key": ik,
+        "golden_key": gk,
+        "error_type": types.get(idx, UNKNOWN_ERROR_TYPE),
+    }
+
+
+def _as_stored(value: Any) -> Any:
+    """결과 저장소(`JsonlStore.insert_run_result`)가 쓰는 직렬화를 한 번 거친 값.
+
+    items 는 results.jsonl 을 다시 읽어 지문을 뜨므로, 같은 원본 행이면 같은 키가 나오게 같은
+    `json.dumps` 왕복을 거친다(튜플 → 목록 · 문자열이 아닌 키 → 문자열). 직렬화할 수 없으면 모름.
+    """
+    try:
+        return json.loads(json.dumps(value, ensure_ascii=False))
+    except (TypeError, ValueError) as exc:
+        raise _KeysUnknown(f"input not serializable: {type(exc).__name__}") from None

solar_eval/cli/commands/run_eval.py

@@ -0,0 +1,340 @@
+"""`solar-eval runs eval` — 새 추론 없이 디스크의 결과만 다시 채점한다 (계획 2026-09-24-phase1a D11).
+
+`runs.py` 에서 떼어 냈다(E1). 옮기면서 바뀐 것 두 가지:
+
+- evaluation.json `eval_model` 은 예전의 `"local"` 이 아니라 평가기가 보고하는 judge 모델이다
+  (judge 가 없는 lcs_diff·rule_based 는 null). 러너와 같은 규칙이다.
+- run.json 에 `snapshot` 이 있으면 `snapshot.config.evaluator_config` 를 새 평가기로 다시 쓰고
+  `config_fingerprint` 를 다시 계산하며 `provenance.re_evaluated_at` 을 남긴다 — 번들로 감쌀 때
+  평가 파일과 스냅샷이 어긋나지 않게(SPEC §4 "평가 정체성 연기"의 최소 대응, Q14).
+
+**두 경로(계획 2026-09-27 L6 §2.12 B4 · 마스터 D-M2-6).** hub 대상 lcs_diff 계열의 완료된 run 은 **run 디렉토리를 건드리지
+않는다** — 채택된 run 번들의 결과로 채점해 평가 디렉토리에 남기고 `purpose=rescore_after_fix` 채점 번들로 발행한 뒤
+(opt-in) hub 에 싣는다(`solar_eval.scoring_publish`). 그 밖(hub 대상 아님·비-lcs·미완료)은 위의 오늘 동작(in-place) +
+안내 한 줄이다. hub 대상 run 을 옛 동작으로 돌리던 탈출구 플래그는 L10 컷오버에서 지웠다(계획 2026-09-28 L10 §2.6 · D-L10-7 — 주면 click 사용
+오류, 종료 2). 종료 코드: 채점을 마쳤으면 0(발행·hub 실패와 무관), `--strict-ingest`/
+`SOLAR_EVAL_STRICT_INGEST=1` 이고 실패 다리가 있으면 3, 새 경로에서 번들이 없거나 채점을 못 했으면 1.
+
+**judge 경로(계획 2026-09-28 L12 §2.5 · D-L12-6·9·13).** 태스크 평가기가 `rubric_judge` 인 hub 대상 완료 run 은 기준별 judge 채점
+번들을 발행한다(`scoring_publish.judge`). `--purpose {primary,variance_check}` 와 `--retry-of <evaluation_run_id>` 는 이 경로에서만
+받는다(함께 쓰거나 다른 경로에서 쓰면 사용 오류, 종료 2). judge 설정은 경로 판정 전에 확인한다.
+judge 가지의 종료 코드: 발행 사전 거부 1 · retry 대상 없음 0 · 채점 뒤 실패는 위 규칙 그대로.
+"""
+
+from __future__ import annotations
+
+import asyncio
+from collections.abc import Mapping
+from datetime import datetime, timezone
+from pathlib import Path
+from typing import Any
+
+import click
+
+from solar_eval.cli.commands import run_meta as run_meta_module
+from solar_eval.cli.commands.run_meta import PREP_ERRORS, find_task, load_run
+from solar_eval.cli.formatters import format_scores
+from solar_eval.core.run_records import (
+    build_eval_detail_docs,
+    build_eval_sample_from_result,
+    build_evaluation_doc,
+)
+from solar_eval.core.snapshot import self_check, with_evaluator
+from solar_eval.hub_hook import exit_code_for
+from solar_eval.hub_hook.optin import strict_requested
+from solar_eval.hub_hook.types import LEG_PUBLISH, PUBLISH_NO_BUNDLE_PREFIX, STATUS_SKIPPED
+from solar_eval.scoring_publish import FAMILY_JUDGE, EvalJob, Route, decide_route, publish_run_eval
+from solar_eval.scoring_publish import judge as judge_publish
+from solar_eval.scoring_publish.eval_dir import REPORT_SAMPLES
+from solar_eval.scoring_publish.publish import PublishOutcome, Scored
+
+#: `--no-ingest`·`--strict-ingest` 도움말(계획 L6 §2.2 `runs eval` 행).
+NO_INGEST_HELP = "새 경로에서 hub 다리(적재)만 건너뛴다 — 평가 디렉토리·채점 번들 발행은 한다"
+STRICT_INGEST_HELP = (
+    "새 경로의 번들·발행·hub 다리가 하나라도 실패하면 종료 코드 3 (기본 0). "
+    "SOLAR_EVAL_STRICT_INGEST=1 과 같다"
+)
+#: judge 경로 옵션 도움말(계획 2026-09-28 L12 D-L12-9).
+PURPOSE_HELP = (
+    "rubric judge 채점 번들의 purpose. 기본 primary — 같은 설정의 primary 가 이미 있으면 거부한다. "
+    "같은 설정을 다시 채점해 판정 분산을 재려면 variance_check"
+)
+RETRY_OF_HELP = "이 평가 실행(evaluation_run_id, ULID)의 error 판정만 다시 부른다 — purpose=retry"
+#: judge 경로에서만 받는 옵션 — 함께 쓰거나 다른 경로에서 쓰면 사용 오류(종료 2).
+USAGE_PURPOSE_WITH_RETRY = "--purpose 와 --retry-of 는 함께 쓸 수 없다"
+USAGE_JUDGE_ONLY = "--purpose/--retry-of 는 rubric judge 채점 번들 경로에서만 쓴다"
+#: 이 run 이 judge 경로가 아닌 이유(경로 안내)가 있으면 사용 오류 뒤에 붙인다.
+USAGE_NOT_JUDGE_REASON = " — 이 run 은 judge 경로가 아니다: {notice}"
+#: judge 가지에서 채점하지 못했을 때 — 종료 1. 플래그 권유는 그 플래그가 푸는 실패에만 붙인다(아래 둘).
+JUDGE_NOT_SCORED = "채점하지 않았다 — 위 요약의 실패 다리와 그 안내를 본다"
+#: 같은 설정의 primary 가 이미 있다(`publish_judge:primary_exists`) — purpose·retry 플래그가 푸는 유일한 실패.
+JUDGE_NOT_SCORED_PRIMARY_EXISTS = (
+    f"{JUDGE_NOT_SCORED}. 같은 설정을 다시 채점하려면 --purpose variance_check, "
+    "error 만 다시 부��려면 --retry-of <evaluation_run_id>"
+)
+#: 채택된 run 번들이 없다(`publish_no_bundle:*`) — 플래그로는 풀리지 않는다.
+JUDGE_NOT_SCORED_NO_BUNDLE = f"{JUDGE_NOT_SCORED}. 채택된 run 번들이 없다 — 요약의 백필 명령으로 부류를 확인한 뒤 다시 돌린다"
+#: retry 대상이 없을 때(종료 0).
+JUDGE_RETRY_NOTHING = "다시 부를 error 판정이 없다 — 원 평가 실행의 error 가 이미 모두 풀렸다"
+
+
+def _ulid_option(ctx: click.Context, param: click.Parameter, value: str | None) -> str | None:
+    """`--retry-of` 는 ULID 모양만 받는다 — 틀리면 사용 오류(종료 2)."""
+    from poc_bundle.mirror import ULID_RE
+
+    if value is None or ULID_RE.fullmatch(value) is not None:
+        return value
+    raise click.BadParameter("evaluation_run_id 는 ULID(26자 Crockford base32)여야 한다")
+
+
+async def _score_all(evaluator, judge_provider, results) -> tuple[list[dict], list[dict]]:
+    """샘플별 채점. 채점 실패는 점수가 아니라 실패로 남긴다 — aggregate() 에는 성공분만 넘긴다."""
+    eval_results: list[dict[str, Any]] = []
+    eval_failures: list[dict[str, Any]] = []
+    for result in results:
+        # 리스트 위치가 아니라 원본 sample_idx 가 정본이다(F6).
+        sample_idx = result["sample_idx"]
+        try:
+            eval_sample = build_eval_sample_from_result(result, reference=result.get("golden"))
+            evaluator.validate_required_fields(eval_sample)
+            eval_result = await evaluator.evaluate(sample=eval_sample, provider=judge_provider)
+            eval_results.append({**eval_result, "sample_idx": sample_idx})
+        except Exception as e:
+            click.secho(f"  Sample {sample_idx} eval failed: {e}", fg="yellow")
+            eval_failures.append({"sample_idx": sample_idx, "error": str(e)})
+    return eval_results, eval_failures
+
+
+def _updated_snapshot(
+    run_meta: dict[str, Any], evaluator_config: dict[str, Any] | None, judge_provider: Any
+) -> dict[str, Any] | None:
+    """스냅샷이 있으면 새 평가기로 다시 쓴 스냅샷, 없으면 None(옛 run 에 스냅샷을 새로 쓰지 않는다).
+
+    채점 **전에** 부른다 — 기록된 스냅샷이 깨졌거나 새 평가기로 지문을 다시 뜰 수 없으면 유료 judge
+    호출을 하기 전에 멈춘다. `judge_provider` 는 이번 재채점이 실제로 쓰는 것이다 — judge 가 없던 run 을
+    llm_judge 로 다시 채점하면 그 프로바이더 모듈이 `runtime_impl_hash` 에 들어가야 한다(D7).
+    `re_evaluated_at` 은 채점이 끝난 뒤 `_stamp` 가 덮어쓴다.
+    """
+    snapshot = run_meta.get("snapshot")
+    if snapshot is None:
+        return None
+    started = datetime.now(timezone.utc).isoformat()
+    try:
+        # 기록된 스냅샷부터 검사한다 — `config` 가 없는 스냅샷이 맨 KeyError 로 죽지 않게.
+        self_check(snapshot)
+        updated = with_evaluator(
+            snapshot, evaluator_config, re_evaluated_at=started, judge_provider=judge_provider
+        )
+        self_check(updated)
+    except PREP_ERRORS as e:
+        raise click.ClickException(f"cannot update the run snapshot's evaluator: {e}") from None
+    return updated
+
+
+def _stamp(snapshot: dict[str, Any], at: str) -> dict[str, Any]:
+    """`provenance.re_evaluated_at` 을 채점이 끝난 시각으로 — provenance 는 지문 밖이다."""
+    return {**snapshot, "provenance": {**snapshot["provenance"], "re_evaluated_at": at}}
+
+
+def _make_evaluator(evaluator_config: dict[str, Any] | None):
+    """러너·스냅샷과 같은 규칙 — 키가 없을 때만 기본 평가기. 잘못된 설정은 채점 전에 멈춘다."""
+    from solar_eval.evaluators.registry import DEFAULT_EVALUATOR_CONFIG, create_evaluator
+
+    raw = DEFAULT_EVALUATOR_CONFIG if evaluator_config is None else evaluator_config
+    try:
+        return create_evaluator(raw)
+    except ValueError as e:
+        raise click.ClickException(f"invalid evaluator config: {e}") from None
+
+
+async def _evaluate_run(store, run_id, run_meta, task_config, results) -> dict[str, Any]:
+    """채점 → evaluation.json·eval_details·run.json(상태·스냅샷) 저장. 집계를 돌려준다."""
+    evaluator_config = task_config.get("evaluator")
+    evaluator = _make_evaluator(evaluator_config)
+    # judge provider 를 안 넘기면 llm_judge 계열은 전 샘플에서 실패한다 -- 그리고
+    # 그 실패가 예전엔 0점 placeholder 로 덮여 조용히 completed 로 끝났다(F8).
+    _, judge_provider = run_meta_module.make_providers(evaluator_config)
+    snapshot = _updated_snapshot(run_meta, evaluator_config, judge_provider)
+    eval_results, eval_failures = await _score_all(evaluator, judge_provider, results)
+    now = datetime.now(timezone.utc)
+    if snapshot is not None:
+        snapshot = _stamp(snapshot, now.isoformat())
+
+    aggregated = evaluator.aggregate(eval_results)
+    # eval_model = 평가기가 보고하는 judge 모델(없으�� None) — 예전의 "local" 은 거짓이었다(D11).
+    doc = build_evaluation_doc(
+        run_id, aggregated, eval_results, eval_failures, evaluator.judge_model
+    )
+    eval_id = await store.create_evaluation(doc)
+    await store.insert_eval_details(build_eval_detail_docs(eval_id, eval_results, eval_failures))
+    update: dict[str, Any] = {"status": "completed", "completed_at": now}
+    if snapshot is not None:
+        update["snapshot"] = snapshot
+    await store.update_run(run_id, update)
+    return {**aggregated, "overall_score": doc["overall_score"], "failed": len(eval_failures)}
+
+
+def _report(aggregated: Mapping[str, Any], run_dir: Path) -> None:
+    click.echo()
+    click.secho("Evaluation completed!", fg="green", bold=True)
+    overall = aggregated.get("overall_score")
+    if overall is None:
+        # 채점이 한 건도 성공하지 못했다 -- 숫자를 찍으면 "0점"으로 읽힌다.
+        click.secho("  Overall Score: 측정 없음 (전 샘플 채점 실패)", fg="red", bold=True)
+    else:
+        click.echo(f"  Overall Score: {overall:.4f}")
+    samples = aggregated.get(REPORT_SAMPLES)
+    if samples is not None:
+        click.echo(f"  Samples:       {samples} (채택된 run 번들 기준)")
+    failed = aggregated.get("failed", 0)
+    if failed:
+        click.secho(f"  채점 실패: {failed}건 (score: null 로 기록됨)", fg="yellow")
+    scores = aggregated.get("scores", {})
+    if scores:
+        click.echo(f"  Scores:        {format_scores(scores)}")
+    click.echo(f"\nResults saved to: {run_dir}/")
+
+
+@click.command("eval")
+@click.argument("project")
+@click.option("--run-id", "-r", required=True, help="Run ID to evaluate")
+@click.option("--no-ingest", is_flag=True, help=NO_INGEST_HELP)
+@click.option("--strict-ingest", is_flag=True, help=STRICT_INGEST_HELP)
+@click.option(
+    "--purpose", type=click.Choice(judge_publish.CLI_PURPOSES), default=None, help=PURPOSE_HELP
+)
+@click.option(
+    "--retry-of",
+    "retry_of",
+    default=None,
+    metavar="EVALUATION_RUN_ID",
+    callback=_ulid_option,
+    help=RETRY_OF_HELP,
+)
+@click.pass_context
+def eval_run(
+    ctx: click.Context,
+    project: str,
+    run_id: str,
+    no_ingest: bool,
+    strict_ingest: bool,
+    purpose: str | None,
+    retry_of: str | None,
+) -> None:
+    """Run evaluation only on existing inference results (no new inference)."""
+    cfg = ctx.obj["config"]
+    if cfg.is_remote:
+        raise click.ClickException("Eval is local-mode only")
+    if purpose is not None and retry_of is not None:
+        raise click.UsageError(USAGE_PURPOSE_WITH_RETRY)
+
+    run_dir, store, run_meta = load_run(cfg, project, run_id)
+    results = store.load_existing_results()
+    if not results:
+        raise click.ClickException(f"No inference results found in {run_dir}/results.jsonl")
+    task = run_meta["task"]
+    click.secho(f"Evaluating run: {run_id}", fg="blue", bold=True)
+
+    _, task_config = find_task(cfg, project, task)
+    run_meta_module.preflight_judge_config(task_config)
+    route = decide_route(cfg, project, run_dir, run_meta, task_config)
+    if route.family != FAMILY_JUDGE and (purpose is not None or retry_of is not None):
+        raise click.UsageError(_judge_only_message(route))
+    if route.target is None:
+        click.secho(f"  Task: {task}, Samples: {len(results)}", fg="blue")
+        _echo_route(route)
+        # 이전 평가를 미리 지우지 않는다(F3) -- 재평가가 실패해도 옛 점수는 남는다.
+        aggregated = asyncio.run(_evaluate_run(store, run_id, run_meta, task_config, results))
+        _report(aggregated, run_dir)
+        return
+    # 새 경로의 채점 입력은 채택된 run 번들 사본이다 — 원본 행 수(중복 포함)는 찍지 않고 채점 뒤 보고에 싣는다(리뷰 지적 4).
+    click.secho(f"  Task: {task}, Samples: 채택된 run 번들 기준(아래 보고)", fg="blue")
+    strict = strict_requested(strict_ingest)
+    judge_options = (purpose, retry_of)
+    scored, code = _publish(route, project, run_dir, task_config, no_ingest, strict, judge_options)
+    if scored is not None:
+        _report(scored.aggregated, scored.path)
+    if code:
+        ctx.exit(code)
+
+
+def _judge_only_message(route: Route) -> str:
+    """judge 전용 플래그를 다른 경로에서 쓴 사용 오류 — 경로 안내(미완료 status·대상 아님 등)가 있으면 이유로 붙인다."""
+    if route.notice is None:
+        return USAGE_JUDGE_ONLY
+    return USAGE_JUDGE_ONLY + USAGE_NOT_JUDGE_REASON.format(notice=route.notice)
+
+
+def _echo_route(route: Route) -> None:
+    """옛 경로 안내 한 줄(standalone 은 없다)."""
+    if route.notice is not None:
+        click.secho(f"  ⚠ {route.notice}", fg="blue")
+
+
+def _publish(
+    route: Route,
+    project: str,
+    run_dir: Path,
+    task_config: dict[str, Any],
+    no_ingest: bool,
+    strict: bool,
+    judge_options: tuple[str | None, str | None] = (None, None),
+) -> tuple[Scored | None, int]:
+    """새 경로(`scoring_publish.publish_run_eval`) → (채점, 종료 코드). 채점을 못 했으면 ClickException(종료 1).
+
+    `judge_options` = (`--purpose`, `--retry-of`) — judge 경로만 쓴다. judge 가지는 `_judge_outcome` 이 종료 코드를 정한다
+    (retry 대상 없음이면 채점 없이 종료 0 — 그때 채점은 None).
+    """
+    evaluator_config = task_config.get("evaluator")
+    evaluator = _make_evaluator(evaluator_config)  # 잘못된 설정은 잠금·백필 전에 멈춘다
+    _, judge_provider = run_meta_module.make_providers(evaluator_config)
+    purpose, retry_of = judge_options
+    job = EvalJob(
+        project=project,
+        run_dir_name=run_dir.name,
+        evaluator=evaluator,
+        evaluator_config=evaluator_config,
+        judge_provider=judge_provider,
+        score_all=_score_all,
+        no_ingest=no_ingest,
+        strict=strict,
+        family=route.family,
+        purpose=purpose,
+        retry_of=retry_of,
+    )
+    outcome = publish_run_eval(route.target, job)
+    if route.family == FAMILY_JUDGE:
+        return _judge_outcome(outcome, strict)
+    if outcome.scored is None:
+        raise click.ClickException(
+            "채점하지 않았다 — 위 요약의 실패 다리와 되살리기를 본다(run 디렉토리는 그대로다)"
+        )
+    return outcome.scored, exit_code_for(outcome.result, strict)
+
+
+def _judge_outcome(outcome: PublishOutcome, strict: bool) -> tuple[Scored | None, int]:
+    """judge 가지의 종료 코드(§2.5 · 검토 F8). 채점했으면 L6b 규칙(0, strict 이고 실패 다리면 3).
+
+    채점하지 못했으면: retry 대상 없음 → 안내 한 줄 뒤 (None, 0), 그 밖(발행 사전 거부·번들 없음·잠금 등) → judge 전용 문구로
+    종료 1. purpose·retry 플래그는 그것이 푸는 실패(`primary_exists`)에만 권한다 — 번들 없음·잠금 실패에는 요약의 안내를 가리킨다.
+    """
+    if outcome.scored is not None:
+        return outcome.scored, exit_code_for(outcome.result, strict)
+    leg = outcome.result.legs.get(LEG_PUBLISH)
+    code = leg.code if leg is not None else None
+    if leg is not None and (leg.status, code) == (
+        STATUS_SKIPPED,
+        judge_publish.RETRY_NOTHING_TO_DO,
+    ):
+        click.secho(f"  {JUDGE_RETRY_NOTHING}", fg="blue")
+        return None, 0
+    raise click.ClickException(_judge_not_scored_message(code))
+
+
+def _judge_not_scored_message(code: str | None) -> str:
+    """발행 다리 코드 → 종료 1 문구. 코드 문자열은 `scoring_publish.judge`·`hub_hook.types` 의 상수만 쓴다."""
+    if code == f"{judge_publish.PUBLISH_JUDGE_PREFIX}{judge_publish.JUDGE_PRIMARY_EXISTS}":
+        return JUDGE_NOT_SCORED_PRIMARY_EXISTS
+    if isinstance(code, str) and code.startswith(PUBLISH_NO_BUNDLE_PREFIX):
+        return JUDGE_NOT_SCORED_NO_BUNDLE
+    return JUDGE_NOT_SCORED

solar_eval/cli/commands/run_meta.py

@@ -0,0 +1,538 @@
+"""run 시작·resume 이 공유하는 준비 단계와 run.json 메타 조립 (계획 2026-09-24-phase1a D3·D5·D12·D17·D19).
+
+`runs start` 는 run 디렉토리를 만들기 **전에** 이 모듈로 모든 것을 정한다:
+태스크·프롬프트·파이프라인 해석 → 행 선택(`where`·`limit`) → 데이터셋 한 번 읽기 → 파이프라인 생성 →
+스냅샷(run.json `dataset`·`snapshot` 블록, 자기 검증까지). 그래서 0행 선택·라벨 누락·없는 사전·깨진 lock
+같은 오류가 빈 run 디렉토리를 남기지 않고, run.json 이 적은 sha256·스냅샷과 러너가 실제로 도는
+데이터·파이프라인이 **같은 객체**에서 나온다.
+
+resume 은 같은 조립 함수(`build_snapshot`)로 지금 디스크 기준 스냅샷을 다시 떠 설정 드리프트를 막는다(D17).
+
+`poc_bundle` import 는 이 모듈(과 `run_resume`·`run_eval`)과 `core/snapshot/**` 에서만 한다(D18).
+"""
+
+from __future__ import annotations
+
+import subprocess
+from collections.abc import Callable, Mapping, Sequence
+from dataclasses import dataclass
+from pathlib import Path
+from typing import Any
+
+import click
+from poc_bundle.data.errors import DataError
+
+from solar_eval.core.dataset_loader import DatasetLoader, LoadedJsonl
+from solar_eval.core.dataset_prep import (
+    PreparedDataset,
+    build_selection,
+    prepare_dataset,
+    reject_defaults_where,
+)
+from solar_eval.core.pipeline_factory import build_task_pipeline
+from solar_eval.core.row_filter import RowSelection, parse_cli_where
+from solar_eval.core.snapshot import EngineSnapshotInputs, build_engine_snapshot, self_check
+from solar_eval.core.snapshot import environment
+from solar_eval.core.snapshot.dataset_block import describe_dataset
+from solar_eval.evaluators.judge_config import JudgeConfigError, validate_judge_config
+
+#: run 을 시작하기 전에 사람이 읽을 메시지로 바꿔 멈추는 오류 — 행 선택·meta_fields·defaults.where
+#: (ValueError 계열), 없는 데이터셋·지식 자산(FileNotFoundError 계열), 깨진 datasets.lock(DataError).
+PREP_ERRORS: tuple[type[Exception], ...] = (ValueError, FileNotFoundError, DataError)
+
+#: 지문을 사람이 눈으로 대조할 때 보여 주는 앞자리 수 — legacy `prompt_sha` 형식과 맞춘다.
+FINGERPRINT_DISPLAY_CHARS = 12
+
+
+def resolve_prompt(prompts_dir: Path, prompt_name: str) -> Path:
+    """Resolve prompt from prompts/ directory (directory or YAML file).
+
+    Resolution order:
+    1. prompts/{name}/          (directory TXT format)
+    2. prompts/{name}.yaml      (flat YAML layout)
+    3. prompts/_library/{name}.yaml  (legacy layout)
+    """
+    dir_path = prompts_dir / prompt_name
+    if dir_path.is_dir():
+        return dir_path
+    yaml_path = prompts_dir / f"{prompt_name}.yaml"
+    if yaml_path.exists():
+        return yaml_path
+    legacy_path = prompts_dir / "_library" / f"{prompt_name}.yaml"
+    if legacy_path.exists():
+        return legacy_path
+    raise click.ClickException(
+        f"Prompt '{prompt_name}' not found. Searched:\n"
+        f"  {dir_path}/ (directory)\n"
+        f"  {yaml_path} (YAML)\n"
+        f"  {legacy_path} (legacy)"
+    )
+
+
+def resolve_pipeline_file(project_dir: Path, pipeline_name: str) -> Path:
+    """Resolve pipeline YAML from pipelines/ directory."""
+    path = project_dir / "pipelines" / f"{pipeline_name}.yaml"
+    if not path.exists():
+        raise click.ClickException(f"Pipeline '{pipeline_name}' not found: {path}")
+    return path
+
+
+def compose_pipeline_config(project_dir: Path, pipeline_name: str, overrides: dict) -> dict:
+    """파이프라인을 `extends`/override 까지 해석해 돌려준다.
+
+    조립 실패(없는 base, 없는 스텝을 가리키는 override 등)는 run 을 시작하기 전에
+    죽인다 — 효과 없는 override 로 돌아간 run 은 결론을 조용히 오염시킨다.
+    """
+    from solar_eval.core.pipeline_compose import PipelineCompositionError, compose_pipeline
+    from solar_eval.core.project_loader import load_pipeline_file
+
+    pipelines_dir = resolve_pipeline_file(project_dir, pipeline_name).parent
+    try:
+        composed = load_pipeline_file(pipelines_dir, pipeline_name)
+        if overrides:
+            composed = compose_pipeline(composed, overrides=overrides)
+        return composed
+    except (PipelineCompositionError, FileNotFoundError) as e:
+        raise click.ClickException(str(e)) from None
+
+
+def config_source(cfg, project: str) -> str:
+    """run 의 config 출처 — 레포 관리 프로젝트면 레포 상대 경로, 아니면 데이터 홈 절대 경로."""
+    config_dir = cfg.config_dir(project)
+    if cfg.is_repo_managed(project) and cfg.repo_root is not None:
+        return str(config_dir.relative_to(cfg.repo_root))
+    return str(config_dir)
+
+
+def git_commit(repo_root: Path | None) -> str | None:
+    """재현용 도장: 레포 HEAD 커밋. 작업 트리가 더러우면 '-dirty' 를 붙인다 (레포 전체 — D8 불변)."""
+    if repo_root is None:
+        return None
+    try:
+        head = subprocess.run(
+            ["git", "-C", str(repo_root), "rev-parse", "--short", "HEAD"],
+            capture_output=True,
+            text=True,
+            check=True,
+        ).stdout.strip()
+        status = subprocess.run(
+            ["git", "-C", str(repo_root), "status", "--porcelain"],
+            capture_output=True,
+            text=True,
+            check=True,
+        ).stdout.strip()
+        return f"{head}-dirty" if status else head
+    except (OSError, subprocess.CalledProcessError):
+        return None
+
+
+def find_task(cfg, project: str, task: str) -> tuple[dict[str, Any], dict[str, Any]]:
+    """로드된 프로젝트 설정과 태스크 설정. 없으면 ClickException."""
+    from solar_eval.core.project_loader import load_all_project_configs
+
+    configs = load_all_project_configs(cfg.projects_dir, cfg.config_dirs)
+    project_config = next((c for c in configs if c["name"] == project), None)
+    if not project_config:
+        raise click.ClickException(f"Project not found in {cfg.projects_dir}: {project}")
+    task_config = next((t for t in project_config.get("tasks", []) if t["name"] == task), None)
+    if not task_config:
+        raise click.ClickException(f"Task '{task}' not found in project '{project}'")
+    return project_config, task_config
+
+
+def load_run(cfg, project: str, run_id: str) -> tuple[Path, Any, dict[str, Any]]:
+    """(run 디렉토리, 스토어, run.json). 없으면 ClickException."""
+    from solar_eval.stores import JsonlStore
+
+    run_dir = cfg.artifacts_dir(project) / run_id
+    if not run_dir.exists():
+        raise click.ClickException(f"Run directory not found: {run_dir}")
+    store = JsonlStore(run_dir)
+    run_meta = store.load_run_meta()
+    if not run_meta:
+        raise click.ClickException(f"No run.json found in {run_dir}")
+    if not run_meta.get("task"):
+        raise click.ClickException("Cannot determine task from run.json")
+    return run_dir, store, run_meta
+
+
+def load_prompt(
+    prompt_path: Path,
+    model: str,
+    temperature: float,
+    max_tokens: int,
+    reasoning_effort: str | None,
+) -> tuple[dict[str, Any], str]:
+    """프롬프트 파일을 러너가 받는 dict 로 — (prompt, 포맷 `multi_step`|`single_step`)."""
+    from solar_eval.models.prompt_version import (
+        detect_prompt_format,
+        load_prompt_messages,
+        load_step_prompts,
+    )
+
+    fmt = detect_prompt_format(prompt_path)
+    if fmt == "multi_step":
+        prompt: dict[str, Any] = {"step_prompts": load_step_prompts(prompt_path)}
+    else:
+        prompt = {"messages": load_prompt_messages(prompt_path)}
+    prompt.update({"model": model, "temperature": temperature, "max_tokens": max_tokens})
+    if reasoning_effort:
+        prompt["reasoning_effort"] = reasoning_effort
+    return prompt, fmt
+
+
+def make_providers(evaluator_config: Mapping[str, Any] | None = None) -> tuple[Any, Any]:
+    """(추론 프로바이더, judge 프로바이더). 테스트는 이 함수를 바꿔 끼워 네트워크 없이 돈다.
+
+    `evaluator_config` 는 태스크의 평가기 설정(키가 없으면 None) — judge 인스턴스를 선언(`judge_provider`)으로 고르는
+    자리다(계획 2026-09-28 L12 §2.8 · D-L12-10). 선언이 없거나 판정 없는 평가기는 오늘처럼 `OpenAIProvider()` —
+    run.json 스냅샷 `provenance.providers.judge` 바이트가 바뀌지 않는다. 추론 프로바이더는 늘 `UpstageProvider()`.
+
+    Raises:
+        JudgeConfigError: 모르는 provider·합성 평가기 안의 provider 충돌.
+    """
+    from solar_eval.evaluators.judge_config import (
+        PROVIDER_OPENAI,
+        PROVIDER_UPSTAGE,
+        judge_provider_name,
+    )
+    from solar_eval.providers import UpstageProvider
+    from solar_eval.providers.openai_provider import OpenAIProvider
+
+    judge_classes = {PROVIDER_UPSTAGE: UpstageProvider, PROVIDER_OPENAI: OpenAIProvider}
+    name = judge_provider_name(evaluator_config) or PROVIDER_OPENAI
+    return UpstageProvider(), judge_classes[name]()
+
+
+def route_inference_provider(provider: Any, step_models: Sequence[str]) -> Any:
+    """스텝 모델에 라우트 접두어(`timely:<모델>`)가 하나라도 있으면 추론 제공자를 `RoutedProvider` 로 감싼다.
+
+    없으면 그대로 돌려준다 — 라우트 없는 run 의 provenance(`providers.inference` 모듈)가 예전 바이트 그대로여야 한다.
+    외부 라우트를 써도 되는가는 엔진이 아니라 case 의 데이터 정책(계약)이 정한다 — 2026-10 judge egress 정책 폐지(#353)와 같은 자리.
+    """
+    from solar_eval.providers import INFERENCE_ROUTES, RoutedProvider
+    from solar_eval.providers.routed import route_prefixes
+
+    if not route_prefixes(list(step_models), INFERENCE_ROUTES):
+        return provider
+    return RoutedProvider(provider, {k: cls() for k, cls in INFERENCE_ROUTES.items()})
+
+
+@dataclass(frozen=True)
+class RunPlan:
+    """run 하나��� 무엇으로 도는가 — run 디렉토리를 만들기 전에 전부 정해진다."""
+
+    project: str
+    task: str
+    project_config: dict[str, Any]
+    task_config: dict[str, Any]
+    prompt_name: str
+    prompt_path: Path
+    prompt_format: str
+    prompt: dict[str, Any]
+    model: str
+    temperature: float
+    max_tokens: int
+    reasoning_effort: str | None
+    pipeline_name: str
+    pipeline_config: dict[str, Any]
+    pipeline_overrides: dict[str, Any] | None
+    max_workers: int
+    dataset_loader: DatasetLoader
+    prepared: PreparedDataset
+    pipeline: Any
+    provider: Any
+    judge_provider: Any
+
+    @property
+    def selection(self) -> RowSelection | None:
+        return self.prepared.selection
+
+
+def resolve_pipeline(
+    cfg, project: str, task_config: dict[str, Any], pipeline_name: str | None, overrides: dict
+) -> tuple[dict[str, Any], str, dict[str, Any]]:
+    """(파이프라인을 얹은 task_config, 실효 파이프라인 이름, 해석된 파이프라인 dict).
+
+    `-P` 가 있으면 config 정본의 pipelines/ 에서 `extends`·`--set` 까지 해석하고, 없으면
+    project.yaml 기본값(project_loader 가 이미 해석)을 쓴다. config 는 레포 관리 프로젝트면 git
+    쪽이 정본이다. `extends` 상속과 `--set` override 는 여기서 전부 해석돼, 실행 엔진에는 완성된
+    steps 목록만 넘어간다.
+    """
+    if pipeline_name:
+        pipeline_config = compose_pipeline_config(cfg.config_dir(project), pipeline_name, overrides)
+        return {**task_config, "pipeline_config": pipeline_config}, pipeline_name, pipeline_config
+    if overrides:
+        raise click.ClickException("--set requires an explicit --pipeline/-P")
+    pc = task_config.get("pipeline_config", {})
+    effective = pc.get("name", "default") if isinstance(pc, dict) else str(pc)
+    return task_config, effective, pc if isinstance(pc, dict) else {}
+
+
+class _CheckedReader:
+    """`prepare_dataset` 에 넘기는 얇은 대리자 — 파일을 읽은 **직후**, 행을 고르기 **전에** `on_read` 를 부른다.
+
+    resume 의 데이터셋 sha 가드(D17 순서의 첫째)가 선택·라벨 검사보다 먼저 걸리게 하려는 것이다 —
+    데이터셋이 바뀌어 선택이 0행이 되면 원인은 "where 가 0행" 이 아니라 "데이터셋이 바뀌었다" 다.
+    바이트는 여전히 한 번만 읽는다(D16).
+    """
+
+    def __init__(self, loader: DatasetLoader, on_read: Callable[[LoadedJsonl], None]) -> None:
+        self._loader = loader
+        self._on_read = on_read
+
+    def read_jsonl(self, repo: str, path: str, source: str) -> LoadedJsonl:
+        loaded = self._loader.read_jsonl(repo, path, source=source)
+        self._on_read(loaded)
+        return loaded
+
+
+def _step_models(pipeline: Any) -> list[str]:
+    """파이프라인 스텝들이 명시한 모델 문자열 — 라우트 접두어 검사용(없는 스텝은 run 의 `-m` 모델 = Upstage)."""
+    return [
+        str(step.config["model"])
+        for step in getattr(pipeline, "steps", [])
+        if isinstance(getattr(step, "config", None), dict) and step.config.get("model")
+    ]
+
+
+def assemble_plan(
+    cfg,
+    selection: RowSelection | None,
+    *,
+    on_read: Callable[[LoadedJsonl], None] | None = None,
+    **fields: Any,
+) -> RunPlan:
+    """데이터셋을 한 번 읽어 고르고, 러너가 돌 파이프라인 인스턴스를 만든다(D6·D16).
+
+    `fields` 는 `RunPlan` 의 나머지 필드(project·task_config·prompt 등)다. `on_read` 는 데이터셋을
+    읽은 직후·선택 전에 불린다(resume 의 sha 가드 — 거기서 난 ClickException 은 그대로 올라간다).
+
+    judge 설정 오류는 데이터셋 읽기·파이프라인·provider 생성보다 먼저 확인한다.
+    `runs start`·`quick-run`·`runs batch`(프롬프트마다)·`runs resume` 이 모두 이 자리를 지난다.
+
+    Raises:
+        click.ClickException: judge 설정·선택·meta_fields·데이터셋·파이프라인 생성 오류(run 시작 전).
+    """
+    preflight_judge_config(fields["task_config"])
+    loader = DatasetLoader(base_dir=cfg.projects_dir)
+    reader: Any = loader if on_read is None else _CheckedReader(loader, on_read)
+    try:
+        prepared = prepare_dataset(
+            reader, fields["project_config"], fields["task_config"], selection
+        )
+        pipeline = build_task_pipeline(
+            fields["project_config"], fields["task_config"], fields["prompt"], loader
+        )
+    except PREP_ERRORS as e:
+        raise click.ClickException(str(e)) from None
+    provider, judge_provider = make_providers(fields["task_config"].get("evaluator"))
+    provider = route_inference_provider(provider, _step_models(pipeline))
+    return RunPlan(
+        dataset_loader=loader,
+        prepared=prepared,
+        pipeline=pipeline,
+        provider=provider,
+        judge_provider=judge_provider,
+        **fields,
+    )
+
+
+def preflight_judge_config(task_config: Mapping[str, Any]) -> None:
+    """Judge 설정 오류를 CLI 오류로 바꾸되 provider 는 만들지 않는다."""
+    try:
+        validate_judge_config(task_config)
+    except JudgeConfigError as exc:
+        raise click.ClickException(str(exc)) from None
+
+
+def start_options(
+    project_config: dict[str, Any],
+    task_config: dict[str, Any],
+    set_options: tuple[str, ...],
+    where: tuple[str, ...],
+    limit: int | None,
+) -> tuple[dict[str, Any], RowSelection]:
+    """(`--set` override, 행 선택) — 프롬프트와 무관한 시작 검사. `runs batch` 는 루프 전에 한 번 부른다.
+
+    Raises:
+        click.ClickException: `defaults.where`·where 문법·`--set` 문법 오류.
+    """
+    from solar_eval.core.pipeline_compose import PipelineCompositionError, parse_set_option
+
+    try:
+        reject_defaults_where(project_config)
+        overrides = parse_set_option(set_options)
+        selection = build_selection(task_config, parse_cli_where(where), limit)
+    except (PipelineCompositionError, *PREP_ERRORS) as e:
+        raise click.ClickException(str(e)) from None
+    return overrides, selection
+
+
+def plan_run(
+    cfg,
+    *,
+    project: str,
+    task: str,
+    prompt_name: str,
+    model: str,
+    pipeline_name: str | None,
+    reasoning_effort: str | None,
+    temperature: float,
+    max_tokens: int,
+    max_workers: int,
+    limit: int | None,
+    set_options: tuple[str, ...] = (),
+    where: tuple[str, ...] = (),
+) -> RunPlan:
+    """`runs start` 의 준비 단계 전부 — `reject_defaults_where` → 선택 → `prepare_dataset` →
+    `build_task_pipeline` (계획 §9 G2 순서). 모든 오류는 run 디렉토리를 만들기 전에 난다.
+    """
+    project_config, task_config = find_task(cfg, project, task)
+    overrides, selection = start_options(project_config, task_config, set_options, where, limit)
+    prompt_path = resolve_prompt(cfg.prompts_dir(project), prompt_name)
+    prompt, fmt = load_prompt(prompt_path, model, temperature, max_tokens, reasoning_effort)
+    task_config, effective, pipeline_config = resolve_pipeline(
+        cfg, project, task_config, pipeline_name, overrides
+    )
+    return assemble_plan(
+        cfg,
+        selection,
+        project=project,
+        task=task,
+        project_config=project_config,
+        task_config=task_config,
+        prompt_name=prompt_name,
+        prompt_path=prompt_path,
+        prompt_format=fmt,
+        prompt=prompt,
+        model=model,
+        temperature=temperature,
+        max_tokens=max_tokens,
+        reasoning_effort=reasoning_effort,
+        pipeline_name=effective,
+        pipeline_config=pipeline_config,
+        pipeline_overrides=overrides or None,
+        max_workers=max_workers,
+    )
+
+
+def dataset_block(cfg, plan: RunPlan) -> dict[str, Any]:
+    """run.json `dataset` 블록 — 읽은 바이트의 sha256·행 수·정규화된 선택·lock 대조(S6)."""
+    prepared = plan.prepared
+    selection = plan.selection or RowSelection()
+    try:
+        return describe_dataset(
+            sha256=prepared.sha256,
+            rows_total=prepared.rows_total,
+            rows_selected=prepared.rows_selected,
+            selection=selection.to_json(),
+            meta_fields=prepared.meta_fields,
+            task_config=plan.task_config,
+            loader_cfg=plan.project_config.get("dataset") or {},
+            config_dir=cfg.config_dir(plan.project),
+            project_name=plan.project,
+            repo_root=environment.engine_repo(),
+        )
+    except PREP_ERRORS as e:
+        raise click.ClickException(f"dataset lock check failed: {e}") from None
+
+
+def build_snapshot(
+    cfg,
+    plan: RunPlan,
+    dataset: dict[str, Any] | None,
+    *,
+    source: str | None,
+    commit: str | None,
+) -> dict[str, Any]:
+    """run.json `snapshot` 블록(engine-snapshot/v1). start 와 resume 이 같은 함수를 쓴다(D17).
+
+    Raises:
+        click.ClickException: 선언한 자원이 없거나 스냅샷이 자기 검증(D5)을 통과하지 못할 때.
+    """
+    inputs = EngineSnapshotInputs(
+        model=plan.model,
+        temperature=plan.temperature,
+        max_tokens=plan.max_tokens,
+        reasoning_effort=plan.reasoning_effort,
+        pipeline_type=plan.task_config.get("pipeline", "single_step"),
+        input_fields=plan.task_config.get("input_fields", []),
+        resolved_pipeline=plan.pipeline_config,
+        prompt_path=plan.prompt_path,
+        pipeline=plan.pipeline,
+        evaluator_config=plan.task_config.get("evaluator"),
+        inference_provider=plan.provider,
+        judge_provider=plan.judge_provider,
+        prompt_name=plan.prompt_name,
+        pipeline_name=plan.pipeline_name,
+        config_source=source,
+        git_commit=commit,
+        pipeline_overrides=plan.pipeline_overrides,
+        max_workers=plan.max_workers,
+        config_dir=cfg.config_dir(plan.project),
+        repo_managed=cfg.is_repo_managed(plan.project),
+        dataset=dataset,
+    )
+    try:
+        snapshot = build_engine_snapshot(inputs)
+        self_check(snapshot)
+    except PREP_ERRORS as e:
+        raise click.ClickException(f"cannot snapshot this run's config: {e}") from None
+    return snapshot
+
+
+def auto_note(note: str | None, plan: RunPlan) -> str | None:
+    """`--where` run 의 note 자동 기입(D19) — Experiment Hub 목록에서 전체셋 반복과 사람이 구분하게.
+
+    note 가 비면 `where tags=yul-ryul · 12/159 rows`, 사용자가 주면 그 뒤에 ` [where …]`.
+    where 가 없는 run 은 note 를 그대로 둔다(다른 run 의 run.json 바이트 불변).
+    """
+    selection = plan.selection
+    if selection is None or selection.where is None:
+        return note
+    prepared = plan.prepared
+    label = (
+        f"where {selection.where.describe()} · {prepared.rows_selected}/{prepared.rows_total} rows"
+    )
+    return f"{note} [{label}]" if note else label
+
+
+def build_run_meta(cfg, plan: RunPlan, note: str | None) -> dict[str, Any]:
+    """run.json 초기 내용 — legacy 키(값 규칙 불변, D12) 뒤에 `dataset`·`snapshot`(계획 §3.2 순서)."""
+    from solar_eval.core.fingerprint import pipeline_fingerprint, prompt_fingerprint
+
+    source = config_source(cfg, plan.project)
+    commit = git_commit(cfg.repo_root) if cfg.is_repo_managed(plan.project) else None
+    dataset = dataset_block(cfg, plan)
+    return {
+        "task": plan.task,
+        "model": plan.model,
+        "prompt": plan.prompt_name,
+        "pipeline": plan.pipeline_name,
+        "temperature": plan.temperature,
+        "max_tokens": plan.max_tokens,
+        "reasoning_effort": plan.reasoning_effort,
+        # 왜 돌렸는지 — 예전에는 별도 랩노트(experiments/*.yaml)가 담았지만 run 과 분리돼 있어
+        # 참조가 끊어지고 썩었다. run 과 같은 파일에 두면 끊어질 수가 없다. where run 은 자동 기입(D19).
+        "note": auto_note(note, plan),
+        # provenance: 이 run 의 config(프롬프트·파이프라인)가 어디서 왔는지 (W&B/DVC 식 도장)
+        "config_source": source,
+        "git_commit": commit,
+        # 내용 지문 — 이름이 아니라 내용으로 설정을 식별한다. 이름만 다른 사본,
+        # `extends` 로 조립한 것, `--set` 으로 즉석에서 만든 것이 모두 같은 값이면
+        # 같은 지문을 갖는다 (core/fingerprint.py). legacy 값 규칙 그대로(D12) — 새 지문은 snapshot 에.
+        "prompt_sha": prompt_fingerprint(plan.prompt_path),
+        "pipeline_sha": pipeline_fingerprint(plan.pipeline_config),
+        # 파일 없이 돌린 실험이면 무엇을 바꿨는지가 여기 남는다.
+        "pipeline_overrides": plan.pipeline_overrides,
+        "dataset": dataset,
+        "snapshot": build_snapshot(cfg, plan, dataset, source=source, commit=commit),
+    }
+
+
+def short_fingerprint(value: str | None) -> str:
+    """64-hex 지문을 `sha256:<12>` 로 — legacy `prompt_sha` 와 같은 모양으로 눈 대조."""
+    if not value:
+        return "-"
+    return f"sha256:{value[:FINGERPRINT_DISPLAY_CHARS]}"

solar_eval/cli/commands/run_progress.py

@@ -0,0 +1,230 @@
+"""run 실행 + 진행 표시 (Rich progress bar) — `runs start`·`runs resume` 이 공유한다.
+
+`runs.py` 가 800줄 상한을 넘어 떼어 냈다(계획 2026-09-24-phase1a E1). 동작은 옮기기 전과 같고,
+러너에 선택·준비된 데이터셋·파이프라인 인스턴스를 넘기는 인자만 더했다(D3·D6).
+"""
+
+from __future__ import annotations
+
+import asyncio
+import logging
+from typing import Any
+
+import click
+from rich.progress import BarColumn, Progress, SpinnerColumn, TextColumn, TimeElapsedColumn
+
+from solar_eval.cli.formatters import format_scores
+
+#: 진행 표시 위로 끌어올려 찍는 로거들.
+_LOG_NAMES = (
+    "solar_eval.pipelines.pipeline",
+    "solar_eval.pipelines.steps.llm",
+    "solar_eval.core.runner",
+    "solar_eval.providers.upstage",
+)
+
+
+class _ProgressView:
+    """Rich 진행 표시(가능할 때)와 평문 출력 사이를 가르는 작은 상태 묶음."""
+
+    def __init__(self) -> None:
+        from rich.console import Console
+        from rich.live import Live
+
+        self.bar = Progress(
+            SpinnerColumn(),
+            TextColumn("[progress.description]{task.description}"),
+            BarColumn(),
+            TextColumn("{task.completed}/{task.total}"),
+            TextColumn("[progress.percentage]{task.percentage:>3.0f}%"),
+            TimeElapsedColumn(),
+        )
+        self.live: Live | None = None
+        self.use_rich = True
+        self.inference_task_id: Any = None
+        self.eval_task_id: Any = None
+        self._handler: logging.Handler | None = None
+        self._closed = False
+        try:
+            self.live = Live(self.bar, console=Console(stderr=True), refresh_per_second=8)
+            self.live.start()
+        except Exception as e:  # 터미널이 Rich 를 못 받으면 평문으로 — 원인은 한 줄 남긴다.
+            click.secho(f"  (진행 표시 없이 평문으로 출력합니다: {e})", fg="yellow")
+            self.use_rich = False
+        if self.use_rich:
+            self._redirect_logs()
+
+    def _redirect_logs(self) -> None:
+        """파이프라인·러너 로그를 진행 표시 위로 올린다."""
+        from rich.text import Text
+
+        live = self.live
+
+        class _LiveLogHandler(logging.Handler):
+            def emit(self, record):
+                if live:
+                    live.console.print(Text(record.getMessage(), style="dim"))
+
+        self._handler = _LiveLogHandler()
+        for name in _LOG_NAMES:
+            lg = logging.getLogger(name)
+            lg.addHandler(self._handler)
+            lg.propagate = False
+        logging.getLogger("httpx").setLevel(logging.WARNING)
+
+    def cleanup(self) -> None:
+        """진행 표시를 닫고 로거를 되돌린다. 여러 번 불러도 된다(끝 이벤트 + finally)."""
+        if self.use_rich and self.live is not None and not self._closed:
+            self._closed = True
+            self.live.stop()
+            for name in _LOG_NAMES:
+                logging.getLogger(name).removeHandler(self._handler)
+                logging.getLogger(name).propagate = True
+
+
+def _on_inference(view: _ProgressView, etype: str, event: dict[str, Any]) -> None:
+    if etype == "dataset_loaded":
+        if view.use_rich:
+            view.inference_task_id = view.bar.add_task("Inference", total=event["total"])
+        else:
+            click.secho(f"  Dataset loaded: {event['total']} samples", fg="blue")
+    elif etype == "inference_progress":
+        if view.use_rich and view.inference_task_id is not None:
+            view.bar.update(view.inference_task_id, completed=event["completed"])
+        elif not view.use_rich:
+            c, t = event["completed"], event["total"]
+            if c % 10 == 0 or c == t:
+                click.echo(f"  Inference: {c}/{t}")
+    elif etype == "inference_complete":
+        if view.use_rich and view.inference_task_id is not None:
+            view.bar.update(view.inference_task_id, completed=event["total"])
+        else:
+            click.secho(f"  Inference complete: {event['total']} samples", fg="green")
+
+
+def _on_evaluation(view: _ProgressView, etype: str, event: dict[str, Any]) -> None:
+    if etype == "evaluation_start":
+        if view.use_rich:
+            view.eval_task_id = view.bar.add_task("Evaluation", total=event.get("total", 0) or 1)
+        else:
+            click.secho("  Starting evaluation...", fg="blue")
+    elif etype == "evaluation_progress" and view.use_rich and view.eval_task_id is not None:
+        view.bar.update(view.eval_task_id, completed=event["completed"])
+
+
+def _on_finish(view: _ProgressView, etype: str, event: dict[str, Any]) -> None:
+    if etype == "done":
+        if view.use_rich and view.eval_task_id is not None:
+            view.bar.update(view.eval_task_id, completed=view.bar.tasks[view.eval_task_id].total)
+        view.cleanup()
+        click.echo()
+        click.secho("Run completed!", fg="green", bold=True)
+        overall = event.get("overall_score")
+        if overall is not None:
+            click.echo(f"  Overall Score: {overall:.4f}")
+        scores = event.get("scores", {})
+        if scores:
+            click.echo(f"  Scores:        {format_scores(scores)}")
+    elif etype == "error":
+        view.cleanup()
+        click.echo()
+        click.secho(f"  Run failed: {event.get('error')}", fg="red", bold=True)
+
+
+def _run_with_progress(
+    runner,
+    run_id,
+    project_config,
+    task_config,
+    prompt,
+    max_workers,
+    limit,
+    completed_results: list[dict[str, Any]] | None = None,
+    selection=None,
+    prepared=None,
+    pipeline=None,
+):
+    """Execute a run with Rich progress bar display.
+
+    `completed_results` 는 resume 이 이미 끝난 샘플을 다시 돌리지 않게 하는 다리다 --
+    여기서 안 넘기면 runner 가 파라미터를 갖고 있어도 소용이 없다(F2). `selection`·`prepared`·
+    `pipeline` 은 CLI 가 run 시작 전에 정한 행 선택·데이터셋·파이프라인 인스턴스다(D3·D6).
+
+    `execute_run` 은 치명적 실패에서 raise 하므로 이 함수도 raise 한다 --
+    일부러 감싸지 않는다. "error" 이벤트가 이미 사람이 읽을 메시지를 찍었고,
+    여기서 또 감싸면 같은 내용이 두 번 나온다.
+    """
+    view = _ProgressView()
+
+    async def on_progress(event):
+        etype = event.get("type")
+        _on_inference(view, etype, event)
+        _on_evaluation(view, etype, event)
+        _on_finish(view, etype, event)
+
+    try:
+        asyncio.run(
+            runner.execute_run(
+                run_id=run_id,
+                project_config=project_config,
+                task_config=task_config,
+                prompt=prompt,
+                on_progress=on_progress,
+                max_workers=max_workers,
+                limit=limit,
+                completed_results=completed_results,
+                selection=selection,
+                prepared=prepared,
+                pipeline=pipeline,
+            )
+        )
+    finally:
+        # 끝 이벤트 없이 끝나도(러너가 이벤트 전에 죽음) 터미널·로거를 원래대로 돌린다.
+        view.cleanup()
+
+
+def execute_plan(
+    plan, run_id: str, store, completed_results: list[dict[str, Any]] | None = None
+) -> None:
+    """준비된 `RunPlan` 을 러너로 돌린다 — `runs start`·`runs resume` 공용.
+
+    러너는 plan 이 쥔 **같은 인스턴스**(준비된 데이터셋·파이프라인·프로바이더)로 돈다(D6·D16).
+    `limit` 은 `prepared.selection` 안에 있으므로 따로 넘기지 않는다.
+    """
+    from solar_eval.core.runner import BatchRunner
+
+    runner = BatchRunner(
+        store=store,
+        inference_provider=plan.provider,
+        judge_provider=plan.judge_provider,
+        dataset_loader=plan.dataset_loader,
+    )
+    _run_with_progress(
+        runner,
+        run_id,
+        plan.project_config,
+        plan.task_config,
+        plan.prompt,
+        plan.max_workers,
+        limit=None,
+        completed_results=completed_results,
+        prepared=plan.prepared,
+        pipeline=plan.pipeline,
+    )
+    # 러너가 raise 하면(FAILED) 여기 오지 않는다. 훅은 호출자가 이 함수 **뒤에** 부른다 — 순서 그대로.
+    _record_failure_keys(plan, run_id, store)
+
+
+def _record_failure_keys(plan, run_id: str, store) -> None:
+    """실패 샘플 지문을 run.json 에 더한다(LP5 D-LP5-4). 못 해도 run 은 그대로 끝난다.
+
+    실패 지문은 없어도 되는 정보다 — 없으면 wrap 이 `failures.jsonl` 을 생략(모름)한다. 그래서 도우미의
+    예외는 경고 한 줄(예외 **타입만** — 메시지는 입력 조각을 담을 수 있다)로 드러내고 run 은 계속 끝낸다.
+    `poc_bundle` 은 여기서 처음 import 한다 — CLI 를 띄우는 것만으로 번들 계층을 싣지 않는다.
+    """
+    from solar_eval.cli.commands import failure_keys
+
+    try:
+        failure_keys.record_failure_keys(store, run_id, plan.prepared, plan.task_config)
+    except Exception as exc:  # 실패 지문은 선택 정보 — run 을 실패로 만들지 않는다(계획 §2.4)
+        click.secho(f"  failure keys not recorded ({type(exc).__name__})", fg="yellow")

solar_eval/cli/commands/run_resume.py

@@ -0,0 +1,298 @@
+"""`solar-eval runs resume` — 끊긴 run 을 이어 돌린다 (계획 2026-09-24-phase1a D3·D17).
+
+`runs.py` 에서 떼어 냈다(E1). resume 은 **run.json 이 기록한 것**으로 이어 간다 — 지금의 project.yaml·CLI 에서
+선택을 다시 만들지 않는다. 러너 호출 **전에** 네 가드를 차례로 건다(실패해도 results 가 늘지 않는다):
+
+1. 데이터셋 sha 가드 — 읽은 파일 sha256 이 run.json `dataset.sha256` 과 다르면 멈춘다. 파일을 읽은
+   직후·행을 고르기 전에 건다 — 바뀐 데이터셋이 선택·라벨 오류로 잘못 보고되지 않게.
+2. 설정 드리프트 가드 — 시작 때와 같은 조립 함수로 지금 디스크 기준 스냅샷을 다시 떠
+   `config_fingerprint` 가 다르면 멈춘다. 우회 플래그는 없다 — 두 설정이 섞인 results 가 한 스냅샷 아래
+   묶이는 것이 이 가드가 막는 거짓 그 자체다(검토 F2·M4).
+3. 선택 밖 idx 가드 — 이미 끝난 `sample_idx` 가 선택 밖이면 멈춘다.
+4. 정답 키 가드 — 끝난 행의 저장된 `golden`·`input` 이 지금 태스크 설정(`golden_field`·`golden_fields`·
+   `input_fields`)으로 뽑은 값과 다르면 멈춘다. `golden_field` 는 지문에도 sha 에도 들어가지 않기 때문이다.
+
+config 가 같으면 `snapshot.provenance.resumes` 에 이번 엔진 상태를 덧붙이고(dirty OR, 트리 해시가 바뀌면
+`resumed_with_engine_change`) 이어 간다. `dataset`·`snapshot` 블록이 없는 옛 run 은 오늘처럼 전체 행으로 이어
+가고 경고만 남긴다 — 시작 시점 설정을 모르므로 스냅샷을 새로 쓰지 않는다.
+
+끝나면 `runs start` 와 같은 run 종료 훅(`hub_hook.run_hook`, command=`resume`)을 부른다(계획 2026-09-27 L6a §2.2) —
+`--no-ingest` 는 훅 전체를 건너뛰고, `--strict-ingest`(또는 `SOLAR_EVAL_STRICT_INGEST=1`)면 실패 다리가 있을 때 종료 3.
+스모크 판정은 run.json 이 기록한 선택(`dataset.selection.limit`)으로 한다(D-L6-10).
+"""
+
+from __future__ import annotations
+
+import asyncio
+from datetime import datetime, timezone
+from pathlib import Path
+from typing import Any
+
+import click
+
+from solar_eval.cli.commands.run_meta import (
+    PREP_ERRORS,
+    RunPlan,
+    assemble_plan,
+    build_snapshot,
+    compose_pipeline_config,
+    config_source,
+    find_task,
+    git_commit,
+    load_prompt,
+    load_run,
+    resolve_prompt,
+)
+from solar_eval.cli.commands.run_progress import execute_plan
+from solar_eval.core.dataset_prep import check_resume_indices
+from solar_eval.core.row_filter import RowSelection, format_indices
+from solar_eval.core.run_records import extract_golden, extract_input
+from solar_eval.core.snapshot import config_diff_keys
+from solar_eval.core.snapshot.reproducibility import merge_resume
+from solar_eval.hub_hook import HookOptions, exit_code_for, run_hook
+from solar_eval.hub_hook.optin import strict_requested
+from solar_eval.hub_hook.target import is_smoke_run
+
+
+def _recorded_selection(run_meta: dict[str, Any]) -> RowSelection | None:
+    """run.json 이 기록한 선택. `dataset` 블록이 없는 옛 run 은 None(전체 — 오늘 동작)."""
+    dataset = run_meta.get("dataset")
+    if dataset is None:
+        return None
+    try:
+        return RowSelection.from_json(dataset.get("selection") or {"where": None, "limit": None})
+    except PREP_ERRORS as e:
+        raise click.ClickException(f"run.json dataset.selection is invalid: {e}") from None
+
+
+def _resume_task_config(run_meta: dict[str, Any], task_config: dict[str, Any]) -> dict[str, Any]:
+    """run.json 이 기록한 `meta_fields` 로 맞춘다 — 한 run 의 results 행 모양이 섞이지 않게.
+
+    `dataset` 블록이 없는 옛 run 은 `meta_fields` 가 없던 시절 run 이라 meta 를 싣지 않는다.
+    """
+    dataset = run_meta.get("dataset")
+    recorded = dataset.get("meta_fields") if dataset is not None else None
+    base = {k: v for k, v in task_config.items() if k != "meta_fields"}
+    return {**base, "meta_fields": list(recorded)} if recorded else base
+
+
+def _resume_prompt(cfg, project: str, run_meta: dict[str, Any]) -> dict[str, Any]:
+    """run.json 의 프롬프트 이름·모델·파라미터로 러너 prompt 를 다시 만든다(현재 파일 기준)."""
+    prompt_name = run_meta.get("prompt")
+    if not prompt_name:
+        raise click.ClickException(
+            "Cannot determine prompt from run.json. Only runs created with the new CLI can be resumed."
+        )
+    model = run_meta.get("model", "solar-pro2")
+    temperature = run_meta.get("temperature", 0.0)
+    max_tokens = run_meta.get("max_tokens", 4000)
+    effort = run_meta.get("reasoning_effort")
+    prompt_path = resolve_prompt(cfg.prompts_dir(project), prompt_name)
+    prompt, fmt = load_prompt(prompt_path, model, temperature, max_tokens, effort)
+    return {
+        "prompt_name": prompt_name,
+        "prompt_path": prompt_path,
+        "prompt_format": fmt,
+        "prompt": prompt,
+        "model": model,
+        "temperature": temperature,
+        "max_tokens": max_tokens,
+        "reasoning_effort": effort,
+    }
+
+
+def _resume_pipeline(
+    cfg, project: str, run_meta: dict[str, Any], task_config: dict[str, Any]
+) -> dict[str, Any]:
+    """run.json 의 파이프라인 이름(+`--set` overrides)으로 파이프라인을 다시 해석한다."""
+    overrides = run_meta.get("pipeline_overrides") or {}
+    pipeline_name = run_meta.get("pipeline") or "default"
+    if pipeline_name != "default":
+        # 원래 run 이 `--set` 으로 바꿔 돌린 것이면 그 override 까지 복원해야 같은 설정이다.
+        pipeline_config = compose_pipeline_config(cfg.config_dir(project), pipeline_name, overrides)
+        task_config = {**task_config, "pipeline_config": pipeline_config}
+    else:
+        pc = task_config.get("pipeline_config")
+        pipeline_config = pc if isinstance(pc, dict) else {}
+    return {
+        "task_config": task_config,
+        "pipeline_name": pipeline_name,
+        "pipeline_config": pipeline_config,
+        "pipeline_overrides": overrides or None,
+    }
+
+
+def _plan_resume(
+    cfg, project: str, run_meta: dict[str, Any], max_workers: int
+) -> tuple[RunPlan, RowSelection | None]:
+    """run.json 의 모델·프롬프트·파이프라인(+overrides)·선택으로 실행 계획을 다시 만든다.
+
+    데이터셋 sha 가드는 파일을 읽은 직후·행을 고르기 전에 건다(`on_read`) — 데이터셋이 바뀌어
+    선택이 0행이 되거나 라벨이 빠졌을 때 "where 가 틀렸다" 가 아니라 원인을 알린다(D17 순서).
+    """
+    project_config, task_config = find_task(cfg, project, run_meta["task"])
+    task_config = _resume_task_config(run_meta, task_config)
+    selection = _recorded_selection(run_meta)
+    plan = assemble_plan(
+        cfg,
+        selection,
+        on_read=lambda loaded: _guard_dataset_sha(loaded.sha256, run_meta),
+        project=project,
+        task=run_meta["task"],
+        project_config=project_config,
+        max_workers=max_workers,
+        **_resume_prompt(cfg, project, run_meta),
+        **_resume_pipeline(cfg, project, run_meta, task_config),
+    )
+    return plan, selection
+
+
+def _guard_dataset_sha(current: str, run_meta: dict[str, Any]) -> None:
+    recorded = (run_meta.get("dataset") or {}).get("sha256")
+    if recorded is not None and recorded != current:
+        raise click.ClickException(
+            "the dataset changed since the run started "
+            f"(sha256 {recorded[:12]}… → {current[:12]}…) — start a new run"
+        )
+
+
+def _guard_config_drift(cfg, plan: RunPlan, run_meta: dict[str, Any]) -> dict[str, Any] | None:
+    """지금 디스크 기준 스냅샷을 다시 떠 지문을 대조한다. 같으면 resume 을 반영한 새 스냅샷(D17)."""
+    snapshot = run_meta.get("snapshot")
+    if snapshot is None:
+        click.secho(
+            "  ⚠ run.json 에 snapshot 이 없는 옛 run 입니다 — 설정 드리프트를 검사하지 못하고 이어 갑니다.",
+            fg="yellow",
+        )
+        return None
+    current = build_snapshot(
+        cfg,
+        plan,
+        run_meta.get("dataset"),
+        source=config_source(cfg, plan.project),
+        commit=git_commit(cfg.repo_root) if cfg.is_repo_managed(plan.project) else None,
+    )
+    if current["config_fingerprint"] != snapshot.get("config_fingerprint"):
+        changed = config_diff_keys(snapshot.get("config") or {}, current["config"])
+        raise click.ClickException(
+            f"the run's config changed since it started: {', '.join(changed) or '?'} "
+            "— start a new run (mixing two configs in one run is not allowed)"
+        )
+    at = datetime.now(timezone.utc).isoformat()
+    return merge_resume(snapshot, current["provenance"]["engine"], at)
+
+
+def _guard_selection(plan: RunPlan, completed_indices: set[int]) -> None:
+    try:
+        check_resume_indices(plan.prepared, completed_indices)
+    except PREP_ERRORS as e:
+        raise click.ClickException(str(e)) from None
+
+
+def _drifted_rows(plan: RunPlan, completed_results: list[dict[str, Any]]) -> list[int]:
+    """이미 끝난 행 중 저장된 `input`·`golden` 이 지금 태스크 설정으로 뽑은 값과 다른 sample_idx."""
+    records = plan.prepared.loaded.records
+    input_fields = plan.task_config.get("input_fields", [])
+    drifted = set()
+    for result in completed_results:
+        row = records[result["sample_idx"]]
+        if "golden" in result and result["golden"] != extract_golden(row, plan.task_config):
+            drifted.add(result["sample_idx"])
+        if "input" in result and result["input"] != extract_input(row, input_fields):
+            drifted.add(result["sample_idx"])
+    return sorted(drifted)
+
+
+def _guard_answer_key(plan: RunPlan, completed_results: list[dict[str, Any]]) -> None:
+    """정답 키(`golden_field`·`golden_fields`)·입력 필드가 run 시작 뒤 바뀌었으면 멈춘다(D17 보강).
+
+    `golden_field` 는 스냅샷 config 에도 run.json `dataset` 블록에도 없어 지문·sha 가드를 지나간다 —
+    그대로 이어 가면 한 run 에 두 정답 키가 섞이고, 끝난 행까지 새 정답으로 채점돼 results 의 `golden`
+    과 점수가 어긋난다. 그래서 저장된 값과 지금 뽑은 값을 행마다 직접 대조한다(옛 run 도 같은 규칙).
+    선택 밖 idx 가드 뒤에 부른다 — 끝난 idx 가 모두 파일 안에 있다.
+    """
+    drifted = _drifted_rows(plan, completed_results)
+    if drifted:
+        raise click.ClickException(
+            "the task's answer key or input fields changed since the run started "
+            f"(stored golden/input differs for {format_indices(drifted)}) — start a new run"
+        )
+
+
+@click.command("resume")
+@click.argument("project")
+@click.option("--run-id", "-r", required=True, help="Run ID to resume")
+@click.option("--max-workers", "-w", default=5, type=int, help="Max parallel workers")
+@click.option(
+    "--no-ingest",
+    is_flag=True,
+    help="run 이 끝난 뒤 hub 훅(번들·hub 적재)을 통째로 건너뛴다 — 되살리는 명령을 한 줄로 알려 준다",
+)
+@click.option(
+    "--strict-ingest",
+    is_flag=True,
+    help="hub 훅 다리가 하나라도 실패하면 종료 코드 3 (기본 0). SOLAR_EVAL_STRICT_INGEST=1 과 같다",
+)
+@click.pass_context
+def resume_run(
+    ctx: click.Context,
+    project: str,
+    run_id: str,
+    max_workers: int,
+    no_ingest: bool,
+    strict_ingest: bool,
+) -> None:
+    """Resume an interrupted evaluation run."""
+    cfg = ctx.obj["config"]
+    if cfg.is_remote:
+        raise click.ClickException("Resume is local-mode only")
+    run_dir, store, run_meta = load_run(cfg, project, run_id)
+    if run_meta.get("status", "unknown") == "completed":
+        raise click.ClickException(f"Run {run_id} is already completed. Nothing to resume.")
+
+    existing_results = store.load_existing_results()
+    completed = {r["sample_idx"] for r in existing_results}
+    click.secho(f"Resuming run: {run_id}", fg="blue", bold=True)
+    click.secho(
+        f"  Task: {run_meta['task']}, Already completed: {len(completed)} samples", fg="blue"
+    )
+
+    plan, selection = _plan_resume(cfg, project, run_meta, max_workers)
+    if selection is None:
+        click.secho(
+            "  ⚠ run.json 에 dataset 블록이 없는 옛 run — 전체 행으로 이어 갑니다.", fg="yellow"
+        )
+    # 순서: 데이터셋 sha(읽는 즉시, _plan_resume 안) → 설정 드리프트 → 선택 밖 idx → 정답 키 (D17).
+    # 모두 러너 호출 전이라 실패해도 results 가 늘지 않는다.
+    merged = _guard_config_drift(cfg, plan, run_meta)
+    _guard_selection(plan, completed)
+    _guard_answer_key(plan, existing_results)
+    if merged is not None:
+        asyncio.run(store.update_run(run_id, {"snapshot": merged}))
+    click.secho(f"  Model: {plan.model}", fg="blue")
+
+    # 이전 평가를 미리 지우지 않는다(F3) -- create_evaluation() 이 원자적 교체라 안전하다.
+    # 이미 끝난 샘플은 건너뛴다 -- completed_results 를 안 넘기면 resume 이 전 샘플을 다시 유료
+    # 호출하고 results.jsonl 에 같은 sample_idx 를 중복 append 한다(F2).
+    execute_plan(plan, run_id, store, completed_results=existing_results)
+    click.echo(f"\nResults saved to: {run_dir}/")
+    _finish_with_hook(ctx, project, run_dir, run_meta, no_ingest, strict_ingest)
+
+
+def _finish_with_hook(
+    ctx: click.Context,
+    project: str,
+    run_dir: Path,
+    run_meta: dict[str, Any],
+    no_ingest: bool,
+    strict_ingest: bool,
+) -> None:
+    """run 종료 훅(command=`resume`). 스모크는 run.json 이 기록한 선택으로 본다(D-L6-10)."""
+    strict = strict_requested(strict_ingest)
+    options = HookOptions(
+        command="resume", no_ingest=no_ingest, strict=strict, smoke=is_smoke_run(run_meta)
+    )
+    # 훅 실패는 기본 종료 0 — strict 에서만 3(D-L6-11 · 마스터 D-M2-3).
+    code = exit_code_for(run_hook(ctx.obj["config"], project, run_dir, options), strict)
+    if code:
+        ctx.exit(code)

solar_eval/cli/commands/runs.py

@@ -1,23 +1,41 @@
-"""Run management commands — local execution."""
+"""Run management commands — local execution.
+
+`resume`·`eval` 명령과 진행 표시·run 준비(run.json 메타) 는 800줄 상한 때문에 옆 모듈로 떼어 냈다
+(계획 2026-09-24-phase1a E1): `run_resume`·`run_eval`·`run_progress`·`run_meta`. 이 모듈은 `list`·`start`·
+`batch`·`results` 와 run 디렉토리 할당을 맡는다. run 이 끝난 뒤의 적재는 `solar_eval.hub_hook` 훅이 한다
+(계획 2026-09-27 L6a — 번들 다리 → hub 다리, 레거시 적재는 부르지 않는다: 마스터 D-M2-4 (b)).
+"""
 
-import asyncio
 import json
-import subprocess
 import time
+from dataclasses import replace
 from datetime import datetime
 from pathlib import Path
 from typing import Any
 
 import click
-from rich.progress import Progress, SpinnerColumn, BarColumn, TextColumn, TimeElapsedColumn
 
 from solar_eval.cli.commands.projects import _resolve_project_id
-from solar_eval.cli.formatters import format_runs_table, format_results_table, format_scores
-
-
-#: run 이 끝난 뒤 자동 적재에 허용하는 시간. 전체 아카이브가 아니라 프로젝트 하나만
-#: 적재하므로 보통 수 초면 끝난다 — 넘어가면 뭔가 잘못된 것이라 기다리지 않는다.
-INGEST_TIMEOUT_SECONDS = 180
+from solar_eval.cli.commands.run_eval import eval_run
+from solar_eval.cli.commands.run_meta import find_task, preflight_judge_config, start_options
+from solar_eval.cli.commands.run_meta import resolve_prompt as _resolve_prompt  # noqa: F401 -- prompts.py 가 쓴다
+from solar_eval.cli.commands.run_progress import execute_plan
+from solar_eval.cli.commands.run_resume import resume_run
+from solar_eval.cli.formatters import format_results_table, format_runs_table
+from solar_eval.hub_hook import HookOptions, HookResult, exit_code_for, finish_batch, run_hook
+from solar_eval.hub_hook.console import echo_batch_summary
+from solar_eval.hub_hook.optin import strict_requested
+from solar_eval.hub_hook.target import is_smoke_run
+from solar_eval.hub_hook.types import (
+    BATCH_PENDING,
+    COMMAND_BATCH,
+    LEG_BUNDLE,
+    LEG_HUB,
+    NO_BUNDLE,
+    HookMode,
+    LegResult,
+    bundle_ready,
+)
 
 
 @click.group("runs")
@@ -25,6 +43,31 @@ def runs_group() -> None:
     """Manage evaluation runs."""
 
 
+#: `--where` 옵션 도움말 — start·batch 가 같은 문법을 쓴다(계획 D1).
+WHERE_HELP = (
+    "행 필터 key=v1,v2 (반복 가능, AND). tags 는 모두 가진 행, category 는 목록 중 하나. "
+    "예: --where tags=yul-ryul --where category=a,b"
+)
+
+#: `--no-ingest`·`--strict-ingest` 도움말 — start·resume 이 같은 뜻으로 쓴다(계획 L6 §2.2).
+NO_INGEST_HELP = (
+    "run 이 끝난 뒤 hub 훅(번들·hub 적재)을 통째로 건너뛴다 — 되살리는 명령을 한 줄로 알려 준다"
+)
+STRICT_INGEST_HELP = (
+    "hub 훅 다리가 하나라도 실패하면 종료 코드 3 (기본은 0 — run 결과는 디스크에 있다). "
+    "SOLAR_EVAL_STRICT_INGEST=1 과 같다"
+)
+
+#: Experiment Hub 묶음 지문이 선택을 보지 않는다는 경고(계획 D19 · §11-2).
+FILTERED_RUN_EXPERIMENT_HUB_WARNING = (
+    "  ⚠ Experiment Hub 는 아직 필터 run 을 같은 태스크 전체셋의 '같은 설정 반복' 과 구분하지 못합니다 "
+    "(§11-2) — 이 run 의 점수는 위 CLI 출력과 note 로 읽으세요."
+)
+
+#: rubric judge 태스크의 `runs start` 뒤 안내(계획 2026-09-28 L12 D-L12-6) — in-run 은 레거시 채점만, 채점 번들은 `runs eval` 이 낸다.
+JUDGE_BUNDLE_HINT = "judge 채점 번들은 `solar-eval runs eval {project} -r {run}` 이 발행한다"
+
+
 @runs_group.command("list")
 @click.argument("project")
 @click.option("--task", "-t", default=None, help="Filter by task name")
@@ -102,7 +145,7 @@ def list_runs(ctx: click.Context, project: str, task: str | None) -> None:
 @click.option(
     "--note",
     default=None,
-    help="이 run 을 왜 돌리는지 한 줄 (run.json 에 기록되고 evalhub 가 그대로 읽는다)",
+    help="이 run 을 왜 돌리는지 한 줄 (run.json 에 기록되고 Experiment Hub 가 그대로 읽는다)",
 )
 @click.option(
     "--set",
@@ -114,28 +157,11 @@ def list_runs(ctx: click.Context, project: str, task: str | None) -> None:
         "예: --set steps.basic_correction.reasoning_effort=high. 여러 번 쓸 수 있다."
     ),
 )
-@click.option(
-    "--no-ingest",
-    is_flag=True,
-    help="run 이 끝난 뒤 evalhub 자동 적재를 건너뛴다 (여러 run 을 돌리고 한 번에 적재할 때)",
-)
+@click.option("--no-ingest", is_flag=True, help=NO_INGEST_HELP)
+@click.option("--strict-ingest", is_flag=True, help=STRICT_INGEST_HELP)
+@click.option("--where", "where", multiple=True, metavar="KEY=V1,V2", help=WHERE_HELP)
 @click.pass_context
-def start_run(
-    ctx: click.Context,
-    project: str,
-    task: str,
-    prompt_name: str,
-    model: str,
-    pipeline_name: str | None,
-    reasoning_effort: str | None,
-    temperature: float,
-    max_tokens: int,
-    max_workers: int,
-    limit: int | None,
-    note: str | None,
-    set_options: tuple[str, ...],
-    no_ingest: bool,
-) -> None:
+def start_run(ctx: click.Context, project: str, **options: Any) -> None:
     """Start an evaluation run.
 
     Example:
@@ -147,80 +173,17 @@ def start_run(
             -p prompt_dev_v23 -m solar-pro3 -P pipeline_dev_v24 \\
             --set steps.basic_correction.repeat_temperatures='[0.0, 0.5]' \\
             --note "SC 온도 폭 스윕"
-    """
-    cfg = ctx.obj["config"]
-
-    _start_local(
-        cfg,
-        project=project,
-        task=task,
-        prompt_name=prompt_name,
-        model=model,
-        pipeline_name=pipeline_name,
-        reasoning_effort=reasoning_effort,
-        temperature=temperature,
-        max_tokens=max_tokens,
-        max_workers=max_workers,
-        limit=limit,
-        note=note,
-        set_options=set_options,
-        no_ingest=no_ingest,
-    )
-
-
-def _resolve_prompt(prompts_dir: Path, prompt_name: str) -> Path:
-    """Resolve prompt from prompts/ directory (directory or YAML file).
 
-    Resolution order:
-    1. prompts/{name}/          (directory TXT format)
-    2. prompts/{name}.yaml      (flat YAML layout)
-    3. prompts/_library/{name}.yaml  (legacy layout)
+        solar-eval runs start chosun-proofreading -t ci-v2-all \\
+            -p prompt_prod_251231 -m solar-pro3 --where tags=yul-ryul
     """
-    # Directory TXT format (new)
-    dir_path = prompts_dir / prompt_name
-    if dir_path.is_dir():
-        return dir_path
-    # Flat YAML layout
-    yaml_path = prompts_dir / f"{prompt_name}.yaml"
-    if yaml_path.exists():
-        return yaml_path
-    # Legacy _library layout
-    legacy_path = prompts_dir / "_library" / f"{prompt_name}.yaml"
-    if legacy_path.exists():
-        return legacy_path
-    raise click.ClickException(
-        f"Prompt '{prompt_name}' not found. Searched:\n"
-        f"  {dir_path}/ (directory)\n"
-        f"  {yaml_path} (YAML)\n"
-        f"  {legacy_path} (legacy)"
-    )
-
-
-def _resolve_pipeline_file(project_dir: Path, pipeline_name: str) -> Path:
-    """Resolve pipeline YAML from pipelines/ directory."""
-    path = project_dir / "pipelines" / f"{pipeline_name}.yaml"
-    if not path.exists():
-        raise click.ClickException(f"Pipeline '{pipeline_name}' not found: {path}")
-    return path
-
-
-def _compose_pipeline_config(project_dir: Path, pipeline_name: str, overrides: dict) -> dict:
-    """파이프라인을 `extends`/override 까지 해석해 돌려준다.
-
-    조립 실패(없는 base, 없는 스텝을 가리키는 override 등)는 run 을 시작하기 전에
-    죽인다 — 효과 없는 override 로 돌아간 run 은 결론을 조용히 오염시킨다.
-    """
-    from solar_eval.core.pipeline_compose import PipelineCompositionError, compose_pipeline
-    from solar_eval.core.project_loader import load_pipeline_file
-
-    pipelines_dir = _resolve_pipeline_file(project_dir, pipeline_name).parent
-    try:
-        composed = load_pipeline_file(pipelines_dir, pipeline_name)
-        if overrides:
-            composed = compose_pipeline(composed, overrides=overrides)
-        return composed
-    except (PipelineCompositionError, FileNotFoundError) as e:
-        raise click.ClickException(str(e)) from None
+    # click 옵션 이름이 `_start_local` 키워드 인자 이름과 같다 — 그대로 넘긴다.
+    strict = strict_requested(options.pop("strict_ingest"))
+    result = _start_local(ctx.obj["config"], project=project, strict_ingest=strict, **options)
+    # 훅 실패는 기본 종료 0 — strict 에서만 3(D-L6-11 · 마스터 D-M2-3).
+    code = exit_code_for(result, strict)
+    if code:
+        ctx.exit(code)
 
 
 def _build_run_name(task: str, pipeline_name: str, prompt_name: str) -> str:
@@ -241,7 +204,7 @@ def _make_run_dir(
     같은 초에 같은 (task, pipeline, prompt) 조합으로 두 run 이 시작되면
     `_build_run_name` 이 같은 이름을 낸다. `mkdir(exist_ok=False)` 를 쓰면 두 프로세스가
     동시에 같은 이름으로 mkdir 해도 정확히 하나만 성공하고, 진 쪽은 새 타임스탬프로
-    재시도한다 — 파일 포맷 자체는 안 바꾸므로 evalhub 의 run_id 파싱과 호환된다.
+    재시도한다 — 파일 포맷 자체는 안 바꾸므로 Experiment Hub 의 run_id 파싱과 호환된다.
     """
     for _ in range(_RUN_DIR_MAX_ATTEMPTS):
         run_name = _build_run_name(task, pipeline_name, prompt_name)
@@ -254,254 +217,104 @@ def _make_run_dir(
     raise click.ClickException(f"Could not allocate a unique run directory under {artifacts_dir}")
 
 
-def _config_source(cfg, project: str) -> str:
-    """run 의 config 출처 — 레포 관리 프로젝트면 레포 상대 경로, 아니면 데이터 홈 절대 경로."""
-    config_dir = cfg.config_dir(project)
-    if cfg.is_repo_managed(project) and cfg.repo_root is not None:
-        return str(config_dir.relative_to(cfg.repo_root))
-    return str(config_dir)
-
-
-def _git_commit(repo_root: Path | None) -> str | None:
-    """재현용 도장: 레포 HEAD 커밋. 작업 트리가 더러우면 '-dirty' 를 붙인다."""
-    if repo_root is None:
-        return None
-    try:
-        head = subprocess.run(
-            ["git", "-C", str(repo_root), "rev-parse", "--short", "HEAD"],
-            capture_output=True,
-            text=True,
-            check=True,
-        ).stdout.strip()
-        status = subprocess.run(
-            ["git", "-C", str(repo_root), "status", "--porcelain"],
-            capture_output=True,
-            text=True,
-            check=True,
-        ).stdout.strip()
-        return f"{head}-dirty" if status else head
-    except (OSError, subprocess.CalledProcessError):
-        return None
-
-
 def _start_local(
     cfg,
-    project: str,
-    task: str,
-    prompt_name: str,
-    model: str,
-    pipeline_name: str | None,
-    reasoning_effort: str | None,
-    temperature: float,
-    max_tokens: int,
-    max_workers: int,
-    limit: int | None,
+    *,
     note: str | None = None,
-    set_options: tuple[str, ...] = (),
     no_ingest: bool = False,
-) -> None:
-    """Start run locally with the new prompt/model/pipeline interface."""
-    from solar_eval.core.dataset_loader import DatasetLoader
-    from solar_eval.core.fingerprint import pipeline_fingerprint, prompt_fingerprint
-    from solar_eval.core.pipeline_compose import PipelineCompositionError, parse_set_option
-    from solar_eval.core.project_loader import load_all_project_configs
-    from solar_eval.core.runner import BatchRunner
-    from solar_eval.models.prompt_version import (
-        detect_prompt_format,
-        load_prompt_messages,
-        load_step_prompts,
-    )
-    from solar_eval.providers import UpstageProvider
-    from solar_eval.providers.openai_provider import OpenAIProvider
+    strict_ingest: bool = False,
+    hook_options: HookOptions | None = None,
+    **plan_options: Any,
+) -> HookResult | None:
+    """run 하나를 로컬에서 돌린다 (계획 §9 G2 순서).
+
+    `plan_options` 는 `run_meta.plan_run` 의 키워드 인자 그대로다 — `project`·`task`·`prompt_name`·
+    `model`·`pipeline_name`·`reasoning_effort`·`temperature`·`max_tokens`·`max_workers`·`limit`
+    (필수), `set_options`·`where`(선택). 모르는 키는 `plan_run` 이 TypeError 로 거부한다.
+
+    `reject_defaults_where` → 선택(`--where`·`limit`) → `prepare_dataset` → `build_task_pipeline`
+    → run.json 메타(`dataset`·`snapshot` + 자기 검증) → `_make_run_dir` → 러너에 준비된 데이터셋·
+    선택·파이프라인 **같은 인스턴스**를 넘긴다. run.json 메타는 디렉토리를 만들기 전에 조립한다 —
+    없는 사전·깨진 lock 같은 오류가 빈 run 디렉토리를 남기지 않게.
+
+    끝나면 run 종료 훅(`hub_hook.run_hook`)을 부르고 그 결과를 돌려준다(hub 대상이 아니면 None 일 수 있다).
+    훅은 실패해도 예외를 내지 않는다 — 종료 코드는 호출자가 `exit_code_for` 로 정한다.
+    `hook_options` 를 주면(batch — `HookMode.BATCH_ITEM`) `no_ingest`·`strict_ingest` 대신 그것을 쓴다(스모크 판정만 덧씌운다).
+    """
+    from solar_eval.cli.commands import run_meta
     from solar_eval.stores import JsonlStore
 
-    # Load project config
-    configs = load_all_project_configs(cfg.projects_dir, cfg.config_dirs)
-    project_config = next((c for c in configs if c["name"] == project), None)
-    if not project_config:
-        raise click.ClickException(f"Project not found in {cfg.projects_dir}: {project}")
-
-    task_config = next((t for t in project_config.get("tasks", []) if t["name"] == task), None)
-    if not task_config:
-        raise click.ClickException(f"Task '{task}' not found in project '{project}'")
-
-    # Resolve prompt file
-    prompts_dir = cfg.prompts_dir(project)
-    prompt_path = _resolve_prompt(prompts_dir, prompt_name)
-
-    fmt = detect_prompt_format(prompt_path)
-    if fmt == "multi_step":
-        step_prompts = load_step_prompts(prompt_path)
-        prompt = {
-            "step_prompts": step_prompts,
-            "model": model,
-            "temperature": temperature,
-            "max_tokens": max_tokens,
-        }
-    else:
-        messages = load_prompt_messages(prompt_path)
-        prompt = {
-            "messages": messages,
-            "model": model,
-            "temperature": temperature,
-            "max_tokens": max_tokens,
-        }
-
-    if reasoning_effort:
-        prompt["reasoning_effort"] = reasoning_effort
-
-    # Resolve pipeline — config 는 레포 관리 프로젝트면 git 쪽이 정본.
-    # `extends` 상속과 `--set` override 는 여기서 전부 해석돼, 실행 엔진에는 완성된
-    # steps 목록만 넘어간다.
-    try:
-        cli_overrides = parse_set_option(set_options)
-    except PipelineCompositionError as e:
-        raise click.ClickException(str(e)) from None
-
-    effective_pipeline = pipeline_name
-    if pipeline_name:
-        pipeline_config = _compose_pipeline_config(
-            cfg.config_dir(project), pipeline_name, cli_overrides
-        )
-        task_config = {**task_config, "pipeline_config": pipeline_config}
-    else:
-        # Use default from project.yaml (already resolved by project_loader)
-        pc = task_config.get("pipeline_config", {})
-        effective_pipeline = pc.get("name", "default") if isinstance(pc, dict) else str(pc)
-        if cli_overrides:
-            raise click.ClickException("--set requires an explicit --pipeline/-P")
-        pipeline_config = pc if isinstance(pc, dict) else {}
-
-    # Build run name and directory -- 이름 충돌은 여기서 원자적으로 걸러진다(F10).
+    plan = run_meta.plan_run(cfg, **plan_options)
+    project = plan.project
+    meta = run_meta.build_run_meta(cfg, plan, note)
+    # 이름 충돌은 여기서 원자적으로 걸러진다(F10). run.json 은 그 직후 한 번에 쓴다.
     run_name, run_dir = _make_run_dir(
-        cfg.artifacts_dir(project), task, effective_pipeline, prompt_name
-    )
-    store = JsonlStore(run_dir)
-
-    # Save run metadata
-    run_meta = {
-        "task": task,
-        "model": model,
-        "prompt": prompt_name,
-        "pipeline": effective_pipeline,
-        "temperature": temperature,
-        "max_tokens": max_tokens,
-        "reasoning_effort": reasoning_effort,
-        # 왜 돌렸는지 — 예전에는 별도 랩노트(experiments/*.yaml)가 담았지만 run 과 분리돼 있어
-        # 참조가 끊어지고 썩었다. run 과 같은 파일에 두면 끊어질 수가 없다.
-        "note": note,
-        # provenance: 이 run 의 config(프롬프트·파이프라인)가 어디서 왔는지 (W&B/DVC 식 도장)
-        "config_source": _config_source(cfg, project),
-        "git_commit": _git_commit(cfg.repo_root) if cfg.is_repo_managed(project) else None,
-        # 내용 지문 — 이름이 아니라 내용으로 설정을 식별한다. 이름만 다른 사본,
-        # `extends` 로 조립한 것, `--set` 으로 즉석에서 만든 것이 모두 같은 값이면
-        # 같은 지문을 갖는다 (core/fingerprint.py).
-        "prompt_sha": prompt_fingerprint(prompt_path),
-        "pipeline_sha": pipeline_fingerprint(pipeline_config),
-        # 파일 없이 돌린 실험이면 무엇을 바꿨는지가 여기 남는다.
-        "pipeline_overrides": cli_overrides or None,
-    }
-    # run_dir 은 _make_run_dir 이 이미 원자적으로 만들었다 -- 여기서 다시 mkdir 하지 않는다.
-    (run_dir / "run.json").write_text(json.dumps(run_meta, ensure_ascii=False, indent=2))
-
-    # Log run info
-    click.secho(f"Prompt: {prompt_name} [{fmt}]", fg="blue")
-    click.secho(f"Model: {model}", fg="blue")
-    click.secho(f"Pipeline: {effective_pipeline}", fg="blue")
-    for path, value in cli_overrides.items():
-        click.secho(f"  override: {path} = {value!r}", fg="magenta")
-    click.secho(
-        f"Fingerprint: prompt {run_meta['prompt_sha']} / pipeline {run_meta['pipeline_sha']}",
-        fg="blue",
+        cfg.artifacts_dir(project), plan.task, plan.pipeline_name, plan.prompt_name
     )
-    if reasoning_effort:
-        click.secho(f"Reasoning effort: {reasoning_effort}", fg="blue")
-    if limit:
-        click.secho(f"Limit: {limit} samples", fg="yellow")
-    click.secho(f"Starting local run: {project}/{run_name}", fg="blue")
-    click.secho(f"Output: {run_dir}", fg="blue")
-
-    # Create runner
-    provider = UpstageProvider()
-    judge_provider = OpenAIProvider()
-    dataset_loader = DatasetLoader(base_dir=cfg.projects_dir)
-    runner = BatchRunner(
-        store=store,
-        inference_provider=provider,
-        judge_provider=judge_provider,
-        dataset_loader=dataset_loader,
-    )
-
-    # Run with progress display
-    _run_with_progress(runner, run_name, project_config, task_config, prompt, max_workers, limit)
+    (run_dir / "run.json").write_text(json.dumps(meta, ensure_ascii=False, indent=2))
+    _echo_run_info(plan, meta, f"{project}/{run_name}", run_dir)
+    execute_plan(plan, run_name, JsonlStore(run_dir))
 
     _warn_if_incomplete(run_dir)
+    if plan.selection is not None and plan.selection.where is not None:
+        click.secho(FILTERED_RUN_EXPERIMENT_HUB_WARNING, fg="yellow")
     click.echo(f"\nResults saved to: {run_dir}/")
-    if not no_ingest:
-        _ingest_into_evalhub(cfg, project, run_dir)
+    if hook_options is None:
+        hook_options = HookOptions(command="start", no_ingest=no_ingest, strict=strict_ingest)
+    options = replace(hook_options, smoke=is_smoke_run(plan))
+    result = run_hook(cfg, project, run_dir, options)
+    _echo_judge_bundle_hint(plan, project, run_name)
+    return result
 
 
-def _ingest_into_evalhub(cfg, project: str, run_dir: Path) -> None:
-    """방금 만든 run 을 evalhub 로 적재한다.
+def _echo_judge_bundle_hint(plan, project: str, run_name: str) -> None:
+    """rubric judge 태스크면 훅 뒤 안내 한 줄 — 훅(eval-wrap)은 lcs 전용이라 judge 채점 번들을 내지 않는다(D-L12-6)."""
+    from solar_eval.evaluators.judge_config import RUBRIC_JUDGE_TYPE
+    from solar_eval.scoring_publish.publish import evaluator_type
 
-    **실패해도 run 은 성공이다** — 결과는 이미 디스크에 있고, 적재는 나중에 다시
-    돌리면 되는 멱등 작업이다. 그래서 어떤 실패도 exit code 를 바꾸지 않고
-    "무엇이 안 됐고 어떻게 되살리는지"만 알린다. 적재를 못 했다는 사실 자체를
-    조용히 넘기지도 않는다 — 그러면 evalhub 화면이 낡은 채로 남는다.
+    if evaluator_type(plan.task_config.get("evaluator")) == RUBRIC_JUDGE_TYPE:
+        click.secho(f"  {JUDGE_BUNDLE_HINT.format(project=project, run=run_name)}", fg="blue")
 
-    레포 밖 standalone 설치에는 evalhub 자체가 없으므로 조용히 건너뛴다.
-    """
-    if cfg.repo_root is None:
-        return
 
-    click.secho("\nevalhub 적재 중...", fg="blue")
-    try:
-        result = subprocess.run(
-            ["pnpm", "--filter", "@poc/eval-store", "ingest", "--only", project],
-            cwd=str(cfg.repo_root),
-            capture_output=True,
-            text=True,
-            timeout=INGEST_TIMEOUT_SECONDS,
-        )
-    except FileNotFoundError:
-        _warn_ingest_skipped(project, run_dir, "pnpm 을 찾을 수 없습니다")
-        return
-    except subprocess.TimeoutExpired:
-        _warn_ingest_skipped(project, run_dir, f"{INGEST_TIMEOUT_SECONDS}초 안에 끝나지 않았습니다")
-        return
-    except OSError as e:
-        _warn_ingest_skipped(project, run_dir, str(e))
-        return
-
-    if result.returncode == 0:
-        click.secho(f"  evalhub 적재 완료 — {project}", fg="green")
-        return
-    _warn_ingest_skipped(project, run_dir, _ingest_failure_reason(result))
-
-
-def _ingest_failure_reason(result: subprocess.CompletedProcess[str]) -> str:
-    """ingest 실패 출력에서 사람이 읽을 한 줄을 뽑는다.
+def _echo_run_info(plan, meta: dict, run_ref: str, run_dir: Path) -> None:
+    """run 시작 요약 — 설정·지문(config sha256:<12>)·선택·재현 가능성."""
+    from solar_eval.cli.commands.run_meta import short_fingerprint
 
-    stderr 전체는 node 스택트레이스라 그대로 보여주면 정작 원인이 묻힌다.
-    가장 흔한 원인(백엔드 미기동)은 연결 거부로 나타나므로 먼저 짚는다.
-    """
-    output = f"{result.stderr}\n{result.stdout}"
-    if "ECONNREFUSED" in output or "connect ECONNREFUSED" in output:
-        return "Postgres 에 연결할 수 없습니다 (백엔드가 꺼져 있는 것 같습니다)"
-    for line in result.stderr.splitlines():
-        stripped = line.strip()
-        if stripped and not stripped.startswith("at ") and "node_modules" not in stripped:
-            return stripped[:160]
-    return f"ingest 가 exit {result.returncode} 로 끝났습니다"
+    snapshot = meta["snapshot"]
+    dataset = meta["dataset"]
+    click.secho(f"Prompt: {plan.prompt_name} [{plan.prompt_format}]", fg="blue")
+    click.secho(f"Model: {plan.model}", fg="blue")
+    click.secho(f"Pipeline: {plan.pipeline_name}", fg="blue")
+    for path, value in (plan.pipeline_overrides or {}).items():
+        click.secho(f"  override: {path} = {value!r}", fg="magenta")
+    click.secho(
+        f"Fingerprint: config {short_fingerprint(snapshot['config_fingerprint'])}"
+        f" / prompt {meta['prompt_sha']} / pipeline {meta['pipeline_sha']}",
+        fg="blue",
+    )
+    if plan.reasoning_effort:
+        click.secho(f"Reasoning effort: {plan.reasoning_effort}", fg="blue")
+    selection = plan.selection
+    if selection is not None and selection.where is not None:
+        click.secho(f"Where: {selection.where.describe()}", fg="yellow")
+    if selection is not None and selection.limit:
+        click.secho(f"Limit: {selection.limit} samples", fg="yellow")
+    click.secho(f"Rows: {dataset['rows_selected']}/{dataset['rows_total']}", fg="blue")
+    _echo_reproducibility(snapshot)
+    click.secho(f"Starting local run: {run_ref}", fg="blue")
+    click.secho(f"Output: {run_dir}", fg="blue")
 
 
-def _warn_ingest_skipped(project: str, run_dir: Path, reason: str) -> None:
-    """적재 실패를 알리고 되살리는 명령을 그대로 실어 준다 (exit code 는 0 유지)."""
-    click.secho(f"\n  ⚠ evalhub 적재를 건너뛰었습니다 — {reason}", fg="yellow", bold=True)
-    click.secho(f"    run 결과는 그대로 있습니다: {run_dir}", fg="yellow")
-    click.secho("    백엔드를 띄운 뒤 아래를 실행하면 반영됩니다:", fg="yellow")
-    click.secho("      make evalhub-up", fg="yellow")
-    click.secho(f"      make evalhub-ingest ONLY={project}", fg="yellow")
+def _echo_reproducibility(snapshot: dict) -> None:
+    """재현 가능성 한 줄 — 막는 이유를 그대로 보여 준다(계획 R5)."""
+    repro = snapshot.get("reproducibility") or {}
+    verdict = repro.get("rerunnable")
+    label = {True: "true", False: "false", None: "unknown"}[verdict]
+    blockers = repro.get("rerunnable_blockers") or []
+    suffix = f" — {', '.join(blockers)}" if blockers else ""
+    click.secho(f"Rerunnable: {label}{suffix}", fg="green" if verdict else "yellow")
+    if snapshot.get("missing"):
+        click.secho(f"  snapshot missing: {', '.join(snapshot['missing'])}", fg="yellow")
 
 
 def _warn_if_incomplete(run_dir: Path) -> None:
@@ -535,141 +348,6 @@ def _warn_if_incomplete(run_dir: Path) -> None:
     )
 
 
-def _run_with_progress(
-    runner,
-    run_id,
-    project_config,
-    task_config,
-    prompt,
-    max_workers,
-    limit,
-    completed_results: list[dict[str, Any]] | None = None,
-):
-    """Execute a run with Rich progress bar display.
-
-    `completed_results` 는 resume 이 이미 끝난 샘플을 다시 돌리지 않게 하는 다리다 --
-    여기서 안 넘기면 runner 가 파라미터를 갖고 있어도 소용이 없다(F2).
-
-    `execute_run` 은 치명적 실패에서 raise 하므로 이 함수도 raise 한다 --
-    일부러 감싸지 않는다. 위쪽 `on_progress` 의 "error" 이벤트가 이미 사람이 읽을
-    메시지를 찍었고, 여기서 또 감싸면 같은 내용이 두 번 나온다.
-    """
-    import logging as _logging
-
-    from rich.console import Console
-    from rich.live import Live
-    from rich.text import Text
-
-    console = Console(stderr=True)
-    use_rich = True
-    live_ctx: Live | None = None
-
-    progress_bar = Progress(
-        SpinnerColumn(),
-        TextColumn("[progress.description]{task.description}"),
-        BarColumn(),
-        TextColumn("{task.completed}/{task.total}"),
-        TextColumn("[progress.percentage]{task.percentage:>3.0f}%"),
-        TimeElapsedColumn(),
-    )
-
-    try:
-        live_ctx = Live(progress_bar, console=console, refresh_per_second=8)
-        live_ctx.start()
-    except Exception:
-        use_rich = False
-
-    # Redirect pipeline/runner logs above the progress bar
-    class _LiveLogHandler(_logging.Handler):
-        def emit(self, record):
-            if live_ctx:
-                live_ctx.console.print(Text(record.getMessage(), style="dim"))
-
-    _log_names = (
-        "solar_eval.pipelines.pipeline",
-        "solar_eval.pipelines.steps.llm",
-        "solar_eval.core.runner",
-        "solar_eval.providers.upstage",
-    )
-    if use_rich:
-        _live_handler = _LiveLogHandler()
-        for name in _log_names:
-            lg = _logging.getLogger(name)
-            lg.addHandler(_live_handler)
-            lg.propagate = False
-        _logging.getLogger("httpx").setLevel(_logging.WARNING)
-
-    def _cleanup_live():
-        if use_rich:
-            live_ctx.stop()
-            for name in _log_names:
-                _logging.getLogger(name).removeHandler(_live_handler)
-                _logging.getLogger(name).propagate = True
-
-    inference_task_id = None
-    eval_task_id = None
-
-    async def on_progress(event):
-        nonlocal inference_task_id, eval_task_id
-        etype = event.get("type")
-        if etype == "dataset_loaded":
-            total = event["total"]
-            if use_rich:
-                inference_task_id = progress_bar.add_task("Inference", total=total)
-            else:
-                click.secho(f"  Dataset loaded: {total} samples", fg="blue")
-        elif etype == "inference_progress":
-            if use_rich and inference_task_id is not None:
-                progress_bar.update(inference_task_id, completed=event["completed"])
-            elif not use_rich:
-                c, t = event["completed"], event["total"]
-                if c % 10 == 0 or c == t:
-                    click.echo(f"  Inference: {c}/{t}")
-        elif etype == "inference_complete":
-            if use_rich and inference_task_id is not None:
-                progress_bar.update(inference_task_id, completed=event["total"])
-            else:
-                click.secho(f"  Inference complete: {event['total']} samples", fg="green")
-        elif etype == "evaluation_start":
-            total = event.get("total", 0)
-            if use_rich:
-                eval_task_id = progress_bar.add_task("Evaluation", total=total or 1)
-            else:
-                click.secho("  Starting evaluation...", fg="blue")
-        elif etype == "evaluation_progress":
-            if use_rich and eval_task_id is not None:
-                progress_bar.update(eval_task_id, completed=event["completed"])
-        elif etype == "done":
-            if use_rich and eval_task_id is not None:
-                progress_bar.update(eval_task_id, completed=progress_bar.tasks[eval_task_id].total)
-            _cleanup_live()
-            click.echo()
-            click.secho("Run completed!", fg="green", bold=True)
-            overall = event.get("overall_score")
-            if overall is not None:
-                click.echo(f"  Overall Score: {overall:.4f}")
-            scores = event.get("scores", {})
-            if scores:
-                click.echo(f"  Scores:        {format_scores(scores)}")
-        elif etype == "error":
-            _cleanup_live()
-            click.echo()
-            click.secho(f"  Run failed: {event.get('error')}", fg="red", bold=True)
-
-    asyncio.run(
-        runner.execute_run(
-            run_id=run_id,
-            project_config=project_config,
-            task_config=task_config,
-            prompt=prompt,
-            on_progress=on_progress,
-            max_workers=max_workers,
-            limit=limit,
-            completed_results=completed_results,
-        )
-    )
-
-
 @runs_group.command("batch")
 @click.argument("project")
 @click.option("--task", "-t", required=True, help="Task name")
@@ -684,331 +362,101 @@ def _run_with_progress(
 )
 @click.option("--reasoning-effort", "-re", default=None, help="Reasoning effort")
 @click.option("--max-workers", "-w", default=5, type=int, help="Max parallel workers")
+@click.option("--where", "where", multiple=True, metavar="KEY=V1,V2", help=WHERE_HELP)
+@click.option("--no-ingest", is_flag=True, help=NO_INGEST_HELP)
+@click.option("--strict-ingest", is_flag=True, help=STRICT_INGEST_HELP)
 @click.pass_context
-def batch_runs(ctx, project, task, prompts, model, pipeline_name, reasoning_effort, max_workers):
-    """Run evaluation for multiple prompts sequentially."""
+def batch_runs(ctx, project, task, prompts, no_ingest, strict_ingest, **run_options):
+    """Run evaluation for multiple prompts sequentially.
+
+    run 마다 번들 다리만 돌고(`HookMode.BATCH_ITEM`), 끝에 hub 다리를 한 번 부른다(계획 L6 D-L6-12).
+    종료 코드: 프롬프트 실패가 있으면 1(먼저), 아니고 strict 이며 훅이 실패한 run 이 있으면 3, 그 밖 0(D-L6-11).
+    """
     cfg = ctx.obj["config"]
     if cfg.is_remote:
         raise click.ClickException("Batch is local-mode only")
 
     prompt_list = [p.strip() for p in prompts.split(",")]
+    # 프롬프트와 무관한 검사(defaults.where·--where 문법·태스크 where 합치기)는 루프 전에 한 번 —
+    # 틀렸으면 프롬프트마다 같은 오류를 되풀이하지 않고 바로 멈춘다(D3 "실패는 크게").
+    project_config, task_config = find_task(cfg, project, task)
+    start_options(project_config, task_config, (), run_options["where"], None)
+    preflight_judge_config(task_config)
     click.secho(f"Batch run: {project}/{task} — prompts: {prompt_list}", fg="blue", bold=True)
 
+    options = HookOptions(
+        command=COMMAND_BATCH,
+        mode=HookMode.BATCH_ITEM,
+        no_ingest=no_ingest,
+        strict=strict_requested(strict_ingest),
+    )
+    results, failed = _run_batch_prompts(cfg, project, task, prompt_list, options, run_options)
+    results = _with_batch_hub_leg(results, finish_batch(cfg, project, results, options))
+    click.secho(f"\n{'=' * 50}", fg="blue")
+    # standalone(레포 밖 — 훅이 None 만 돌려준다)은 훅 콘솔이 없다(§2.3 "오늘과 같다", 리뷰 지적 3).
+    if cfg.repo_root is not None or any(r is not None for r in results):
+        echo_batch_summary(results)
+    if failed:
+        raise click.ClickException(
+            f"{len(failed)} of {len(prompt_list)} prompts failed: {', '.join(failed)}"
+        )
+    code = max((exit_code_for(r, options.strict) for r in results), default=0)
+    if code:
+        ctx.exit(code)
+    click.secho("Batch complete!", fg="green", bold=True)
+
+
+def _run_batch_prompts(
+    cfg, project: str, task: str, prompt_list: list[str], options: HookOptions, run_options: dict
+) -> tuple[list[HookResult | None], list[str]]:
+    """프롬프트마다 run 하나 + 번들 다리. 훅 결과와 실패한 프롬프트 이름을 돌려준다.
+
+    훅은 예외를 내지 않는다(`run_hook` 이 봉쇄한다, D-L6-2) — 여기서 잡히는 예외는 run 자체의 실패뿐이다.
+    """
+    results: list[HookResult | None] = []
+    failed: list[str] = []
     for pname in prompt_list:
         click.secho(f"\n{'=' * 50}", fg="blue")
         click.secho(f"Running prompt: {pname}...", fg="blue", bold=True)
         click.secho(f"{'=' * 50}", fg="blue")
         try:
-            _start_local(
-                cfg,
-                project=project,
-                task=task,
-                prompt_name=pname,
-                model=model,
-                pipeline_name=pipeline_name,
-                reasoning_effort=reasoning_effort,
-                temperature=0.0,
-                max_tokens=4000,
-                max_workers=max_workers,
-                limit=None,
+            results.append(
+                _start_local(
+                    cfg,
+                    project=project,
+                    task=task,
+                    prompt_name=pname,
+                    temperature=0.0,
+                    max_tokens=4000,
+                    limit=None,
+                    hook_options=options,
+                    **run_options,
+                )
             )
         except Exception as e:
+            # 한 프롬프트의 실패가 나머지를 막지 않게 이어 가되, 끝에서 exit code 로 알린다.
             click.secho(f"  {pname} failed: {e}", fg="red")
-
-    click.secho(f"\n{'=' * 50}", fg="blue")
-    click.secho("Batch complete!", fg="green", bold=True)
+            failed.append(pname)
+    return results, failed
 
 
-@runs_group.command("resume")
-@click.argument("project")
-@click.option("--run-id", "-r", required=True, help="Run ID to resume")
-@click.option("--max-workers", "-w", default=5, type=int, help="Max parallel workers")
-@click.pass_context
-def resume_run(ctx: click.Context, project: str, run_id: str, max_workers: int) -> None:
-    """Resume an interrupted evaluation run."""
-    cfg = ctx.obj["config"]
-    if cfg.is_remote:
-        raise click.ClickException("Resume is local-mode only")
-
-    from solar_eval.core.dataset_loader import DatasetLoader
-    from solar_eval.core.project_loader import load_all_project_configs
-    from solar_eval.core.runner import BatchRunner
-    from solar_eval.providers import UpstageProvider
-    from solar_eval.providers.openai_provider import OpenAIProvider
-    from solar_eval.stores import JsonlStore
-
-    # Find the run directory
-    run_dir = cfg.artifacts_dir(project) / run_id
-    if not run_dir.exists():
-        raise click.ClickException(f"Run directory not found: {run_dir}")
-
-    store = JsonlStore(run_dir)
-    run_meta = store.load_run_meta()
-
-    if not run_meta:
-        raise click.ClickException(f"No run.json found in {run_dir}")
-
-    status = run_meta.get("status", "unknown")
-    if status == "completed":
-        raise click.ClickException(f"Run {run_id} is already completed. Nothing to resume.")
-
-    task = run_meta.get("task")
-    if not task:
-        raise click.ClickException("Cannot determine task from run.json")
-
-    # Load existing results
-    existing_results = store.load_existing_results()
-    completed_indices = {r["sample_idx"] for r in existing_results}
-    click.secho(f"Resuming run: {run_id}", fg="blue", bold=True)
-    click.secho(f"  Task: {task}, Already completed: {len(completed_indices)} samples", fg="blue")
-
-    # Load project/task config
-    configs = load_all_project_configs(cfg.projects_dir, cfg.config_dirs)
-    project_config = next((c for c in configs if c["name"] == project), None)
-    if not project_config:
-        raise click.ClickException(f"Project not found: {project}")
-
-    task_config = next((t for t in project_config.get("tasks", []) if t["name"] == task), None)
-    if not task_config:
-        raise click.ClickException(f"Task '{task}' not found in project '{project}'")
-
-    # Resolve prompt from run.json
-    prompt_name = run_meta.get("prompt")
-    pipeline_name = run_meta.get("pipeline")
-    model = run_meta.get("model", "solar-pro2")
-
-    if not prompt_name:
-        raise click.ClickException(
-            "Cannot determine prompt from run.json. Only runs created with the new CLI can be resumed."
-        )
+def _with_batch_hub_leg(
+    results: list[HookResult | None], hub: LegResult | None
+) -> list[HookResult | None]:
+    """batch 끝 hub 다리 결과를 run 별 결과에 얹는다(요약·종료 코드용 — 상태 파일은 `finish_batch` 가 고친다).
 
-    from solar_eval.models.prompt_version import (
-        detect_prompt_format,
-        load_prompt_messages,
-        load_step_prompts,
-    )
-
-    prompt_path = _resolve_prompt(cfg.prompts_dir(project), prompt_name)
-    fmt = detect_prompt_format(prompt_path)
-    if fmt == "multi_step":
-        prompt = {
-            "step_prompts": load_step_prompts(prompt_path),
-            "model": model,
-            "temperature": run_meta.get("temperature", 0.0),
-            "max_tokens": run_meta.get("max_tokens", 4000),
-        }
-    else:
-        prompt = {
-            "messages": load_prompt_messages(prompt_path),
-            "model": model,
-            "temperature": run_meta.get("temperature", 0.0),
-            "max_tokens": run_meta.get("max_tokens", 4000),
-        }
-    if run_meta.get("reasoning_effort"):
-        prompt["reasoning_effort"] = run_meta["reasoning_effort"]
-
-    # Override pipeline if specified — 원래 run 이 `--set` 으로 바꿔 돌린 것이면
-    # 그 override 까지 복원해야 같은 설정으로 이어진다.
-    if pipeline_name and pipeline_name != "default":
-        task_config = {
-            **task_config,
-            "pipeline_config": _compose_pipeline_config(
-                cfg.config_dir(project),
-                pipeline_name,
-                run_meta.get("pipeline_overrides") or {},
-            ),
-        }
-
-    click.secho(f"  Model: {model}", fg="blue")
-
-    # 이전 평가를 미리 지우지 않는다(F3) -- 재평가가 도중에 죽으면 복구할 점수가
-    # 없어진다. create_evaluation() 이 원자적 교체라 지우지 않아도 안전하다.
-
-    # Setup providers and runner
-    provider = UpstageProvider()
-    judge_provider = OpenAIProvider()
-    dataset_loader = DatasetLoader(base_dir=cfg.projects_dir)
-    runner = BatchRunner(
-        store=store,
-        inference_provider=provider,
-        judge_provider=judge_provider,
-        dataset_loader=dataset_loader,
-    )
-
-    _run_with_progress(
-        runner,
-        run_id,
-        project_config,
-        task_config,
-        prompt,
-        max_workers,
-        limit=None,
-        # 이미 끝난 샘플은 건너뛴다 -- 안 넘기면 resume 이 전 샘플을 다시 유료 호출하고
-        # results.jsonl 에 같은 sample_idx 를 중복 append 한다(F2).
-        completed_results=existing_results,
-    )
-
-    click.echo(f"\nResults saved to: {run_dir}/")
-
-
-@runs_group.command("eval")
-@click.argument("project")
-@click.option(
-    "--run-id",
-    "-r",
-    required=True,
-    help="Run ID to evaluate",
-)
-@click.pass_context
-def eval_run(ctx: click.Context, project: str, run_id: str) -> None:
-    """Run evaluation only on existing inference results (no new inference)."""
-    cfg = ctx.obj["config"]
-    if cfg.is_remote:
-        raise click.ClickException("Eval is local-mode only")
-
-    from solar_eval.core.project_loader import load_all_project_configs
-    from solar_eval.core.runner import build_eval_sample_from_result
-    from solar_eval.evaluators.registry import create_evaluator
-    from solar_eval.stores import JsonlStore
-
-    # Find run directory
-    run_dir = cfg.artifacts_dir(project) / run_id
-    if not run_dir.exists():
-        raise click.ClickException(f"Run directory not found: {run_dir}")
-
-    store = JsonlStore(run_dir)
-    run_meta = store.load_run_meta()
-    if not run_meta:
-        raise click.ClickException(f"No run.json found in {run_dir}")
-
-    task = run_meta.get("task")
-    if not task:
-        raise click.ClickException("Cannot determine task from run.json")
-
-    # Load results
-    results = store.load_existing_results()
-    if not results:
-        raise click.ClickException(f"No inference results found in {run_dir}/results.jsonl")
-
-    click.secho(f"Evaluating run: {run_id}", fg="blue", bold=True)
-    click.secho(f"  Task: {task}, Samples: {len(results)}", fg="blue")
-
-    # Load task config for evaluator settings
-    configs = load_all_project_configs(cfg.projects_dir, cfg.config_dirs)
-    project_config = next((c for c in configs if c["name"] == project), None)
-    if not project_config:
-        raise click.ClickException(f"Project not found: {project}")
-
-    task_config = next((t for t in project_config.get("tasks", []) if t["name"] == task), None)
-    if not task_config:
-        raise click.ClickException(f"Task '{task}' not found in project '{project}'")
-
-    # 이전 평가를 미리 지우지 않는다(F3) -- 아래 재평가가 실패해도 옛 점수는 남는다.
-
-    # Run evaluation
-    evaluator = create_evaluator(task_config.get("evaluator", {"type": "llm_judge"}))
-    # judge provider 를 안 넘기면 llm_judge 계열은 전 샘플에서 실패한다 -- 그리고
-    # 그 실패가 예전엔 0점 placeholder 로 덮여 조용히 completed 로 끝났다(F8).
-    from solar_eval.providers.openai_provider import OpenAIProvider
-
-    judge_provider = OpenAIProvider()
-
-    from datetime import timezone
-
-    async def run_eval():
-        # 채점 실패는 점수가 아니라 실패로 남긴다 -- aggregate() 에는 성공분만 넘긴다.
-        eval_results: list[dict[str, Any]] = []
-        eval_failures: list[dict[str, Any]] = []
-
-        for result in results:
-            # 리스트 위치가 아니라 원본 sample_idx 가 정본이다(F6).
-            sample_idx = result["sample_idx"]
-            try:
-                eval_sample = build_eval_sample_from_result(result, reference=result.get("golden"))
-                evaluator.validate_required_fields(eval_sample)
-                eval_result = await evaluator.evaluate(sample=eval_sample, provider=judge_provider)
-                eval_results.append({**eval_result, "sample_idx": sample_idx})
-            except Exception as e:
-                click.secho(f"  Sample {sample_idx} eval failed: {e}", fg="yellow")
-                eval_failures.append({"sample_idx": sample_idx, "error": str(e)})
-
-        # Aggregate and save
-        aggregated = evaluator.aggregate(eval_results)
-        # 성공한 채점이 하나도 없으면 점수 자리를 비운다 -- 0.0 은 "0점"이라는 측정값이라
-        # "측정이 없었다"와 구분되지 않는다(runner.py 와 같은 규칙).
-        overall_score = aggregated.get("overall_score", 0.0) if eval_results else None
-        eval_id = await store.create_evaluation(
-            {
-                "run_id": run_id,
-                "scores": aggregated.get("scores", {}),
-                "overall_score": overall_score,
-                "eval_model": "local",
-                "eval_success_count": len(eval_results),
-                "eval_failed_count": len(eval_failures),
-                "failed_sample_indices": [f["sample_idx"] for f in eval_failures],
-            }
-        )
-
-        # Save per-sample eval details -- 성공/실패 둘 다 한 행씩 남긴다.
-        eval_detail_docs = []
-        for er in eval_results:
-            eval_detail_docs.append(
-                {
-                    "evaluation_id": eval_id,
-                    "sample_idx": er["sample_idx"],
-                    "category_scores": er.get("category_scores", {}),
-                    "error_counts": {
-                        k: v.get("error_count", 0)
-                        for k, v in er.get("details", {}).items()
-                        if isinstance(v, dict)
-                    },
-                    "severity": er.get("severity", ""),
-                    "score": er.get("score", 0.0),
-                }
-            )
-        for f in eval_failures:
-            eval_detail_docs.append(
-                {
-                    "evaluation_id": eval_id,
-                    "sample_idx": f["sample_idx"],
-                    "category_scores": {},
-                    "error_counts": {},
-                    "severity": None,
-                    # 0.0 이 아니라 None -- 채점 실패를 최저 점수와 구분한다.
-                    "score": None,
-                    "error": f["error"],
-                }
-            )
-        await store.insert_eval_details(eval_detail_docs)
-
-        # Update run status
-        await store.update_run(
-            run_id,
-            {
-                "status": "completed",
-                "completed_at": datetime.now(timezone.utc),
-            },
-        )
-
-        return {**aggregated, "overall_score": overall_score, "failed": len(eval_failures)}
-
-    aggregated = asyncio.run(run_eval())
-
-    click.echo()
-    click.secho("Evaluation completed!", fg="green", bold=True)
-    overall = aggregated.get("overall_score")
-    if overall is None:
-        # 채점이 한 건도 성공하지 못했다 -- 숫자를 찍으면 "0점"으로 읽힌다.
-        click.secho("  Overall Score: 측정 없음 (전 샘플 채점 실패)", fg="red", bold=True)
-    else:
-        click.echo(f"  Overall Score: {overall:.4f}")
-    failed = aggregated.get("failed", 0)
-    if failed:
-        click.secho(f"  채점 실패: {failed}건 (score: null 로 기록됨)", fg="yellow")
-    scores = aggregated.get("scores", {})
-    if scores:
-        click.echo(f"  Scores:        {format_scores(scores)}")
-    click.echo(f"\nResults saved to: {run_dir}/")
+    번들이 생긴 run 은 끝 다리 결과를, 번들이 없는 run 은 `skipped:no_bundle` 을 받는다(`hook._legs_in_lock` 과 같은 규칙).
+    """
+    merged: list[HookResult | None] = []
+    for result in results:
+        pending = result.legs.get(LEG_HUB) if result is not None else None
+        if result is None or pending is None or pending.code != BATCH_PENDING:
+            merged.append(result)
+            continue
+        leg = hub if hub is not None and bundle_ready(result.legs.get(LEG_BUNDLE)) else None
+        leg = leg or LegResult.skipped(NO_BUNDLE)
+        merged.append(replace(result, legs={**result.legs, LEG_HUB: leg}))
+    return merged
 
 
 @runs_group.command("results")
@@ -1048,3 +496,8 @@ def show_results(ctx: click.Context, run_ref: str, limit: int | None) -> None:
         results = results[:limit]
     click.secho(format_results_table(results), fg="blue")
     click.echo(f"\nShowing {len(results)} result(s)")
+
+
+# 떼어 낸 명령 등록 — `solar-eval runs resume|eval` 표면은 그대로다.
+runs_group.add_command(resume_run)
+runs_group.add_command(eval_run)

solar_eval/cli/commands/score.py

@@ -0,0 +1,187 @@
+"""`solar-eval score` — 오프라인 재채점 명령 그룹 (계획 2026-09-26 L3b §2.1).
+
+`score proofread-diff` 는 run 번들의 `results.jsonl` 을 레거시 `lcs_diff` 와 같은 함수로 다시 채점해 채점 번들
+(`poc-scoring/v1`, `purpose=rescore_after_fix`)로 낸다. 두 모드:
+
+- `<run_bundle_dir>…` 모드: 번들이 `…/eval/bundles/<id>` 에 있으면 기본 출력은 `…/eval/evaluations`, 아니면 `--out` 필수.
+  `--mirror` 면 각 번들 매니페스트 `case` 의 미러 `evaluations` 에 놓는다.
+- `--case a/c --all` 모드: 미러의 그 case run 번들 전부(`poc_bundle.adopt` 로 채택). `--mirror` 또는 `--out` 이 필요하다.
+  `--run <run_id>`(반복)를 주면 그 run 들만(계획 2026-09-27 L6 §2.11 — 채택 규칙은 같고, 영역에 없는 run 은 오류
+  `run_not_in_mirror`). `--run` 은 이 모드에서만 받고, 빈 값·공백만·제어 문자·512자 초과는 사용 오류다(ES
+  `hub ingest --expect-run` 과 같은 범위 — 없는 run 이 stderr 에 그대로 찍히므로 줄 위조를 막는다).
+- `--out DIR` 과 `--mirror` 는 함께 쓰지 않는다. `--mirror-root` 는 미러 **버킷의 부모**다(§2.1 "미러 루트 층").
+  디렉토리 모드에서는 `--mirror` 와 함께만 받는다. 없는 run 번들 경로는 사용 오류(종료 2)다.
+
+stdout 은 run 마다 한 줄 `written <path>` · `exists <path>` · `skip <run_id> <code>` 이고, case 모드는 마지막 줄에 JSON 요약
+`{written, exists, skipped:{code:n}, errors, n_original_missing}` 을 낸다. 오류는 stderr 에 `error <run_id> <code>` 한 줄씩
+(case 전체 오류는 run_id 자리에 `-`, `case_area_missing`·`case_area_empty` 는 뒤에 해석한 영역 경로를 붙인다).
+어느 쪽에도 입력·출력·정답 원문은 싣지 않는다.
+
+종료 코드: 0 = 전부 written/exists/규칙 skip · 1 = 오류 1건 이상 · 2 = 사용 오류.
+
+import 경계(D1): 이 모듈은 click 만 모듈 최상위에서 import 한다. `solar_eval.rescore`(그리고 그것이 끌어오는
+`poc_bundle`)는 **명령 함수 안에서** import 한다 — `solar-eval` CLI 를 띄우는 것만으로 재채점기·번들 writer 가
+로딩되지 않게.
+"""
+
+from __future__ import annotations
+
+import json
+import sys
+from pathlib import Path
+from typing import Any
+
+import click
+
+_DIR = click.Path(file_okay=False, path_type=Path)
+# 입력 run 번들은 있어야 한다 — 경로 오타가 규칙 skip(`latest_bundle_invalid`)·종료 0 으로 끝나지 않게 click 이 종료 2 로 막는다.
+_EXISTING_DIR = click.Path(exists=True, file_okay=False, path_type=Path)
+EXIT_ERRORS = 1
+EXIT_USAGE = 2
+
+
+@click.group("score")
+def score_group() -> None:
+    """Offline rescoring of run bundles (scoring bundles, poc-scoring/v1)."""
+
+
+@score_group.command("proofread-diff")
+@click.argument("run_bundle_dirs", nargs=-1, type=_EXISTING_DIR)
+@click.option("--case", "case_key", default=None, help="accounts/<a>/<c> as a/c (with --all).")
+@click.option("--all", "all_runs", is_flag=True, default=False, help="Every adopted run bundle.")
+@click.option("--out", "out_dir", type=_DIR, default=None, help="Parent dir for scoring bundles.")
+@click.option("--mirror", is_flag=True, default=False, help="Write into the local mirror.")
+@click.option(
+    "--mirror-root",
+    type=_DIR,
+    default=None,
+    help="Parent of the mirror bucket (default: data home blob-mirror).",
+)
+@click.option(
+    "--run",
+    "run_ids",
+    multiple=True,
+    help="Only this run_id (repeatable; with --case --all).",
+)
+def proofread_diff(
+    run_bundle_dirs: tuple[Path, ...],
+    case_key: str | None,
+    all_runs: bool,
+    out_dir: Path | None,
+    mirror: bool,
+    mirror_root: Path | None,
+    run_ids: tuple[str, ...],
+) -> None:
+    """Rescore run bundles with proofread_diff@2 (same scoring as legacy lcs_diff)."""
+    _check_usage(run_bundle_dirs, case_key, all_runs, out_dir, mirror, mirror_root, run_ids)
+    if case_key is not None:
+        code = _run_case(case_key, out_dir, mirror_root, frozenset(run_ids) or None)
+    else:
+        code = _run_dirs(run_bundle_dirs, out_dir, mirror_root if mirror else None, mirror)
+    sys.exit(code)
+
+
+def _usage(message: str) -> None:
+    click.echo(f"usage error: {message}", err=True)
+    sys.exit(EXIT_USAGE)
+
+
+def _check_usage(
+    dirs: tuple[Path, ...],
+    case_key: str | None,
+    all_runs: bool,
+    out_dir: Path | None,
+    mirror: bool,
+    mirror_root: Path | None,
+    run_ids: tuple[str, ...] = (),
+) -> None:
+    """두 모드의 인자 조합 — 어긋나면 종료 2."""
+    if out_dir is not None and mirror:
+        _usage("--out and --mirror are mutually exclusive")
+    if case_key is not None or all_runs:
+        if dirs:
+            _usage("give run bundle directories or --case/--all, not both")
+        if case_key is None or not all_runs:
+            _usage("--case a/c needs --all (and --all needs --case)")
+        if out_dir is None and not mirror:
+            _usage("--case --all needs --mirror or --out DIR")
+    elif not dirs:
+        _usage("give run bundle directories, or --case a/c --all")
+    elif mirror_root is not None and not mirror:
+        # 디렉토리 모드에서 --mirror-root 는 --mirror 의 출력 자리일 뿐이다 — 조용히 버리지 않는다
+        _usage("--mirror-root needs --mirror when rescoring run bundle directories")
+    if run_ids:
+        _check_run_filter(case_key, run_ids)
+
+
+def _check_run_filter(case_key: str | None, run_ids: tuple[str, ...]) -> None:
+    """`--run` 은 case 모드의 run 필터다(L6 §2.11) — 디렉토리 모드에서 조용히 버리지 않고, 값은 경계에서 거른다.
+
+    case 모드의 `--case`/`--all` 짝은 `_check_usage` 가 먼저 막으므로 여기서 `case_key is None` 이면 디렉토리 모드다.
+    값 규칙은 라이브러리 경계(`rescore_case`)와 같은 `is_valid_run_id` 다. 거부 문구에 값 원문은 싣지 않는다.
+    """
+    from solar_eval.rescore.case import MAX_RUN_ID_LENGTH, is_valid_run_id
+
+    if case_key is None:
+        _usage("--run needs --case a/c --all (not run bundle directories)")
+    if not all(is_valid_run_id(r) for r in run_ids):
+        _usage(
+            "--run needs a non-blank run_id without control characters,"
+            f" at most {MAX_RUN_ID_LENGTH} characters"
+        )
+
+
+def _run_case(
+    case_key: str,
+    out_dir: Path | None,
+    mirror_root: Path | None,
+    run_ids: frozenset[str] | None = None,
+) -> int:
+    from solar_eval.rescore.case import rescore_case
+    from solar_eval.rescore.paths import RescorePathError, parse_case_key
+
+    try:
+        account, case = parse_case_key(case_key)
+    except RescorePathError as exc:
+        _usage(str(exc))
+    summary = rescore_case(account, case, mirror_root=mirror_root, out_dir=out_dir, run_ids=run_ids)
+    for outcome in summary.outcomes:
+        _echo_outcome(outcome)
+    for failure in summary.failures:
+        suffix = f" {failure.detail}" if failure.detail else ""
+        click.echo(f"error {failure.run_id or '-'} {failure.code}{suffix}", err=True)
+    report: dict[str, Any] = summary.to_json()
+    click.echo(json.dumps(report, ensure_ascii=False, sort_keys=False))
+    return EXIT_ERRORS if report["errors"] else 0
+
+
+def _run_dirs(
+    dirs: tuple[Path, ...], out_dir: Path | None, mirror_root: Path | None, mirror: bool
+) -> int:
+    from solar_eval.rescore.evaluator_doc import current_evaluator_document
+    from solar_eval.rescore.from_bundle import RescoreError, rescore_run_bundle
+    from solar_eval.rescore.paths import default_evaluations_dir, resolve_mirror_root
+
+    targets = [(d, out_dir or (None if mirror else default_evaluations_dir(d))) for d in dirs]
+    missing = [d for d, target in targets if target is None and not mirror]
+    if missing:
+        _usage(f"{missing[0]} is not under …/eval/bundles/ — give --out DIR")
+    root = resolve_mirror_root(mirror_root) if mirror else None
+    evaluator = current_evaluator_document()
+    errors = 0
+    for bundle_dir, target in targets:
+        try:
+            outcome = rescore_run_bundle(bundle_dir, target, mirror_root=root, evaluator=evaluator)
+        except RescoreError as exc:
+            click.echo(f"error {exc.run_id or bundle_dir.name} {exc.code}", err=True)
+            errors += 1
+            continue
+        _echo_outcome(outcome, fallback=bundle_dir.name)
+    return EXIT_ERRORS if errors else 0
+
+
+def _echo_outcome(outcome: Any, fallback: str = "-") -> None:
+    if outcome.status == "skip":
+        click.echo(f"skip {outcome.run_id or fallback} {outcome.code}")
+    else:
+        click.echo(f"{outcome.status} {outcome.path}")

solar_eval/cli/commands/sync.py

@@ -17,7 +17,7 @@ logger = logging.getLogger(__name__)
 @click.option(
     "--mongo-uri",
     envvar="MONGODB_URI",
-    default="mongodb://localhost:27017",
+    default="mongodb://localhost:57017",
     help="MongoDB connection URI",
 )
 @click.option("--db", "database", default="solar_eval", help="MongoDB database name")
@@ -122,9 +122,10 @@ def _sync_single_run(store, project: str, run_dir: Path, cfg) -> dict[str, int]:
                     "input": result.get("input", {}),
                     "output": result.get("output", ""),
                     "golden": result.get("golden", ""),
-                    "input_tokens": result.get("input_tokens", 0),
-                    "output_tokens": result.get("output_tokens", 0),
-                    "inference_time_ms": result.get("inference_time_ms", 0),
+                    # 사용량·지연이 없는 행은 None 그대로 -- 0 을 지어내지 않는다(L6b B1).
+                    "input_tokens": result.get("input_tokens"),
+                    "output_tokens": result.get("output_tokens"),
+                    "inference_time_ms": result.get("inference_time_ms"),
                 }
             )
         sample_count = store.bulk_insert_samples(samples)

solar_eval/cli/config.py

@@ -1,28 +1,155 @@
-"""CLI configuration from YAML file and environment variables."""
+"""CLI configuration from YAML file and environment variables.
 
+**`hub:` 절(계획 2026-09-28 L10 §2.6 · D-L10-6).** 사용자 설정 파일의 `hub.database_url`·`hub.confirm` 은 run 종료 훅의 hub
+다리 opt-in 이다. 여기서는 모양만 읽어 `CLIConfig.hub`(`HubConfig`)에 두고, 환경 변수와의 우선순위·에이전트 세션 판정은
+`solar_eval.hub_hook.optin.resolve_hub_optin` 한 곳이 한다. 모양 오류(매핑이 아님·URL 모양이 아님·모르는 키·설정 파일이
+소유자 전용 권한이 아님)는 `problems` 에 **키 이름만** 싣는다 — 값은 로그·예외·`repr` 어디에도 없다.
+"""
+
+import functools
 import logging
 import os
+import stat
+from collections.abc import Mapping
+from dataclasses import dataclass, field
 from pathlib import Path
 from typing import Any
 
 import yaml
 
-DEFAULT_CONFIG_PATH = Path.home() / ".upstage-cloud-dev" / "solar-eval-config.yaml"
+#: 2026-10-02 전 위치 — 새 경로에 파일이 없을 때만 경고와 함께 읽는다(`make dev-docker-up` 이 새 경로로 복사한다).
+LEGACY_CONFIG_PATH = Path.home() / ".upstage-cloud-dev" / "solar-eval-config.yaml"
+
+
+def _config_home() -> Path:
+    """레포 사용자 설정 홈 — `CBS_ARSENAL_CONFIG_HOME` > `$XDG_CONFIG_HOME/cbs-arsenal` > `~/.config/cbs-arsenal`.
+
+    Go `internal/config.ConfigHome` 과 같은 규칙이다(monorepo-conventions.md "사용자 설정 홈").
+    """
+    override = os.environ.get("CBS_ARSENAL_CONFIG_HOME")
+    if override:
+        return Path(override)
+    xdg = os.environ.get("XDG_CONFIG_HOME")
+    return Path(xdg) / "cbs-arsenal" if xdg else Path.home() / ".config" / "cbs-arsenal"
+
+
+DEFAULT_CONFIG_PATH = _config_home() / "solar-eval.yaml"
+
+#: `hub:` 절이 받는 키.
+HUB_CONFIG_KEYS = ("database_url", "confirm")
+#: `hub.database_url` 이 받는 URL 모양(hub CLI `connect.ts` 와 같은 두 스킴).
+HUB_URL_SCHEMES = ("postgres://", "postgresql://")
+#: 그룹·다른 사용자 권한 비트 — 자격증명 URL 을 담은 설정 파일은 소유자만 읽고 써야 한다(ssh 키와 같은 규칙).
+LOOSE_MODE_BITS = stat.S_IRWXG | stat.S_IRWXO
+#: 문제 목록에 싣는 키 이름 길이 상한(값이 아니라 이름이지만 길게 싣지 않는다).
+_KEY_NAME_MAX = 40
 
 logger = logging.getLogger(__name__)
 
 
+@dataclass(frozen=True)
+class HubConfig:
+    """설정 파일 `hub:` 절 — 값은 `repr` 에 싣지 않는다. `problems` 가 있으면 설정 출처 opt-in 은 꺼진다(optin 이 판정)."""
+
+    database_url: str | None = field(default=None, repr=False)
+    confirm: str | None = field(default=None, repr=False)
+    problems: tuple[str, ...] = ()
+
+
+def config_file_path(config_path: Path | None = None) -> Path:
+    """읽을 설정 파일 — 명시 경로 > `SOLAR_EVAL_CONFIG` > 기본 경로(`<설정 홈>/solar-eval.yaml`) > 옛 경로(있을 때만, 경고).
+
+    기본 경로에 파일이 없고 옛 `~/.upstage-cloud-dev/solar-eval-config.yaml` 이 있으면 옛 것을 읽는다 — 옮기기 전의 설정이
+    조용히 사라지지 않게. 둘 다 없으면 기본 경로(없는 파일 = 빈 설정)다.
+    """
+    if config_path:
+        return config_path
+    env_path = os.environ.get("SOLAR_EVAL_CONFIG")
+    if env_path is not None:
+        return Path(env_path)
+    if DEFAULT_CONFIG_PATH.exists() or not LEGACY_CONFIG_PATH.exists():
+        return DEFAULT_CONFIG_PATH
+    _warn_legacy_once(LEGACY_CONFIG_PATH, DEFAULT_CONFIG_PATH)
+    return LEGACY_CONFIG_PATH
+
+
+@functools.cache
+def _warn_legacy_once(legacy: Path, primary: Path) -> None:
+    """옛 경로 경고는 경로 쌍마다 프로세스당 한 번 — `CLIConfig` 가 여러 번 만들어져도 반복하지 않는다."""
+    logger.warning(
+        "옛 설정 경로 %s 를 읽는다 — %s 로 옮긴다(make dev-docker-up 이 복사한다)", legacy, primary
+    )
+
+
+def parse_hub(yaml_cfg: Mapping[str, Any], path: Path | None = None) -> HubConfig | None:
+    """`hub:` 절 → `HubConfig`(없거나 비었으면 None). 모양 오류는 값 없이 `problems` 로(§2.6 "설정 모양 오류")."""
+    raw = yaml_cfg.get("hub")
+    if raw is None:
+        return None
+    if not isinstance(raw, Mapping):
+        return HubConfig(problems=("hub: 매핑이 아니다",))
+    problems = [f"hub.{_key_name(key)}: 모르는 키" for key in raw if key not in HUB_CONFIG_KEYS]
+    url = _hub_url(raw.get("database_url"), problems)
+    confirm = _hub_confirm(raw.get("confirm"), problems)
+    if url is not None and path is not None:
+        problems += _permission_problems(path)
+    return HubConfig(url, confirm, tuple(problems))
+
+
+def _key_name(key: Any) -> str:
+    return str(key)[:_KEY_NAME_MAX] if isinstance(key, str) else f"<{type(key).__name__}>"
+
+
+def _hub_url(value: Any, problems: list[str]) -> str | None:
+    """URL 문자열(앞뒤 공백 제거). 모양이 틀려도 문자열이면 돌려준다 — 끈 설정의 값도 가림·거부 대상이다."""
+    if value is None:
+        return None
+    if not isinstance(value, str):
+        problems.append("hub.database_url: 문자열이 아니다")
+        return None
+    url = value.strip()
+    if not url:
+        return None
+    if not url.startswith(HUB_URL_SCHEMES):
+        problems.append("hub.database_url: postgres:// 또는 postgresql:// URL 이 아니다")
+    return url
+
+
+def _hub_confirm(value: Any, problems: list[str]) -> str | None:
+    if value is None:
+        return None
+    if not isinstance(value, str):
+        problems.append("hub.confirm: 문자열이 아니다")
+        return None
+    return value.strip() or None
+
+
+def _permission_problems(path: Path) -> list[str]:
+    """자격증명 URL 을 담은 설정 파일이 그룹·다른 사용자에게 열려 있으면 문제 한 줄(값·경로 없음)."""
+    if os.name == "nt":  # POSIX 권한 비트가 뜻을 갖지 않는다
+        return []
+    try:
+        mode = path.stat().st_mode
+    except OSError as exc:
+        return [f"설정 파일 권한을 확인할 수 없다({type(exc).__name__})"]
+    if mode & LOOSE_MODE_BITS:
+        return ["설정 파일이 소유자 전용이 아니다 — chmod 600 <설정 파일>"]
+    return []
+
+
 def default_projects_dir() -> Path:
     """CBS 공용 데이터 홈 아래의 프로젝트 루트 (huggingface 캐시와 같은 방식).
 
     - 기본값: ``~/.cache/cbs-data/solar-eval-projects``
     - ``CBS_DATA_HOME`` 이 설정되면 데이터 홈 자체를 옮긴다: ``$CBS_DATA_HOME/solar-eval-projects``
     - ``XDG_CACHE_HOME`` 이 설정되면 캐시 루트로 존중한다: ``$XDG_CACHE_HOME/cbs-data/solar-eval-projects``
+    - 빈 ``XDG_CACHE_HOME`` 은 XDG 규약대로 없는 것으로 본다 — ``poc_bundle.home.data_home`` 과 같은 규칙이다
+      (계획 2026-09-27 L6 Q-L6-17 — 전에는 상대 경로 ``cbs-data/…`` 로 풀려 호출 위치마다 달랐다).
     """
     data_home = os.environ.get("CBS_DATA_HOME")
     if data_home:
         return Path(data_home).expanduser() / "solar-eval-projects"
-    cache_root = os.environ.get("XDG_CACHE_HOME", "~/.cache")
+    cache_root = os.environ.get("XDG_CACHE_HOME") or "~/.cache"
     return Path(cache_root).expanduser() / "cbs-data" / "solar-eval-projects"
 
 
@@ -66,7 +193,7 @@ def discover_config_dirs(repo_root: Path | None) -> dict[str, Path]:
 
 def _load_yaml_config(config_path: Path | None = None) -> dict[str, Any]:
     """YAML 설정 파일 로드. 파일 없으면 빈 dict 반환."""
-    path = config_path or Path(os.environ.get("SOLAR_EVAL_CONFIG", str(DEFAULT_CONFIG_PATH)))
+    path = config_file_path(config_path)
     if not path.is_file():
         return {}
     try:
@@ -74,7 +201,8 @@ def _load_yaml_config(config_path: Path | None = None) -> dict[str, Any]:
             data = yaml.safe_load(f)
         return data if isinstance(data, dict) else {}
     except Exception as e:
-        logger.warning("Failed to load config from %s: %s", path, e)
+        # 예외 원문은 싣지 않는다 — YAML 오류 문구가 줄 조각(자격증명 URL 포함)을 담을 수 있다(L10 §2.6 "비밀").
+        logger.warning("Failed to load config from %s: %s", path, type(e).__name__)
         return {}
 
 
@@ -83,13 +211,16 @@ class CLIConfig:
 
     Priority (low → high):
     1. Hard-coded defaults (projects_dir: ~/.cache/cbs-data/solar-eval-projects)
-    2. YAML config file (~/.upstage-cloud-dev/solar-eval-config.yaml)
-    3. Environment variables (SOLAR_EVAL_URL, CBS_DATA_HOME, SOLAR_EVAL_PROJECTS, etc.)
+    2. YAML config file (~/.config/cbs-arsenal/solar-eval.yaml, 옛 ~/.upstage-cloud-dev/solar-eval-config.yaml) — `hub:` 절 포함(모듈 설명)
+    3. Environment variables (SOLAR_EVAL_URL, CBS_DATA_HOME, SOLAR_EVAL_PROJECTS, HUB_DATABASE_URL, etc.)
     4. CLI options (--remote, etc.)
     """
 
     def __init__(self, config_path: Path | None = None) -> None:
-        yaml_cfg = _load_yaml_config(config_path)
+        path = config_file_path(config_path)
+        yaml_cfg = _load_yaml_config(path)
+        #: run 종료 훅 hub 다리 opt-in(설정 출처) — 해석은 `hub_hook.optin.resolve_hub_optin`.
+        self.hub: HubConfig | None = parse_hub(yaml_cfg, path)
 
         yaml_remote = yaml_cfg.get("remote_url") or yaml_cfg.get("remote")
         self.remote_url: str | None = os.environ.get("SOLAR_EVAL_URL", yaml_remote)
@@ -126,6 +257,10 @@ class CLIConfig:
         if openai_cfg.get("api_key") and not os.environ.get("OPENAI_API_KEY"):
             os.environ["OPENAI_API_KEY"] = openai_cfg["api_key"]
 
+        timely_cfg = yaml_cfg.get("timely", {})
+        if timely_cfg.get("api_key") and not os.environ.get("TIMELY_API_KEY"):
+            os.environ["TIMELY_API_KEY"] = timely_cfg["api_key"]
+
     @property
     def is_remote(self) -> bool:
         return self.remote_url is not None

solar_eval/cli/formatters.py

@@ -29,36 +29,69 @@ def format_overall_score(score: float | None) -> str:
 
 
 def format_projects_table(projects: list[dict[str, Any]]) -> str:
-    rows = [[
-        p.get("name", ""),
-        p.get("display_name", ""),
-        p.get("description", "")[:50],
-        p.get("task_count", 0),
-    ] for p in projects]
-    return tabulate(rows, headers=["Name", "Display Name", "Description", "Tasks"], tablefmt="simple")
+    rows = [
+        [
+            p.get("name", ""),
+            p.get("display_name", ""),
+            p.get("description", "")[:50],
+            p.get("task_count", 0),
+        ]
+        for p in projects
+    ]
+    return tabulate(
+        rows, headers=["Name", "Display Name", "Description", "Tasks"], tablefmt="simple"
+    )
 
 
 def format_prompts_table(prompts: list[dict[str, Any]]) -> str:
-    rows = [[
-        p.get("id", "")[:12],
-        p.get("task", ""),
-        f"v{p.get('version', '?')}",
-        p.get("model", ""),
-        p.get("temperature", ""),
-        (p.get("system_prompt", "") or "")[:40] + "...",
-    ] for p in prompts]
-    return tabulate(rows, headers=["ID", "Task", "Version", "Model", "Temp", "Prompt Preview"], tablefmt="simple")
+    rows = [
+        [
+            p.get("id", "")[:12],
+            p.get("task", ""),
+            f"v{p.get('version', '?')}",
+            p.get("model", ""),
+            p.get("temperature", ""),
+            (p.get("system_prompt", "") or "")[:40] + "...",
+        ]
+        for p in prompts
+    ]
+    return tabulate(
+        rows,
+        headers=["ID", "Task", "Version", "Model", "Temp", "Prompt Preview"],
+        tablefmt="simple",
+    )
 
 
 def format_runs_table(runs: list[dict[str, Any]]) -> str:
-    rows = [[
-        r.get("id", "")[:12],
-        r.get("task", ""),
-        format_status(r.get("status", "")),
-        f"{r.get('completed_samples', 0)}/{r.get('total_samples', 0)}",
-        r.get("created_at", "")[:19],
-    ] for r in runs]
-    return tabulate(rows, headers=["ID", "Task", "Status", "Progress", "Created"], tablefmt="simple")
+    rows = [
+        [
+            r.get("id", "")[:12],
+            r.get("task", ""),
+            format_status(r.get("status", "")),
+            f"{r.get('completed_samples', 0)}/{r.get('total_samples', 0)}",
+            r.get("created_at", "")[:19],
+        ]
+        for r in runs
+    ]
+    return tabulate(
+        rows, headers=["ID", "Task", "Status", "Progress", "Created"], tablefmt="simple"
+    )
+
+
+# 사용량·지연이 측정되지 않은 칸(`None`) -- 0 과 구분되게 찍는다(L6b B1 · D-M2-24).
+MISSING_CELL = "—"
+
+
+def _usage_cell(value: Any) -> Any:
+    """토큰 칸 -- `None` 이면 `—`, 그 밖은 그대로(키가 아예 없을 때의 빈 칸 포함)."""
+    return MISSING_CELL if value is None else value
+
+
+def format_latency(value: Any) -> str:
+    """지연 칸 -- 숫자일 때만 `…ms`, 그 밖(`None`·키 없음·문자열·불리언)은 `—`."""
+    if isinstance(value, bool) or not isinstance(value, (int, float)):
+        return MISSING_CELL
+    return f"{value:.0f}ms"
 
 
 def format_results_table(results: list[dict[str, Any]]) -> str:
@@ -66,15 +99,19 @@ def format_results_table(results: list[dict[str, Any]]) -> str:
     for r in results:
         inp = str(r.get("input", ""))[:40]
         out = str(r.get("output", ""))[:40]
-        rows.append([
-            r.get("sample_idx", ""),
-            inp + ("..." if len(inp) >= 40 else ""),
-            out + ("..." if len(out) >= 40 else ""),
-            r.get("input_tokens", ""),
-            r.get("output_tokens", ""),
-            f"{r.get('inference_time_ms', 0):.0f}ms",
-        ])
-    return tabulate(rows, headers=["#", "Input", "Output", "In Tok", "Out Tok", "Time"], tablefmt="simple")
+        rows.append(
+            [
+                r.get("sample_idx", ""),
+                inp + ("..." if len(inp) >= 40 else ""),
+                out + ("..." if len(out) >= 40 else ""),
+                _usage_cell(r.get("input_tokens", "")),
+                _usage_cell(r.get("output_tokens", "")),
+                format_latency(r.get("inference_time_ms")),
+            ]
+        )
+    return tabulate(
+        rows, headers=["#", "Input", "Output", "In Tok", "Out Tok", "Time"], tablefmt="simple"
+    )
 
 
 def format_evaluation_detail(evaluation: dict[str, Any]) -> str:
@@ -91,14 +128,21 @@ def format_evaluation_detail(evaluation: dict[str, Any]) -> str:
 
 
 def format_dashboard_table(dashboard: dict[str, Any]) -> str:
-    rows = [[
-        r.get("run_id", "")[:12],
-        r.get("task", ""),
-        f"v{r.get('prompt_version', '?')}",
-        r.get("model", ""),
-        format_overall_score(r.get("overall_score")),
-        format_scores(r.get("scores")),
-        r.get("total_samples", ""),
-        r.get("date", "")[:10],
-    ] for r in dashboard.get("runs", [])]
-    return tabulate(rows, headers=["Run ID", "Task", "Version", "Model", "Score", "Metrics", "Samples", "Date"], tablefmt="simple")
+    rows = [
+        [
+            r.get("run_id", "")[:12],
+            r.get("task", ""),
+            f"v{r.get('prompt_version', '?')}",
+            r.get("model", ""),
+            format_overall_score(r.get("overall_score")),
+            format_scores(r.get("scores")),
+            r.get("total_samples", ""),
+            r.get("date", "")[:10],
+        ]
+        for r in dashboard.get("runs", [])
+    ]
+    return tabulate(
+        rows,
+        headers=["Run ID", "Task", "Version", "Model", "Score", "Metrics", "Samples", "Date"],
+        tablefmt="simple",
+    )

solar_eval/cli/main.py

@@ -59,6 +59,7 @@ from solar_eval.cli.commands.runs import runs_group
 from solar_eval.cli.commands.eval import eval_group
 from solar_eval.cli.commands.dashboard import dashboard_group
 from solar_eval.cli.commands.datasets import datasets_group
+from solar_eval.cli.commands.score import score_group
 
 from solar_eval.cli.commands.compare import compare_command
 from solar_eval.cli.commands.quickrun import quick_run
@@ -73,6 +74,8 @@ solar_eval_cli.add_command(datasets_group)
 solar_eval_cli.add_command(compare_command)
 solar_eval_cli.add_command(quick_run)
 solar_eval_cli.add_command(sync_to_mongodb)
+# 오프라인 재채점(`score proofread-diff`) — 계획 2026-09-26 L3b §2.1.
+solar_eval_cli.add_command(score_group)
 
 
 def entrypoint() -> None:

solar_eval/config.py

@@ -7,6 +7,9 @@ class ProviderConfig(BaseSettings):
     upstage_api_key: str = ""
     upstage_api_base: str = "https://api.upstage.ai/v1"
     openai_api_key: str = ""
+    # Timely Router (OpenAI 호환 멀티모델 라우터) — 스텝 `model: timely:<모델>` 이 쓴다
+    timely_api_key: str = ""
+    timely_api_base: str = "https://api.timelyrouter.ai/v1"
     hf_token: str = ""
     default_model: str = "solar-pro2"
 

solar_eval/core/dataset_loader.py

@@ -1,6 +1,9 @@
 import csv
+import hashlib
+import io
 import json
 import logging
+from dataclasses import dataclass
 from pathlib import Path
 
 from huggingface_hub import hf_hub_download, list_repo_files
@@ -10,6 +13,34 @@ from solar_eval.config import get_provider_config
 logger = logging.getLogger(__name__)
 
 
+@dataclass(frozen=True)
+class LoadedJsonl:
+    """한 번 읽은 JSONL -- 파싱한 레코드와 **같은 바이트**의 sha256 (계획 D16).
+
+    `sha256` 은 64자 소문자 hex 다(`sha256:` 접두어 없음). 파일 sha 와 파싱이 서로
+    다른 read 에서 나오면 그 사이에 파일이 바뀌었을 때 run.json 이 거짓을 적는다.
+    """
+
+    records: list[dict]
+    sha256: str
+    local_path: Path
+
+
+def parse_jsonl_bytes(data: bytes) -> list[dict]:
+    """JSONL 바이트를 레코드 목록으로. 오늘 `open()` 반복과 **같은 줄 규칙**이다.
+
+    universal newlines(`\n`·`\r\n`·단독 `\r` 모두 줄 끝)로 줄을 나누고, `strip()` 뒤
+    빈 줄은 건너뛴다 -- `sample_idx`(레코드 위치)가 옛 run 과 어긋나지 않아야 한다.
+    """
+    records = []
+    with io.TextIOWrapper(io.BytesIO(data), encoding="utf-8") as f:
+        for line in f:
+            line = line.strip()
+            if line:
+                records.append(json.loads(line))
+    return records
+
+
 class DatasetLoader:
     """Loads datasets from HuggingFace repos or local filesystem."""
 
@@ -37,24 +68,34 @@ class DatasetLoader:
             return self.base_dir / repo / path
         return repo_path / path
 
-    def load_jsonl(
+    def read_jsonl(
         self, repo: str, path: str, source: str = "huggingface", force: bool = False
-    ) -> list[dict]:
-        """Load and parse a JSONL file from HuggingFace or local filesystem."""
+    ) -> LoadedJsonl:
+        """JSONL 을 **바이트로 한 번** 읽어 sha256 과 레코드를 함께 돌려준다 (D16).
+
+        sha 는 `hashlib` 로 계산한다 -- 이 모듈은 벤더 사본(HF Space)에 실리므로
+        poc-bundle 패키지를 가져오지 않는다(D18).
+        """
         if source == "local":
             local_path = self._resolve_local_path(repo, path)
             if not local_path.exists():
                 raise FileNotFoundError(f"Local dataset not found: {local_path}")
         else:
             local_path = self.download_file(repo, path, force=force)
-        records = []
-        with open(local_path, encoding="utf-8") as f:
-            for line in f:
-                line = line.strip()
-                if line:
-                    records.append(json.loads(line))
+        data = Path(local_path).read_bytes()
+        records = parse_jsonl_bytes(data)
         logger.info(f"Loaded {len(records)} records from {local_path}")
-        return records
+        return LoadedJsonl(
+            records=records,
+            sha256=hashlib.sha256(data).hexdigest(),
+            local_path=Path(local_path),
+        )
+
+    def load_jsonl(
+        self, repo: str, path: str, source: str = "huggingface", force: bool = False
+    ) -> list[dict]:
+        """Load and parse a JSONL file from HuggingFace or local filesystem."""
+        return self.read_jsonl(repo, path, source=source, force=force).records
 
     def load_csv(
         self, repo: str, path: str, source: str = "huggingface", force: bool = False

solar_eval/core/dataset_prep.py

@@ -0,0 +1,169 @@
+"""run 시작 전 데이터셋 준비 -- 한 번 읽고, 고르고, 행 메타 규칙을 검증한다 (계획 D3·D13·D16).
+
+CLI(`runs start/batch`)는 run 디렉토리를 만들기 **전에** `prepare_dataset` 을 불러
+0행 선택·라벨 누락·`meta_fields` 오류를 먼저 터뜨리고, 같은 `PreparedDataset` 을
+러너(`execute_run(prepared=...)`)와 run.json 기록(sha256·행 수·선택)에 함께 넘긴다.
+그래서 run.json 의 sha256 과 실제로 돈 행이 **같은 바이트**에서 나온다.
+
+러너는 `prepared` 가 없으면(서비스·옛 호출자) 같은 함수로 스스로 준비한다.
+
+이 모듈은 poc-bundle 패키지와 packaging 을 가져오지 않는다(D18).
+"""
+
+from __future__ import annotations
+
+import copy
+from dataclasses import dataclass
+from typing import Any, Mapping
+
+from solar_eval.core.dataset_loader import DatasetLoader, LoadedJsonl
+from solar_eval.core.row_filter import (
+    RowSelection,
+    SelectionError,
+    Where,
+    combine,
+    format_indices,
+    parse_where,
+    select,
+)
+
+
+class DatasetPrepError(ValueError):
+    """태스크의 행 메타·where 선언이 규칙에 맞지 않을 때 -- run 을 시작하지 않는다."""
+
+
+@dataclass(frozen=True)
+class PreparedDataset:
+    """run 이 돌 행 집합. `selected` 는 `(원본 파일의 0-based 위치, 행)` 튜플들이다."""
+
+    loaded: LoadedJsonl
+    selected: tuple[tuple[int, dict[str, Any]], ...]
+    rows_total: int
+    meta_fields: tuple[str, ...] | None
+    selection: RowSelection | None = None
+
+    @property
+    def rows_selected(self) -> int:
+        return len(self.selected)
+
+    @property
+    def sha256(self) -> str:
+        return self.loaded.sha256
+
+    @property
+    def selected_indices(self) -> frozenset[int]:
+        return frozenset(idx for idx, _ in self.selected)
+
+
+def reject_defaults_where(project_config: Mapping[str, Any]) -> None:
+    """`defaults.where` 를 거부한다 (D1).
+
+    `_resolve_defaults` 는 키 단위 얕은 병합이라 `defaults.where` 가 라벨 없는 태스크에도
+    퍼져 그 run 이 전부 죽고, 태스크에 where 가 있으면 통째로 무시된다("병합"이 아니라
+    "대체"). 로드된 dict 에 `defaults` 키가 병합 뒤에도 남아 있으므로 그것을 본다.
+    로드 시점이 아니라 run 시작 시 검사한다 -- 한 프로젝트의 잘못된 선언이 다른
+    프로젝트 로드를 막지 않게.
+    """
+    defaults = project_config.get("defaults") or {}
+    if isinstance(defaults, Mapping) and "where" in defaults:
+        name = project_config.get("name", "?")
+        raise DatasetPrepError(
+            f"project {name!r}: defaults.where is not allowed -- "
+            "declare where on a task or pass --where on the CLI"
+        )
+
+
+def _data_keys(task_config: Mapping[str, Any]) -> set[str]:
+    """입력·정답으로 이미 쓰는 데이터 행 키 -- meta 로 중복 복제하지 않는다."""
+    keys = set(task_config.get("input_fields") or [])
+    golden_field = task_config.get("golden_field")
+    if golden_field:
+        keys.add(golden_field)
+    golden_fields = task_config.get("golden_fields") or {}
+    if isinstance(golden_fields, Mapping):
+        keys.update(v for v in golden_fields.values() if isinstance(v, str))
+    return keys
+
+
+def validate_meta_fields(task_config: Mapping[str, Any]) -> tuple[str, ...] | None:
+    """태스크 `meta_fields` 검증 (D13) -- 비어 있지 않은 문자열 리스트, 중복·입력/정답 겹침 불가.
+
+    선언이 없으면 `None`(results 행에 `meta` 키를 쓰지 않는다 -- 다른 프로젝트의 바이트 불변).
+    """
+    raw = task_config.get("meta_fields")
+    if raw is None:
+        return None
+    task = task_config.get("name", "?")
+    if not isinstance(raw, list) or not raw:
+        raise DatasetPrepError(f"task {task!r}: meta_fields must be a non-empty list of strings")
+    if not all(isinstance(f, str) and f.strip() for f in raw):
+        raise DatasetPrepError(f"task {task!r}: meta_fields values must be non-empty strings")
+    duplicates = sorted({f for f in raw if raw.count(f) > 1})
+    if duplicates:
+        raise DatasetPrepError(f"task {task!r}: meta_fields has duplicates: {duplicates}")
+    overlap = sorted(set(raw) & _data_keys(task_config))
+    if overlap:
+        raise DatasetPrepError(f"task {task!r}: meta_fields overlap input/golden fields: {overlap}")
+    return tuple(raw)
+
+
+def row_meta(row: Mapping[str, Any], meta_fields: tuple[str, ...] | None) -> dict[str, Any] | None:
+    """데이터 행에서 `meta_fields` 키만 골라 복사한다. 행에 없는 키는 **생략**한다.
+
+    값은 깊은 복사본이다 -- 결과 행이 데이터셋 행 객체를 공유하지 않게.
+    """
+    if meta_fields is None:
+        return None
+    return {key: copy.deepcopy(row[key]) for key in meta_fields if key in row}
+
+
+def build_selection(
+    task_config: Mapping[str, Any], cli_where: Where | None = None, limit: int | None = None
+) -> RowSelection:
+    """태스크 `where` 와 CLI where(`Where` 또는 `None`)를 합쳐 run 의 선택을 만든다.
+
+    선택은 CLI 가 **명시적으로** 만들어 러너에 넘긴다 -- 러너는 `task_config["where"]` 를
+    스스로 읽지 않는다(D3).
+    """
+    task_name = task_config.get("name", "?")
+    task_where = parse_where(task_config.get("where"), origin=f"task {task_name!r}")
+    return RowSelection(where=combine(task_where, cli_where), limit=limit or None)
+
+
+def prepare_dataset(
+    loader: DatasetLoader,
+    project_config: Mapping[str, Any],
+    task_config: Mapping[str, Any],
+    selection: RowSelection | None,
+) -> PreparedDataset:
+    """데이터셋을 한 번 읽고 선택을 적용한다. 0행·라벨 누락·meta 오류는 여기서 터진다."""
+    meta_fields = validate_meta_fields(task_config)
+    dataset_config = project_config.get("dataset") or {}
+    loaded = loader.read_jsonl(
+        dataset_config.get("repo", ""),
+        task_config.get("dataset_path", ""),
+        source=dataset_config.get("source", "huggingface"),
+    )
+    selected = select(loaded.records, selection)
+    return PreparedDataset(
+        loaded=loaded,
+        selected=tuple(selected),
+        rows_total=len(loaded.records),
+        meta_fields=meta_fields,
+        selection=selection,
+    )
+
+
+def check_resume_indices(prepared: PreparedDataset, completed_indices: set[int]) -> None:
+    """이미 끝난 `sample_idx` 가 선택 밖이면 실패한다 (D3 resume 가드).
+
+    선택 밖 결과가 섞인 results 는 이 run 의 선택으로 설명되지 않는다 -- 선택이나
+    데이터셋이 run 시작 뒤 바뀌었다는 뜻이다.
+    """
+    outside = sorted(completed_indices - prepared.selected_indices)
+    if outside:
+        raise SelectionError(
+            "completed results are outside this run's selection "
+            f"({format_indices(outside)}) "
+            "-- the selection or dataset changed since the run started; start a new run"
+        )

solar_eval/core/fingerprint.py

@@ -3,7 +3,7 @@
 왜 필요한가: 이 엔진의 자산은 오래 이름으로만 식별돼 왔고(`prompt_dev_v23`
 ↔ `pipeline_dev_v24` 처럼 짝의 번호가 어긋나는 일이 잦았다), 그래서
 "이름이 다른 두 run 이 사실 같은 설정" 인지를 사람이 해시를 떠서 대조해야 했다
-(`insights/lab_notes_archive.md#260803_etd_regression_prod_vs_v24` 의 '이름 매핑' 절이 그 흔적이다).
+(`insights/260803_etd_regression_prod_vs_v24.md` 의 '이름 매핑' 절이 그 흔적이다).
 run 에 지문을 찍어 두면 그 대조가 조회 한 번으로 끝난다.
 
 지문은 **해석이 끝난 설정**을 대상으로 계산한다. `extends`/override 로 조립한
@@ -16,7 +16,7 @@ run 에 지문을 찍어 두면 그 대조가 조회 한 번으로 끝난다.
 
 import hashlib
 import json
-from collections.abc import Mapping, Sequence
+from collections.abc import Iterator, Mapping, Sequence
 from pathlib import Path
 from typing import Any
 
@@ -84,16 +84,28 @@ def prompt_fingerprint(path: Path) -> str | None:
     return None
 
 
-def _collect_prompt_assets(root: Path) -> dict[str, str]:
-    """프롬프트 디렉토리의 `{상대경로: 파일지문}` 맵. 숨김 파일은 제외한다."""
-    assets: dict[str, str] = {}
+def iter_prompt_asset_files(root: Path) -> Iterator[Path]:
+    """프롬프트 디렉토리에서 지문 대상 파일을 경로 정렬 순서로 낸다.
+
+    규칙: `PROMPT_ASSET_SUFFIXES` 확장자(대소문자 무시)의 일반 파일, `root` 기준 경로의
+    어느 부분이든 `.` 으로 시작하면(숨김) 제외. legacy `prompt_sha` 와 스냅샷의
+    `prompt_assets`(`core/snapshot/resources.py`)가 **같은 파일 집합**을 보도록 이 함수
+    하나를 공유한다(계획 2026-09-24-phase1a D12).
+    """
     for file in sorted(root.rglob("*")):
         if not file.is_file() or file.suffix.lower() not in PROMPT_ASSET_SUFFIXES:
             continue
         if any(part.startswith(".") for part in file.relative_to(root).parts):
             continue
-        assets[file.relative_to(root).as_posix()] = _file_digest(file)
-    return assets
+        yield file
+
+
+def _collect_prompt_assets(root: Path) -> dict[str, str]:
+    """프롬프트 디렉토리의 `{상대경로: 파일지문}` 맵. 숨김 파일은 제외한다."""
+    return {
+        file.relative_to(root).as_posix(): _file_digest(file)
+        for file in iter_prompt_asset_files(root)
+    }
 
 
 def _file_digest(path: Path) -> str:

solar_eval/core/pipeline_factory.py

@@ -0,0 +1,54 @@
+"""태스크 → 파이프라인 생성 한 곳 (계획 D6·검토 F11).
+
+CLI 와 러너가 파이프라인을 따로 만들면 `project_dir`·`config_dir` 해석이 갈릴 수 있다.
+그래서 생성 규칙을 여기 하나로 두고, CLI 는 한 번 만든 인스턴스를 스냅샷
+(`step_impl_hash`·`resources`)과 `execute_run(pipeline=...)` 에 **같이** 넘긴다.
+러너는 `pipeline` 인자가 없으면(서비스·옛 호출자) 이 함수로 만든다.
+
+이 모듈은 poc-bundle 패키지와 packaging 을 가져오지 않는다(D18).
+"""
+
+from __future__ import annotations
+
+from pathlib import Path
+from typing import Any, Mapping
+
+from solar_eval.core.dataset_loader import DatasetLoader
+from solar_eval.pipelines.base import BasePipeline
+from solar_eval.pipelines.registry import create_pipeline
+
+
+def task_project_dir(
+    project_config: Mapping[str, Any], dataset_loader: DatasetLoader
+) -> Path | None:
+    """데이터 루트 기준 프로젝트 디렉토리 -- v24 `tool_calling_judge` 가 `pmi_lookup` 상대경로를 풀 때 쓴다.
+
+    `dataset_loader.base_dir` 이 projects 루트이므로 project 이름을 붙이면 project_dir 이
+    된다 -- CLI(`_start_local`)가 이미 쓰는 것과 같은 관례(§5-F).
+    """
+    project_name = project_config.get("name")
+    if dataset_loader.base_dir and project_name:
+        return dataset_loader.base_dir / project_name
+    return None
+
+
+def build_task_pipeline(
+    project_config: Mapping[str, Any],
+    task_config: Mapping[str, Any],
+    prompt: Mapping[str, Any],
+    dataset_loader: DatasetLoader,
+) -> BasePipeline:
+    """태스크 설정으로 실행할 파이프라인을 만든다. 모르는 스텝 이름은 여기서 죽는다(run 전).
+
+    `config_dir` 은 레포 관리 프로젝트면 project_loader 가 채워 둔 config 정본 경로
+    (03-evaluation) -- 치환 사전 같은 지식 자산이 여기서 온다.
+    """
+    return create_pipeline(
+        pipeline_type=task_config.get("pipeline", "single_step"),
+        input_fields=task_config.get("input_fields", []),
+        pipeline_config=task_config.get("pipeline_config"),
+        prompts=prompt.get("step_prompts", {}),
+        dataset_loader=dataset_loader,
+        project_dir=task_project_dir(project_config, dataset_loader),
+        config_dir=project_config.get("config_dir"),
+    )

solar_eval/core/row_filter.py

@@ -0,0 +1,288 @@
+"""태그 행 필터 -- `where: {tags, category}` 문법과 행 선택 (계획 D1~D3).
+
+문법은 두 키로 닫혀 있다:
+
+- `tags`: **AND** -- 행의 `tags` 가 나열한 태그를 모두 가져야 한다(다중값 라벨).
+- `category`: **OR** -- 행의 `category`(행마다 하나)가 목록 중 하나여야 한다.
+- 둘 다 있으면 AND.
+
+선택 순서는 `where → limit(앞에서 N개)` 이고, 선택된 행은 **원본 파일의 0-based 레코드
+위치**(`sample_idx`)를 그대로 들고 간다 -- Experiment Hub 조인·resume·eval_details 가 모두 이
+번호를 정본으로 쓰기 때문이다(D2).
+
+오류 메시지는 `sample_idx` 와 키 이름·타입 이름만 싣고 **행 본문을 싣지 않는다**
+(고객 텍스트가 로그·예외로 새지 않게).
+
+이 모듈은 poc-bundle 패키지와 packaging 을 가져오지 않는다(D18 -- HF Space 벤더 사본).
+"""
+
+from __future__ import annotations
+
+from dataclasses import dataclass
+from typing import Any, Iterable, Mapping, Sequence
+
+WHERE_KEYS: tuple[str, ...] = ("tags", "category")
+# 오류 메시지에 싣는 문제 행 번호의 최대 개수 -- 전부 나열하면 메시지가 데이터셋 크기만큼 길어진다.
+_MAX_REPORTED_IDX = 5
+
+
+class SelectionError(ValueError):
+    """where 문법 오류, 라벨이 덜 붙은 데이터셋, 0행 선택 등 -- run 을 시작하지 않는다."""
+
+
+@dataclass(frozen=True)
+class Where:
+    """정규화된 행 필터. 값은 정렬·중복 제거된 튜플이고, 지정 안 한 키는 `None` 이다."""
+
+    tags: tuple[str, ...] | None = None
+    category: tuple[str, ...] | None = None
+
+    def is_empty(self) -> bool:
+        return self.tags is None and self.category is None
+
+    def to_json(self) -> dict[str, list[str]]:
+        """정규화 JSON -- 키 정렬(D3: category → tags), 값 정렬, 지정 안 한 키는 생략."""
+        out: dict[str, list[str]] = {}
+        for key in sorted(WHERE_KEYS):
+            values = getattr(self, key)
+            if values is not None:
+                out[key] = list(values)
+        return out
+
+    def describe(self) -> str:
+        """사람용 한 줄 표기: `category=c tags=a,b` -- 키 순서는 `to_json` 과 같다(정렬)."""
+        return " ".join(f"{k}={','.join(v)}" for k, v in self.to_json().items())
+
+
+@dataclass(frozen=True)
+class RowSelection:
+    """run 이 돌 행 집합의 정의: `where`(없으면 전체) 뒤 앞에서 `limit` 개."""
+
+    where: Where | None = None
+    limit: int | None = None
+
+    def __post_init__(self) -> None:
+        if self.where is not None and self.where.is_empty():
+            # 빈 Where 와 None 이 같은 뜻인데 서로 다르게 비교되면 resume 가드가 흔들린다.
+            object.__setattr__(self, "where", None)
+        limit = self.limit
+        if limit is not None and (isinstance(limit, bool) or not isinstance(limit, int)):
+            raise SelectionError(f"limit must be a positive integer, got {type(limit).__name__}")
+        if limit is not None and limit < 1:
+            raise SelectionError(f"limit must be a positive integer, got {limit}")
+
+    def to_json(self) -> dict[str, Any]:
+        """run.json `dataset.selection` 에 기록하는 정규화 형태."""
+        return {
+            "where": self.where.to_json() if self.where is not None else None,
+            "limit": self.limit,
+        }
+
+    @classmethod
+    def from_json(cls, obj: Any) -> RowSelection:
+        """`to_json()` 의 역. resume 이 run.json 에 기록된 선택을 되살릴 때 쓴다."""
+        if not isinstance(obj, Mapping):
+            raise SelectionError(f"selection must be an object, got {type(obj).__name__}")
+        unknown = sorted(set(obj) - {"where", "limit"})
+        if unknown:
+            raise SelectionError(f"selection has unknown keys: {unknown}")
+        where = parse_where(obj.get("where"), origin="recorded selection")
+        return cls(where=where, limit=obj.get("limit"))
+
+
+def _parse_values(key: str, raw: Any, origin: str) -> tuple[str, ...]:
+    """where 값 하나 검증: 비어 있지 않은 문자열의 비어 있지 않은 리스트, 중복 불가.
+
+    값은 앞뒤 공백을 떼어 저장한다 -- CLI(`parse_cli_where`)도 떼므로 YAML 과 CLI 가 같은
+    값으로 정규화된다. 중복 검사도 뗀 값으로 한다.
+    """
+    if not isinstance(raw, list) or not raw:
+        raise SelectionError(f"{origin}: where.{key} must be a non-empty list of strings")
+    for value in raw:
+        if not isinstance(value, str) or not value.strip():
+            raise SelectionError(f"{origin}: where.{key} values must be non-empty strings")
+    values = [value.strip() for value in raw]
+    duplicates = sorted({v for v in values if values.count(v) > 1})
+    if duplicates:
+        raise SelectionError(f"{origin}: where.{key} has duplicate values: {duplicates}")
+    return tuple(sorted(values))
+
+
+def parse_where(obj: Any, origin: str) -> Where | None:
+    """`project.yaml` ��스크의 `where` 객체(또는 기록된 선택)를 검증해 `Where` 로 만든다.
+
+    `None` 은 "필터 없음". 모르는 키·빈 리스트·중복은 오류다(문법이 닫혀 있어야 오타가
+    조용히 0행이 되지 않는다).
+    """
+    if obj is None:
+        return None
+    if not isinstance(obj, Mapping):
+        raise SelectionError(f"{origin}: where must be an object, got {type(obj).__name__}")
+    unknown = sorted(str(k) for k in set(obj) - set(WHERE_KEYS))
+    if unknown:
+        raise SelectionError(
+            f"{origin}: where has unknown keys {unknown} (allowed: tags, category)"
+        )
+    if not obj:
+        raise SelectionError(f"{origin}: where is empty -- omit it instead")
+    parsed = {key: _parse_values(key, obj[key], origin) for key in WHERE_KEYS if key in obj}
+    return Where(**parsed)
+
+
+def parse_cli_where(values: Iterable[str]) -> Where | None:
+    """CLI `--where key=v1,v2` (반복 가능)를 하나의 `Where` 로 접는다.
+
+    반복은 AND 다: `tags` 는 합집합(모두 가져야 함), `category` 는 교집합 -- `combine` 과
+    같은 규칙이다.
+    """
+    result: Where | None = None
+    for raw in values:
+        key, sep, rest = raw.partition("=")
+        key = key.strip()
+        if not sep:
+            raise SelectionError(f"--where {raw!r}: expected key=value1,value2")
+        if key not in WHERE_KEYS:
+            raise SelectionError(f"--where {raw!r}: unknown key {key!r} (allowed: tags, category)")
+        items = [part.strip() for part in rest.split(",")]
+        if not rest.strip() or any(not part for part in items):
+            raise SelectionError(f"--where {raw!r}: empty value")
+        one = parse_where({key: items}, origin=f"--where {raw!r}")
+        result = combine(result, one)
+    return result
+
+
+def combine(task: Where | None, cli: Where | None) -> Where | None:
+    """태스크 where 와 CLI where 를 AND 로 합친다.
+
+    `tags` 는 합집합(모두 가져야 함), `category` 는 교집합(둘 다 있을 때). 교집합이 비면
+    어떤 행도 고를 수 없으므로 run 을 시작하기 전에 실패한다.
+    """
+    if task is None or task.is_empty():
+        return cli if cli is not None and not cli.is_empty() else None
+    if cli is None or cli.is_empty():
+        return task
+    tags = _merge_optional(task.tags, cli.tags, lambda a, b: a | b)
+    category = _merge_optional(task.category, cli.category, lambda a, b: a & b)
+    if category is not None and not category:
+        raise SelectionError(
+            f"where category has no overlap: {list(task.category or ())} "
+            f"vs {list(cli.category or ())}"
+        )
+    return Where(tags=tags, category=category)
+
+
+def _merge_optional(a, b, op) -> tuple[str, ...] | None:
+    if a is None:
+        return b
+    if b is None:
+        return a
+    return tuple(sorted(op(set(a), set(b))))
+
+
+def format_indices(indices: Sequence[int]) -> str:
+    """오류 메시지용 `sample_idx 1, 4, ... (+N more)` -- 행 본문 없이 번호만."""
+    shown = ", ".join(str(i) for i in indices[:_MAX_REPORTED_IDX])
+    more = (
+        f" (+{len(indices) - _MAX_REPORTED_IDX} more)" if len(indices) > _MAX_REPORTED_IDX else ""
+    )
+    return f"sample_idx {shown}{more}"
+
+
+def _check_labels(records: Sequence[Any], where: Where) -> None:
+    """where 가 보는 키가 모든 행에 올바른 타입으로 있는지 -- 덜 붙은 라벨을 조용히 자르지 않는다."""
+    problems: dict[str, list[int]] = {}
+    for idx, row in enumerate(records):
+        if not isinstance(row, Mapping):
+            problems.setdefault("row is not an object", []).append(idx)
+            continue
+        if where.tags is not None:
+            _check_tags(row, idx, problems)
+        if where.category is not None:
+            _check_category(row, idx, problems)
+    if problems:
+        details = "; ".join(
+            f"{reason} at {format_indices(idx)}" for reason, idx in problems.items()
+        )
+        raise SelectionError(
+            f"dataset rows cannot be filtered by where {where.describe()}: {details}"
+        )
+
+
+def _check_tags(row: Mapping[str, Any], idx: int, problems: dict[str, list[int]]) -> None:
+    if "tags" not in row:
+        problems.setdefault("missing 'tags'", []).append(idx)
+    elif not isinstance(row["tags"], list):
+        problems.setdefault("'tags' is not a list", []).append(idx)
+    elif not all(isinstance(t, str) for t in row["tags"]):
+        problems.setdefault("'tags' has a non-string element", []).append(idx)
+
+
+def _check_category(row: Mapping[str, Any], idx: int, problems: dict[str, list[int]]) -> None:
+    if "category" not in row:
+        problems.setdefault("missing 'category'", []).append(idx)
+    elif row["category"] is not None and not isinstance(row["category"], str):
+        # `category: null`(apply --lenient 가 남기는 행)은 타입 오류가 아니라 불일치다.
+        problems.setdefault("'category' is not a string", []).append(idx)
+
+
+def _absent_values(records: Sequence[Mapping[str, Any]], where: Where) -> dict[str, list[str]]:
+    """where 값 중 데이터셋의 **어느 행에도** 없는 값 -- 오타·대소문자 차이를 잡는다.
+
+    필터 결과가 아니라 파일 전체와 대조한다: `tags=a, category=x,y` 에서 `y` 가 파일엔 있지만
+    `a` 태그 행에만 없는 것은 정당한 빈 조합이지 오타가 아니다. 라벨 검사(`_check_labels`)를
+    통과한 뒤에 부르므로 타입은 이미 맞다.
+    """
+    absent: dict[str, list[str]] = {}
+    if where.category is not None:
+        present = {row["category"] for row in records}
+        missing = [v for v in where.category if v not in present]
+        if missing:
+            absent["category"] = missing
+    if where.tags is not None:
+        present = {tag for row in records for tag in row["tags"]}
+        missing = [v for v in where.tags if v not in present]
+        if missing:
+            absent["tags"] = missing
+    return absent
+
+
+def _describe_absent(absent: dict[str, list[str]]) -> str:
+    return "; ".join(f"{key} {values}" for key, values in absent.items())
+
+
+def _matches(row: Mapping[str, Any], where: Where) -> bool:
+    if where.tags is not None and not set(where.tags).issubset(row["tags"]):
+        return False
+    return where.category is None or row["category"] in where.category
+
+
+def select(
+    records: Sequence[dict[str, Any]], selection: RowSelection | None
+) -> list[tuple[int, dict[str, Any]]]:
+    """선택을 적용해 `(원본 idx, 행)` 목록을 돌려준다. 순서는 원본 순서.
+
+    `selection` 이 `None` 이면 전체. where 가 있는데 0행이면 `SelectionError`
+    (조용히 빈 run 을 만들지 않는다). where 없이 빈 파일인 경우는 오늘 동작 그대로 둔다.
+    where 값 중 파일의 어느 행에도 없는 값이 있어도 `SelectionError` 다 -- `category` 는
+    OR 라 오타 하나가 0행이 아니라 "조용히 줄어든 선택"이 되기 때문이다(D1 이 표현식
+    문자열을 버린 것과 같은 이유).
+    """
+    indexed = list(enumerate(records))
+    if selection is None:
+        return indexed
+    where = selection.where
+    if where is not None:
+        _check_labels(records, where)
+        absent = _absent_values(records, where)
+        indexed = [(idx, row) for idx, row in indexed if _matches(row, where)]
+        if not indexed:
+            hint = f" (not in any row: {_describe_absent(absent)})" if absent else ""
+            raise SelectionError(f"where {where.describe()} matched 0 of {len(records)} rows{hint}")
+        if absent:
+            raise SelectionError(
+                f"where value(s) not in any of {len(records)} rows: {_describe_absent(absent)} "
+                "-- check spelling/case, or drop them"
+            )
+    if selection.limit is not None:
+        indexed = indexed[: selection.limit]
+    return indexed

solar_eval/core/run_records.py

@@ -0,0 +1,205 @@
+"""run 산출물 레코드 조립 -- results 행 · eval_details 행 · evaluation 문서.
+
+러너(`execute_run`)와 `runs eval`(재채점) CLI 가 같은 모양을 쓰도록 한 곳에 둔다
+(예전엔 두 곳에 복붙돼 있었다). 저장 키 이름은 eval-store 의 `resultRowSchema`·
+`evaluationJsonSchema` 와 하위 호환이어야 하므로 바꾸지 않는다.
+
+`evaluation` 문서의 `eval_model` 은 **인자**다 -- 어떤 judge 모델로 채점했는지는
+호출자(평가기)가 안다. 이 모듈이 값을 지어내지 않는다.
+
+이 모듈은 poc-bundle 패키지와 packaging 을 가져오지 않는다(D18).
+"""
+
+from __future__ import annotations
+
+from typing import Any, Mapping, Sequence
+
+from solar_eval.models.sample import EvalSample
+
+#: run.json 에서 추론 실패 샘플의 예외 타입 목록이 사는 키(LP5 D-LP5-4). 이름의 정본은 여기 한 곳이다 --
+#: CLI 의 실패 지문 도우미(`cli/commands/failure_keys.py`)도 이 상수로 읽는다.
+FAILED_SAMPLE_ERRORS_KEY = "failed_sample_errors"
+
+
+def build_failure_errors(errors: Sequence[tuple[int, BaseException]]) -> list[dict[str, Any]]:
+    """추론 실패 `(원본 sample_idx, 예외)` 목록 → run.json `failed_sample_errors` 원소들.
+
+    원소는 `{"sample_idx", "error_type"}` 두 키이고 `error_type` 은 예외 **타입 이름**뿐이다 --
+    메시지는 입력 조각을 담을 수 있어 싣지 않는다. `sample_idx` 오름차순, 실패가 없으면 `[]`.
+    """
+    ordered = sorted(errors, key=lambda pair: pair[0])
+    return [{"sample_idx": idx, "error_type": type(exc).__name__} for idx, exc in ordered]
+
+
+def extract_input(sample: Mapping[str, Any], input_fields: Sequence[str]) -> dict[str, Any]:
+    """데이터 행에서 `input_fields` 만 골라 입력 dict 를 만든다(없는 키는 빈 문자열)."""
+    return {field: sample.get(field, "") for field in input_fields}
+
+
+def extract_golden(sample: Mapping[str, Any], task_config: Mapping[str, Any]) -> Any:
+    """데이터 행에서 정답(golden)을 꺼낸다 -- `golden_field` 우선, 다음 `golden_fields`."""
+    golden_field = task_config.get("golden_field")
+    golden_fields = task_config.get("golden_fields")
+    if golden_field:
+        return sample.get(golden_field, "")
+    if golden_fields:
+        return {k: sample.get(v, "") for k, v in golden_fields.items()}
+    return ""
+
+
+def build_eval_sample_from_result(result: dict[str, Any], reference: Any) -> EvalSample:
+    """저장된 결과 dict(레거시 8+trace 키)에서 채점용 `EvalSample` 을 되살린다.
+
+    `insert_run_result` 가 쓰는 키 이름(`golden`/`trace`)은 `EvalSample` 필드 이름
+    (`reference`/`artifacts`)과 다르다 -- eval-store 하위 호환을 위해 저장 스키마는
+    그대로 두고(마이그레이션 계획 §9-1) 채점 직전에만 여기서 되돌린다. `execute_run`
+    내부 루프와 `runs eval` CLI(재채점, 새 추론 없이 디스크의 `results.jsonl` 을
+    그대로 씀) 양쪽에서 공유한다.
+
+    Args:
+        result: `insert_run_result` 에 넘긴 것과 같은 형태(또는 `JsonlStore.
+            load_existing_results()` 로 디스크에서 다시 읽은 것). `input`/`output`/
+            `trace` 키를 읽는다.
+        reference: 정답(golden) 값. 호출자가 직접 넘긴다 -- 두 호출자의 golden
+            추출 경로가 다르기 때문이다(아래 참고). 이 함수는 어느 쪽인지 모른 채
+            값만 받아 그대로 `sample.reference` 에 채운다.
+
+            - `execute_run` 내부 루프: `_golden_raw`(디스크에 안 남는 실행 중
+              임시 키, resume 시에도 매 샘플마다 새로 계산됨)를 넘긴다.
+            - `runs eval` CLI: 디스크에 저장된 `golden` 키를 그대로 넘긴다
+              (`_golden_raw` 는 애초에 저장되지 않아 CLI 쪽엔 없다).
+
+    Returns:
+        `input`/`output`/`reference`/`artifacts` 가 채워진 `EvalSample`.
+        `contexts` 는 아직 아무도 안 써서 기본값(`None`) 그대로다.
+    """
+    trace = result.get("trace") or {}
+    return EvalSample(
+        input=result.get("input"),
+        output=result.get("output"),
+        reference=reference,
+        artifacts=trace,
+    )
+
+
+def _usage_mapping(usage: Any) -> Mapping[str, Any]:
+    """artifacts 의 `usage` 를 읽을 수 있는 dict 로 -- dict 가 아니면(없음·`None` 포함) 빈 dict.
+
+    빈 dict 에서 꺼낸 토큰 칸은 `None` 이 된다(측정 없음). 예전에는 `usage: None` 인 샘플이
+    `None.get` 으로 행 조립 자체를 죽였다.
+    """
+    return usage if isinstance(usage, Mapping) else {}
+
+
+def build_result_row(
+    run_id: str,
+    sample_idx: int,
+    input_data: dict[str, Any],
+    golden: Any,
+    eval_sample: EvalSample,
+    meta: dict[str, Any] | None = None,
+) -> dict[str, Any]:
+    """results.jsonl 한 행. 오늘의 8키 + `trace`, 그리고 `meta_fields` 가 있을 때만 `meta`.
+
+    `sample_idx` 는 **원본 파일의 0-based 레코드 위치**다(필터·limit 뒤에도, D2).
+
+    trace 는 artifacts 전체를 그대로 넣는다 -- step_outputs 뿐 아니라 v24 가 채우는
+    judge_decisions/judge_tool_calls/self_consistency_runs/corrections 도 여기 안 넣으면
+    저장 직전에 통째로 버려진다 (실제 judge LLM 호출·self-consistency 반복 호출 비용이
+    나간 산출물이다). 특정 키만 하드코딩해 옮기면 다음에 파이프라인이 새 artifacts 키를
+    추가할 때마다 여기를 또 고쳐야 하므로 통째로 넘긴다 -- resultRowSchema.trace 는
+    .passthrough() 라 여분 키를 그대로 받는다 (source-schemas.ts:223-228).
+
+    `meta` 는 input 이 아니다 -- 데이터 행의 태그·출처 복사본이고(D13), `meta_fields`
+    선언이 없으면 키 자체를 쓰지 않아 다른 프로젝트의 results 바이트가 그대로다.
+
+    사용량·지연(`input_tokens`·`output_tokens`·`inference_time_ms`)은 artifacts 에 없으면
+    `None` 이다(L6b B1 · D-M2-24) -- `0` 을 지어 넣으면 "측정 없음" 이 "0 을 썼다" 는
+    측정값과 구분되지 않는다. 값이 있으면 그대로 옮긴다(`0` 도 그대로) -- 사용량이 있는
+    행의 바이트는 예전과 같다.
+    """
+    usage = _usage_mapping(eval_sample.artifacts.get("usage"))
+    row: dict[str, Any] = {
+        "run_id": run_id,
+        "sample_idx": sample_idx,
+        "input": input_data,
+        "output": eval_sample.output,
+        "golden": golden,
+        "input_tokens": usage.get("prompt_tokens"),
+        "output_tokens": usage.get("completion_tokens"),
+        "inference_time_ms": eval_sample.artifacts.get("inference_time_ms"),
+        "trace": {
+            "step_outputs": {},
+            **eval_sample.artifacts,
+        },
+    }
+    if meta is not None:
+        row["meta"] = meta
+    return row
+
+
+def build_evaluation_doc(
+    run_id: str,
+    aggregated: Mapping[str, Any],
+    eval_results: Sequence[Mapping[str, Any]],
+    eval_failures: Sequence[Mapping[str, Any]],
+    eval_model: str | None,
+) -> dict[str, Any]:
+    """evaluation.json 문서.
+
+    채점에 성공한 샘플이 하나도 없으면 점수 자리를 비운다 -- aggregate() 는 빈 입력에
+    0.0 을 돌려주는데, 그건 "0점을 받았다"는 측정값이라 "측정 자체가 없었다"와 구분되지
+    않는다. judge 가 통째로 죽은 run 이 Experiment Hub 차트에서 품질 급락으로 보이면 안 된다.
+    """
+    overall_score = aggregated.get("overall_score", 0.0) if eval_results else None
+    return {
+        "run_id": run_id,
+        "scores": aggregated.get("scores", {}),
+        "overall_score": overall_score,
+        "eval_model": eval_model,
+        "eval_success_count": len(eval_results),
+        "eval_failed_count": len(eval_failures),
+        "failed_sample_indices": [f["sample_idx"] for f in eval_failures],
+    }
+
+
+def build_eval_detail_docs(
+    evaluation_id: Any,
+    eval_results: Sequence[Mapping[str, Any]],
+    eval_failures: Sequence[Mapping[str, Any]],
+) -> list[dict[str, Any]]:
+    """eval_details.jsonl 행들 -- 성공/실패 둘 다 한 행씩 남긴다.
+
+    results.jsonl 과 eval_details.jsonl 이 항상 같은 sample_idx 집합을 가리키게 해서
+    부분적으로만 채점된 run 에서 "이 샘플은 왜 안 보이지"를 없앤다.
+    """
+    docs: list[dict[str, Any]] = []
+    for er in eval_results:
+        docs.append(
+            {
+                "evaluation_id": evaluation_id,
+                "sample_idx": er["sample_idx"],
+                "category_scores": er.get("category_scores", {}),
+                "error_counts": {
+                    k: v.get("error_count", 0)
+                    for k, v in er.get("details", {}).items()
+                    if isinstance(v, dict)
+                },
+                "severity": er.get("severity", ""),
+                "score": er.get("score", 0.0),
+            }
+        )
+    for f in eval_failures:
+        docs.append(
+            {
+                "evaluation_id": evaluation_id,
+                "sample_idx": f["sample_idx"],
+                "category_scores": {},
+                "error_counts": {},
+                "severity": None,
+                # 0.0 이 아니라 None -- 채점 실패를 최저 점수와 구분한다 (F1).
+                "score": None,
+                "error": f["error"],
+            }
+        )
+    return docs

solar_eval/core/runner.py

@@ -1,6 +1,7 @@
 import asyncio
 import logging
 import sys
+from dataclasses import dataclass
 from datetime import datetime, timezone
 from typing import Any, Callable
 
@@ -8,51 +9,106 @@ from typing import Any, Callable
 logging.basicConfig(stream=sys.stderr, level=logging.INFO, format="%(message)s")
 
 from solar_eval.core.dataset_loader import DatasetLoader
+from solar_eval.core.dataset_prep import (
+    PreparedDataset,
+    check_resume_indices,
+    prepare_dataset,
+    row_meta,
+)
+from solar_eval.core.pipeline_factory import build_task_pipeline
+from solar_eval.core.row_filter import RowSelection
+from solar_eval.core.run_records import (
+    FAILED_SAMPLE_ERRORS_KEY,
+    build_eval_detail_docs,
+    build_eval_sample_from_result,
+    build_evaluation_doc,
+    build_failure_errors,
+    build_result_row,
+    extract_golden,
+    extract_input,
+)
 from solar_eval.evaluators.registry import create_evaluator
 from solar_eval.models.enums import RunStatus
 from solar_eval.models.sample import EvalSample
-from solar_eval.pipelines.registry import create_pipeline
+from solar_eval.pipelines.base import BasePipeline
 from solar_eval.providers.base import BaseProvider
 from solar_eval.stores.base import ResultStore
 
+# `build_eval_sample_from_result` 는 run_records 로 옮겼지만 `runs eval` 등 기존 호출자가
+# 이 모듈에서 import 하므로 그대로 노출한다.
+__all__ = ["BatchRunner", "build_eval_sample_from_result", "resolve_selection"]
+
 logger = logging.getLogger(__name__)
 
 OnProgress = Callable[[dict[str, Any]], Any]
 
+# 태스크에 evaluator 선언이 없을 때 쓰는 기본 평가기.
+DEFAULT_EVALUATOR_CONFIG: dict[str, Any] = {"type": "llm_judge"}
 
-def build_eval_sample_from_result(result: dict[str, Any], reference: Any) -> EvalSample:
-    """저장된 결과 dict(레거시 8+trace 키)에서 채점용 `EvalSample` 을 되살린다.
-
-    `insert_run_result` 가 쓰는 키 이름(`golden`/`trace`)은 `EvalSample` 필드 이름
-    (`reference`/`artifacts`)과 다르다 -- eval-store 하위 호환을 위해 저장 스키마는
-    그대로 두고(마이그레이션 계획 §9-1) 채점 직전에만 여기서 되돌린다. `execute_run`
-    내부 루프와 `runs eval` CLI(재채점, 새 추론 없이 디스크의 `results.jsonl` 을
-    그대로 씀) 양쪽에서 공유한다.
-
-    Args:
-        result: `insert_run_result` 에 넘긴 것과 같은 형태(또는 `JsonlStore.
-            load_existing_results()` 로 디스크에서 다시 읽은 것). `input`/`output`/
-            `trace` 키를 읽는다.
-        reference: 정답(golden) 값. 호출자가 직접 넘긴다 -- 두 호출자의 golden
-            추출 경로가 다르기 때문이다(아래 참고). 이 함수는 어느 쪽인지 모른 채
-            값만 받아 그대로 `sample.reference` 에 채운다.
 
-            - `execute_run` 내부 루프: `_golden_raw`(디스크에 안 남는 실행 중
-              임시 키, resume 시에도 매 샘플마다 새로 계산됨)를 넘긴다.
-            - `runs eval` CLI: 디스크에 저장된 `golden` 키를 그대로 넘긴다
-              (`_golden_raw` 는 애초에 저장되지 않아 CLI 쪽엔 없다).
+def resolve_selection(
+    task_config: dict[str, Any],
+    selection: RowSelection | None,
+    prepared: PreparedDataset | None,
+    limit: int | None,
+) -> RowSelection | None:
+    """러너가 따를 선택을 정한다 -- 러너는 넘겨받은 선택만 따른다(계획 D3).
 
-    Returns:
-        `input`/`output`/`reference`/`artifacts` 가 채워진 `EvalSample`.
-        `contexts` 는 아직 아무도 안 써서 기본값(`None`) 그대로다.
+    - `prepared` 가 있으면 그 선택이 정본이다. `selection`·`limit` 가 함께 오면 같아야 한다.
+    - 옛 `limit` 인자만 오면 `RowSelection(limit=...)` 로 바꾼다(0·None = 전체, 오늘 동작).
+    - 러너는 `task_config["where"]` 를 스스로 읽지 않는다. 호출자가 선택을 넘기지 않았는데
+      태스크에 where 가 있으면 경고만 남기고 전체 행을 돈다(서비스 경로 -- 조용한 필터 run 금지).
     """
-    trace = result.get("trace") or {}
-    return EvalSample(
-        input=result.get("input"),
-        output=result.get("output"),
-        reference=reference,
-        artifacts=trace,
-    )
+    legacy_limit = limit or None
+    if prepared is not None:
+        if selection is not None and selection != prepared.selection:
+            raise ValueError("execute_run: selection differs from prepared.selection")
+        selection = prepared.selection
+        prepared_limit = selection.limit if selection is not None else None
+        if legacy_limit is not None and legacy_limit != prepared_limit:
+            raise ValueError("execute_run: limit differs from prepared.selection.limit")
+    elif selection is not None:
+        if legacy_limit is not None and legacy_limit != selection.limit:
+            raise ValueError("execute_run: limit differs from selection.limit")
+    elif legacy_limit is not None:
+        selection = RowSelection(limit=legacy_limit)
+
+    # CLI 는 태스크 where 를 선택에 합쳐 넘기므로, 태스크에 where 가 있는데 적용할 선택에
+    # where 가 없다면 호출자가 where 를 모르는 경로(서비스·옛 호출자)다.
+    if task_config.get("where") is not None and (selection is None or selection.where is None):
+        logger.warning(
+            "Task %r declares where, but where is not applied on this path -- running all rows",
+            task_config.get("name"),
+        )
+    return selection
+
+
+def _index_completed(
+    completed_results: list[dict[str, Any]] | None, prepared: PreparedDataset
+) -> dict[int, dict[str, Any]]:
+    """resume 용 `{sample_idx: 결과}`. 선택 밖 idx 가 섞여 있으면 실패한다(D3)."""
+    completed_by_idx = {r["sample_idx"]: r for r in completed_results or []}
+    check_resume_indices(prepared, set(completed_by_idx))
+    return completed_by_idx
+
+
+@dataclass
+class _RunContext:
+    """한 run 의 실행 상태 -- 샘플 처리 함수들이 공유한다."""
+
+    run_id: str
+    task_config: dict[str, Any]
+    prompt: dict[str, Any]
+    pipeline: BasePipeline
+    prepared: PreparedDataset
+    completed_by_idx: dict[int, dict[str, Any]]
+    on_progress: OnProgress | None
+    semaphore: asyncio.Semaphore
+    completed: int = 0
+
+    @property
+    def total(self) -> int:
+        return self.prepared.rows_selected
 
 
 class BatchRunner:
@@ -80,27 +136,31 @@ class BatchRunner:
         max_workers: int = 5,
         limit: int | None = None,
         completed_results: list[dict[str, Any]] | None = None,
+        selection: RowSelection | None = None,
+        prepared: PreparedDataset | None = None,
+        pipeline: BasePipeline | None = None,
     ) -> None:
         """Execute a full inference + evaluation run.
 
         Args:
             completed_results: Previously completed results for resume.
                                Samples with matching sample_idx will be skipped.
+            selection: 돌 행의 선택(`where`·`limit`). `None` = 전체. 러너는 태스크의
+                `where` 를 스스로 읽지 않는다 -- 호출자(CLI)가 만들어 넘긴다(D3).
+            prepared: 호출자가 미리 읽고 고른 데이터셋. 주면 러너가 다시 읽지 않는다 --
+                run.json 의 sha256 과 실제로 돈 행이 같은 바이트에서 나온다(D16).
+            pipeline: 호출자가 만든 파이프라인. 스냅샷을 뜬 것과 **같은 인스턴스**를
+                돌리기 위해 받는다(D6). 없으면 `build_task_pipeline` 으로 만든다.
+
+        `sample_idx` 는 필터·limit 뒤에도 원본 파일의 0-based 레코드 위치다(D2).
 
         샘플 단위 실패(추론/평가)는 삼키고 상태(PARTIAL/eval_failed_count)로 기록하지만,
-        run 을 통째로 못 돌게 만드는 예외(데이터셋 로드 실패, 파이프라인/평가기 생성
-        실패, 스토어 쓰기 실패 등)는 상태를 FAILED 로 남긴 뒤 그대로 재전파한다 --
-        "무슨 일이 있어도 예외 없이 반환"이 아니다. 호출자는 이 함수가 raise 할 수
-        있다고 가정해야 한다.
+        run 을 통째로 못 돌게 만드는 예외(데이터셋 로드 실패, 0행 선택, 선택 밖 resume,
+        파이프라인/평가기 생성 실패, 스토어 쓰기 실패 등)는 상태를 FAILED 로 남긴 뒤
+        그대로 재전파한다 -- "무슨 일이 있어도 예외 없이 반환"이 아니다. 호출자는 이
+        함수가 raise 할 수 있다고 가정해야 한다.
         """
         try:
-            # Build set of already-completed sample indices for resume
-            completed_by_idx: dict[int, dict[str, Any]] = {}
-            if completed_results:
-                for r in completed_results:
-                    completed_by_idx[r["sample_idx"]] = r
-
-            # Update status to running
             await self.store.update_run(
                 run_id,
                 {
@@ -108,275 +168,28 @@ class BatchRunner:
                     "started_at": datetime.now(timezone.utc),
                 },
             )
-
-            # Load dataset
-            dataset_config = project_config.get("dataset", {})
-            source = dataset_config.get("source", "huggingface")
-            repo_name = dataset_config.get("repo", "")
-            dataset_path = task_config.get("dataset_path", "")
-            data = self.dataset_loader.load_jsonl(repo_name, dataset_path, source=source)
-
-            if limit and limit < len(data):
-                data = data[:limit]
-
-            remaining = len(data) - len(completed_by_idx)
-            await self.store.update_run(run_id, {"total_samples": len(data)})
-            if on_progress:
-                await on_progress({"type": "dataset_loaded", "total": len(data)})
-            if completed_by_idx:
-                logger.info(f"Resuming: {len(completed_by_idx)} done, {remaining} remaining")
-
-            # Create pipeline
-            # project_dir: v24 의 tool_calling_judge 가 pmi_lookup 상대경로를 풀 때만
-            # 쓴다 (§5-F). dataset_loader.base_dir 이 projects 루트이므로 project 이름을
-            # 붙이면 project_dir 이 된다 -- CLI(`_start_local`)가 이미 쓰는 것과 같은 관례.
-            project_name = project_config.get("name")
-            project_dir = (
-                self.dataset_loader.base_dir / project_name
-                if self.dataset_loader.base_dir and project_name
-                else None
-            )
-            # config_dir: 레포 관리 프로젝트면 project_loader 가 채워 둔 config 정본
-            # 경로(03-evaluation). 치환 사전 같은 지식 자산이 여기서 온다.
-            pipeline = create_pipeline(
-                pipeline_type=task_config.get("pipeline", "single_step"),
-                input_fields=task_config.get("input_fields", []),
-                pipeline_config=task_config.get("pipeline_config"),
-                prompts=prompt.get("step_prompts", {}),
-                dataset_loader=self.dataset_loader,
-                project_dir=project_dir,
-                config_dir=project_config.get("config_dir"),
-            )
-
-            # Run inference with concurrency control
-            semaphore = asyncio.Semaphore(max_workers)
-            completed = len(completed_by_idx)
-
-            async def process_sample(idx: int, sample: dict) -> dict[str, Any]:
-                nonlocal completed
-
-                # Skip already-completed samples (resume)
-                if idx in completed_by_idx:
-                    existing = completed_by_idx[idx]
-                    golden_field = task_config.get("golden_field")
-                    golden = sample.get(golden_field, "") if golden_field else ""
-                    return {**existing, "_golden_raw": golden}
-
-                async with semaphore:
-                    input_data = {
-                        field: sample.get(field, "")
-                        for field in task_config.get("input_fields", [])
-                    }
-
-                    # Get golden reference
-                    golden_field = task_config.get("golden_field")
-                    golden_fields = task_config.get("golden_fields")
-                    if golden_field:
-                        golden = sample.get(golden_field, "")
-                    elif golden_fields:
-                        golden = {k: sample.get(v, "") for k, v in golden_fields.items()}
-                    else:
-                        golden = ""
-
-                    eval_sample = EvalSample(input=input_data, reference=golden)
-
-                    try:
-                        eval_sample = await pipeline.run(
-                            sample=eval_sample,
-                            prompts=prompt.get("system_prompt", ""),
-                            provider=self.inference_provider,
-                            model=prompt.get("model", "solar-pro2"),
-                            temperature=prompt.get("temperature", 0.0),
-                            max_tokens=prompt.get("max_tokens", 8000),
-                            reasoning_effort=prompt.get("reasoning_effort"),
-                            messages=prompt.get("messages"),
-                        )
-                    except Exception as e:
-                        ts = datetime.now().strftime("%H:%M:%S")
-                        logger.warning(f"[{ts}] Sample {idx} failed: {type(e).__name__}: {e}")
-                        raise
-
-                    # 저장 형태는 이전과 같은 8키 dict (eval-store 의 resultRowSchema 가
-                    # 읽는 이름들과 하위 호환) + trace 를 추가한다. trace 는 artifacts
-                    # 전체를 그대로 넣는다 -- step_outputs 뿐 아니라 v24 가 채우는
-                    # judge_decisions/judge_tool_calls/self_consistency_runs/corrections
-                    # 도 여기 안 넣으면 저장 직전에 통째로 버려진다 (실제 judge LLM 호출·
-                    # self-consistency 반복 호출 비용이 나간 산출물이다). 특정 키만
-                    # 하드코딩해 옮기면 다음에 파이프라인이 새 artifacts 키를 추가할
-                    # 때마다 여기를 또 고쳐야 하므로 통째로 넘긴다 --
-                    # resultRowSchema.trace 는 .passthrough() 라 여분 키를 그대로 받는다
-                    # (source-schemas.ts:223-228).
-                    run_result = {
-                        "run_id": run_id,
-                        "sample_idx": idx,
-                        "input": input_data,
-                        "output": eval_sample.output,
-                        "golden": golden,
-                        "input_tokens": eval_sample.artifacts.get("usage", {}).get(
-                            "prompt_tokens", 0
-                        ),
-                        "output_tokens": eval_sample.artifacts.get("usage", {}).get(
-                            "completion_tokens", 0
-                        ),
-                        "inference_time_ms": eval_sample.artifacts.get("inference_time_ms", 0),
-                        "trace": {
-                            "step_outputs": {},
-                            **eval_sample.artifacts,
-                        },
-                    }
-                    await self.store.insert_run_result(run_result)
-
-                    completed += 1
-                    ts = datetime.now().strftime("%H:%M:%S")
-                    logger.info(f"[{ts}] Sample {idx} completed ({completed}/{len(data)})")
-                    await self.store.update_run(run_id, {"completed_samples": completed})
-                    if on_progress:
-                        await on_progress(
-                            {
-                                "type": "inference_progress",
-                                "completed": completed,
-                                "total": len(data),
-                                "sample_idx": idx,
-                            }
-                        )
-
-                    return {**run_result, "_golden_raw": golden}
-
-            tasks = [process_sample(i, sample) for i, sample in enumerate(data)]
-            results = await asyncio.gather(*tasks, return_exceptions=True)
-
-            # Filter out exceptions
-            valid_results = [r for r in results if isinstance(r, dict)]
-            errors = [(i, r) for i, r in enumerate(results) if isinstance(r, Exception)]
-            if errors:
-                logger.warning(f"Run {run_id}: {len(errors)}/{len(results)} samples failed")
-                for sample_idx, err in errors:
-                    logger.warning(f"  Sample {sample_idx} error: {type(err).__name__}: {err}")
-
-            if on_progress:
-                await on_progress({"type": "inference_complete", "total": len(valid_results)})
-
-            # Run evaluation
-            await self.store.update_run(run_id, {"status": RunStatus.EVALUATING})
-            if on_progress:
-                await on_progress({"type": "evaluation_start", "total": len(valid_results)})
-
-            evaluator = create_evaluator(task_config.get("evaluator", {"type": "llm_judge"}))
-            # eval_results: 성공한 evaluate() 반환값 + "sample_idx"(정본, §0.5).
-            # eval_failures: 채점 자체가 안 된 샘플 -- aggregate() 에는 절대 안 넘긴다
-            # (lcs_diff.aggregate() 처럼 r["details"]["tp"] 를 직접 읽는 구현이 실패
-            # 항목을 만나면 KeyError 로 죽는다, §0.1).
-            eval_results: list[dict[str, Any]] = []
-            eval_failures: list[dict[str, Any]] = []
-
-            for i, result in enumerate(valid_results):
-                # F6: enumerate 위치가 아니라 result["sample_idx"] 가 정본이다 --
-                # 중간 샘플이 추론에서 실패하면 valid_results 의 리스트 위치와 원본
-                # sample_idx 가 어긋난다.
-                sample_idx = result["sample_idx"]
-                try:
-                    eval_sample = build_eval_sample_from_result(
-                        result, reference=result["_golden_raw"]
-                    )
-                    evaluator.validate_required_fields(eval_sample)
-                    eval_result = await evaluator.evaluate(
-                        sample=eval_sample,
-                        provider=self.judge_provider,
-                    )
-                    eval_results.append({**eval_result, "sample_idx": sample_idx})
-
-                    if on_progress and i % 10 == 0:
-                        await on_progress(
-                            {
-                                "type": "evaluation_progress",
-                                "completed": i + 1,
-                                "total": len(valid_results),
-                            }
-                        )
-                except Exception as e:
-                    logger.warning(f"Evaluation failed for sample {sample_idx}: {e}")
-                    eval_failures.append({"sample_idx": sample_idx, "error": str(e)})
-
-            # Aggregate and save evaluation -- eval_results 에는 실패 항목이 안 섞여
-            # 있으므로 기존 aggregate() 구현이 그대로 동작한다.
-            aggregated = evaluator.aggregate(eval_results)
-            # 채점에 성공한 샘플이 하나도 없으면 점수 자리를 비운다 -- aggregate() 는 빈
-            # 입력에 0.0 을 돌려주는데, 그건 "0점을 받았다"는 측정값이라 "측정 자체가
-            # 없었다"와 구분되지 않는다. judge 가 통째로 죽은 run 이 evalhub 차트에서
-            # 품질 급락으로 보이면 F1 을 반만 고친 셈이다.
-            overall_score = aggregated.get("overall_score", 0.0) if eval_results else None
-            eval_id = await self.store.create_evaluation(
-                {
-                    "run_id": run_id,
-                    "scores": aggregated.get("scores", {}),
-                    "overall_score": overall_score,
-                    "eval_model": "gpt-4o",
-                    "eval_success_count": len(eval_results),
-                    "eval_failed_count": len(eval_failures),
-                    "failed_sample_indices": [f["sample_idx"] for f in eval_failures],
-                }
-            )
-
-            # Save per-sample eval details -- 성공/실패 둘 다 한 행씩 남긴다.
-            # results.jsonl 과 eval_details.jsonl 이 항상 같은 sample_idx 집합을
-            # 가리키게 해서 부분적으로만 채점된 run 에서 "이 샘플은 왜 안 보이지"를
-            # 없앤다.
-            eval_detail_docs = []
-            for er in eval_results:
-                eval_detail_docs.append(
-                    {
-                        "evaluation_id": eval_id,
-                        "sample_idx": er["sample_idx"],
-                        "category_scores": er.get("category_scores", {}),
-                        "error_counts": {
-                            k: v.get("error_count", 0)
-                            for k, v in er.get("details", {}).items()
-                            if isinstance(v, dict)
-                        },
-                        "severity": er.get("severity", ""),
-                        "score": er.get("score", 0.0),
-                    }
+            effective = resolve_selection(task_config, selection, prepared, limit)
+            if prepared is None:
+                prepared = prepare_dataset(
+                    self.dataset_loader, project_config, task_config, effective
                 )
-            for f in eval_failures:
-                eval_detail_docs.append(
-                    {
-                        "evaluation_id": eval_id,
-                        "sample_idx": f["sample_idx"],
-                        "category_scores": {},
-                        "error_counts": {},
-                        "severity": None,
-                        # 0.0 이 아니라 None -- 채점 실패를 최저 점수와 구분한다 (F1).
-                        "score": None,
-                        "error": f["error"],
-                    }
+            completed_by_idx = _index_completed(completed_results, prepared)
+            if pipeline is None:
+                pipeline = build_task_pipeline(
+                    project_config, task_config, prompt, self.dataset_loader
                 )
-            await self.store.insert_eval_details(eval_detail_docs)
-
-            # Mark run as completed/partial -- 추론이 일부 샘플에서 실패했으면
-            # PARTIAL, 평가 실패는 이 상태에 영향을 주지 않는다(평가 성공/실패는
-            # 위 eval_success_count/eval_failed_count 로만 표현한다, §0.4). errors
-            # 의 인덱스는 asyncio.gather 가 tasks 순서를 보존하므로 이미 진짜
-            # sample_idx 다.
-            final_status = RunStatus.PARTIAL if errors else RunStatus.COMPLETED
-            await self.store.update_run(
-                run_id,
-                {
-                    "status": final_status,
-                    "completed_at": datetime.now(timezone.utc),
-                    "failed_samples": len(errors),
-                    "failed_sample_indices": [i for i, _ in errors],
-                },
+            ctx = _RunContext(
+                run_id=run_id,
+                task_config=task_config,
+                prompt=prompt,
+                pipeline=pipeline,
+                prepared=prepared,
+                completed_by_idx=completed_by_idx,
+                on_progress=on_progress,
+                completed=len(completed_by_idx),
+                semaphore=asyncio.Semaphore(max_workers),
             )
-
-            if on_progress:
-                await on_progress(
-                    {
-                        "type": "done",
-                        "overall_score": aggregated.get("overall_score", 0.0),
-                        "scores": aggregated.get("scores", {}),
-                    }
-                )
-
+            await self._run_all(ctx)
         except Exception as e:
             logger.exception(f"Run {run_id} failed")
             await self.store.update_run(
@@ -389,6 +202,185 @@ class BatchRunner:
             if on_progress:
                 await on_progress({"type": "error", "error": str(e)})
             # F4: 상태를 FAILED 로 남기고 진행 상황까지 알린 뒤 **그대로 재전파한다**.
-            # 여기서 삼키면 호출자(CLI)는 "Results saved to ..." 를 찍고 evalhub 적재까지
+            # 여기서 삼키면 호출자(CLI)는 "Results saved to ..." 를 찍고 Experiment Hub 적재까지
             # 시도한 다음 exit 0 을 낸다 -- 데이터셋조차 못 읽은 run 이 성공으로 보인다.
             raise
+
+    async def _run_all(self, ctx: _RunContext) -> None:
+        """추론 → 채점 → 상태 마감. 치명적 예외는 호출자(`execute_run`)가 FAILED 로 남긴다."""
+        await self.store.update_run(ctx.run_id, {"total_samples": ctx.total})
+        if ctx.on_progress:
+            await ctx.on_progress({"type": "dataset_loaded", "total": ctx.total})
+        if ctx.completed_by_idx:
+            remaining = ctx.total - len(ctx.completed_by_idx)
+            logger.info(f"Resuming: {len(ctx.completed_by_idx)} done, {remaining} remaining")
+
+        valid_results, errors = await self._infer_all(ctx)
+        aggregated = await self._evaluate_all(ctx, valid_results)
+
+        # Mark run as completed/partial -- 추론이 일부 샘플에서 실패했으면 PARTIAL, 평가
+        # 실패는 이 상태에 영향을 주지 않는다(평가 성공/실패는 eval_success_count/
+        # eval_failed_count 로만 표현한다, §0.4). errors 의 인덱스는 `_infer_all` 이
+        # gather 위치를 원본 sample_idx 로 매핑해 둔 값이다(D2).
+        final_status = RunStatus.PARTIAL if errors else RunStatus.COMPLETED
+        await self.store.update_run(
+            ctx.run_id,
+            {
+                "status": final_status,
+                "completed_at": datetime.now(timezone.utc),
+                "failed_samples": len(errors),
+                "failed_sample_indices": [i for i, _ in errors],
+                # 같은 호출에서 쓴다 -- 두 목록의 위치 집합이 늘 같다. 타입 이름만(LP5 D-LP5-4).
+                FAILED_SAMPLE_ERRORS_KEY: build_failure_errors(errors),
+            },
+        )
+        if ctx.on_progress:
+            await ctx.on_progress(
+                {
+                    "type": "done",
+                    "overall_score": aggregated.get("overall_score", 0.0),
+                    "scores": aggregated.get("scores", {}),
+                }
+            )
+
+    async def _infer_all(
+        self, ctx: _RunContext
+    ) -> tuple[list[dict[str, Any]], list[tuple[int, BaseException]]]:
+        """선택된 행을 동시에 추론한다. 실패는 `(원본 sample_idx, 예외)` 로 돌려준다."""
+        selected = ctx.prepared.selected
+        tasks = [self._infer_one(ctx, idx, sample) for idx, sample in selected]
+        results = await asyncio.gather(*tasks, return_exceptions=True)
+
+        valid_results = [r for r in results if isinstance(r, dict)]
+        # gather 는 tasks 순서를 보존하므로 결과 위치 = selected 위치다. 위치를 그대로
+        # 쓰면 필터·limit run 에서 엉뚱한 행을 실패로 적는다 -- 원본 idx 로 매핑한다(D2).
+        errors = [
+            (selected[pos][0], r) for pos, r in enumerate(results) if isinstance(r, BaseException)
+        ]
+        if errors:
+            logger.warning(f"Run {ctx.run_id}: {len(errors)}/{len(results)} samples failed")
+            for sample_idx, err in errors:
+                logger.warning(f"  Sample {sample_idx} error: {type(err).__name__}: {err}")
+
+        if ctx.on_progress:
+            await ctx.on_progress({"type": "inference_complete", "total": len(valid_results)})
+        return valid_results, errors
+
+    async def _infer_one(self, ctx: _RunContext, idx: int, sample: dict) -> dict[str, Any]:
+        """샘플 하나 추론·저장. `idx` 는 원본 파일 위치다."""
+        golden = extract_golden(sample, ctx.task_config)
+        # Skip already-completed samples (resume)
+        if idx in ctx.completed_by_idx:
+            return {**ctx.completed_by_idx[idx], "_golden_raw": golden}
+
+        async with ctx.semaphore:
+            input_data = extract_input(sample, ctx.task_config.get("input_fields", []))
+            eval_sample = EvalSample(input=input_data, reference=golden)
+            prompt = ctx.prompt
+            try:
+                eval_sample = await ctx.pipeline.run(
+                    sample=eval_sample,
+                    prompts=prompt.get("system_prompt", ""),
+                    provider=self.inference_provider,
+                    model=prompt.get("model", "solar-pro2"),
+                    temperature=prompt.get("temperature", 0.0),
+                    max_tokens=prompt.get("max_tokens", 8000),
+                    reasoning_effort=prompt.get("reasoning_effort"),
+                    messages=prompt.get("messages"),
+                )
+            except Exception as e:
+                ts = datetime.now().strftime("%H:%M:%S")
+                logger.warning(f"[{ts}] Sample {idx} failed: {type(e).__name__}: {e}")
+                raise
+
+            run_result = build_result_row(
+                ctx.run_id,
+                idx,
+                input_data,
+                golden,
+                eval_sample,
+                meta=row_meta(sample, ctx.prepared.meta_fields),
+            )
+            await self.store.insert_run_result(run_result)
+            await self._report_inference(ctx, idx)
+            return {**run_result, "_golden_raw": golden}
+
+    async def _report_inference(self, ctx: _RunContext, idx: int) -> None:
+        ctx.completed += 1
+        ts = datetime.now().strftime("%H:%M:%S")
+        logger.info(f"[{ts}] Sample {idx} completed ({ctx.completed}/{ctx.total})")
+        await self.store.update_run(ctx.run_id, {"completed_samples": ctx.completed})
+        if ctx.on_progress:
+            await ctx.on_progress(
+                {
+                    "type": "inference_progress",
+                    "completed": ctx.completed,
+                    "total": ctx.total,
+                    "sample_idx": idx,
+                }
+            )
+
+    async def _evaluate_all(
+        self, ctx: _RunContext, valid_results: list[dict[str, Any]]
+    ) -> dict[str, Any]:
+        """채점하고 evaluation·eval_details 를 저장한다. 집계 dict 를 돌려준다."""
+        await self.store.update_run(ctx.run_id, {"status": RunStatus.EVALUATING})
+        if ctx.on_progress:
+            await ctx.on_progress({"type": "evaluation_start", "total": len(valid_results)})
+
+        evaluator = create_evaluator(ctx.task_config.get("evaluator", DEFAULT_EVALUATOR_CONFIG))
+        eval_results, eval_failures = await self._score(ctx, evaluator, valid_results)
+
+        # eval_results 에는 실패 항목이 안 섞여 있으므로 기존 aggregate() 구현이 그대로 동작한다.
+        aggregated = evaluator.aggregate(eval_results)
+        eval_id = await self.store.create_evaluation(
+            build_evaluation_doc(
+                # eval_model = 평가기가 보고하는 judge 모델(없으면 None) -- 예전의 하드코딩
+                # "gpt-4o" 는 lcs_diff run 에도 judge 가 있는 것처럼 적었다(계획 D11).
+                ctx.run_id,
+                aggregated,
+                eval_results,
+                eval_failures,
+                evaluator.judge_model,
+            )
+        )
+        await self.store.insert_eval_details(
+            build_eval_detail_docs(eval_id, eval_results, eval_failures)
+        )
+        return aggregated
+
+    async def _score(
+        self, ctx: _RunContext, evaluator: Any, valid_results: list[dict[str, Any]]
+    ) -> tuple[list[dict[str, Any]], list[dict[str, Any]]]:
+        """샘플별 채점.
+
+        eval_results: 성공한 evaluate() 반환값 + "sample_idx"(정본, §0.5).
+        eval_failures: 채점 자체가 안 된 샘플 -- aggregate() 에는 절대 안 넘긴다
+        (lcs_diff.aggregate() 처럼 r["details"]["tp"] 를 직접 읽는 구현이 실패 항목을
+        만나면 KeyError 로 죽는다, §0.1).
+        """
+        eval_results: list[dict[str, Any]] = []
+        eval_failures: list[dict[str, Any]] = []
+        for i, result in enumerate(valid_results):
+            # F6: enumerate 위치가 아니라 result["sample_idx"] 가 정본이다.
+            sample_idx = result["sample_idx"]
+            try:
+                eval_sample = build_eval_sample_from_result(result, reference=result["_golden_raw"])
+                evaluator.validate_required_fields(eval_sample)
+                eval_result = await evaluator.evaluate(
+                    sample=eval_sample,
+                    provider=self.judge_provider,
+                )
+                eval_results.append({**eval_result, "sample_idx": sample_idx})
+                if ctx.on_progress and i % 10 == 0:
+                    await ctx.on_progress(
+                        {
+                            "type": "evaluation_progress",
+                            "completed": i + 1,
+                            "total": len(valid_results),
+                        }
+                    )
+            except Exception as e:
+                logger.warning(f"Evaluation failed for sample {sample_idx}: {e}")
+                eval_failures.append({"sample_idx": sample_idx, "error": str(e)})
+        return eval_results, eval_failures

solar_eval/core/snapshot/__init__.py

@@ -0,0 +1,400 @@
+"""run.json `snapshot` 블록(engine-snapshot/v1) — "무엇으로 돌렸는가"를 완전히 적는다.
+
+계획 2026-09-24-phase1a D5~D12. 모양의 정본은 poc-bundle(SPEC §3.4 완전성 규범 키 8개)이고, 지문은
+`poc_bundle.snapshot.config_fingerprint`(JCS) 를 그대로 쓴다 — 규칙을 두 벌 짜지 않는다.
+
+- `config` = 지문 대상(기능). `provenance` = 지문 밖(이름·위치·커밋·실행 옵션).
+- `build_engine_snapshot(inputs)` 는 run 시작 **전에** 부른다. 선언했는데 없는 자원은 여기서 죽는다.
+- `self_check(snapshot)` = 규범 키 누락 없음 + 지문 재계산 일치 (엔진 자기 검증, D5).
+
+`poc_bundle`·`packaging` import 는 이 패키지(와 cli 의 run 메타 모듈) 안에서만 한다 — HF Space 벤더
+사본이 import 하는 모듈은 둘 없이 돌아야 한다(D18).
+"""
+
+from __future__ import annotations
+
+import copy
+import subprocess
+from collections.abc import Mapping, Sequence
+from dataclasses import dataclass, field
+from pathlib import Path
+from typing import Any
+
+from poc_bundle.canonical import json_fingerprint
+from poc_bundle.snapshot import completeness_gaps, config_fingerprint
+
+from solar_eval.core.snapshot import environment, impl_hash, reproducibility, resources
+from solar_eval.core.snapshot.impl_hash import ImplRoots
+from solar_eval.evaluators.registry import DEFAULT_EVALUATOR_CONFIG, create_evaluator
+
+ENGINE_SNAPSHOT_SCHEMA = "engine-snapshot/v1"
+
+#: `snapshot.config` 키 순서 (계획 §3.2). 지문은 JCS 라 순서와 무관하지만 사람이 읽는 순서를 고정한다.
+CONFIG_KEYS = (
+    "model",
+    "temperature",
+    "max_tokens",
+    "reasoning_effort",
+    "pipeline_type",
+    "input_fields",
+    "resolved_pipeline",
+    "prompt_assets",
+    "resources",
+    "evaluator_config",
+    "step_impl_hash",
+    "runtime_impl_hash",
+    "dependency_lock",
+    "runner_version",
+)
+
+#: 런타임·평가기 폐포 목록을 `provenance.impl_modules` 에 남길 때의 키.
+RUNTIME_MODULES_KEY = "@runtime"
+EVALUATOR_MODULES_KEY = "@evaluator"
+
+#: 프로바이더 모듈 이름을 남기는 provenance 키 — 재채점이 런타임 해시를 다시 뜰 재료.
+PROVIDERS_KEY = "providers"
+
+#: 엔진 레포를 자동으로 찾으라는 표시(`EngineSnapshotInputs.repo` 기본값).
+AUTO = "auto"
+
+
+class SnapshotError(ValueError):
+    """스냅샷이 스스로의 규칙을 어겼다 — 규범 키 누락·지문 불일치·모르는 schema."""
+
+
+@dataclass(frozen=True)
+class EngineSnapshotInputs:
+    """스냅샷 재료. 파일·git 읽기는 `roots`·`engine`·`repo`·`git_run` 으로 바꿔 끼울 수 있다.
+
+    Attributes:
+        pipeline: 러너가 **실제로 돌릴** `Pipeline` 인스턴스(D6) — `step_impl_hash`·`resources` 재료.
+        resolved_pipeline: `extends`·`--set` 까지 해석된 파이프라인 dict(없으면 None/{}).
+        prompt_path: 프롬프트 디렉토리 또는 단일 YAML 파일.
+        evaluator_config: 태스크의 evaluator 설정. None 은 "키 없음"으로 읽어 러너 기본값
+            (`llm_judge`)을 쓴다. 키가 있는데 비었으면(`{}`) 여기서 ValueError — 러너가 죽을 설정이다.
+        dataset: `dataset_block.describe_dataset` 결과(재현 판정 재료). None = 모름.
+        engine: 미리 계산한 `environment.engine_state` 결과. None 이면 여기서 계산한다.
+        repo: 엔진 레포(uv.lock·engine_state 용). `AUTO` 면 `environment.engine_repo()`.
+    """
+
+    model: str
+    temperature: float
+    max_tokens: int
+    reasoning_effort: str | None
+    pipeline_type: str
+    input_fields: Sequence[str]
+    resolved_pipeline: Mapping[str, Any] | None
+    prompt_path: Path
+    pipeline: Any
+    evaluator_config: Mapping[str, Any] | None
+    inference_provider: Any
+    judge_provider: Any = None
+    prompt_name: str | None = None
+    pipeline_name: str | None = None
+    config_source: str | None = None
+    git_commit: str | None = None
+    pipeline_overrides: Mapping[str, Any] | None = None
+    max_workers: int | None = None
+    config_dir: Path | None = None
+    repo_managed: bool = False
+    dataset: Mapping[str, Any] | None = None
+    roots: ImplRoots | None = None
+    engine: Mapping[str, Any] | None = None
+    repo: Path | str | None = AUTO
+    git_run: Any = field(default=subprocess.run)
+
+
+def evaluator_block(
+    evaluator_config: Mapping[str, Any] | None, roots: ImplRoots | None = None
+) -> tuple[dict[str, Any], list[str]]:
+    """`config.evaluator_config = {config, judge_model, impl_hash}` 와 폐포 라벨.
+
+    기본값은 `evaluator_config is None`(태스크에 키가 없음)일 때만 쓴다 — 러너의
+    `task_config.get("evaluator", DEFAULT)` 와 같은 규칙. `{}`·`type` 없는 설정은 기본값으로 덮지 않고
+    `create_evaluator` 가 ValueError 로 거부한다(추론 전에 죽는다, D5).
+
+    Raises:
+        ValueError: 평가기 설정이 객체가 아니거나 `type` 이 없거��� 모르는 값일 때.
+    """
+    raw = DEFAULT_EVALUATOR_CONFIG if evaluator_config is None else evaluator_config
+    evaluator = create_evaluator(copy.deepcopy(raw))
+    effective = copy.deepcopy(dict(raw))
+    digest, modules = impl_hash.evaluator_impl_hash(evaluator, roots)
+    block = {"config": effective, "judge_model": evaluator.judge_model, "impl_hash": digest}
+    return block, modules
+
+
+def _resolve_repo(inputs: EngineSnapshotInputs) -> Path | None:
+    if inputs.repo == AUTO:
+        return environment.engine_repo()
+    return Path(inputs.repo) if inputs.repo is not None else None
+
+
+def _engine(inputs: EngineSnapshotInputs, repo: Path | None, roots: ImplRoots) -> dict[str, Any]:
+    """`provenance.engine` — 주입값이 있으면 그것, 레포가 없으면 트리 해시만(commit·dirty null)."""
+    if inputs.engine is not None:
+        return copy.deepcopy(dict(inputs.engine))
+    if repo is None:
+        tree = impl_hash.engine_tree_sha256(roots)
+        return {"commit": None, "tree_sha256": tree, "dirty": None, "dirty_scope": []}
+    return environment.engine_state(
+        inputs.config_dir,
+        inputs.repo_managed,
+        repo=repo,
+        roots=roots,
+        run=inputs.git_run,
+    )
+
+
+def _recorded_providers(inputs: EngineSnapshotInputs) -> dict[str, str | None]:
+    """`provenance.providers = {inference, judge}` — 이번 run 에 주입된 프로바이더의 모듈 이름.
+
+    judge 는 쓰든 안 쓰든 적는다 — 재채점(`with_evaluator`)이 judge 를 새로 쓰게 되면 이 이름으로
+    런타임 해시를 다시 뜬다.
+    """
+    judge = inputs.judge_provider
+    return {
+        "inference": impl_hash.provider_module(inputs.inference_provider),
+        "judge": None if judge is None else impl_hash.provider_module(judge),
+    }
+
+
+def _runtime(
+    providers: Mapping[str, str | None], judge_model: str | None, roots: ImplRoots
+) -> tuple[str, list[str]]:
+    """런타임 해시 — 추론 프로바이더 + (평가기가 judge 를 실제로 부를 때만) judge 프로바이더.
+
+    lcs_diff run 은 judge 를 안 쓰므로 넣지 않는다. 빌드와 재채점이 같은 규칙을 쓴다.
+    """
+    used = [providers["inference"]]
+    if judge_model is not None and providers.get("judge") is not None:
+        used.append(providers["judge"])
+    return impl_hash.runtime_impl_hash_for_modules([m for m in used if m is not None], roots)
+
+
+@dataclass(frozen=True)
+class _Materials:
+    """`config` 와, 지문 밖으로 가는 부산물(자원 해석·폐포 라벨·프로바이더 모듈)."""
+
+    config: dict[str, Any]
+    collected: resources.CollectedResources
+    impl_modules: dict[str, list[str]]
+    providers: dict[str, str | None]
+
+
+def _collect_config(inputs: EngineSnapshotInputs, roots: ImplRoots) -> _Materials:
+    """지문 대상 `config` 를 `CONFIG_KEYS` 순서로 모은다 — 파일·자원·구현 해시를 여기서 읽는다."""
+    collected = resources.collect_resources(inputs.pipeline)
+    evaluator, evaluator_modules = evaluator_block(inputs.evaluator_config, roots)
+    step_hashes, step_modules = impl_hash.step_impl_hashes(inputs.pipeline, roots)
+    providers = _recorded_providers(inputs)
+    runtime_hash, runtime_modules = _runtime(providers, evaluator["judge_model"], roots)
+    config = {
+        "model": inputs.model,
+        "temperature": inputs.temperature,
+        "max_tokens": inputs.max_tokens,
+        "reasoning_effort": inputs.reasoning_effort,
+        "pipeline_type": inputs.pipeline_type,
+        "input_fields": list(inputs.input_fields),
+        "resolved_pipeline": copy.deepcopy(dict(inputs.resolved_pipeline or {})),
+        "prompt_assets": resources.prompt_assets(inputs.prompt_path),
+        "resources": collected.hashes,
+        "evaluator_config": evaluator,
+        "step_impl_hash": step_hashes,
+        "runtime_impl_hash": runtime_hash,
+        "dependency_lock": environment.dependency_lock(),
+        "runner_version": environment.runner_version(),
+    }
+    impl_modules = {
+        **step_modules,
+        EVALUATOR_MODULES_KEY: evaluator_modules,
+        RUNTIME_MODULES_KEY: runtime_modules,
+    }
+    config = {key: config[key] for key in CONFIG_KEYS}
+    return _Materials(config, collected, impl_modules, providers)
+
+
+def _provenance(
+    inputs: EngineSnapshotInputs,
+    repo: Path | None,
+    engine: dict[str, Any],
+    materials: _Materials,
+    steps_use_model: bool,
+) -> dict[str, Any]:
+    """지문 밖 출처 — 이름·위치·커밋·엔진 상태·설치 폐포·실행 옵션 (계획 §3.2 순서)."""
+    return {
+        "prompt": inputs.prompt_name,
+        "pipeline": inputs.pipeline_name,
+        "config_source": inputs.config_source,
+        "git_commit": inputs.git_commit,
+        "pipeline_overrides": copy.deepcopy(inputs.pipeline_overrides),
+        "engine": engine,
+        "uv_lock_sha256": environment.uv_lock_sha256(repo),
+        "installed_closure": environment.installed_closure(),
+        "impl_modules": materials.impl_modules,
+        PROVIDERS_KEY: materials.providers,
+        "steps_use_model": steps_use_model,
+        "execution": {"max_workers": inputs.max_workers},
+        "resumes": [],
+    }
+
+
+def _reproducibility(
+    inputs: EngineSnapshotInputs,
+    materials: _Materials,
+    engine: dict[str, Any],
+    steps_use_model: bool,
+) -> dict[str, Any]:
+    verdict, blockers = reproducibility.rerunnable(
+        engine_dirty=engine.get("dirty"),
+        repo_managed=inputs.repo_managed,
+        dataset=inputs.dataset,
+        resources=materials.collected.refs,
+    )
+    config = materials.config
+    return {
+        "engine_dirty": engine.get("dirty"),
+        "rerunnable": verdict,
+        "rerunnable_blockers": blockers,
+        "deterministic": reproducibility.deterministic(
+            temperature=inputs.temperature,
+            resolved_pipeline=config["resolved_pipeline"],
+            steps_use_model=steps_use_model,
+            judge_model=config["evaluator_config"]["judge_model"],
+        ),
+    }
+
+
+def build_engine_snapshot(inputs: EngineSnapshotInputs) -> dict[str, Any]:
+    """`{schema, config, config_fingerprint, missing, provenance, reproducibility}` 를 조립한다.
+
+    Raises:
+        KnowledgeAssetError: 스텝이 선언한 자원을 로컬에서 찾을 수 없을 때(run 시작 전).
+        FileNotFoundError / ValueError: 프롬프트가 없거나 비었을 때, 구현 모듈을 풀 수 없을 때.
+    """
+    roots = inputs.roots or impl_hash.default_roots()
+    materials = _collect_config(inputs, roots)
+    repo = _resolve_repo(inputs)
+    engine = _engine(inputs, repo, roots)
+    steps_use_model = any(step.uses_model for step in inputs.pipeline.steps)
+    return {
+        "schema": ENGINE_SNAPSHOT_SCHEMA,
+        "config": materials.config,
+        "config_fingerprint": config_fingerprint(materials.config),
+        "missing": ["resources"] if materials.collected.unresolved else [],
+        "provenance": _provenance(inputs, repo, engine, materials, steps_use_model),
+        "reproducibility": _reproducibility(inputs, materials, engine, steps_use_model),
+    }
+
+
+def self_check(snapshot: Mapping[str, Any]) -> None:
+    """엔진 자기 검증(D5) — 이미 있는 poc-bundle 함수만 쓴다.
+
+    Raises:
+        SnapshotError: schema 가 다르거나, 규범 키가 빠졌거나, 지문이 재계산과 다를 때.
+    """
+    if snapshot.get("schema") != ENGINE_SNAPSHOT_SCHEMA:
+        raise SnapshotError(f"unknown snapshot schema {snapshot.get('schema')!r}")
+    config = snapshot.get("config")
+    if not isinstance(config, Mapping):
+        raise SnapshotError("snapshot.config must be an object")
+    gaps = completeness_gaps(config)
+    if gaps:
+        raise SnapshotError(f"snapshot.config lacks normative keys {gaps} (SPEC §3.4)")
+    expected = config_fingerprint(config)
+    if snapshot.get("config_fingerprint") != expected:
+        raise SnapshotError(
+            f"config_fingerprint {snapshot.get('config_fingerprint')!r} != recomputed {expected!r}"
+        )
+
+
+def config_diff_keys(a: Mapping[str, Any], b: Mapping[str, Any]) -> list[str]:
+    """두 `snapshot.config` 의 값이 다른 최상위 키(정렬) — resume 드리프트 메시지용(D17).
+
+    값 비교는 JCS 지문으로 한다(`0.0` ≡ `0`).
+    """
+    keys = set(a) | set(b)
+    return sorted(
+        k
+        for k in keys
+        if k not in a or k not in b or json_fingerprint(a[k]) != json_fingerprint(b[k])
+    )
+
+
+def _rescore_providers(provenance: Mapping[str, Any], judge_provider: Any) -> dict[str, str | None]:
+    """재채점의 프로바이더 모듈 — 추론은 기록된 이름, judge 는 넘겨받은 것(없으면 기록된 이름).
+
+    Raises:
+        SnapshotError: 기록된 추론 프로바이더 모듈이 없어 런타임 해시를 다시 뜰 수 없을 때.
+    """
+    recorded = provenance.get(PROVIDERS_KEY)
+    if not isinstance(recorded, Mapping) or not isinstance(recorded.get("inference"), str):
+        raise SnapshotError(
+            "snapshot.provenance.providers.inference is missing — cannot recompute "
+            "runtime_impl_hash for the new evaluator"
+        )
+    judge = recorded.get("judge")
+    if judge_provider is not None:
+        judge = impl_hash.provider_module(judge_provider)
+    return {"inference": recorded["inference"], "judge": judge}
+
+
+def with_evaluator(
+    snapshot: Mapping[str, Any],
+    evaluator_config: Mapping[str, Any] | None,
+    re_evaluated_at: str,
+    roots: ImplRoots | None = None,
+    judge_provider: Any = None,
+) -> dict[str, Any]:
+    """`runs eval`(재채점)용 — 평가기 블록을 새 평가기로 바꾸고 지문을 다시 계산한 **새** 스냅샷(D11).
+
+    judge 유무가 바뀌면 judge 프로바이더 모듈이 런타임 해시에 들어가거나 빠져야 하므로
+    `runtime_impl_hash`·`impl_modules["@runtime"]` 도 빌드와 같은 규칙(`_runtime`)으로 다시 뜬다 —
+    재채점 run 이 같은 기능 설정의 새 run 과 같은 지문을 갖게. `judge_provider` 를 안 주면 빌드 때
+    기록한 judge 모듈을 쓴다. `provenance.re_evaluated_at` 을 남기고 `deterministic` 도 다시 판정한다.
+
+    Raises:
+        ValueError: 평가기 설정이 잘못됐을 때(`evaluator_block`).
+        SnapshotError: 기록된 프로바이더 모듈이 없어 런타임 해시를 다시 뜰 수 없을 때.
+    """
+    roots = roots or impl_hash.default_roots()
+    updated = copy.deepcopy(dict(snapshot))
+    block, modules = evaluator_block(evaluator_config, roots)
+    provenance = updated.setdefault("provenance", {})
+    providers = _rescore_providers(provenance, judge_provider)
+    runtime_hash, runtime_modules = _runtime(providers, block["judge_model"], roots)
+    config = updated["config"]
+    config["evaluator_config"] = block
+    config["runtime_impl_hash"] = runtime_hash
+    updated["config_fingerprint"] = config_fingerprint(config)
+    impl_modules = provenance.setdefault("impl_modules", {})
+    impl_modules[EVALUATOR_MODULES_KEY] = modules
+    impl_modules[RUNTIME_MODULES_KEY] = runtime_modules
+    provenance[PROVIDERS_KEY] = providers
+    provenance["re_evaluated_at"] = re_evaluated_at
+    steps_use_model = provenance.get("steps_use_model")
+    if isinstance(steps_use_model, bool):
+        updated.setdefault("reproducibility", {})["deterministic"] = reproducibility.deterministic(
+            temperature=config.get("temperature"),
+            resolved_pipeline=config.get("resolved_pipeline") or {},
+            steps_use_model=steps_use_model,
+            judge_model=block["judge_model"],
+        )
+    return updated
+
+
+__all__ = [
+    "AUTO",
+    "CONFIG_KEYS",
+    "DEFAULT_EVALUATOR_CONFIG",
+    "ENGINE_SNAPSHOT_SCHEMA",
+    "EngineSnapshotInputs",
+    "ImplRoots",
+    "PROVIDERS_KEY",
+    "SnapshotError",
+    "build_engine_snapshot",
+    "config_diff_keys",
+    "evaluator_block",
+    "self_check",
+    "with_evaluator",
+]

solar_eval/core/snapshot/dataset_block.py

@@ -0,0 +1,179 @@
+"""run.json `dataset` 블록(engine-dataset/v1)과 lock 대조 (계획 2026-09-24-phase1a S6 · D15).
+
+lock 대조의 정의(검토 F8) — `matched = true` 는 셋이 **모두** 맞을 때다:
+
+1. 읽은 파일 sha256 == lock 항목 `sha256`
+2. 이 run 의 태스크 이름 ∈ lock 항목 `dataset.tasks`
+3. 태스크의 `input_fields`·`golden_field`·`golden_fields` == lock 항목의 `inputFields`·`goldenField`·
+   `goldenFields` (lock `datasetVersion` 은 이 스펙으로 계산됐다)
+
+하나라도 다르면 `matched: false` + `mismatch: ["sha256" | "task" | "fields", …]`. 그래야 "전체셋 run 의
+`dataset_version` == lock `datasetVersion`" 이 조용히 깨지지 않는다.
+
+이 모듈은 engine-filter 의 타입(`PreparedDataset`)에 기대지 않고 **원시 값**을 받는다.
+"""
+
+from __future__ import annotations
+
+import copy
+import logging
+from collections.abc import Mapping, Sequence
+from pathlib import Path
+from typing import Any
+
+from poc_bundle.data.lockfile import read_lock
+from poc_bundle.data.lock_model import DatasetsLock, LockDatasetEntry
+
+logger = logging.getLogger(__name__)
+
+ENGINE_DATASET_SCHEMA = "engine-dataset/v1"
+
+#: config_dir 기준 lock 위치 (`poc-bundle data push` 가 쓴다).
+LOCK_RELATIVE_PATH = Path("dataset") / "datasets.lock.yaml"
+
+#: lock 대조가 적용되는 로더 — lock 은 로컬 데이터 홈(cbs-data 에서 pull 한 datasets 영역)의 원장이다.
+LOCAL_SOURCE = "local"
+
+MISMATCH_SHA = "sha256"
+MISMATCH_TASK = "task"
+MISMATCH_FIELDS = "fields"
+
+
+def lock_path_for(config_dir: Path) -> Path:
+    return Path(config_dir) / LOCK_RELATIVE_PATH
+
+
+def task_field_spec(
+    task_config: Mapping[str, Any],
+) -> tuple[list[str], str | None, dict[str, str] | None]:
+    """(input_fields, golden_field, golden_fields) — lock 계산(`poc_bundle.data.taskfields._golden`)과
+    같은 정규화: 빈 값은 None, 둘 다 있으면 golden_field 가 이긴다(엔진 runner 규칙).
+    """
+    inputs = list(task_config.get("input_fields") or [])
+    field = task_config.get("golden_field") or None
+    fields = task_config.get("golden_fields") or None
+    if field and fields:
+        fields = None
+    return inputs, field, dict(fields) if fields else None
+
+
+def _display_path(path: Path, repo_root: Path | None) -> str:
+    if repo_root is not None:
+        try:
+            return path.resolve().relative_to(repo_root.resolve()).as_posix()
+        except ValueError:
+            pass
+    return path.resolve().as_posix()
+
+
+def _find_entry(lock: DatasetsLock, dataset_path: str) -> LockDatasetEntry | None:
+    return next((e for e in lock.datasets if e.path == dataset_path), None)
+
+
+def compare_entry(
+    entry: LockDatasetEntry, sha256: str, task_name: str, task_config: Mapping[str, Any]
+) -> list[str]:
+    """lock 항목과 이 run 의 불일치 사유(순서 고정: sha256 → task → fields). 빈 목록 = matched."""
+    mismatch: list[str] = []
+    if entry.sha256 != sha256:
+        mismatch.append(MISMATCH_SHA)
+    info = entry.dataset
+    if info is None:
+        # dataset 블록이 없는 항목(.jsonl 이 아님)은 태스크·필드를 대조할 수 없다.
+        return [*mismatch, MISMATCH_TASK, MISMATCH_FIELDS]
+    if task_name not in info.tasks:
+        mismatch.append(MISMATCH_TASK)
+    inputs, field, fields = task_field_spec(task_config)
+    lock_fields = dict(info.golden_fields) if info.golden_fields else None
+    if (inputs, field, fields) != (list(info.input_fields), info.golden_field, lock_fields):
+        mismatch.append(MISMATCH_FIELDS)
+    return mismatch
+
+
+def lock_block(
+    *,
+    sha256: str,
+    dataset_path: str,
+    task_config: Mapping[str, Any],
+    config_dir: Path | None,
+    project_name: str,
+    repo_root: Path | None = None,
+) -> dict[str, Any] | None:
+    """`dataset.lock` — lock 이 없거나·항목이 없거나·프로젝트 이름이 다르면 None.
+
+    Raises:
+        poc_bundle.data.errors.LockError: lock 파일이 규칙(L01~L20)을 어길 때 — 깨진 원장으로 대조한
+            run 을 만들지 않는다(`make data-lint` 가 같은 오류를 낸다).
+    """
+    if config_dir is None:
+        return None
+    path = lock_path_for(config_dir)
+    if not path.is_file():
+        return None
+    lock = read_lock(path)
+    if lock.project is not None and lock.project != project_name:
+        logger.warning(
+            "datasets.lock.yaml project %r != run project %r — lock not used for %s",
+            lock.project,
+            project_name,
+            dataset_path,
+        )
+        return None
+    entry = _find_entry(lock, dataset_path)
+    if entry is None:
+        return None
+    mismatch = compare_entry(entry, sha256, str(task_config.get("name", "")), task_config)
+    info = entry.dataset
+    return {
+        "path": _display_path(path, repo_root),
+        "matched": not mismatch,
+        "mismatch": mismatch,
+        "dataset_version": info.dataset_version if info else None,
+        "source": info.source.model_dump(mode="json") if info and info.source else None,
+        "builder": info.builder.model_dump(mode="json") if info and info.builder else None,
+    }
+
+
+def describe_dataset(
+    *,
+    sha256: str,
+    rows_total: int,
+    rows_selected: int,
+    selection: Mapping[str, Any] | None,
+    meta_fields: Sequence[str] | None,
+    task_config: Mapping[str, Any],
+    loader_cfg: Mapping[str, Any],
+    config_dir: Path | None,
+    project_name: str,
+    repo_root: Path | None = None,
+) -> dict[str, Any]:
+    """run.json `dataset` 블록. `selection` 은 engine-filter 가 정규화한 JSON(`{where, limit}`).
+
+    Raises:
+        ValueError: 행 수가 음수이거나 선택 행이 전체보다 많을 때(호출자 버그를 크게 알린다).
+    """
+    if rows_total < 0 or rows_selected < 0 or rows_selected > rows_total:
+        raise ValueError(f"invalid row counts: selected={rows_selected}, total={rows_total}")
+    source = loader_cfg.get("source", "huggingface")
+    dataset_path = str(task_config.get("dataset_path", ""))
+    lock = None
+    if source == LOCAL_SOURCE:
+        lock = lock_block(
+            sha256=sha256,
+            dataset_path=dataset_path,
+            task_config=task_config,
+            config_dir=config_dir,
+            project_name=project_name,
+            repo_root=repo_root,
+        )
+    return {
+        "schema": ENGINE_DATASET_SCHEMA,
+        "loader": {"source": source, "repo": loader_cfg.get("repo", "")},
+        "path": dataset_path,
+        "sha256": sha256,
+        "rows_total": rows_total,
+        "rows_selected": rows_selected,
+        "selection": copy.deepcopy(dict(selection)) if selection is not None else None,
+        "meta_fields": list(meta_fields) if meta_fields else None,
+        "lock": lock,
+    }

solar_eval/core/snapshot/environment.py

@@ -0,0 +1,210 @@
+"""실행 환경 재료 — 의존 버전·엔진 버전·엔진 레포 상태 (계획 2026-09-24-phase1a D8·D9).
+
+config 에 들어가는 것(지문 대상)은 출력 경로에 있는 **직접** 런타임 의존과 엔진 버전·파이썬 부버전뿐이다.
+전이 설치 폐포·uv.lock·엔진 커밋·트리 해시·dirty 는 provenance(지문 밖)로 간다 — 무관한 워크스페이스
+멤버의 변화가 설정 지문을 흔들지 않게.
+"""
+
+from __future__ import annotations
+
+import logging
+import subprocess
+import sys
+from collections.abc import Callable
+from importlib import metadata
+from pathlib import Path
+from typing import Any
+
+from packaging.requirements import InvalidRequirement, Requirement
+from packaging.utils import canonicalize_name
+from poc_bundle.canonical import content_sha256
+
+import solar_eval
+from solar_eval._version import __version__
+from solar_eval.core.snapshot.impl_hash import ImplRoots, engine_tree_sha256
+
+logger = logging.getLogger(__name__)
+
+#: 엔진 배포 이름.
+ENGINE_DISTRIBUTION = "solar-eval"
+
+#: 모델 입출력에 닿지 않는 직접 의존 — CLI 표시·설정 로드·번들 도구. `dependency_lock` 에서 뺀다.
+#: 새 직접 의존을 추가하면 이 목록이나 출력 의존 중 하나로 분류하기 전까지 테스트가 깨진다(의도).
+NON_OUTPUT_DEPENDENCIES = frozenset(
+    {"click", "tabulate", "rich", "pydantic-settings", "poc-bundle", "packaging"}
+)
+
+DEPENDENCY_LOCK_SCHEME = "direct-runtime/v1"
+
+#: config_dir 안에서 출력에 영향을 주는 경로(dirty 범위). scripts/·insights/·README 는 뺀다(검토 F12·m3).
+CONFIG_DIRTY_ENTRIES = (
+    "project.yaml",
+    "prompts",
+    "pipelines",
+    "resources",
+    "dataset/datasets.lock.yaml",
+)
+
+GitRun = Callable[..., Any]
+
+
+def _marker_env() -> dict[str, str]:
+    return {"extra": ""}
+
+
+def direct_requirements(distribution: str = ENGINE_DISTRIBUTION) -> list[str]:
+    """배포의 직접 `Requires-Dist` 중 현재 환경에서 켜지는 것(extra 없음)의 정규화 이름(정렬)."""
+    names: set[str] = set()
+    for raw in metadata.requires(distribution) or []:
+        try:
+            req = Requirement(raw)
+        except InvalidRequirement as exc:
+            raise ValueError(f"{distribution}: unparsable requirement {raw!r}: {exc}") from exc
+        if req.marker is not None and not req.marker.evaluate(_marker_env()):
+            continue
+        names.add(canonicalize_name(req.name))
+    return sorted(names)
+
+
+def direct_runtime_dependencies() -> dict[str, str]:
+    """`dependency_lock.packages` — 출력 경로에 있는 직접 의존의 설치 버전."""
+    return {
+        name: metadata.version(name)
+        for name in direct_requirements()
+        if name not in NON_OUTPUT_DEPENDENCIES
+    }
+
+
+def dependency_lock() -> dict[str, Any]:
+    return {
+        "scheme": DEPENDENCY_LOCK_SCHEME,
+        "root": ENGINE_DISTRIBUTION,
+        "packages": direct_runtime_dependencies(),
+    }
+
+
+def installed_closure(distribution: str = ENGINE_DISTRIBUTION) -> dict[str, str | None]:
+    """엔진에서 닿는 설치 폐포 `{이름: 버전}` — provenance 전용(환경 재구성·디버그).
+
+    켜진 요구인데 설치돼 있지 않으면 버전 None 으로 남긴다(숨기지 않는다).
+    """
+    seen: dict[str, str | None] = {}
+    queue: list[str] = [str(canonicalize_name(distribution))]
+    while queue:
+        name = queue.pop()
+        if name in seen:
+            continue
+        try:
+            seen[name] = metadata.version(name)
+        except metadata.PackageNotFoundError:
+            seen[name] = None
+            continue
+        queue.extend(n for n in direct_requirements(name) if n not in seen)
+    return dict(sorted(seen.items()))
+
+
+def runner_version() -> dict[str, str]:
+    """`{"package", "version", "python": "<major>.<minor>"}` — 패치 버전은 넣지 않는다."""
+    return {
+        "package": ENGINE_DISTRIBUTION,
+        "version": __version__,
+        "python": f"{sys.version_info.major}.{sys.version_info.minor}",
+    }
+
+
+def engine_src_dir() -> Path:
+    """엔진 소스 루트(`packages/solar-eval-python/src`) — `solar_eval.__file__` 기준."""
+    return Path(solar_eval.__file__).resolve().parent.parent
+
+
+def engine_repo(start: Path | None = None) -> Path | None:
+    """엔진 코드가 든 git 레포 — `start`(기본 엔진 소스)에서 위로 `.git` 을 찾는다.
+
+    `cfg.repo_root` 를 쓰지 않는다: `--projects-dir` 면 None 이 된다(검토 F13). 워크트리의 `.git` 은
+    파일이라 존재만 본다.
+    """
+    here = (start or engine_src_dir()).resolve()
+    for candidate in (here, *here.parents):
+        if (candidate / ".git").exists():
+            return candidate
+    return None
+
+
+def dirty_scope(
+    repo: Path, config_dir: Path | None, repo_managed: bool, src_dir: Path | None = None
+) -> list[str]:
+    """dirty 판정 범위(레포 상대 POSIX, 정렬). 레포 밖 경로는 넣지 않는다."""
+    src = (src_dir or engine_src_dir()).resolve()
+    candidates = [src, src.parent / "pyproject.toml", repo / "uv.lock"]
+    if repo_managed and config_dir is not None:
+        candidates += [Path(config_dir).resolve() / entry for entry in CONFIG_DIRTY_ENTRIES]
+    root = repo.resolve()
+    scope = set()
+    for path in candidates:
+        try:
+            scope.add(path.resolve().relative_to(root).as_posix())
+        except ValueError:
+            logger.warning("dirty scope path outside the engine repo, skipped: %s", path)
+    return sorted(scope)
+
+
+def _git(run: GitRun, repo: Path, *args: str) -> str | None:
+    """git 한 번. 실패(git 없음·레포 아님·비정상 종료)는 None — 호출자가 null 로 기록한다."""
+    try:
+        result = run(["git", "-C", str(repo), *args], capture_output=True, text=True, check=True)
+    except (OSError, subprocess.CalledProcessError) as exc:
+        logger.warning("git %s failed in %s: %s", " ".join(args[:2]), repo, exc)
+        return None
+    return result.stdout
+
+
+def engine_state(
+    config_dir: Path | None,
+    repo_managed: bool,
+    *,
+    repo: Path | None = None,
+    src_dir: Path | None = None,
+    roots: ImplRoots | None = None,
+    run: GitRun = subprocess.run,
+) -> dict[str, Any]:
+    """`provenance.engine = {commit, tree_sha256, dirty, dirty_scope}` (D8).
+
+    `repo` 를 안 주면 `engine_repo()`. 레포를 못 찾거나 git 이 실패하면 `commit`·`dirty` 는 null,
+    `tree_sha256` 은 git 없이도 계산된다.
+    """
+    repo = repo if repo is not None else engine_repo(src_dir)
+    tree = engine_tree_sha256(roots)
+    if repo is None:
+        return {"commit": None, "tree_sha256": tree, "dirty": None, "dirty_scope": []}
+    scope = dirty_scope(repo, config_dir, repo_managed, src_dir)
+    head = _git(run, repo, "rev-parse", "HEAD")
+    # 빈 범위로 status 를 부르면 레포 전체를 본다 — 범위가 없으면 판정하지 않는다(null).
+    # `--literal-pathspecs`: config_dir 이름의 `[`·`*`·`?` 를 glob 으로 읽지 않게(범위 밖 변경이 dirty 로).
+    status = (
+        _git(
+            run,
+            repo,
+            "--literal-pathspecs",
+            "status",
+            "--porcelain",
+            "--untracked-files=normal",
+            "--",
+            *scope,
+        )
+        if scope
+        else None
+    )
+    return {
+        "commit": head.strip() if head else None,
+        "tree_sha256": tree,
+        "dirty": None if status is None else bool(status.strip()),
+        "dirty_scope": scope,
+    }
+
+
+def uv_lock_sha256(repo: Path | None) -> str | None:
+    """레포 `uv.lock` 의 sha256 — provenance 전용(모노레포 lock 은 무관한 멤버로도 바뀐다)."""
+    if repo is None:
+        return None
+    lock = repo / "uv.lock"
+    return content_sha256(lock) if lock.is_file() else None

solar_eval/core/snapshot/impl_hash.py

@@ -0,0 +1,365 @@
+"""구현 해시 — 모듈의 AST import 폐포 × 파일 바이트 (계획 2026-09-24-phase1a D7).
+
+세 갈래가 같은 재료를 쓴다:
+
+- **스텝**(`step_impl_hashes`): 스텝 클래스 모듈에서 시작한 import 폐포.
+- **평가기**(`evaluator_impl_hash`): 평가기 클래스(합성이면 하위 전부)의 모듈에서 시작한 폐포.
+- **런타임**(`runtime_impl_hash`): `RUNTIME_MODULES` + 실제로 쓴 프로바이더 모듈 — 폐포를 돌지 않고
+  목록의 파일 바이트만 본다(목록이 곧 정의).
+
+모듈 → 파일은 **이름으로** 푼다(`ImplRoots`). 이미 import 된 모듈의 `__file__` 이나 importlib spec 을
+쓰지 않으므로, 테스트가 기본 루트를 tmp 사본으로 바꿔 끼우면 재import 없이 "구현만 바꾼" 상황이
+만들어진다. 해시는 계산하는 순간 디스크의 파일을 읽는다.
+"""
+
+from __future__ import annotations
+
+import ast
+import os
+import sys
+import sysconfig
+from collections.abc import Iterable, Sequence
+from dataclasses import dataclass, field
+from pathlib import Path
+from typing import Any
+
+from poc_bundle.canonical import content_sha256, json_fingerprint
+
+import solar_eval
+
+#: 엔진 패키지 이름 — 패키지 루트에서는 이 이름 아래 모듈만 푼다(서드파티 차단).
+ENGINE_PACKAGE = "solar_eval"
+
+#: 러너·파이프라인 실행기·프롬프트 조립 — 모든 스텝에 똑같이 영향을 주는 프레임워크 모듈.
+#: 여기에 이번 run 이 쓰는 프로바이더 모듈을 더해 `runtime_impl_hash` 를 뜬다. 테스트가 집합을 고정한다.
+#: 러너에서 떼어 낸 도우미(입력·정답 추출 `run_records`, 행 선택 `dataset_prep`·`row_filter`, 파이프라인
+#: 생성 `pipeline_factory`)도 러너 로직이라 함께 본다 — `solar_eval.core.*` 는 스텝·평가기 폐포에서 빠지므로
+#: 여기 없으면 어떤 해시도 이 파일들을 보지 않는다. 테스트가 러너의 core import 가 전부 여기 있는지 지킨다.
+RUNTIME_MODULES: tuple[str, ...] = (
+    "solar_eval.core.runner",
+    "solar_eval.core.dataset_loader",
+    "solar_eval.core.dataset_prep",
+    "solar_eval.core.row_filter",
+    "solar_eval.core.pipeline_factory",
+    "solar_eval.core.run_records",
+    "solar_eval.pipelines.pipeline",
+    "solar_eval.pipelines.registry",
+    "solar_eval.pipelines.base",
+    "solar_eval.evaluators.base",
+    "solar_eval.evaluators.registry",
+    "solar_eval.providers.base",
+    "solar_eval.models.prompt_version",
+    "solar_eval.models.sample",
+)
+
+#: 스텝·평가기 폐포에서 빼는 공용 기반 — 런타임 해시가 한 번 보거나 출력과 무관한 것.
+_EXCLUDED_EXACT = frozenset(
+    {*RUNTIME_MODULES, "solar_eval.pipelines.errors", "solar_eval.config", "solar_eval._version"}
+)
+_EXCLUDED_PREFIXES = (
+    "solar_eval.providers.",
+    "solar_eval.cli.",
+    "solar_eval.stores.",
+    "solar_eval.core.",
+)
+
+#: 구현 해시 라벨 접두어 — `pkg:<루트 기준 POSIX 경로>`.
+LABEL_PREFIX = "pkg:"
+#: 루트에서 풀 수 없는 프로바이더 모듈(테스트 mock 등)의 라벨 접두어. 값은 null 로 들어간다.
+UNRESOLVED_PREFIX = "unresolved:"
+
+
+class ImplRootError(ValueError):
+    """구현 해시 루트로 쓸 수 없는 디렉토리(서드파티·표준 라이브러리 영역)."""
+
+
+def _forbidden_bases() -> list[Path]:
+    """등록 루트로 거부하는 영역 — site-packages·표준 라이브러리·인터프리터 prefix."""
+    paths = sysconfig.get_paths()
+    bases = [paths.get(k) for k in ("purelib", "platlib", "stdlib")]
+    bases += [sys.prefix, sys.base_prefix]
+    return [Path(b).resolve() for b in bases if b]
+
+
+def _is_within(path: Path, base: Path) -> bool:
+    try:
+        path.relative_to(base)
+    except ValueError:
+        return False
+    return True
+
+
+@dataclass(frozen=True)
+class ResolvedModule:
+    """이름으로 푼 모듈 하나. `label` 은 지문 키(`pkg:solar_eval/pipelines/rules.py`)."""
+
+    name: str
+    path: Path
+    label: str
+
+
+@dataclass(frozen=True)
+class ImplRoots:
+    """모듈 이름 → 파일 해석 루트.
+
+    - `package_parent`: `solar_eval` 패키지의 부모 디렉토리. 여기서는 `solar_eval.*` 이름만 푼다 —
+      엔진이 site-packages 에 설치돼 있어도 서드파티가 폐포에 들어오지 않는다.
+    - `extra`: 테스트·확장이 명시 등록한 디렉토리. 여기서는 어떤 이름이든 푼다. 서드파티·표준
+      라이브러리 영역(`sysconfig` purelib/platlib/stdlib, `sys.prefix`, `sys.base_prefix`)은 거부한다
+      (uv 워크스페이스 venv 가 레포 안에 있어 "레포 안" 규칙이면 httpx 가 폐포에 들어온다 — 검토 F3).
+    """
+
+    package_parent: Path
+    extra: tuple[Path, ...] = field(default=())
+
+    def __post_init__(self) -> None:
+        forbidden = _forbidden_bases()
+        for root in self.extra:
+            resolved = Path(root).resolve()
+            if any(_is_within(resolved, base) for base in forbidden):
+                raise ImplRootError(
+                    f"{root} is inside the interpreter/site-packages area — third-party code is "
+                    "covered by dependency_lock, not by implementation hashes"
+                )
+
+    @classmethod
+    def for_engine(cls, extra: Iterable[Path] = ()) -> ImplRoots:
+        """지금 import 된 `solar_eval` 패키지의 부모 + 등록 디렉토리."""
+        parent = Path(solar_eval.__file__).resolve().parent.parent
+        return cls(parent, tuple(Path(p) for p in extra))
+
+    def with_extra(self, *dirs: Path) -> ImplRoots:
+        return ImplRoots(self.package_parent, (*self.extra, *(Path(d) for d in dirs)))
+
+    def resolve(self, name: str) -> ResolvedModule | None:
+        """모듈 이름을 파일로 푼다: `R/<a>/<b>.py` 또는 `R/<a>/<b>/__init__.py`. 없으면 None."""
+        parts = name.split(".")
+        if not all(p.isidentifier() for p in parts):
+            return None
+        roots: list[Path] = []
+        if parts[0] == ENGINE_PACKAGE:
+            roots.append(self.package_parent)
+        roots.extend(self.extra)
+        for root in roots:
+            base = Path(root).joinpath(*parts)
+            for candidate in (base.with_suffix(".py"), base / "__init__.py"):
+                if candidate.is_file() and _exact_case(Path(root), candidate):
+                    rel = candidate.relative_to(root).as_posix()
+                    return ResolvedModule(name, candidate, LABEL_PREFIX + rel)
+        return None
+
+
+def _exact_case(root: Path, candidate: Path) -> bool:
+    """`candidate` 의 경로 성분이 디렉토리 목록의 이름과 **대소문자까지** 같은가.
+
+    macOS APFS 의 `is_file()` 은 대소문자를 무시한다 — `from pkg import Helper`(클래스)가
+    형제 모듈 `pkg/helper.py` 로 잘못 풀려, 같은 코드가 Linux 와 다른 폐포·라벨을 낸다.
+    파이썬 import 는 대소문자를 구분하므로 여기서도 목록과 정확히 대조해 Linux 와 같게 한다.
+    """
+    current = root
+    for part in candidate.relative_to(root).parts:
+        try:
+            names = os.listdir(current)
+        except OSError:
+            return False
+        if part not in names:
+            return False
+        current = current / part
+    return True
+
+
+# 기본 루트 — None 이면 `ImplRoots.for_engine()`. 테스트는 `set_default_roots` 로 사본을 끼운다.
+_DEFAULT_ROOTS: ImplRoots | None = None
+
+
+def default_roots() -> ImplRoots:
+    """기본 해석 루트. `set_default_roots` 로 바꾼 값이 있으면 그것."""
+    return _DEFAULT_ROOTS if _DEFAULT_ROOTS is not None else ImplRoots.for_engine()
+
+
+def set_default_roots(roots: ImplRoots | None) -> ImplRoots | None:
+    """기본 루트를 바꾸고 이전 값을 돌려준다(복원용). None 이면 엔진 기본으로 되돌린다."""
+    global _DEFAULT_ROOTS
+    previous = _DEFAULT_ROOTS
+    _DEFAULT_ROOTS = roots
+    return previous
+
+
+def is_excluded(module: ResolvedModule) -> bool:
+    """스텝·평가기 폐포에서 빼는가 — 런타임 목록·공용 기반·모든 패키지 `__init__`."""
+    if module.path.name == "__init__.py":
+        return True
+    if module.name in _EXCLUDED_EXACT:
+        return True
+    return module.name.startswith(_EXCLUDED_PREFIXES)
+
+
+def _package_of(module: ResolvedModule) -> str:
+    if module.path.name == "__init__.py":
+        return module.name
+    return module.name.rpartition(".")[0]
+
+
+def _absolute_from(module: ResolvedModule, node: ast.ImportFrom) -> str | None:
+    """`from ..x import y` 의 기준 모듈 이름. 최상위 밖으로 나가면 None."""
+    if node.level == 0:
+        return node.module
+    package = _package_of(module).split(".") if _package_of(module) else []
+    keep = len(package) - (node.level - 1)
+    if keep < 0 or (keep == 0 and not node.module):
+        return None
+    base = package[:keep]
+    if node.module:
+        base += node.module.split(".")
+    return ".".join(base) if base else None
+
+
+def imported_names(module: ResolvedModule, roots: ImplRoots) -> list[str]:
+    """모듈 소스의 **모든** import(함수 안·TYPE_CHECKING 블록 포함)가 가리키는 모듈 이름.
+
+    `from P import X` 는 `P.X` 가 모듈이면 그 모듈, 아니면 `P`.
+    """
+    tree = ast.parse(module.path.read_bytes(), filename=str(module.path))
+    names: list[str] = []
+    for node in ast.walk(tree):
+        if isinstance(node, ast.Import):
+            names.extend(alias.name for alias in node.names)
+        elif isinstance(node, ast.ImportFrom):
+            base = _absolute_from(module, node)
+            if base is None:
+                continue
+            for alias in node.names:
+                candidate = f"{base}.{alias.name}"
+                is_module = alias.name != "*" and roots.resolve(candidate) is not None
+                names.append(candidate if is_module else base)
+    return names
+
+
+def import_closure(
+    start: Iterable[str], roots: ImplRoots, *, exclude: bool = True
+) -> dict[str, ResolvedModule]:
+    """시작 모듈들에서 루트 안으로 닿는 import 폐포. 시작 모듈은 제외 규칙과 무관하게 들어간다.
+
+    Raises:
+        ValueError: 시작 모듈을 루트에서 풀 수 없을 때(구현을 볼 수 없는 스텝·평가기).
+    """
+    closure: dict[str, ResolvedModule] = {}
+    queue: list[ResolvedModule] = []
+    for name in start:
+        resolved = roots.resolve(name)
+        if resolved is None:
+            raise ValueError(
+                f"module {name!r} is not under the implementation roots "
+                f"({roots.package_parent}, extra={list(roots.extra)}) — register its directory"
+            )
+        queue.append(resolved)
+    while queue:
+        module = queue.pop()
+        if module.name in closure:
+            continue
+        closure[module.name] = module
+        for name in imported_names(module, roots):
+            found = roots.resolve(name)
+            if found is None or found.name in closure:
+                continue
+            if exclude and is_excluded(found):
+                continue
+            queue.append(found)
+    return closure
+
+
+def impl_hash(modules: Iterable[ResolvedModule]) -> str:
+    """`json_fingerprint({label: content_sha256(파일 바이트)})` — 주석 변경도 해시를 바꾼다(의도)."""
+    return json_fingerprint({m.label: content_sha256(m.path) for m in modules})
+
+
+def closure_hash(start: Iterable[str], roots: ImplRoots) -> tuple[str, list[str]]:
+    """(폐포 해시, 정렬된 라벨 목록)."""
+    closure = import_closure(start, roots)
+    return impl_hash(closure.values()), sorted(m.label for m in closure.values())
+
+
+def step_impl_hashes(
+    pipeline: Any, roots: ImplRoots | None = None
+) -> tuple[dict[str, str], dict[str, list[str]]]:
+    """생성된 `Pipeline` 의 스텝마다 (키 → 해시, 키 → 폐포 라벨). 키는 레지스트리 조회 이름.
+
+    single_step 의 암묵 `llm_completion` 도 파이프라인 객체에 있으므로 들어간다(검토 F10).
+    """
+    from solar_eval.pipelines.registry import step_key
+
+    roots = roots or default_roots()
+    hashes: dict[str, str] = {}
+    modules: dict[str, list[str]] = {}
+    for step in pipeline.steps:
+        key = step_key(step.config)
+        if key in hashes:
+            continue
+        hashes[key], modules[key] = closure_hash([type(step).__module__], roots)
+    return dict(sorted(hashes.items())), dict(sorted(modules.items()))
+
+
+def _evaluator_modules(evaluator: Any) -> list[str]:
+    names = [type(evaluator).__module__]
+    for child in evaluator.sub_evaluators():
+        names.extend(_evaluator_modules(child))
+    return names
+
+
+def evaluator_impl_hash(evaluator: Any, roots: ImplRoots | None = None) -> tuple[str, list[str]]:
+    """평가기(합성이면 하위 전부) 모듈에서 시작한 폐포의 (해시, 라벨)."""
+    return closure_hash(_evaluator_modules(evaluator), roots or default_roots())
+
+
+def provider_module(provider: Any) -> str:
+    """프로바이더(인스턴스나 클래스)가 정의된 모듈 이름."""
+    return provider.__module__ if isinstance(provider, type) else type(provider).__module__
+
+
+def runtime_impl_hash(
+    providers: Sequence[Any], roots: ImplRoots | None = None
+) -> tuple[str, list[str]]:
+    """`RUNTIME_MODULES` + 프로바이더 모듈의 파일 바이트 지문 (폐포 없음).
+
+    프로바이더는 인스턴스나 클래스를 받는다. 루트에서 풀 수 없는 프로바이더 모듈(테스트 mock 등)은
+    `unresolved:<모듈>` 키에 null 로 들어간다 — 모르는 코드를 조용히 빼지 않는다.
+
+    Raises:
+        ValueError: `RUNTIME_MODULES` 중 하나를 루트에서 풀 수 없을 때.
+    """
+    return runtime_impl_hash_for_modules([provider_module(p) for p in providers], roots)
+
+
+def runtime_impl_hash_for_modules(
+    provider_modules: Iterable[str], roots: ImplRoots | None = None
+) -> tuple[str, list[str]]:
+    """`runtime_impl_hash` 의 모듈 이름판 — 재채점(`with_evaluator`)이 기록된 모듈 이름으로 다시 뜬다."""
+    roots = roots or default_roots()
+    entries: dict[str, str | None] = {}
+    for name in RUNTIME_MODULES:
+        resolved = roots.resolve(name)
+        if resolved is None:
+            raise ValueError(f"runtime module {name!r} not found under {roots.package_parent}")
+        entries[resolved.label] = content_sha256(resolved.path)
+    for name in sorted(set(provider_modules)):
+        resolved = roots.resolve(name)
+        if resolved is None:
+            entries[UNRESOLVED_PREFIX + name] = None
+        else:
+            entries[resolved.label] = content_sha256(resolved.path)
+    return json_fingerprint(entries), sorted(entries)
+
+
+def engine_tree_sha256(roots: ImplRoots | None = None) -> str:
+    """엔진 패키지 트리(`solar_eval/**/*.py`, `__pycache__` 제외)의 파일 바이트 지문 — provenance 용.
+
+    git 없이도 계산된다. 키는 패키지 부모 기준 POSIX 경로(`solar_eval/core/runner.py`).
+    """
+    parent = (roots or default_roots()).package_parent
+    package = Path(parent) / ENGINE_PACKAGE
+    entries = {
+        path.relative_to(parent).as_posix(): content_sha256(path)
+        for path in sorted(package.rglob("*.py"))
+        if "__pycache__" not in path.relative_to(parent).parts
+    }
+    return json_fingerprint(entries)

solar_eval/core/snapshot/reproducibility.py

@@ -0,0 +1,149 @@
+"""run.json `snapshot.reproducibility` — 다시 돌릴 수 있는가·결정적인가 (계획 2026-09-24-phase1a D10·D17).
+
+두 필드 모두 run.json(과 번들 `config_snapshot.json` provenance)에만 둔다. 매니페스트 노출은
+`poc-bundle/v2` 로 미룬다(Q8).
+"""
+
+from __future__ import annotations
+
+import copy
+from collections.abc import Iterable, Mapping, Sequence
+from typing import Any
+
+from solar_eval.pipelines.pipeline import ResourceRef
+
+BLOCKER_ENGINE_DIRTY = "engine_dirty"
+BLOCKER_CONFIG_OUTSIDE_REPO = "config_outside_repo"
+BLOCKER_DATASET_NOT_LOCKED = "dataset_not_locked"
+BLOCKER_DATASET_LOCK_MISMATCH = "dataset_lock_mismatch"
+BLOCKER_DATASET_REMOTE = "dataset_remote_source"
+BLOCKER_RESUMED_ENGINE_CHANGE = "resumed_with_engine_change"
+BLOCKER_RESOURCE_UNRESOLVED = "resource_unresolved:"
+BLOCKER_RESOURCE_OUTSIDE_REPO = "resource_outside_repo:"
+
+_LOCAL_SOURCE = "local"
+
+
+def _dataset_blockers(dataset: Mapping[str, Any] | None) -> list[str]:
+    if dataset is None:
+        return [BLOCKER_DATASET_NOT_LOCKED]
+    if dataset.get("loader", {}).get("source") != _LOCAL_SOURCE:
+        return [BLOCKER_DATASET_REMOTE]
+    lock = dataset.get("lock")
+    if lock is None:
+        return [BLOCKER_DATASET_NOT_LOCKED]
+    if not lock.get("matched"):
+        return [BLOCKER_DATASET_LOCK_MISMATCH]
+    return []
+
+
+def _resource_blockers(refs: Mapping[str, ResourceRef]) -> list[str]:
+    blockers: list[str] = []
+    for label, ref in sorted(refs.items()):
+        if ref.path is None:
+            blockers.append(BLOCKER_RESOURCE_UNRESOLVED + label)
+        elif ref.kind != "config":
+            # data: 자원(PMI 등)은 레포 밖 데이터 홈이고 lock 대상도 아니다 — 커밋으로 복원할 수 없다.
+            blockers.append(BLOCKER_RESOURCE_OUTSIDE_REPO + label)
+    return blockers
+
+
+def _verdict(blockers: Sequence[str], engine_dirty: bool | None) -> bool | None:
+    if blockers:
+        return False
+    return None if engine_dirty is None else True
+
+
+def rerunnable(
+    *,
+    engine_dirty: bool | None,
+    repo_managed: bool,
+    dataset: Mapping[str, Any] | None,
+    resources: Mapping[str, ResourceRef],
+) -> tuple[bool | None, list[str]]:
+    """(rerunnable, 막는 이유 목록). true = 기록된 정보만으로 같은 입력을 다시 만들 수 있다.
+
+    막는 이유가 하나라도 있으면 false, 없는데 `engine_dirty` 가 null(git 불명)이면 null.
+    """
+    blockers: list[str] = []
+    if engine_dirty:
+        blockers.append(BLOCKER_ENGINE_DIRTY)
+    if not repo_managed:
+        blockers.append(BLOCKER_CONFIG_OUTSIDE_REPO)
+    blockers += _dataset_blockers(dataset)
+    blockers += _resource_blockers(resources)
+    return _verdict(blockers, engine_dirty), blockers
+
+
+def _positive(value: Any) -> bool:
+    return isinstance(value, int | float) and not isinstance(value, bool) and value > 0
+
+
+def _step_temperatures(step: Mapping[str, Any]) -> Iterable[Any]:
+    yield step.get("temperature")
+    temps = step.get("repeat_temperatures")
+    if isinstance(temps, Sequence) and not isinstance(temps, str | bytes):
+        yield from temps
+
+
+def deterministic(
+    *,
+    temperature: Any,
+    resolved_pipeline: Mapping[str, Any],
+    steps_use_model: bool,
+    judge_model: str | None,
+) -> bool | None:
+    """true = 모델 호출이 전혀 없다 · false = 샘플링 온도 > 0 이 확인됨 · null = 온도 0 의 LLM 호출.
+
+    API 는 온도 0 에서도 결정적이라는 보장이 없으므로 그 경우는 모른다(null, Q7).
+    """
+    if not steps_use_model and judge_model is None:
+        return True
+    temps: list[Any] = [temperature]
+    for step in resolved_pipeline.get("steps") or []:
+        if isinstance(step, Mapping):
+            temps.extend(_step_temperatures(step))
+    if any(_positive(t) for t in temps):
+        return False
+    return None
+
+
+def _or3(values: Iterable[bool | None]) -> bool | None:
+    """하나라도 true → true, 아니고 하나라도 null → null, 모두 false → false."""
+    items = list(values)
+    if any(v is True for v in items):
+        return True
+    if any(v is None for v in items):
+        return None
+    return False
+
+
+def merge_resume(snapshot: Mapping[str, Any], resume_engine: Mapping[str, Any], at: str) -> dict:
+    """resume 1회를 스냅샷에 반영한 **새** 스냅샷(입력은 바꾸지 않는다, D17).
+
+    - `provenance.resumes` 에 `{at, engine: {commit, tree_sha256, dirty}}` 를 덧붙인다.
+    - `reproducibility.engine_dirty` = 시작·모든 resume 의 dirty OR.
+    - 엔진 트리 해시가 시작과 다르면 `resumed_with_engine_change` 를 막는 이유에 더한다.
+    config·지문은 건드리지 않는다 — 설정 드리프트는 호출자가 지문 비교로 먼저 막는다.
+    """
+    merged = copy.deepcopy(dict(snapshot))
+    provenance = merged.setdefault("provenance", {})
+    start = provenance.get("engine") or {}
+    entry = {
+        "at": at,
+        "engine": {k: resume_engine.get(k) for k in ("commit", "tree_sha256", "dirty")},
+    }
+    resumes = [*provenance.get("resumes", []), entry]
+    provenance["resumes"] = resumes
+    repro = merged.setdefault("reproducibility", {})
+    dirty = _or3([start.get("dirty"), *(r["engine"]["dirty"] for r in resumes)])
+    blockers = list(repro.get("rerunnable_blockers", []))
+    if dirty and BLOCKER_ENGINE_DIRTY not in blockers:
+        blockers.insert(0, BLOCKER_ENGINE_DIRTY)
+    changed = any(r["engine"]["tree_sha256"] != start.get("tree_sha256") for r in resumes)
+    if changed and BLOCKER_RESUMED_ENGINE_CHANGE not in blockers:
+        blockers.append(BLOCKER_RESUMED_ENGINE_CHANGE)
+    repro["engine_dirty"] = dirty
+    repro["rerunnable_blockers"] = blockers
+    repro["rerunnable"] = _verdict(blockers, dirty)
+    return merged

solar_eval/core/snapshot/resources.py

@@ -0,0 +1,78 @@
+"""스냅샷의 파일 재료 — 스텝이 읽을 자원(`resources`)과 프롬프트 파일(`prompt_assets`).
+
+둘 다 **내용**만 본다: 디렉토리·파일 이름은 값에 들어가지 않으므로(프롬프트는 디렉토리 기준 상대경로가
+키) 이름만 바꾼 사본은 같은 값이다 (계획 2026-09-24-phase1a D6).
+"""
+
+from __future__ import annotations
+
+from dataclasses import dataclass
+from pathlib import Path
+from typing import Any
+
+from poc_bundle.canonical import content_sha256
+
+from solar_eval.core.fingerprint import iter_prompt_asset_files
+from solar_eval.pipelines.pipeline import ResourceRef
+
+#: 단일 YAML 프롬프트 파일의 `prompt_assets` 키 — 파일 이름이 지문에 들어가지 않게.
+SINGLE_FILE_KEY = "@file"
+
+
+@dataclass(frozen=True)
+class CollectedResources:
+    """`resources` 값과 그 해석 결과.
+
+    Attributes:
+        hashes: `{라벨: sha256_64 | None}`(라벨 정렬). None = 해석 못 함(`hf:` 선언 등).
+        refs: 라벨 → 원래 `ResourceRef`(재현 판정이 종류를 본다).
+    """
+
+    hashes: dict[str, str | None]
+    refs: dict[str, ResourceRef]
+
+    @property
+    def unresolved(self) -> list[str]:
+        """값이 None 인 라벨 — 하나라도 있으면 `snapshot.missing` 에 `resources` 가 오른다."""
+        return [label for label, value in self.hashes.items() if value is None]
+
+
+def collect_resources(pipeline: Any) -> CollectedResources:
+    """`Pipeline` 인스턴스의 스텝마다 `resource_refs()` 를 모아 파일 sha256 을 뜬다.
+
+    같은 라벨(같은 사전을 두 스텝이 쓰는 prod 파이프라인)은 한 번만 적는다. `hf:` 자원은 네트워크를
+    타지 않고 null 이다. 선언했는데 로컬에 없는 자원은 스텝의 `resource_refs()` 가
+    `KnowledgeAssetError` 로 죽인다 — run 시작 전에.
+    """
+    refs: dict[str, ResourceRef] = {}
+    for step in pipeline.steps:
+        for ref in step.resource_refs():
+            refs.setdefault(ref.label, ref)
+    hashes: dict[str, str | None] = {}
+    for label in sorted(refs):
+        path = refs[label].path
+        hashes[label] = content_sha256(path) if path is not None else None
+    return CollectedResources(hashes, {label: refs[label] for label in sorted(refs)})
+
+
+def prompt_assets(prompt_path: Path) -> dict[str, str]:
+    """프롬프트의 `{상대경로: sha256_64}` — 디렉토리면 legacy `prompt_sha` 와 같은 파일 집합.
+
+    단일 파일(YAML 프롬프트)은 `{"@file": sha256_64}`.
+
+    Raises:
+        FileNotFoundError: 경로가 없을 때.
+        ValueError: 디렉토리에 지문 대상 파일이 하나도 없을 때(빈 프롬프트로 돈 run 을 막는다).
+    """
+    path = Path(prompt_path)
+    if path.is_dir():
+        assets = {
+            file.relative_to(path).as_posix(): content_sha256(file)
+            for file in iter_prompt_asset_files(path)
+        }
+        if not assets:
+            raise ValueError(f"prompt directory has no prompt asset files: {path}")
+        return assets
+    if path.is_file():
+        return {SINGLE_FILE_KEY: content_sha256(path)}
+    raise FileNotFoundError(f"prompt not found: {path}")

solar_eval/core/task_discovery.py

@@ -15,7 +15,7 @@
 
 **명시 태스크가 이긴다.** 이미 `tasks:` 에 있는 dataset_path 는 발견 대상에서
 빠지므로, 규칙에 안 맞는 이름(`paragraph`, `yul-ryul`)은 예전 그대로 적어 두면
-된다. 과거 run 이 그 이름으로 기록돼 있어 이름을 바꾸면 evalhub 에서 계보가
+된다. 과거 run 이 그 이름으로 기록돼 있어 이름을 바꾸면 Experiment Hub 에서 계보가
 끊어지기 때문에, 이 우선순위는 타협 대상이 아니다.
 """
 

solar_eval/evaluators/base.py

@@ -19,15 +19,33 @@ class BaseEvaluator(ABC):
 
     required_fields: frozenset[str] = frozenset()
 
+    @property
+    def judge_model(self) -> str | None:
+        """채점에 쓰는 judge 모델 — 모델을 부르지 않는 평가기는 None.
+
+        evaluation.json 의 `eval_model` 과 run.json 스냅샷의 `evaluator_config.judge_model`
+        이 이 값을 그대로 쓴다(계획 2026-09-24-phase1a D11). 예전에는 러너가 평가기와
+        무관하게 `"gpt-4o"` 를 적어 lcs_diff run 에도 judge 가 있는 것처럼 보였다.
+        """
+        return None
+
+    def sub_evaluators(self) -> list["BaseEvaluator"]:
+        """합성 평가기의 하위 평가기 — 스냅샷의 구현 해시가 하위 모듈까지 보도록. 기본 []."""
+        return []
+
     @abstractmethod
     async def evaluate(
         self,
         sample: EvalSample,
         provider: BaseProvider | None = None,
-        judge_model: str = "gpt-4o",
+        judge_model: str | None = None,
     ) -> dict[str, Any]:
         """`sample` 한 건을 채점한다. `{score, details}` 를 반환한다.
 
+        `judge_model` 은 호출자가 judge 모델을 **덮어쓸** 때만 준다. None 이면 평가기가
+        자기 설정값(`self.judge_model`)을 쓴다 — 러너·`runs eval` 은 넘기지 않으므로 보고값과
+        실제 호출 모델이 어긋나지 않는다.
+
         채점에 실패하면(judge 호출 예외, 잘못된 응답 등) 그 실패는 **예외로 전파한다** --
         점수(0.0 이든 1.0 이든)로 치환해 반환하지 않는다. fail-open(장애를 만점으로
         둔갑시키는 것)을 만들지 않는 것이 이 계약의 핵심이다. 이 예외를 잡아 실패