"""run 시작 전 데이터셋 준비 -- 한 번 읽고, 고르고, 행 메타 규칙을 검증한다 (계획 D3·D13·D16). CLI(`runs start/batch`)는 run 디렉토리를 만들기 **전에** `prepare_dataset` 을 불러 0행 선택·라벨 누락·`meta_fields` 오류를 먼저 터뜨리고, 같은 `PreparedDataset` 을 러너(`execute_run(prepared=...)`)와 run.json 기록(sha256·행 수·선택)에 함께 넘긴다. 그래서 run.json 의 sha256 과 실제로 돈 행이 **같은 바이트**에서 나온다. 러너는 `prepared` 가 없으면(서비스·옛 호출자) 같은 함수로 스스로 준비한다. 이 모듈은 poc-bundle 패키지와 packaging 을 가져오지 않는다(D18). """ from __future__ import annotations import copy from dataclasses import dataclass from typing import Any, Mapping from solar_eval.core.dataset_loader import DatasetLoader, LoadedJsonl from solar_eval.core.row_filter import ( RowSelection, SelectionError, Where, combine, format_indices, parse_where, select, ) class DatasetPrepError(ValueError): """태스크의 행 메타·where 선언이 규칙에 맞지 않을 때 -- run 을 시작하지 않는다.""" @dataclass(frozen=True) class PreparedDataset: """run 이 돌 행 집합. `selected` 는 `(원본 파일의 0-based 위치, 행)` 튜플들이다.""" loaded: LoadedJsonl selected: tuple[tuple[int, dict[str, Any]], ...] rows_total: int meta_fields: tuple[str, ...] | None selection: RowSelection | None = None @property def rows_selected(self) -> int: return len(self.selected) @property def sha256(self) -> str: return self.loaded.sha256 @property def selected_indices(self) -> frozenset[int]: return frozenset(idx for idx, _ in self.selected) def reject_defaults_where(project_config: Mapping[str, Any]) -> None: """`defaults.where` 를 거부한다 (D1). `_resolve_defaults` 는 키 단위 얕은 병합이라 `defaults.where` 가 라벨 없는 태스크에도 퍼져 그 run 이 전부 죽고, 태스크에 where 가 있으면 통째로 무시된다("병합"이 아니라 "대체"). 로드된 dict 에 `defaults` 키가 병합 뒤에도 남아 있으므로 그것을 본다. 로드 시점이 아니라 run 시작 시 검사한다 -- 한 프로젝트의 잘못된 선언이 다른 프로젝트 로드를 막지 않게. """ defaults = project_config.get("defaults") or {} if isinstance(defaults, Mapping) and "where" in defaults: name = project_config.get("name", "?") raise DatasetPrepError( f"project {name!r}: defaults.where is not allowed -- " "declare where on a task or pass --where on the CLI" ) def _data_keys(task_config: Mapping[str, Any]) -> set[str]: """입력·정답으로 이미 쓰는 데이터 행 키 -- meta 로 중복 복제하지 않는다.""" keys = set(task_config.get("input_fields") or []) golden_field = task_config.get("golden_field") if golden_field: keys.add(golden_field) golden_fields = task_config.get("golden_fields") or {} if isinstance(golden_fields, Mapping): keys.update(v for v in golden_fields.values() if isinstance(v, str)) return keys def validate_meta_fields(task_config: Mapping[str, Any]) -> tuple[str, ...] | None: """태스크 `meta_fields` 검증 (D13) -- 비어 있지 않은 문자열 리스트, 중복·입력/정답 겹침 불가. 선언이 없으면 `None`(results 행에 `meta` 키를 쓰지 않는다 -- 다른 프로젝트의 바이트 불변). """ raw = task_config.get("meta_fields") if raw is None: return None task = task_config.get("name", "?") if not isinstance(raw, list) or not raw: raise DatasetPrepError(f"task {task!r}: meta_fields must be a non-empty list of strings") if not all(isinstance(f, str) and f.strip() for f in raw): raise DatasetPrepError(f"task {task!r}: meta_fields values must be non-empty strings") duplicates = sorted({f for f in raw if raw.count(f) > 1}) if duplicates: raise DatasetPrepError(f"task {task!r}: meta_fields has duplicates: {duplicates}") overlap = sorted(set(raw) & _data_keys(task_config)) if overlap: raise DatasetPrepError(f"task {task!r}: meta_fields overlap input/golden fields: {overlap}") return tuple(raw) def row_meta(row: Mapping[str, Any], meta_fields: tuple[str, ...] | None) -> dict[str, Any] | None: """데이터 행에서 `meta_fields` 키만 골라 복사한다. 행에 없는 키는 **생략**한다. 값은 깊은 복사본이다 -- 결과 행이 데이터셋 행 객체를 공유하지 않게. """ if meta_fields is None: return None return {key: copy.deepcopy(row[key]) for key in meta_fields if key in row} def build_selection( task_config: Mapping[str, Any], cli_where: Where | None = None, limit: int | None = None ) -> RowSelection: """태스크 `where` 와 CLI where(`Where` 또는 `None`)를 합쳐 run 의 선택을 만든다. 선택은 CLI 가 **명시적으로** 만들어 러너에 넘긴다 -- 러너는 `task_config["where"]` 를 스스로 읽지 않는다(D3). """ task_name = task_config.get("name", "?") task_where = parse_where(task_config.get("where"), origin=f"task {task_name!r}") return RowSelection(where=combine(task_where, cli_where), limit=limit or None) def prepare_dataset( loader: DatasetLoader, project_config: Mapping[str, Any], task_config: Mapping[str, Any], selection: RowSelection | None, ) -> PreparedDataset: """데이터셋을 한 번 읽고 선택을 적용한다. 0행·라벨 누락·meta 오류는 여기서 터진다.""" meta_fields = validate_meta_fields(task_config) dataset_config = project_config.get("dataset") or {} loaded = loader.read_jsonl( dataset_config.get("repo", ""), task_config.get("dataset_path", ""), source=dataset_config.get("source", "huggingface"), ) selected = select(loaded.records, selection) return PreparedDataset( loaded=loaded, selected=tuple(selected), rows_total=len(loaded.records), meta_fields=meta_fields, selection=selection, ) def check_resume_indices(prepared: PreparedDataset, completed_indices: set[int]) -> None: """이미 끝난 `sample_idx` 가 선택 밖이면 실패한다 (D3 resume 가드). 선택 밖 결과가 섞인 results 는 이 run 의 선택으로 설명되지 않는다 -- 선택이나 데이터셋이 run 시작 뒤 바뀌었다는 뜻이다. """ outside = sorted(completed_indices - prepared.selected_indices) if outside: raise SelectionError( "completed results are outside this run's selection " f"({format_indices(outside)}) " "-- the selection or dataset changed since the run started; start a new run" )