"""run 실행 + 진행 표시 (Rich progress bar) — `runs start`·`runs resume` 이 공유한다. `runs.py` 가 800줄 상한을 넘어 떼어 냈다(계획 2026-09-24-phase1a E1). 동작은 옮기기 전과 같고, 러너에 선택·준비된 데이터셋·파이프라인 인스턴스를 넘기는 인자만 더했다(D3·D6). """ from __future__ import annotations import asyncio import logging from typing import Any import click from rich.progress import BarColumn, Progress, SpinnerColumn, TextColumn, TimeElapsedColumn from solar_eval.cli.formatters import format_scores #: 진행 표시 위로 끌어올려 찍는 로거들. _LOG_NAMES = ( "solar_eval.pipelines.pipeline", "solar_eval.pipelines.steps.llm", "solar_eval.core.runner", "solar_eval.providers.upstage", ) class _ProgressView: """Rich 진행 표시(가능할 때)와 평문 출력 사이를 가르는 작은 상태 묶음.""" def __init__(self) -> None: from rich.console import Console from rich.live import Live self.bar = Progress( SpinnerColumn(), TextColumn("[progress.description]{task.description}"), BarColumn(), TextColumn("{task.completed}/{task.total}"), TextColumn("[progress.percentage]{task.percentage:>3.0f}%"), TimeElapsedColumn(), ) self.live: Live | None = None self.use_rich = True self.inference_task_id: Any = None self.eval_task_id: Any = None self._handler: logging.Handler | None = None self._closed = False try: self.live = Live(self.bar, console=Console(stderr=True), refresh_per_second=8) self.live.start() except Exception as e: # 터미널이 Rich 를 못 받으면 평문으로 — 원인은 한 줄 남긴다. click.secho(f" (진행 표시 없이 평문으로 출력합니다: {e})", fg="yellow") self.use_rich = False if self.use_rich: self._redirect_logs() def _redirect_logs(self) -> None: """파이프라인·러너 로그를 진행 표시 위로 올린다.""" from rich.text import Text live = self.live class _LiveLogHandler(logging.Handler): def emit(self, record): if live: live.console.print(Text(record.getMessage(), style="dim")) self._handler = _LiveLogHandler() for name in _LOG_NAMES: lg = logging.getLogger(name) lg.addHandler(self._handler) lg.propagate = False logging.getLogger("httpx").setLevel(logging.WARNING) def cleanup(self) -> None: """진행 표시를 닫고 로거를 되돌린다. 여러 번 불러도 된다(끝 이벤트 + finally).""" if self.use_rich and self.live is not None and not self._closed: self._closed = True self.live.stop() for name in _LOG_NAMES: logging.getLogger(name).removeHandler(self._handler) logging.getLogger(name).propagate = True def _on_inference(view: _ProgressView, etype: str, event: dict[str, Any]) -> None: if etype == "dataset_loaded": if view.use_rich: view.inference_task_id = view.bar.add_task("Inference", total=event["total"]) else: click.secho(f" Dataset loaded: {event['total']} samples", fg="blue") elif etype == "inference_progress": if view.use_rich and view.inference_task_id is not None: view.bar.update(view.inference_task_id, completed=event["completed"]) elif not view.use_rich: c, t = event["completed"], event["total"] if c % 10 == 0 or c == t: click.echo(f" Inference: {c}/{t}") elif etype == "inference_complete": if view.use_rich and view.inference_task_id is not None: view.bar.update(view.inference_task_id, completed=event["total"]) else: click.secho(f" Inference complete: {event['total']} samples", fg="green") def _on_evaluation(view: _ProgressView, etype: str, event: dict[str, Any]) -> None: if etype == "evaluation_start": if view.use_rich: view.eval_task_id = view.bar.add_task("Evaluation", total=event.get("total", 0) or 1) else: click.secho(" Starting evaluation...", fg="blue") elif etype == "evaluation_progress" and view.use_rich and view.eval_task_id is not None: view.bar.update(view.eval_task_id, completed=event["completed"]) def _on_finish(view: _ProgressView, etype: str, event: dict[str, Any]) -> None: if etype == "done": if view.use_rich and view.eval_task_id is not None: view.bar.update(view.eval_task_id, completed=view.bar.tasks[view.eval_task_id].total) view.cleanup() click.echo() click.secho("Run completed!", fg="green", bold=True) overall = event.get("overall_score") if overall is not None: click.echo(f" Overall Score: {overall:.4f}") scores = event.get("scores", {}) if scores: click.echo(f" Scores: {format_scores(scores)}") elif etype == "error": view.cleanup() click.echo() click.secho(f" Run failed: {event.get('error')}", fg="red", bold=True) def _run_with_progress( runner, run_id, project_config, task_config, prompt, max_workers, limit, completed_results: list[dict[str, Any]] | None = None, selection=None, prepared=None, pipeline=None, ): """Execute a run with Rich progress bar display. `completed_results` 는 resume 이 이미 끝난 샘플을 다시 돌리지 않게 하는 다리다 -- 여기서 안 넘기면 runner 가 파라미터를 갖고 있어도 소용이 없다(F2). `selection`·`prepared`· `pipeline` 은 CLI 가 run 시작 전에 정한 행 선택·데이터셋·파이프라인 인스턴스다(D3·D6). `execute_run` 은 치명적 실패에서 raise 하므로 이 함수도 raise 한다 -- 일부러 감싸지 않는다. "error" 이벤트가 이미 사람이 읽을 메시지를 찍었고, 여기서 또 감싸면 같은 내용이 두 번 나온다. """ view = _ProgressView() async def on_progress(event): etype = event.get("type") _on_inference(view, etype, event) _on_evaluation(view, etype, event) _on_finish(view, etype, event) try: asyncio.run( runner.execute_run( run_id=run_id, project_config=project_config, task_config=task_config, prompt=prompt, on_progress=on_progress, max_workers=max_workers, limit=limit, completed_results=completed_results, selection=selection, prepared=prepared, pipeline=pipeline, ) ) finally: # 끝 이벤트 없이 끝나도(러너가 이벤트 전에 죽음) 터미널·로거를 원래대로 돌린다. view.cleanup() def execute_plan( plan, run_id: str, store, completed_results: list[dict[str, Any]] | None = None ) -> None: """준비된 `RunPlan` 을 러너로 돌린다 — `runs start`·`runs resume` 공용. 러너는 plan 이 쥔 **같은 인스턴스**(준비된 데이터셋·파이프라인·프로바이더)로 돈다(D6·D16). `limit` 은 `prepared.selection` 안에 있으므로 따로 넘기지 않는다. """ from solar_eval.core.runner import BatchRunner runner = BatchRunner( store=store, inference_provider=plan.provider, judge_provider=plan.judge_provider, dataset_loader=plan.dataset_loader, ) _run_with_progress( runner, run_id, plan.project_config, plan.task_config, plan.prompt, plan.max_workers, limit=None, completed_results=completed_results, prepared=plan.prepared, pipeline=plan.pipeline, ) # 러너가 raise 하면(FAILED) 여기 오지 않는다. 훅은 호출자가 이 함수 **뒤에** 부른다 — 순서 그대로. _record_failure_keys(plan, run_id, store) def _record_failure_keys(plan, run_id: str, store) -> None: """실패 샘플 지문을 run.json 에 더한다(LP5 D-LP5-4). 못 해도 run 은 그대로 끝난다. 실패 지문은 없어도 되는 정보다 — 없으면 wrap 이 `failures.jsonl` 을 생략(모름)한다. 그래서 도우미의 예외는 경고 한 줄(예외 **타입만** — 메시지는 입력 조각을 담을 수 있다)로 드러내고 run 은 계속 끝낸다. `poc_bundle` 은 여기서 처음 import 한다 — CLI 를 띄우는 것만으로 번들 계층을 싣지 않는다. """ from solar_eval.cli.commands import failure_keys try: failure_keys.record_failure_keys(store, run_id, plan.prepared, plan.task_config) except Exception as exc: # 실패 지문은 선택 정보 — run 을 실패로 만들지 않는다(계획 §2.4) click.secho(f" failure keys not recorded ({type(exc).__name__})", fg="yellow")