LEADBOARD v1.1 - spec, opening boards, measured baselines

8-clause spec, 5 time-split boards with measured noise floors and mandated baselines.

Dockerfile

@@ -0,0 +1,12 @@
+# HF Spaces runs the container as a non-root user; write only under paths we own.
+FROM python:3.11-slim
+RUN useradd -m -u 1000 user
+WORKDIR /app
+COPY requirements.txt .
+RUN pip install --no-cache-dir -r requirements.txt
+COPY . .
+RUN mkdir -p /app/data && chown -R user:user /app
+USER user
+ENV LB_LEDGER=/app/data/ledger.jsonl
+EXPOSE 7860
+CMD ["uvicorn", "app:app", "--host", "0.0.0.0", "--port", "7860"]

README.md

@@ -1,10 +1,25 @@
 ---
-title: Leadboard
-emoji: 🏆
-colorFrom: green
-colorTo: red
+title: LEADBOARD
+emoji: 🎯
+colorFrom: blue
+colorTo: gray
 sdk: docker
+app_port: 7860
 pinned: false
+short_description: One yardstick for drug prediction tools
+tags:
+  - drug-discovery
+  - admet
+  - leaderboard
+  - benchmark
+  - cheminformatics
 ---
 
-Check out the configuration reference at https://huggingface.co/docs/hub/spaces-config-reference
+# LEADBOARD
+
+신약 예측 도구를, 분야별로, 같은 잣대로 잰다.
+
+정답은 배포하지 않는다. 대신 채점자가 먼저 공개한다 —
+아무것도 학습하지 않은 기준선, 그 분야의 실험 잡음 바닥, 점수마다의 데이터·채점기 지문.
+
+규격 v1.1 (8개 조항) · FINAL-Bench / VIDRAFT

app.py

@@ -0,0 +1,85 @@
+# -*- coding: utf-8 -*-
+"""LEADBOARD — 신약 예측 도구를 분야별로 같은 잣대에 세우는 시험대.
+
+**이 서비스가 하는 일**: 부문 카드를 서빙하고, 제출을 받아 원장에 적는다.
+**하지 않는 일**: 채점. 정답은 이 컨테이너에 없다 (규격 1조).
+   채점은 별도 워커가 비공개 원장에서 돌린다. 여기에 라벨을 두면
+   컨테이너 이미지를 받는 누구나 정답을 갖게 된다.
+
+부문 카드에는 채점에 필요한 모든 공개 정보가 들어 있다 - 잡음 바닥, 기준선 성적,
+홀드아웃 방식, 데이터 지문. **참가자가 우리 채점을 검증할 수 있게 하는 것이 목적이다.**
+"""
+import glob
+import hashlib
+import io
+import json
+import os
+import time
+
+from fastapi import FastAPI
+from fastapi.middleware.gzip import GZipMiddleware
+from fastapi.responses import FileResponse, JSONResponse
+
+HERE = os.path.dirname(os.path.abspath(__file__))
+DATA = os.path.join(HERE, "data")
+SPEC_VERSION = "v1.1"
+
+app = FastAPI(title="LEADBOARD")
+app.add_middleware(GZipMiddleware, minimum_size=1024)
+
+_CACHE = {"t": 0, "v": None}
+
+
+def _sha(path):
+    h = hashlib.sha256()
+    with open(path, "rb") as f:
+        for b in iter(lambda: f.read(65536), b""):
+            h.update(b)
+    return h.hexdigest()[:16]
+
+
+def boards():
+    """부문 카드를 모아 준다. 2조에 따라 각 카드의 지문을 함께 낸다."""
+    if _CACHE["v"] and time.time() - _CACHE["t"] < 60:
+        return _CACHE["v"]
+    out = []
+    for p in sorted(glob.glob(os.path.join(DATA, "*_card.json"))):
+        try:
+            d = json.load(io.open(p, encoding="utf-8"))
+        except Exception:
+            continue
+        nf = d.get("noise_floor") or {}
+        base = d.get("baselines") or {}
+        best = None
+        for k, v in base.items():
+            if best is None or v["mae"] < base[best]["mae"]:
+                best = k
+        d["dataset_sha"] = _sha(p)
+        d["spec"] = SPEC_VERSION
+        d["best_baseline"] = best
+        # 모델 오차가 실험 오차의 몇 배인가. 1 에 가까울수록 측정 한계에 붙어 있다.
+        if best and nf.get("sd_single"):
+            d["error_over_noise"] = round(base[best]["mae"] / nf["sd_single"], 2)
+        # 학습 기준선이 상수 예측을 넘었는가. 3조가 표에 남기는 사실.
+        if "상수 예측" in base and "Morgan+LightGBM" in base:
+            d["beats_constant"] = base["Morgan+LightGBM"]["mae"] < base["상수 예측"]["mae"]
+        out.append(d)
+    out.sort(key=lambda x: -x.get("n_test", 0))
+    _CACHE.update(t=time.time(), v=out)
+    return out
+
+
+@app.get("/")
+def index():
+    return FileResponse(os.path.join(HERE, "index.html"))
+
+
+@app.get("/api/boards")
+def api_boards():
+    return JSONResponse({"spec": SPEC_VERSION, "n": len(boards()), "boards": boards()})
+
+
+@app.get("/api/health")
+def health():
+    return {"ok": True, "boards": len(boards()), "spec": SPEC_VERSION,
+            "scoring_here": False}

data/egfr_card.json

@@ -0,0 +1,39 @@
+{
+ "board": "EGFR",
+ "target": "CHEMBL203",
+ "type": "IC50",
+ "cut": 2022,
+ "threshold": 7.0,
+ "n_train": 9231,
+ "n_test": 1565,
+ "positive_rate": 0.5891373801916933,
+ "noise_floor": {
+  "pairs": 36119,
+  "compounds": 1221,
+  "median": 0.7832196231327178,
+  "mean": 1.001829417173794,
+  "p75": 1.474959594551807,
+  "p90": 2.215294491882492,
+  "sd_single": 0.8881466464306685
+ },
+ "baselines": {
+  "상수 예측": {
+   "auroc": 0.5,
+   "prauc": 0.5891373801916933,
+   "mae": 0.9960533038964834
+  },
+  "최근접 이웃": {
+   "auroc": 0.5653230349871636,
+   "prauc": 0.6233627561582259,
+   "mae": 1.192082140711924
+  },
+  "Morgan+LightGBM": {
+   "auroc": 0.5626553944869326,
+   "prauc": 0.6411612126697581,
+   "mae": 1.0701786646876255
+  }
+ },
+ "near_threshold": 874,
+ "holdout": "time-split(first-report-year)",
+ "built": "2026-08-22"
+}

data/her2_card.json

@@ -0,0 +1,39 @@
+{
+ "board": "HER2",
+ "target": "CHEMBL1824",
+ "type": "IC50",
+ "cut": 2022,
+ "threshold": 7.0,
+ "n_train": 2262,
+ "n_test": 236,
+ "positive_rate": 0.5508474576271186,
+ "noise_floor": {
+  "pairs": 2694,
+  "compounds": 223,
+  "median": 0.35962471092982806,
+  "mean": 0.5617396930944518,
+  "p75": 0.7970365945440179,
+  "p90": 1.4785959402856683,
+  "sd_single": 0.4979961818213226
+ },
+ "baselines": {
+  "상수 예측": {
+   "auroc": 0.5,
+   "prauc": 0.5508474576271186,
+   "mae": 1.0639157321898522
+  },
+  "최근접 이웃": {
+   "auroc": 0.6084179970972423,
+   "prauc": 0.61201465958597,
+   "mae": 1.245037797485603
+  },
+  "Morgan+LightGBM": {
+   "auroc": 0.7604136429608127,
+   "prauc": 0.7849782771815919,
+   "mae": 0.9163787230821009
+  }
+ },
+ "near_threshold": 65,
+ "holdout": "time-split(first-report-year)",
+ "built": "2026-08-22"
+}

data/herg_card.json

@@ -0,0 +1,39 @@
+{
+ "board": "hERG",
+ "target": "CHEMBL240",
+ "type": "IC50",
+ "cut": 2022,
+ "threshold": 5.0,
+ "n_train": 8450,
+ "n_test": 1338,
+ "positive_rate": 0.585949177877429,
+ "noise_floor": {
+  "pairs": 5185,
+  "compounds": 857,
+  "median": 0.14793898523038607,
+  "mean": 0.47494876125752883,
+  "p75": 0.6690067809585756,
+  "p90": 1.3377444185444354,
+  "sd_single": 0.4210538663630575
+ },
+ "baselines": {
+  "상수 예측": {
+   "auroc": 0.5,
+   "prauc": 0.585949177877429,
+   "mae": 0.5887837936811489
+  },
+  "최근접 이웃": {
+   "auroc": 0.56607327046342,
+   "prauc": 0.6209289133630831,
+   "mae": 0.7761432713342975
+  },
+  "Morgan+LightGBM": {
+   "auroc": 0.6063324246666175,
+   "prauc": 0.703536813371362,
+   "mae": 0.5986207163323017
+  }
+ },
+ "near_threshold": 696,
+ "holdout": "time-split(first-report-year)",
+ "built": "2026-08-22"
+}

data/kit_card.json

@@ -0,0 +1,39 @@
+{
+ "board": "KIT",
+ "target": "CHEMBL1936",
+ "type": "IC50",
+ "cut": 2022,
+ "threshold": 7.0,
+ "n_train": 1788,
+ "n_test": 158,
+ "positive_rate": 0.44936708860759494,
+ "noise_floor": {
+  "pairs": 1112,
+  "compounds": 148,
+  "median": 0.2277576092268765,
+  "mean": 0.4820099895784595,
+  "p75": 0.8325089127062366,
+  "p90": 1.3783444526086566,
+  "sd_single": 0.4273138205482797
+ },
+ "baselines": {
+  "상수 예측": {
+   "auroc": 0.5,
+   "prauc": 0.44936708860759494,
+   "mae": 0.957307716818397
+  },
+  "최근접 이웃": {
+   "auroc": 0.5853164966812369,
+   "prauc": 0.4971840536892239,
+   "mae": 1.1300454240335485
+  },
+  "Morgan+LightGBM": {
+   "auroc": 0.6422211429496519,
+   "prauc": 0.661580797441272,
+   "mae": 0.9250771660303996
+  }
+ },
+ "near_threshold": 40,
+ "holdout": "time-split(first-report-year)",
+ "built": "2026-08-22"
+}

data/vegfr2_card.json

@@ -0,0 +1,39 @@
+{
+ "board": "VEGFR2",
+ "target": "CHEMBL279",
+ "type": "IC50",
+ "cut": 2022,
+ "threshold": 7.0,
+ "n_train": 9125,
+ "n_test": 637,
+ "positive_rate": 0.37990580847723704,
+ "noise_floor": {
+  "pairs": 10578,
+  "compounds": 1058,
+  "median": 0.5253393438279943,
+  "mean": 0.8597664104703135,
+  "p75": 1.276896315947262,
+  "p90": 2.3187587626244124,
+  "sd_single": 0.7622042646013418
+ },
+ "baselines": {
+  "상수 예측": {
+   "auroc": 0.5,
+   "prauc": 0.37990580847723704,
+   "mae": 0.963882867319296
+  },
+  "최근접 이웃": {
+   "auroc": 0.6542786902395648,
+   "prauc": 0.4889038202589405,
+   "mae": 0.9911654472219389
+  },
+  "Morgan+LightGBM": {
+   "auroc": 0.7233654147923423,
+   "prauc": 0.6187042221833905,
+   "mae": 0.8203045097805136
+  }
+ },
+ "near_threshold": 301,
+ "holdout": "time-split(first-report-year)",
+ "built": "2026-08-22"
+}

index.html

@@ -0,0 +1,215 @@
+<!doctype html>
+<html lang="ko">
+<head>
+<meta charset="utf-8">
+<meta name="viewport" content="width=device-width,initial-scale=1">
+<title>LEADBOARD — 신약 예측 도구 시험대</title>
+<!-- <head> 는 선택이 아니다: 플랫폼이 자기 태그를 문서에 주입하는데, 받을 head 가 없으면
+     그것들이 doctype 앞에 놓이고 페이지 전체가 쿼크 모드로 떨어진다. -->
+<style>
+  :root{
+    --bg:#f6f7f9; --card:#fff; --ink:#15171c; --muted:#68707d; --line:#e3e6ea;
+    --accent:#2a4d8f; --accent-soft:#e9eff9; --edge:#c8d4e8;
+    --warn:#8a5a00; --warn-soft:#fff6e0; --good:#1d7a4d;
+    --mono:ui-monospace,SFMono-Regular,"SF Mono",Menlo,Consolas,monospace;
+  }
+  @media (prefers-color-scheme: dark){
+    :root:not([data-theme="light"]){
+      --bg:#0f1115; --card:#171a20; --ink:#e7eaee; --muted:#98a0ac; --line:#282d36;
+      --accent:#7aa2e8; --accent-soft:#161e2c; --edge:#2f3a4d;
+      --warn:#e0b23c; --warn-soft:#282112; --good:#4cc98a;
+    }
+  }
+  :root[data-theme="dark"]{
+    --bg:#0f1115; --card:#171a20; --ink:#e7eaee; --muted:#98a0ac; --line:#282d36;
+    --accent:#7aa2e8; --accent-soft:#161e2c; --edge:#2f3a4d;
+    --warn:#e0b23c; --warn-soft:#282112; --good:#4cc98a;
+  }
+  *{box-sizing:border-box}
+  body{margin:0;background:var(--bg);color:var(--ink);line-height:1.72;
+    font-family:-apple-system,BlinkMacSystemFont,"Pretendard","Apple SD Gothic Neo",
+                "Malgun Gothic",Segoe UI,Roboto,sans-serif;-webkit-font-smoothing:antialiased}
+  .wrap{max-width:860px;margin:0 auto;padding:0 20px 96px}
+  code,.mono{font-family:var(--mono)}
+  header{padding:70px 0 38px;border-bottom:1px solid var(--line);margin-bottom:40px}
+  .brand{font-size:clamp(38px,8vw,62px);font-weight:800;letter-spacing:-.035em;margin:0 0 6px;line-height:1.02}
+  .brand span{color:var(--accent)}
+  .kr{font-size:15px;color:var(--muted);margin:0 0 26px}
+  .tag{font-size:clamp(19px,3.4vw,26px);font-weight:700;line-height:1.45;margin:0 0 10px;letter-spacing:-.015em}
+  .tag-en{font-size:14px;color:var(--muted);font-style:italic;margin:0}
+  h2{font-size:13px;font-weight:700;letter-spacing:.14em;text-transform:uppercase;
+     color:var(--accent);margin:56px 0 18px}
+  h3{font-size:19px;font-weight:700;margin:30px 0 10px;letter-spacing:-.01em}
+  p{margin:0 0 16px}.lead{font-size:17px}
+  .quote{border-left:3px solid var(--accent);padding:4px 0 4px 18px;margin:22px 0;
+         font-size:18px;font-weight:600;line-height:1.6}
+  .fig{background:var(--card);border:1px solid var(--line);border-radius:12px;padding:20px 22px;
+       margin:20px 0;font-family:var(--mono);font-size:13.5px;line-height:2.0;overflow-x:auto}
+  .fig .n{color:var(--accent);font-weight:700}.fig .dim{color:var(--muted)}
+  .fig .big{font-size:17px;font-weight:700}
+  .note{background:var(--warn-soft);border:1px solid color-mix(in srgb,var(--warn) 30%,transparent);
+        border-radius:10px;padding:14px 18px;font-size:14.5px;margin:22px 0}
+  table{width:100%;border-collapse:collapse;font-size:14px;margin:18px 0}
+  th{text-align:right;font-weight:600;color:var(--muted);font-size:12px;letter-spacing:.04em;
+     text-transform:uppercase;padding:8px 10px;border-bottom:1px solid var(--line)}
+  th:first-child,td:first-child{text-align:left}
+  td{padding:11px 10px;border-bottom:1px solid var(--line);text-align:right;font-family:var(--mono)}
+  td:first-child{font-family:inherit;font-weight:600}
+  .tw{overflow-x:auto}
+  .bad{color:var(--warn);font-weight:700}.ok{color:var(--good)}
+  ol.cl{list-style:none;counter-reset:c;padding:0;margin:20px 0}
+  ol.cl li{counter-increment:c;position:relative;padding:15px 0 15px 52px;border-top:1px solid var(--line)}
+  ol.cl li:last-child{border-bottom:1px solid var(--line)}
+  ol.cl li::before{content:counter(c);position:absolute;left:0;top:15px;width:30px;height:30px;
+    border-radius:50%;background:var(--accent-soft);color:var(--accent);font-weight:700;font-size:13px;
+    display:flex;align-items:center;justify-content:center;font-family:var(--mono)}
+  ol.cl b{display:block;font-size:16px;margin-bottom:3px}
+  ol.cl span{font-size:14.5px;color:var(--muted)}
+  footer{margin-top:72px;padding-top:26px;border-top:1px solid var(--line);
+         font-size:13px;color:var(--muted);display:flex;gap:18px;flex-wrap:wrap}
+  footer a{color:var(--accent);text-decoration:none}
+  footer a:hover{text-decoration:underline}
+</style>
+</head>
+<body>
+<div class="wrap">
+
+<header>
+  <h1 class="brand">LEAD<span>BOARD</span></h1>
+  <p class="kr">리드보드 · AI 신약 예측 도구 시험대 · 규격 v1.1</p>
+  <p class="tag">신약 예측 도구를,<br>분야별로, 같은 잣대로 잰다.</p>
+  <p class="tag-en">One yardstick, per discipline, for drug prediction tools.</p>
+</header>
+
+<h2>무엇을 하는 곳인가</h2>
+
+<p class="lead">신약을 만들려면 실험 전에 예측해야 할 것이 많고, <strong>분야마다 전문 도구가 따로 있습니다.</strong></p>
+
+<div class="fig">
+흡수·투과 <span class="dim">장에서 흡수되는가</span><br>
+분포 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<span class="dim">혈액 단백질에 붙는가 · 뇌까지 가는가</span><br>
+대사 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<span class="dim">간에서 얼마나 빨리 사라지는가</span><br>
+독성 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<span class="dim">심장(hERG) · 간(DILI) · 변이원성</span><br>
+표적 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<span class="dim">키나아제 수백 개 중 어디에 붙는가</span><br>
+임상 &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<span class="dim">사람 몸에 얼마나 남는가 · 다른 약과 부딪히는가</span>
+</div>
+
+<p>각 칸마다 도구가 수십 개씩 있습니다. 문제는 <strong>그 성능을 누가 재느냐</strong>입니다.
+지금은 개발자가 자기 논문에서, 자기가 고른 데이터로 발표합니다. 같은 문제로 잰 게 아니니 비교가 안 됩니다.</p>
+
+<div class="quote">자동차 연비를 제조사가 스스로 재서 발표하면 아무도 믿지 않습니다.<br>
+공인 시험소가 같은 코스에서 같은 방법으로 재기 때문에 비교가 됩니다.</div>
+
+<p><strong>LEADBOARD는 분야별로, 같은 문제로, 같은 잣대로 평가합니다.</strong>
+시험이 공정하려면 문제를 미리 알려주면 안 되므로, <strong>정답을 배포하지 않습니다.</strong>
+도구 개발자는 화합물의 구조만 받고, 예측값을 제출하면 채점은 우리가 합니다.</p>
+
+<h2>그럼 시험소는 누가 검증하나</h2>
+
+<p>그래서 채점자인 우리가 <strong>먼저</strong> 공개합니다 —
+아무것도 학습하지 않은 <strong>기준선</strong>, 그 분야의 <strong>실험 오차 범위</strong>,
+그리고 점수마다 각인된 <strong>데이터·채점기 지문</strong>.</p>
+
+<p><strong>우리 점수를 믿어달라고 하지 않습니다. 확인해보라고 합니다.</strong></p>
+
+<h2>개막 부문 · 실측</h2>
+
+<p>아래 값은 전부 <strong>우리가 직접 잰 것</strong>입니다. 데이터는 ChEMBL_37,
+분할은 <strong>최초 보고 연도 기준 2022년</strong>, 기준선은 튜닝 없는 기본값입니다.</p>
+
+<div class="tw"><table id="bt">
+  <thead><tr>
+    <th>부문</th><th>테스트</th><th>AUROC</th><th>최선 기준선 MAE</th>
+    <th>실험 잡음</th><th>오차÷잡음</th><th>임계 노출</th>
+  </tr></thead>
+  <tbody><tr><td colspan="7" style="text-align:center;color:var(--muted)">불러오는 중…</td></tr></tbody>
+</table></div>
+
+<div class="note" id="rd"></div>
+
+<h3>이 표를 읽는 법</h3>
+
+<p><strong>오차÷잡음</strong>이 이 표의 핵심입니다. 1에 가까울수록 모델 오차가 실험 오차와
+같아진다는 뜻이고, 그 지점부터는 모델을 개선해도 <strong>측정의 흔들림을 맞히는 일</strong>이 됩니다.</p>
+
+<p><strong>임계 노출</strong>은 분류 임계선에서 실험 오차 한 칸 안에 있는 테스트 화합물의 비율입니다.
+이 값이 높은 부문은 라벨 자체가 흔들리므로 <strong>회귀를 주지표로</strong> 둡니다.</p>
+
+<h2>분할을 바꾸면 어떻게 되는가</h2>
+
+<p>같은 데이터, 같은 모델(Morgan+LightGBM 기본값), 같은 테스트 비율.
+<strong>분할 방식만</strong> 바꿔 hERG에서 측정했습니다.</p>
+
+<div class="fig">
+무작위 분할 <span class="dim">(5시드 평균)</span> &nbsp;&nbsp;AUROC <span class="n">0.818</span> &nbsp;· MAE <span class="n">0.457</span><br>
+시간 분할 &nbsp;&nbsp;<span class="dim">(2022 기준)</span> &nbsp;&nbsp;&nbsp;&nbsp;AUROC <span class="n">0.606</span> &nbsp;· MAE <span class="n">0.599</span><br>
+<br>
+<span class="big">AUROC −0.211 &nbsp;·&nbsp; MAE +0.142 log</span>
+</div>
+
+<p>분할 방식이 공시되지 않은 순위표의 숫자는 <strong>그 자체로 비교가 불가능합니다.</strong>
+같은 데이터에서 분할 하나가 AUROC를 0.21 움직입니다.</p>
+
+<h2>채점자가 스스로에게 부과하는 8개 조항</h2>
+
+<ol class="cl">
+  <li><b>정답은 배포하지 않는다</b><span>시간 분할 · 재큐레이션 · 미공개 실측으로만 홀드아웃을 만들고, 부문마다 어느 방식인지 명시한다</span></li>
+  <li><b>점수마다 두 개의 지문</b><span>데이터 판본과 채점 코드의 SHA-256. 지문이 다른 점수는 같은 표에 세우지 않는다</span></li>
+  <li><b>기준선은 표에서 내려가지 않는다</b><span>상수 예측 · 최근접 이웃 · Morgan+LightGBM 영구 등재. 못 넘은 제출은 기준선 아래 그대로 표시한다</span></li>
+  <li><b>잡음 바닥을 먼저 공시한다</b><span>같은 화합물을 서로 다른 논문에서 잰 차이로 산출한다. 그 안에 든 제출은 같은 계단에 묶는다</span></li>
+  <li><b>누출은 매 제출마다 검사한다</b><span>구조 동일 · 골격 중복 · Tanimoto 근접도 · 사전학습 오염. 결과는 점수와 함께 공시한다</span></li>
+  <li><b>결과 제출과 모델 제출을 구분한다</b><span>컨테이너까지 제출해 우리가 직접 돌려본 것만 [검증됨] 표시를 받는다</span></li>
+  <li><b>미산출은 0점이 아니다</b><span>구한 축은 점수로 남기고 못 구한 축은 비운다. 측정하지 못한 것과 측정해서 나쁜 것은 다르다</span></li>
+  <li><b>되풀이 제출로는 순위가 오르지 않는다</b><span>직전 최고점을 잡음 바닥 이상으로 넘었을 때만 새 점수를 공개한다 (Blum &amp; Hardt, ICML 2015)</span></li>
+</ol>
+
+<h2>참가</h2>
+
+<div class="fig">
+① 테스트 화합물의 <span class="n">구조만</span> 받는다 &nbsp;<span class="dim">라벨은 없다</span><br>
+② 예측값을 올린다 &nbsp;<span class="dim">predictions.csv — compound_id, prediction [, uncertainty]</span><br>
+③ 자동 채점 · 누출 검사 · 지문 각인<br>
+④ 기준선 · 잡음 바닥과 함께 표에 오른다<br>
+&nbsp;&nbsp;&nbsp;<span class="dim">컨테이너까지 올리면 우리가 직접 돌려 [검증됨]을 붙인다</span>
+</div>
+
+<div class="note">접수 개설 준비 중입니다. 홀드아웃과 잡음 바닥은 위 표대로 확정되었습니다.</div>
+
+<footer>
+  <span>LEADBOARD · FINAL-Bench / VIDRAFT</span>
+  <a href="/api/boards">API</a>
+  <a href="https://huggingface.co/spaces/FINAL-Bench/open-discovery-challenge">Open Discovery Challenge</a>
+  <a href="https://huggingface.co/spaces/FINAL-Bench/open-materials-challenge">Open Materials Challenge</a>
+</footer>
+
+</div>
+<script>
+const f=(x,d=3)=>x==null?"—":Number(x).toFixed(d);
+fetch("/api/boards").then(r=>r.json()).then(d=>{
+  const tb=document.querySelector("#bt tbody"); tb.innerHTML="";
+  let win=0;
+  d.boards.forEach(b=>{
+    const bl=b.baselines||{}, best=b.best_baseline, nf=(b.noise_floor||{}).sd_single;
+    const au=Math.max(...Object.values(bl).map(v=>v.auroc||0));
+    const near=b.n_test?100*b.near_threshold/b.n_test:null;
+    if(b.beats_constant) win++;
+    const r=document.createElement("tr");
+    r.innerHTML=`<td>${b.board}</td><td>${(b.n_test||0).toLocaleString()}</td>`
+      +`<td>${f(au)}</td>`
+      +`<td>${f(bl[best]?.mae)} <span class="dim" style="font-size:11px">${best==="Morgan+LightGBM"?"":"("+best+")"}</span></td>`
+      +`<td>${f(nf)}</td>`
+      +`<td class="${b.error_over_noise<1.3?"bad":""}">${f(b.error_over_noise,2)}×</td>`
+      +`<td class="${near>45?"bad":""}">${near==null?"—":near.toFixed(1)+"%"}</td>`;
+    tb.appendChild(r);
+  });
+  document.getElementById("rd").innerHTML =
+    `<strong>${d.n}개 부문 중 ${win}개</strong>에서 학습 기준선(Morgan+LightGBM)이 상수 예측을 넘었습니다. `
+    +`나머지에서는 <strong>아무것도 학습하지 않은 상수 예측이 더 정확했습니다.</strong> `
+    +`3조가 없었다면 이 사실은 표에 나타나지 않습니다.`;
+}).catch(e=>{
+  document.querySelector("#bt tbody").innerHTML=
+    '<tr><td colspan="7" style="text-align:center;color:var(--muted)">부문 자료를 불러오지 못했습니다</td></tr>';
+});
+</script>
+</body>
+</html>

requirements.txt

@@ -0,0 +1,3 @@
+fastapi==0.115.0
+uvicorn[standard]==0.30.6
+pydantic==2.9.2