docs/evaluation.md

# 評価記録: fixed vs structure chunking（2026-07）

- fixed: `music_theory`（固定長800字chunking、RAGAS 2026-07-01実施）
- structure: `music_theory_structure`（構造ベースchunking、RAGAS 2026-07-02実施）
- n=20問（silver Q&Aセット）、judge: gemini-3.1-flash-lite、生成層: gemini-3.5-flash
  （self-preference bias回避のため judge と生成層は別モデル）
  ※ この記録は当時の構成での実測。その後、生成層は NVIDIA Build（`meta/llama-3.3-70b-instruct`）へ
  移行済み（Gemini無料枠のRPD枯渇回避）。judge は bias 回避のため引き続き Gemini 側。
  下表の数値は上記日付時点の chunking A/B 比較記録として保持している。

検索層の評価は「hit-rate@k / MRR（LLM不使用・常用）」と「RAGAS（LLM judge・節目のみ）」の2層構成。

## hit-rate / MRR（retrieval層のみ）

| strategy | hit_rate@5 | MRR |
|---|---|---|
| fixed | 0.85 | 0.792 |
| structure | 0.85 | 0.800 |

hit-rateでは差が見えない。以下のRAGASで初めてchunking品質の差が可視化された。

## サマリ（平均）

| metric | fixed | structure | diff |
|---|---|---|---|
| faithfulness | 0.804 | 0.764 | -0.040 |
| answer_relevancy | 0.881 | 0.878 | -0.003 |
| answer_correctness | 0.361 | 0.369 | +0.008 |
| context_precision | 0.653 | 0.788 | +0.134 |
| context_recall | 0.667 | 0.717 | +0.050 |

## per-question: context_precision / context_recall

★ = fixedで cp または cr が 0.0 だった質問（固定長chunkingの弱点）

| question | cp fixed→structure | cr fixed→structure | |
|---|---|---|---|
| コードの機能ってなに | 0.70 → 1.00 | 1.00 → 1.00 |  |
| カデンツとは | 0.89 → 1.00 | 1.00 → 1.00 |  |
| 3mってトニックかサブドミナントどっち | 0.00 → 1.00 | 0.00 → 1.00 | ★ |
| 5-1と4-1の違い | 0.00 → 0.00 | 0.00 → 0.00 | ★ |
| セカンダリードミナントってなに | 1.00 → 1.00 | 0.50 → 0.50 |  |
| 機能和声論において、なぜIVよりもVの方がより強い緊張感を生み出し、展開のピークとなるのですか？ | 1.00 → 0.50 | 1.00 → 1.00 |  |
| 「Vm7→I7→IV」の進行について | 0.33 → 0.50 | 0.50 → 0.50 |  |
| 傾性音とは | 0.87 → 1.00 | 1.00 → 1.00 |  |
| モチーフって何 | 0.33 → 0.70 | 0.50 → 0.50 |  |
| 7-1と4-3の解決の違い | 0.00 → 0.00 | 0.00 → 0.00 | ★ |
| メロディのの三段階モデルとリクイデーション | 0.70 → 1.00 | 1.00 → 1.00 |  |
| メロディ展開における「断片化（Fragmentation）」とはどのようなテクニックで、「制服のマネキン」ではどのように活用されていますか？ | 1.00 → 0.83 | 1.00 → 1.00 |  |
| メロディにおいて傾性に逆らうとどうなる？またどんな使い分けがある | 1.00 → 0.50 | 0.67 → 0.33 |  |
| ユーミンの「春よ、来い」はどんな構造になっている？ | 1.00 → 1.00 | 1.00 → 1.00 |  |
| バックビートとは | 1.00 → 1.00 | 1.00 → 1.00 |  |
| シンコペーションとは | 0.25 → 0.83 | 0.50 → 0.50 |  |
| Anticipationとは | 0.00 → 1.00 | 0.67 → 0.33 | ★ |
| スケールって何？ | 1.00 → 1.00 | 0.00 → 1.00 | ★ |
| 「調性（Tonality）」とは | 1.00 → 0.89 | 1.00 → 1.00 |  |
| 調性がない音楽 | 1.00 → 1.00 | 1.00 → 0.67 |  |

## 知見

- hit-rate@5 / MRR では両者に差が出ない（0.85/0.792 vs 0.85/0.80）が、RAGASの context_precision で +0.134 の改善が可視化された。
- 比較形式質問「3mってトニックかサブドミナントどっち」が cp/cr 0.0→1.0 に回復。
- 「5-1と4-1の違い」「7-1と4-3の解決の違い」は依然 0.0。chunkingでは解けない検索課題（度数表記のゆれ・複数記事にまたがる比較）。
- answer_correctness は横ばい（粒度ミスマッチ疑い、生成層/評価セット側の課題）。