docs/evaluation.md

評価記録: fixed vs structure chunking（2026-07）

• fixed: music_theory（固定長800字chunking、RAGAS 2026-07-01実施）
• structure: music_theory_structure（構造ベースchunking、RAGAS 2026-07-02実施）
• n=20問（silver Q&Aセット）、judge: gemini-3.1-flash-lite、生成層: gemini-3.5-flash （self-preference bias回避のため judge と生成層は別モデル） ※ この記録は当時の構成での実測。その後、生成層は NVIDIA Build（meta/llama-3.3-70b-instruct）へ 移行済み（Gemini無料枠のRPD枯渇回避）。judge は bias 回避のため引き続き Gemini 側。 下表の数値は上記日付時点の chunking A/B 比較記録として保持している。

検索層の評価は「hit-rate@k / MRR（LLM不使用・常用）」と「RAGAS（LLM judge・節目のみ）」の2層構成。

hit-rate / MRR（retrieval層のみ）

strategy	hit_rate@5	MRR
fixed	0.85	0.792
structure	0.85	0.800

hit-rateでは差が見えない。以下のRAGASで初めてchunking品質の差が可視化された。

サマリ（平均）

metric	fixed	structure	diff
faithfulness	0.804	0.764	-0.040
answer_relevancy	0.881	0.878	-0.003
answer_correctness	0.361	0.369	+0.008
context_precision	0.653	0.788	+0.134
context_recall	0.667	0.717	+0.050

per-question: context_precision / context_recall

★ = fixedで cp または cr が 0.0 だった質問（固定長chunkingの弱点）

question	cp fixed→structure	cr fixed→structure
コードの機能ってなに	0.70 → 1.00	1.00 → 1.00
カデンツとは	0.89 → 1.00	1.00 → 1.00
3mってトニックかサブドミナントどっち	0.00 → 1.00	0.00 → 1.00	★
5-1と4-1の違い	0.00 → 0.00	0.00 → 0.00	★
セカンダリードミナントってなに	1.00 → 1.00	0.50 → 0.50
機能和声論において、なぜIVよりもVの方がより強い緊張感を生み出し、展開のピークとなるのですか？	1.00 → 0.50	1.00 → 1.00
「Vm7→I7→IV」の進行について	0.33 → 0.50	0.50 → 0.50
傾性音とは	0.87 → 1.00	1.00 → 1.00
モチーフって何	0.33 → 0.70	0.50 → 0.50
7-1と4-3の解決の違い	0.00 → 0.00	0.00 → 0.00	★
メロディのの三段階モデルとリクイデーション	0.70 → 1.00	1.00 → 1.00
メロディ展開における「断片化（Fragmentation）」とはどのようなテクニックで、「制服のマネキン」ではどのように活用されていますか？	1.00 → 0.83	1.00 → 1.00
メロディにおいて傾性に逆らうとどうなる？またどんな使い分けがある	1.00 → 0.50	0.67 → 0.33
ユーミンの「春よ、来い」はどんな構造になっている？	1.00 → 1.00	1.00 → 1.00
バックビートとは	1.00 → 1.00	1.00 → 1.00
シンコペーションとは	0.25 → 0.83	0.50 → 0.50
Anticipationとは	0.00 → 1.00	0.67 → 0.33	★
スケールって何？	1.00 → 1.00	0.00 → 1.00	★
「調性（Tonality）」とは	1.00 → 0.89	1.00 → 1.00
調性がない音楽	1.00 → 1.00	1.00 → 0.67

知見

• hit-rate@5 / MRR では両者に差が出ない（0.85/0.792 vs 0.85/0.80）が、RAGASの context_precision で +0.134 の改善が可視化された。
• 比較形式質問「3mってトニックかサブドミナントどっち」が cp/cr 0.0→1.0 に回復。
• 「5-1と4-1の違い」「7-1と4-3の解決の違い」は依然 0.0。chunkingでは解けない検索課題（度数表記のゆれ・複数記事にまたがる比較）。
• answer_correctness は横ばい（粒度ミスマッチ疑い、生成層/評価セット側の課題）。