Atra-LLMlab/experiment-notes-2026-10

Atra-llmLab 実験メモ（2026-10-19〜20）

Atra の Formation 判断（「同じ仕事か／別の仕事か」のペア判定）について、小型モデルの追加学習と公開ベンチマーク評価を行った結果の最小限の記録です。本番採用はしていません（production_ready: false）。

学習データ・アダプタ重みは社内データ由来のため公開していません。ここにあるのは集計指標とスクリプト設計の説明のみです。

1. ペア判定の追加学習（d1-3B LoRA / bge-reranker-v2-m3）

• GPU: RTX 5060 Ti 16GB。入力上限を 2048 → 4096 トークンに拡張。
• 学習 2,695 ペア（ルール由来ラベル約90%）、検証 20 ペア（機械ラベル）、評価 19 ペア（人間ラベル、「別」は2件のみ）。スレッド重複ゼロ。

モデル	指標	比較元	学習後
d1-3B	AUC	0.647	0.603
d1-3B	AP	0.948	0.933
bge-reranker-v2-m3	AUC	0.721	0.647
bge-reranker-v2-m3	AP	0.954	0.944

結論: 人間評価ではどちらも学習後に低下。評価は19ペアで差は1〜2ペアの入れ替わりの範囲のため、良し悪しは断定できない。検証セットは易しすぎ（AUC 1.0）で改善の証拠にならない。詳細は RESULTS-ja.md。

2. 公開 JevBench 評価（d1-3B、231 タスク）

JevBench の公開データ（original / easy / hard）を、コードは使わずデータとしてのみ読み込んで評価。

構成	正解数	Accuracy	95% CI	Brier	ECE
base	172 / 231	0.745	0.685–0.797	0.349	0.109
short-context アダプタ	173 / 231	0.749	0.689–0.800	0.355	0.116
final アダプタ	173 / 231	0.749	0.689–0.800	0.388	0.159

多数派ベースライン 0.169、ランダム 0.318。アダプタによる精度差は1問で信頼区間内（有意差なし）。校正（Brier / ECE）は final でやや悪化。

3. 限界・次にやること

• 人間評価の拡充（特に「同じ話題だが別の仕事」）、難しい検証セットの再構築、弱ラベル比率の見直し。
• 2モデルとも保存済みアダプタからの再開で最適化器状態をリセットしており、厳密な継続学習ではない。
• 候補検索の recall、誤統合、保留率などの Work 単位の指標は未測定。