Spaces:
Running
Running
File size: 2,164 Bytes
8fa637a 2bd094f 8fa637a f614727 8fa637a 2bd094f 8fa637a 2bd094f | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 | ---
title: StructEval-T Analyzer
emoji: 🔍
colorFrom: blue
colorTo: indigo
sdk: gradio
sdk_version: "5.23.0"
app_file: app.py
pinned: false
license: mit
---
# 🔍 StructEval-T Analyzer
松尾研LLM講義2025 メインコンペ用の推論結果分析ツールです。
## 概要
`inference.json` と `public_150.json` をアップロードすることで、モデル出力の構文的正確性（パース可能性）やエラーパターンを分析できます。
## 機能
### 📊 構文検証（Syntax Validation）
各フォーマット（JSON, YAML, TOML, XML, CSV）ごとにPythonの標準パーサーで構文を検証します。
### ❌ エラーパターン自動分類
パースに失敗した出力に対して、以下のエラーパターンを自動検出します：
| パターン | 説明 |
|---------|------|
| `markdown_block` | マークダウンコードブロック（\`\`\`json 等）の混入 |
| `natural_language_prefix` | 先頭に自然言語（"Here is..."等）が混入 |
| `natural_language_suffix` | 末尾に自然言語（"Note:"等）が混入 |
| `truncation` | 出力の途切れ（閉じ括弧・タグの欠落） |
| `empty_output` | 空の出力 |
| `wrong_format` | 要求と異なるフォーマットの出力 |
| `cot_leakage` | 思考過程（\<think\>等）の混入 |
### 📈 複数実験の比較
複数の `inference.json` をアップロードすることで、実験間のパース成功率を比較できます。
## 使い方
1. `public_150.json` をアップロード
2. 1つ以上の `inference.json` をアップロード（複数ファイル対応）
3. 「分析開始」ボタンをクリック
## 注意事項
- このツールは**構文的な正確性（パース可能かどうか）のみ**を検証します
- 運営側の採点基準である `raw_output_metric`（特定キーの存在チェック等）は再現できません
- スコアの完全な再現を目的としたものではなく、**エラーの傾向把握**に活用してください
## ローカルでの実行
```bash
pip install gradio pandas pyyaml
python app.py
```
## ライセンス
MIT License
|