Japan Open Data Lab の「日本語AIモデル部品シリーズ」の1つです。シリーズ一覧は サイトのモデルページ と プロフィール にあります。
ja-error-detect-v1
日本語の文から、誤りのある箇所(スパン)を検出する小モデルです。修正案は出しません。「どこが怪しいか」を指すところまでが役割で、校正ツールの下検査や、入力支援の警告に組み込む想定の部品です。
検出する誤りは 6 種です。助詞の置換、同音異義語の誤変換、送り仮名の誤り、形の似た漢字への置換、脱字、衍字(余分な文字)。方言、文体差、口語表現は誤りとして扱いません。
使い方
閾値(span_mean_err >= 0.80、inference_config.json に同梱)を適用した参照実装が examples/infer_error_detect.py にあります。基本的な使い方は次のとおりです。
from transformers import AutoModelForTokenClassification, AutoTokenizer
import torch
repo = "japan-opendata/ja-error-detect-v1"
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForTokenClassification.from_pretrained(repo)
model.eval()
text = "来週の会議は月曜日に行なわれます。"
enc = tok(text, return_offsets_mapping=True, return_tensors="pt")
offsets = enc.pop("offset_mapping")[0].tolist()
with torch.no_grad():
probs = model(**enc).logits.softmax(-1)[0]
err_prob = 1.0 - probs[:, 0] # ラベル 0 は正常(O)
spans = []
cur = None
for (s, e), p in zip(offsets, err_prob.tolist()):
if s == e:
continue
if p > 0.5:
if cur is None:
cur = [s, e, [p]]
else:
cur[1] = e
cur[2].append(p)
elif cur is not None:
spans.append(cur)
cur = None
if cur is not None:
spans.append(cur)
kept = [(s, e) for s, e, ps in spans if sum(ps) / len(ps) >= 0.80]
print([(text[s:e], s, e) for s, e in kept])
ONNX 版(onnx/model.onnx、FP32)も同梱しています。PyTorch との予測一致は dev・封印テスト各 200 件で全件一致、CPU 推論は平均的な文で約 20 ms/文(Core i7-11700F)です。
実測(封印テスト 5,000 件、閾値は dev で事前に固定)
- 誤りスパン完全一致:Precision 0.9094、Recall 0.8291、F1 0.8674
- 種別ごとの F1:送り仮名 0.9573、形の似た漢字 0.9285、助詞 0.8880、脱字 0.8596、同音異義語 0.8436、衍字 0.7686
- 正常文への誤検出:検出された 65 スパンを全件人手で確認したところ、29 件は土台の原文に実在した誤り(正常文とされていた側の誤り)で、本当の誤検出は 36 件でした。率にすると、本当の誤検出は 1,000 文字あたり 0.2538 件、文単位で 1.20% です(補正前の機械集計は 0.4582 件、2.13%)
測定条件と留保
- 学習データは合成です。FineWeb-2 日本語(ODC-By 1.0)の文に、6 種の誤りをプログラムで注入して作りました。実在の誤りコーパスでは数字は下がる前提で見てください
- 弱点は衍字(余分な文字)の検出で、F1 0.7686 と 6 種の中で最も低いです。同音異義語も文脈依存が強く、言い換え可能な箇所では判断が割れます
- 本当の誤検出の内訳で多かったのは、正常な助詞の文脈誤判定、外来語・カタカナ語、固有名詞でした。固有名詞の多い文では過検出が増えます
- このモデルは「誤りの候補を挙げる」ためのもので、検出箇所が必ず誤りとは限りません。最終判断は人か、後段の校正ロジックで行ってください
データとライセンス
- 学習データ:FineWeb-2 日本語(ODC-By 1.0)への誤り注入による合成データ。実在の個人情報は含みません
- ベースモデル:tohoku-nlp/bert-base-japanese-v3
- 本モデルのライセンスは Apache 2.0 です
リンク
- 開発元: Japan Open Data Lab(https://jpopendata.jp/)
リンク
- Downloads last month
- 41
Model tree for japan-opendata/ja-error-detect-v1
Base model
tohoku-nlp/bert-base-japanese-v3