Japan Open Data Lab — 日本語AIモデル部品シリーズ

Japan Open Data Lab の「日本語AIモデル部品シリーズ」の1つです。シリーズ一覧は サイトのモデルページ と プロフィール にあります。

ja-error-detect-v1

日本語の文から、誤りのある箇所(スパン)を検出する小モデルです。修正案は出しません。「どこが怪しいか」を指すところまでが役割で、校正ツールの下検査や、入力支援の警告に組み込む想定の部品です。

検出する誤りは 6 種です。助詞の置換、同音異義語の誤変換、送り仮名の誤り、形の似た漢字への置換、脱字、衍字(余分な文字)。方言、文体差、口語表現は誤りとして扱いません。

使い方

閾値(span_mean_err >= 0.80、inference_config.json に同梱)を適用した参照実装が examples/infer_error_detect.py にあります。基本的な使い方は次のとおりです。

from transformers import AutoModelForTokenClassification, AutoTokenizer
import torch

repo = "japan-opendata/ja-error-detect-v1"
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForTokenClassification.from_pretrained(repo)
model.eval()

text = "来週の会議は月曜日に行なわれます。"
enc = tok(text, return_offsets_mapping=True, return_tensors="pt")
offsets = enc.pop("offset_mapping")[0].tolist()
with torch.no_grad():
    probs = model(**enc).logits.softmax(-1)[0]
err_prob = 1.0 - probs[:, 0]  # ラベル 0 は正常(O)
spans = []
cur = None
for (s, e), p in zip(offsets, err_prob.tolist()):
    if s == e:
        continue
    if p > 0.5:
        if cur is None:
            cur = [s, e, [p]]
        else:
            cur[1] = e
            cur[2].append(p)
    elif cur is not None:
        spans.append(cur)
        cur = None
if cur is not None:
    spans.append(cur)
kept = [(s, e) for s, e, ps in spans if sum(ps) / len(ps) >= 0.80]
print([(text[s:e], s, e) for s, e in kept])

ONNX 版(onnx/model.onnx、FP32)も同梱しています。PyTorch との予測一致は dev・封印テスト各 200 件で全件一致、CPU 推論は平均的な文で約 20 ms/文(Core i7-11700F)です。

実測(封印テスト 5,000 件、閾値は dev で事前に固定)

  • 誤りスパン完全一致:Precision 0.9094、Recall 0.8291、F1 0.8674
  • 種別ごとの F1:送り仮名 0.9573、形の似た漢字 0.9285、助詞 0.8880、脱字 0.8596、同音異義語 0.8436、衍字 0.7686
  • 正常文への誤検出:検出された 65 スパンを全件人手で確認したところ、29 件は土台の原文に実在した誤り(正常文とされていた側の誤り)で、本当の誤検出は 36 件でした。率にすると、本当の誤検出は 1,000 文字あたり 0.2538 件、文単位で 1.20% です(補正前の機械集計は 0.4582 件、2.13%)

測定条件と留保

  • 学習データは合成です。FineWeb-2 日本語(ODC-By 1.0)の文に、6 種の誤りをプログラムで注入して作りました。実在の誤りコーパスでは数字は下がる前提で見てください
  • 弱点は衍字(余分な文字)の検出で、F1 0.7686 と 6 種の中で最も低いです。同音異義語も文脈依存が強く、言い換え可能な箇所では判断が割れます
  • 本当の誤検出の内訳で多かったのは、正常な助詞の文脈誤判定、外来語・カタカナ語、固有名詞でした。固有名詞の多い文では過検出が増えます
  • このモデルは「誤りの候補を挙げる」ためのもので、検出箇所が必ず誤りとは限りません。最終判断は人か、後段の校正ロジックで行ってください

データとライセンス

  • 学習データ:FineWeb-2 日本語(ODC-By 1.0)への誤り注入による合成データ。実在の個人情報は含みません
  • ベースモデル:tohoku-nlp/bert-base-japanese-v3
  • 本モデルのライセンスは Apache 2.0 です

リンク

リンク

Downloads last month
41
Safetensors
Model size
0.1B params
Tensor type
F32
·
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for japan-opendata/ja-error-detect-v1

Quantized
(9)
this model

Space using japan-opendata/ja-error-detect-v1 1