Japan Open Data Lab — 日本語AIモデル部品シリーズ

Japan Open Data Lab の「日本語AIモデル部品シリーズ」の1つです。シリーズ一覧は サイトのモデルページ と プロフィール にあります。

ja-doc-classify-v1

業務文書の「入口」で使うルータです。文書を 8 つの領域(金融、医療、法務、行政、雇用、教育、EC、通信・IT)に振り分け、43 種の文書種別は確信があるときだけ候補として返し、高機密の可能性がある文書にはフラグを立てます。第1号 ja-pii-ner-v1(個人情報の検出)の前段に置く想定の部品です。

種別は「判定」ではなく「候補提示」として設計しています。確信度が既定の閾値に届かない文書については、種別を無理に決めず「種別不明(領域のみ)」を返します。

使い方

from transformers import AutoModel, AutoTokenizer

repo = "japan-opendata/ja-doc-classify-v1"
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModel.from_pretrained(repo, trust_remote_code=True)
model.eval()

text = "診断書 在職中、加療を要する状態にあるため、2週間の自宅療養を指示する。"
result = model.predict(tok, text)
print(result)
# {'domain': '医療', 'document_type': '診断書', 'high_risk': True, ...}
# 確信度が低い場合は document_type が None になり、領域だけが返ります

ONNX 版(onnx/model.onnx、FP32)も同梱しています。領域・種別・形式の 3 ヘッドのロジットを返します。棄却と高機密フラグの判定には routing_config.json の閾値を使ってください。

既定の閾値(routing_config.json に同梱):

  • 領域の棄却閾値 0.95(未満は領域も返さない)
  • 種別の棄却閾値 0.80(未満は種別不明として領域のみ返す)
  • 高機密フラグは、高機密 22 種別の確率合計が 0.12 以上

実測(独立ライターが書いた評価文での測定)

学習データとは無関係に人が書いた業務文書 200 件ずつ 2 セット(OOD v1 は 25 種別、OOD v2 は全 43 種別)で、上記の既定値を適用して測りました。

  • 領域:棄却率 5〜6%、残った分での正解率 0.989(両セット)
  • 種別:棄却率 26〜30%、残った分での正解率 0.82〜0.87
  • 高機密フラグ:取りこぼしの少なさ(Recall)0.94〜0.975、標準文書への誤フラグ率 8〜12.5%

CPU 推論速度は、文書の平均長(約 425 文字)で約 141 ms/件(Core i7-11700F、ONNX FP32)。PyTorch と ONNX の出力は 600 件で全件一致しました。

測定条件と留保

  • 学習データは合成です。NVIDIA Nemotron-PII Japan の文書を土台に、メール形式化・短文化・箇条書き化・メモ形式化の文体拡張を加えて学習しました。合成データ上での保持評価は「測った数字が実力以上に見える」ため、公開の根拠には使っていません。保持していた合成の封印テストは未開封のままです
  • 上の実測は、学習に使っていない人が書いた文での数字です。それでも 200 件ずつの小規模な評価なので、実務の文書では分布が変われば数字も動きます
  • 弱い種別があります。似た文書同士の混同が中心で、契約書、委任状、本人確認台帳は OOD v2 で F1 が 0 でした(他の種別に吸収されます)。種別は候補として扱い、確信度の低いものは人が確認する前提で使ってください
  • 高機密フラグは取りこぼしを減らす側に倒した設定で、標準文書の 8〜12.5% にもフラグが立ちます。フラグは「人が見る順番を上げる合図」であって、機密かどうかの判定そのものではありません
  • 法務・コンプライアンス上の判断(文書の法的性質や開示可否の決定)に使うモデルではありません

データとライセンス

  • 学習データ:NVIDIA Nemotron-PII Japan(合成データ、CC BY 4.0)から構築し、プログラムによる文体拡張を追加。実在の個人の文書は含みません
  • ベースモデル:sbintuitions/modernbert-ja-130m
  • 本モデルのライセンスは Apache 2.0 です

リンク

リンク

Downloads last month
33
Safetensors
Model size
0.1B params
Tensor type
F32
·
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for japan-opendata/ja-doc-classify-v1

Quantized
(14)
this model