text-toxdet
WIP
sbintuitions/modernbert-ja-70m を
日本語の有害性データでファインチューニングしたsafe / unsafe の二値分類モデルです。
チャットにおける有害な発言のモデレーションを目的としています。
学習設定
| 項目 | 値 |
|---|---|
| ベースモデル | sbintuitions/modernbert-ja-70m |
| エポック数 | 5 |
| 学習率 | 5e-6 (warmup ratio 0.1) |
| バッチサイズ | 32 |
| オプティマイザ | AdamW (weight decay 0.01) |
| 最大トークン長 | 512 |
| 損失関数 | class-weighted CrossEntropyLoss |
評価結果
| エポック | eval loss | F1 (unsafe) | ROC-AUC |
|---|---|---|---|
| 1 | 0.485 | 0.725 | 0.859 |
| 2 | 0.420 | 0.773 | 0.903 |
| 3 | 0.469 | 0.782 | 0.920 |
| 4 | 0.416 | 0.808 | 0.921 |
| 5 | 0.406 | 0.807 | 0.924 |
- Downloads last month
- 103
Model tree for queuerra/text-toxdet
Base model
sbintuitions/modernbert-ja-70m