nextgen small models for japanese
Collection
tiny models for nlp task • 4 items • Updated
modernbert(分類タスク)で、ひらがなの入力文章を何に変換するか分類します。
ひらがな=>変換候補(漢字、漢字混じり文、入力文)に分類するモデルと、
mozcpyを参考にmecab形式にしたmozc辞書+vibrato-pythonを組み合わせています。
fcitx5で使えるようにしました。
私は使ってみてます。
コア部分はpythonで書いたので、gradioデモも後で変える予定です。
(とりあえず設計の近代化です。あとで全部cにしたい)
ut辞書を結合し、読みから複数候補があるものを集める。
wikipedaのデータセットを使用し感じを読みに置き換え、
分類モデルを学習。
wikipedia datasetはOmniAICreator/Japanese-Wikipedia-202506をしようしました。
python vibrato
https://github.com/daac-tools/python-vibrato
mozcpy
https://github.com/ikegami-yukino/mozcpy
辞書はmozcのシステム辞書とmozcdic utのものを使いました。
mozcのシステム辞書の変換には以下のリポジトリを使用させていただきました。
https://github.com/ikegami-yukino/mecab-as-kkc
mozcのシステム辞書
https://github.com/google/mozc/tree/master/src/data/dictionary_oss
しようしたmozcdic ut群
https://github.com/utuhiro78/mozcdic-ut-jawiki
mozcdic-ut-jawiki.txt
CC BY SA
https://github.com/utuhiro78/mozcdic-ut-edict2
mozcdic-ut-edict2.txt
CC BY SA
https://github.com/utuhiro78/mozcdic-ut-personal-names
mozcdic-ut-personal-names.txt
Apache License, Version 2.0
https://github.com/utuhiro78/mozcdic-ut-sudachidict
mozcdic-ut-sudachidict.txt
Apache License, Version 2.0
https://github.com/utuhiro78/mozcdic-ut-place-names
mozcdic-ut-place-names.txt
Public Domain
https://github.com/utuhiro78/mozcdic-ut-neologd
mozcdic-ut-neologd.txt
COPYINGを含めています。
https://github.com/utuhiro78/mozcdic-ut-skk-jisyo
mozcdic-ut-skk-jisyo.txt
GNU General Public License v2.0 or later
cannnadicはほぼskk辞書に含まるているらしいため、わざわざ入れませんでした。
AIと一緒にやると一週間くらいで作れる。すごい。