Update README.md
Browse files
README.md
CHANGED
|
@@ -3,6 +3,20 @@ inference: false
|
|
| 3 |
license: mit
|
| 4 |
---
|
| 5 |
|
| 6 |
-
|
| 7 |
|
| 8 |
-
AI
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 3 |
license: mit
|
| 4 |
---
|
| 5 |
|
| 6 |
+
**Description**
|
| 7 |
|
| 8 |
+
A Japanese-specialized SentencePiece tokenizer trained for AI Novelist's SuperTrin and Damsel 20B models.
|
| 9 |
+
|
| 10 |
+
Vocab size: 52000 (padded to 52224)
|
| 11 |
+
|
| 12 |
+
**概要**
|
| 13 |
+
|
| 14 |
+
AIのべりすとの「スーパーとりんさま」「やみおとめ20B」向けに訓練・使用されている、日本語に特化したSentencePieceトークナイザです。
|
| 15 |
+
|
| 16 |
+
ボキャブラリサイズ： 52000 (52224にパディング)
|
| 17 |
+
|
| 18 |
+
**Wiki**
|
| 19 |
+
|
| 20 |
+
AIのべりすとユーザーWikiにABC/あいうえお順のトークン一覧が掲載されています。
|
| 21 |
+
|
| 22 |
+
https://wikiwiki.jp/ainove_wiki/%E3%83%88%E3%83%BC%E3%82%AF%E3%83%B3%E4%B8%80%E8%A6%A7%28%E3%82%84%E3%81%BF%E3%81%8A%E3%81%A8%E3%82%81%29/1
|