d7346e7 af68eea d7346e7
1
2
3
4
5
6
7
8
9
10
11
12
{ "add_eos_token": true, "add_dim_token": false, "auto_map": { "AutoTokenizer": [ "tokenization_aria.AriaTokenizer", null ] }, "tokenizer_class": "AriaTokenizer" }
