| { |
| "additional_special_tokens": [ |
| "<||unused1||>", |
| "<||unused2||>", |
| "<||unused3||>", |
| "<||unused4||>", |
| "<||unused5||>", |
| "<||unused6||>", |
| "<||unused7||>", |
| "<||unused8||>", |
| "<||unused9||>", |
| "<||unused10||>", |
| "<||unused11||>", |
| "<||unused12||>", |
| "<||unused13||>", |
| "<||unused14||>", |
| "<||unused15||>", |
| "<||unused16||>", |
| "<||unused17||>", |
| "<||unused18||>", |
| "<||unused19||>", |
| "<||unused20||>", |
| "<||unused21||>", |
| "<||unused22||>", |
| "<||unused23||>", |
| "<||unused24||>", |
| "<||unused25||>", |
| "<||unused26||>", |
| "<||unused27||>", |
| "<||unused28||>", |
| "<||unused29||>", |
| "<||unused30||>", |
| "<||unused31||>", |
| "<||unused32||>", |
| "<||unused33||>", |
| "<||unused34||>", |
| "<||unused35||>", |
| "<||unused36||>", |
| "<||unused37||>", |
| "<||unused38||>", |
| "<||unused39||>", |
| "<||unused40||>", |
| "<||unused41||>", |
| "<||unused42||>", |
| "<||unused43||>", |
| "<||unused44||>" |
| ], |
| "bos_token": { |
| "content": "<||bos||>", |
| "lstrip": false, |
| "normalized": false, |
| "rstrip": false, |
| "single_word": false |
| }, |
| "eos_token": { |
| "content": "<|endoftext|>", |
| "lstrip": false, |
| "normalized": true, |
| "rstrip": false, |
| "single_word": false |
| }, |
| "pad_token": "<|endoftext|>", |
| "unk_token": { |
| "content": "<||unk||>", |
| "lstrip": false, |
| "normalized": false, |
| "rstrip": false, |
| "single_word": false |
| } |
| } |
|
|
