Upload tokenizer
08bd548 | { |
| "<|endoftext|>": 50256, |
| "<||bos||>": 50257, |
| "<||pad||>": 50258, |
| "<||unk||>": 50259, |
| "<||unused10||>": 50269, |
| "<||unused11||>": 50270, |
| "<||unused12||>": 50271, |
| "<||unused13||>": 50272, |
| "<||unused14||>": 50273, |
| "<||unused15||>": 50274, |
| "<||unused16||>": 50275, |
| "<||unused17||>": 50276, |
| "<||unused18||>": 50277, |
| "<||unused19||>": 50278, |
| "<||unused1||>": 50260, |
| "<||unused20||>": 50279, |
| "<||unused21||>": 50280, |
| "<||unused22||>": 50281, |
| "<||unused23||>": 50282, |
| "<||unused24||>": 50283, |
| "<||unused25||>": 50284, |
| "<||unused26||>": 50285, |
| "<||unused27||>": 50286, |
| "<||unused28||>": 50287, |
| "<||unused29||>": 50288, |
| "<||unused2||>": 50261, |
| "<||unused30||>": 50289, |
| "<||unused31||>": 50290, |
| "<||unused32||>": 50291, |
| "<||unused33||>": 50292, |
| "<||unused34||>": 50293, |
| "<||unused35||>": 50294, |
| "<||unused36||>": 50295, |
| "<||unused37||>": 50296, |
| "<||unused38||>": 50297, |
| "<||unused39||>": 50298, |
| "<||unused3||>": 50262, |
| "<||unused40||>": 50299, |
| "<||unused41||>": 50300, |
| "<||unused42||>": 50301, |
| "<||unused43||>": 50302, |
| "<||unused44||>": 50303, |
| "<||unused4||>": 50263, |
| "<||unused5||>": 50264, |
| "<||unused6||>": 50265, |
| "<||unused7||>": 50266, |
| "<||unused8||>": 50267, |
| "<||unused9||>": 50268 |
| } |
|
|
