Transformers
ArthurZ HF Staff commited on
Commit
3588982
·
verified ·
1 Parent(s): 77483f3

Update tokenizer_config.json

Browse files
Files changed (1) hide show
  1. tokenizer_config.json +8 -1203
tokenizer_config.json CHANGED
@@ -24,6 +24,14 @@
24
  "single_word": false,
25
  "special": true
26
  },
 
 
 
 
 
 
 
 
27
  "33201": {
28
  "content": "<extra_id_0>",
29
  "lstrip": false,
@@ -9633,1209 +9641,6 @@
9633
  "special": true
9634
  }
9635
  },
9636
- "additional_special_tokens": [
9637
- "<extra_id_0>",
9638
- "<extra_id_1>",
9639
- "<extra_id_2>",
9640
- "<extra_id_3>",
9641
- "<extra_id_4>",
9642
- "<extra_id_5>",
9643
- "<extra_id_6>",
9644
- "<extra_id_7>",
9645
- "<extra_id_8>",
9646
- "<extra_id_9>",
9647
- "<extra_id_10>",
9648
- "<extra_id_11>",
9649
- "<extra_id_12>",
9650
- "<extra_id_13>",
9651
- "<extra_id_14>",
9652
- "<extra_id_15>",
9653
- "<extra_id_16>",
9654
- "<extra_id_17>",
9655
- "<extra_id_18>",
9656
- "<extra_id_19>",
9657
- "<extra_id_20>",
9658
- "<extra_id_21>",
9659
- "<extra_id_22>",
9660
- "<extra_id_23>",
9661
- "<extra_id_24>",
9662
- "<extra_id_25>",
9663
- "<extra_id_26>",
9664
- "<extra_id_27>",
9665
- "<extra_id_28>",
9666
- "<extra_id_29>",
9667
- "<extra_id_30>",
9668
- "<extra_id_31>",
9669
- "<extra_id_32>",
9670
- "<extra_id_33>",
9671
- "<extra_id_34>",
9672
- "<extra_id_35>",
9673
- "<extra_id_36>",
9674
- "<extra_id_37>",
9675
- "<extra_id_38>",
9676
- "<extra_id_39>",
9677
- "<extra_id_40>",
9678
- "<extra_id_41>",
9679
- "<extra_id_42>",
9680
- "<extra_id_43>",
9681
- "<extra_id_44>",
9682
- "<extra_id_45>",
9683
- "<extra_id_46>",
9684
- "<extra_id_47>",
9685
- "<extra_id_48>",
9686
- "<extra_id_49>",
9687
- "<extra_id_50>",
9688
- "<extra_id_51>",
9689
- "<extra_id_52>",
9690
- "<extra_id_53>",
9691
- "<extra_id_54>",
9692
- "<extra_id_55>",
9693
- "<extra_id_56>",
9694
- "<extra_id_57>",
9695
- "<extra_id_58>",
9696
- "<extra_id_59>",
9697
- "<extra_id_60>",
9698
- "<extra_id_61>",
9699
- "<extra_id_62>",
9700
- "<extra_id_63>",
9701
- "<extra_id_64>",
9702
- "<extra_id_65>",
9703
- "<extra_id_66>",
9704
- "<extra_id_67>",
9705
- "<extra_id_68>",
9706
- "<extra_id_69>",
9707
- "<extra_id_70>",
9708
- "<extra_id_71>",
9709
- "<extra_id_72>",
9710
- "<extra_id_73>",
9711
- "<extra_id_74>",
9712
- "<extra_id_75>",
9713
- "<extra_id_76>",
9714
- "<extra_id_77>",
9715
- "<extra_id_78>",
9716
- "<extra_id_79>",
9717
- "<extra_id_80>",
9718
- "<extra_id_81>",
9719
- "<extra_id_82>",
9720
- "<extra_id_83>",
9721
- "<extra_id_84>",
9722
- "<extra_id_85>",
9723
- "<extra_id_86>",
9724
- "<extra_id_87>",
9725
- "<extra_id_88>",
9726
- "<extra_id_89>",
9727
- "<extra_id_90>",
9728
- "<extra_id_91>",
9729
- "<extra_id_92>",
9730
- "<extra_id_93>",
9731
- "<extra_id_94>",
9732
- "<extra_id_95>",
9733
- "<extra_id_96>",
9734
- "<extra_id_97>",
9735
- "<extra_id_98>",
9736
- "<extra_id_99>",
9737
- "<extra_l_id_0>",
9738
- "<extra_l_id_1>",
9739
- "<extra_l_id_2>",
9740
- "<extra_l_id_3>",
9741
- "<extra_l_id_4>",
9742
- "<extra_l_id_5>",
9743
- "<extra_l_id_6>",
9744
- "<extra_l_id_7>",
9745
- "<extra_l_id_8>",
9746
- "<extra_l_id_9>",
9747
- "<extra_l_id_10>",
9748
- "<extra_l_id_11>",
9749
- "<extra_l_id_12>",
9750
- "<extra_l_id_13>",
9751
- "<extra_l_id_14>",
9752
- "<extra_l_id_15>",
9753
- "<extra_l_id_16>",
9754
- "<extra_l_id_17>",
9755
- "<extra_l_id_18>",
9756
- "<extra_l_id_19>",
9757
- "<extra_l_id_20>",
9758
- "<extra_l_id_21>",
9759
- "<extra_l_id_22>",
9760
- "<extra_l_id_23>",
9761
- "<extra_l_id_24>",
9762
- "<extra_l_id_25>",
9763
- "<extra_l_id_26>",
9764
- "<extra_l_id_27>",
9765
- "<extra_l_id_28>",
9766
- "<extra_l_id_29>",
9767
- "<extra_l_id_30>",
9768
- "<extra_l_id_31>",
9769
- "<extra_l_id_32>",
9770
- "<extra_l_id_33>",
9771
- "<extra_l_id_34>",
9772
- "<extra_l_id_35>",
9773
- "<extra_l_id_36>",
9774
- "<extra_l_id_37>",
9775
- "<extra_l_id_38>",
9776
- "<extra_l_id_39>",
9777
- "<extra_l_id_40>",
9778
- "<extra_l_id_41>",
9779
- "<extra_l_id_42>",
9780
- "<extra_l_id_43>",
9781
- "<extra_l_id_44>",
9782
- "<extra_l_id_45>",
9783
- "<extra_l_id_46>",
9784
- "<extra_l_id_47>",
9785
- "<extra_l_id_48>",
9786
- "<extra_l_id_49>",
9787
- "<extra_l_id_50>",
9788
- "<extra_l_id_51>",
9789
- "<extra_l_id_52>",
9790
- "<extra_l_id_53>",
9791
- "<extra_l_id_54>",
9792
- "<extra_l_id_55>",
9793
- "<extra_l_id_56>",
9794
- "<extra_l_id_57>",
9795
- "<extra_l_id_58>",
9796
- "<extra_l_id_59>",
9797
- "<extra_l_id_60>",
9798
- "<extra_l_id_61>",
9799
- "<extra_l_id_62>",
9800
- "<extra_l_id_63>",
9801
- "<extra_l_id_64>",
9802
- "<extra_l_id_65>",
9803
- "<extra_l_id_66>",
9804
- "<extra_l_id_67>",
9805
- "<extra_l_id_68>",
9806
- "<extra_l_id_69>",
9807
- "<extra_l_id_70>",
9808
- "<extra_l_id_71>",
9809
- "<extra_l_id_72>",
9810
- "<extra_l_id_73>",
9811
- "<extra_l_id_74>",
9812
- "<extra_l_id_75>",
9813
- "<extra_l_id_76>",
9814
- "<extra_l_id_77>",
9815
- "<extra_l_id_78>",
9816
- "<extra_l_id_79>",
9817
- "<extra_l_id_80>",
9818
- "<extra_l_id_81>",
9819
- "<extra_l_id_82>",
9820
- "<extra_l_id_83>",
9821
- "<extra_l_id_84>",
9822
- "<extra_l_id_85>",
9823
- "<extra_l_id_86>",
9824
- "<extra_l_id_87>",
9825
- "<extra_l_id_88>",
9826
- "<extra_l_id_89>",
9827
- "<extra_l_id_90>",
9828
- "<extra_l_id_91>",
9829
- "<extra_l_id_92>",
9830
- "<extra_l_id_93>",
9831
- "<extra_l_id_94>",
9832
- "<extra_l_id_95>",
9833
- "<extra_l_id_96>",
9834
- "<extra_l_id_97>",
9835
- "<extra_l_id_98>",
9836
- "<extra_l_id_99>",
9837
- "</extra_l_id_0>",
9838
- "</extra_l_id_1>",
9839
- "</extra_l_id_2>",
9840
- "</extra_l_id_3>",
9841
- "</extra_l_id_4>",
9842
- "</extra_l_id_5>",
9843
- "</extra_l_id_6>",
9844
- "</extra_l_id_7>",
9845
- "</extra_l_id_8>",
9846
- "</extra_l_id_9>",
9847
- "</extra_l_id_10>",
9848
- "</extra_l_id_11>",
9849
- "</extra_l_id_12>",
9850
- "</extra_l_id_13>",
9851
- "</extra_l_id_14>",
9852
- "</extra_l_id_15>",
9853
- "</extra_l_id_16>",
9854
- "</extra_l_id_17>",
9855
- "</extra_l_id_18>",
9856
- "</extra_l_id_19>",
9857
- "</extra_l_id_20>",
9858
- "</extra_l_id_21>",
9859
- "</extra_l_id_22>",
9860
- "</extra_l_id_23>",
9861
- "</extra_l_id_24>",
9862
- "</extra_l_id_25>",
9863
- "</extra_l_id_26>",
9864
- "</extra_l_id_27>",
9865
- "</extra_l_id_28>",
9866
- "</extra_l_id_29>",
9867
- "</extra_l_id_30>",
9868
- "</extra_l_id_31>",
9869
- "</extra_l_id_32>",
9870
- "</extra_l_id_33>",
9871
- "</extra_l_id_34>",
9872
- "</extra_l_id_35>",
9873
- "</extra_l_id_36>",
9874
- "</extra_l_id_37>",
9875
- "</extra_l_id_38>",
9876
- "</extra_l_id_39>",
9877
- "</extra_l_id_40>",
9878
- "</extra_l_id_41>",
9879
- "</extra_l_id_42>",
9880
- "</extra_l_id_43>",
9881
- "</extra_l_id_44>",
9882
- "</extra_l_id_45>",
9883
- "</extra_l_id_46>",
9884
- "</extra_l_id_47>",
9885
- "</extra_l_id_48>",
9886
- "</extra_l_id_49>",
9887
- "</extra_l_id_50>",
9888
- "</extra_l_id_51>",
9889
- "</extra_l_id_52>",
9890
- "</extra_l_id_53>",
9891
- "</extra_l_id_54>",
9892
- "</extra_l_id_55>",
9893
- "</extra_l_id_56>",
9894
- "</extra_l_id_57>",
9895
- "</extra_l_id_58>",
9896
- "</extra_l_id_59>",
9897
- "</extra_l_id_60>",
9898
- "</extra_l_id_61>",
9899
- "</extra_l_id_62>",
9900
- "</extra_l_id_63>",
9901
- "</extra_l_id_64>",
9902
- "</extra_l_id_65>",
9903
- "</extra_l_id_66>",
9904
- "</extra_l_id_67>",
9905
- "</extra_l_id_68>",
9906
- "</extra_l_id_69>",
9907
- "</extra_l_id_70>",
9908
- "</extra_l_id_71>",
9909
- "</extra_l_id_72>",
9910
- "</extra_l_id_73>",
9911
- "</extra_l_id_74>",
9912
- "</extra_l_id_75>",
9913
- "</extra_l_id_76>",
9914
- "</extra_l_id_77>",
9915
- "</extra_l_id_78>",
9916
- "</extra_l_id_79>",
9917
- "</extra_l_id_80>",
9918
- "</extra_l_id_81>",
9919
- "</extra_l_id_82>",
9920
- "</extra_l_id_83>",
9921
- "</extra_l_id_84>",
9922
- "</extra_l_id_85>",
9923
- "</extra_l_id_86>",
9924
- "</extra_l_id_87>",
9925
- "</extra_l_id_88>",
9926
- "</extra_l_id_89>",
9927
- "</extra_l_id_90>",
9928
- "</extra_l_id_91>",
9929
- "</extra_l_id_92>",
9930
- "</extra_l_id_93>",
9931
- "</extra_l_id_94>",
9932
- "</extra_l_id_95>",
9933
- "</extra_l_id_96>",
9934
- "</extra_l_id_97>",
9935
- "</extra_l_id_98>",
9936
- "</extra_l_id_99>",
9937
- "<extra_t_id_0>",
9938
- "<extra_t_id_1>",
9939
- "<extra_t_id_2>",
9940
- "<extra_t_id_3>",
9941
- "<extra_t_id_4>",
9942
- "<extra_t_id_5>",
9943
- "<extra_t_id_6>",
9944
- "<extra_t_id_7>",
9945
- "<extra_t_id_8>",
9946
- "<extra_t_id_9>",
9947
- "<extra_t_id_10>",
9948
- "<extra_t_id_11>",
9949
- "<extra_t_id_12>",
9950
- "<extra_t_id_13>",
9951
- "<extra_t_id_14>",
9952
- "<extra_t_id_15>",
9953
- "<extra_t_id_16>",
9954
- "<extra_t_id_17>",
9955
- "<extra_t_id_18>",
9956
- "<extra_t_id_19>",
9957
- "<extra_t_id_20>",
9958
- "<extra_t_id_21>",
9959
- "<extra_t_id_22>",
9960
- "<extra_t_id_23>",
9961
- "<extra_t_id_24>",
9962
- "<extra_t_id_25>",
9963
- "<extra_t_id_26>",
9964
- "<extra_t_id_27>",
9965
- "<extra_t_id_28>",
9966
- "<extra_t_id_29>",
9967
- "<extra_t_id_30>",
9968
- "<extra_t_id_31>",
9969
- "<extra_t_id_32>",
9970
- "<extra_t_id_33>",
9971
- "<extra_t_id_34>",
9972
- "<extra_t_id_35>",
9973
- "<extra_t_id_36>",
9974
- "<extra_t_id_37>",
9975
- "<extra_t_id_38>",
9976
- "<extra_t_id_39>",
9977
- "<extra_t_id_40>",
9978
- "<extra_t_id_41>",
9979
- "<extra_t_id_42>",
9980
- "<extra_t_id_43>",
9981
- "<extra_t_id_44>",
9982
- "<extra_t_id_45>",
9983
- "<extra_t_id_46>",
9984
- "<extra_t_id_47>",
9985
- "<extra_t_id_48>",
9986
- "<extra_t_id_49>",
9987
- "<extra_t_id_50>",
9988
- "<extra_t_id_51>",
9989
- "<extra_t_id_52>",
9990
- "<extra_t_id_53>",
9991
- "<extra_t_id_54>",
9992
- "<extra_t_id_55>",
9993
- "<extra_t_id_56>",
9994
- "<extra_t_id_57>",
9995
- "<extra_t_id_58>",
9996
- "<extra_t_id_59>",
9997
- "<extra_t_id_60>",
9998
- "<extra_t_id_61>",
9999
- "<extra_t_id_62>",
10000
- "<extra_t_id_63>",
10001
- "<extra_t_id_64>",
10002
- "<extra_t_id_65>",
10003
- "<extra_t_id_66>",
10004
- "<extra_t_id_67>",
10005
- "<extra_t_id_68>",
10006
- "<extra_t_id_69>",
10007
- "<extra_t_id_70>",
10008
- "<extra_t_id_71>",
10009
- "<extra_t_id_72>",
10010
- "<extra_t_id_73>",
10011
- "<extra_t_id_74>",
10012
- "<extra_t_id_75>",
10013
- "<extra_t_id_76>",
10014
- "<extra_t_id_77>",
10015
- "<extra_t_id_78>",
10016
- "<extra_t_id_79>",
10017
- "<extra_t_id_80>",
10018
- "<extra_t_id_81>",
10019
- "<extra_t_id_82>",
10020
- "<extra_t_id_83>",
10021
- "<extra_t_id_84>",
10022
- "<extra_t_id_85>",
10023
- "<extra_t_id_86>",
10024
- "<extra_t_id_87>",
10025
- "<extra_t_id_88>",
10026
- "<extra_t_id_89>",
10027
- "<extra_t_id_90>",
10028
- "<extra_t_id_91>",
10029
- "<extra_t_id_92>",
10030
- "<extra_t_id_93>",
10031
- "<extra_t_id_94>",
10032
- "<extra_t_id_95>",
10033
- "<extra_t_id_96>",
10034
- "<extra_t_id_97>",
10035
- "<extra_t_id_98>",
10036
- "<extra_t_id_99>",
10037
- "</extra_t_id_0>",
10038
- "</extra_t_id_1>",
10039
- "</extra_t_id_2>",
10040
- "</extra_t_id_3>",
10041
- "</extra_t_id_4>",
10042
- "</extra_t_id_5>",
10043
- "</extra_t_id_6>",
10044
- "</extra_t_id_7>",
10045
- "</extra_t_id_8>",
10046
- "</extra_t_id_9>",
10047
- "</extra_t_id_10>",
10048
- "</extra_t_id_11>",
10049
- "</extra_t_id_12>",
10050
- "</extra_t_id_13>",
10051
- "</extra_t_id_14>",
10052
- "</extra_t_id_15>",
10053
- "</extra_t_id_16>",
10054
- "</extra_t_id_17>",
10055
- "</extra_t_id_18>",
10056
- "</extra_t_id_19>",
10057
- "</extra_t_id_20>",
10058
- "</extra_t_id_21>",
10059
- "</extra_t_id_22>",
10060
- "</extra_t_id_23>",
10061
- "</extra_t_id_24>",
10062
- "</extra_t_id_25>",
10063
- "</extra_t_id_26>",
10064
- "</extra_t_id_27>",
10065
- "</extra_t_id_28>",
10066
- "</extra_t_id_29>",
10067
- "</extra_t_id_30>",
10068
- "</extra_t_id_31>",
10069
- "</extra_t_id_32>",
10070
- "</extra_t_id_33>",
10071
- "</extra_t_id_34>",
10072
- "</extra_t_id_35>",
10073
- "</extra_t_id_36>",
10074
- "</extra_t_id_37>",
10075
- "</extra_t_id_38>",
10076
- "</extra_t_id_39>",
10077
- "</extra_t_id_40>",
10078
- "</extra_t_id_41>",
10079
- "</extra_t_id_42>",
10080
- "</extra_t_id_43>",
10081
- "</extra_t_id_44>",
10082
- "</extra_t_id_45>",
10083
- "</extra_t_id_46>",
10084
- "</extra_t_id_47>",
10085
- "</extra_t_id_48>",
10086
- "</extra_t_id_49>",
10087
- "</extra_t_id_50>",
10088
- "</extra_t_id_51>",
10089
- "</extra_t_id_52>",
10090
- "</extra_t_id_53>",
10091
- "</extra_t_id_54>",
10092
- "</extra_t_id_55>",
10093
- "</extra_t_id_56>",
10094
- "</extra_t_id_57>",
10095
- "</extra_t_id_58>",
10096
- "</extra_t_id_59>",
10097
- "</extra_t_id_60>",
10098
- "</extra_t_id_61>",
10099
- "</extra_t_id_62>",
10100
- "</extra_t_id_63>",
10101
- "</extra_t_id_64>",
10102
- "</extra_t_id_65>",
10103
- "</extra_t_id_66>",
10104
- "</extra_t_id_67>",
10105
- "</extra_t_id_68>",
10106
- "</extra_t_id_69>",
10107
- "</extra_t_id_70>",
10108
- "</extra_t_id_71>",
10109
- "</extra_t_id_72>",
10110
- "</extra_t_id_73>",
10111
- "</extra_t_id_74>",
10112
- "</extra_t_id_75>",
10113
- "</extra_t_id_76>",
10114
- "</extra_t_id_77>",
10115
- "</extra_t_id_78>",
10116
- "</extra_t_id_79>",
10117
- "</extra_t_id_80>",
10118
- "</extra_t_id_81>",
10119
- "</extra_t_id_82>",
10120
- "</extra_t_id_83>",
10121
- "</extra_t_id_84>",
10122
- "</extra_t_id_85>",
10123
- "</extra_t_id_86>",
10124
- "</extra_t_id_87>",
10125
- "</extra_t_id_88>",
10126
- "</extra_t_id_89>",
10127
- "</extra_t_id_90>",
10128
- "</extra_t_id_91>",
10129
- "</extra_t_id_92>",
10130
- "</extra_t_id_93>",
10131
- "</extra_t_id_94>",
10132
- "</extra_t_id_95>",
10133
- "</extra_t_id_96>",
10134
- "</extra_t_id_97>",
10135
- "</extra_t_id_98>",
10136
- "</extra_t_id_99>",
10137
- "<loc_0>",
10138
- "<loc_1>",
10139
- "<loc_2>",
10140
- "<loc_3>",
10141
- "<loc_4>",
10142
- "<loc_5>",
10143
- "<loc_6>",
10144
- "<loc_7>",
10145
- "<loc_8>",
10146
- "<loc_9>",
10147
- "<loc_10>",
10148
- "<loc_11>",
10149
- "<loc_12>",
10150
- "<loc_13>",
10151
- "<loc_14>",
10152
- "<loc_15>",
10153
- "<loc_16>",
10154
- "<loc_17>",
10155
- "<loc_18>",
10156
- "<loc_19>",
10157
- "<loc_20>",
10158
- "<loc_21>",
10159
- "<loc_22>",
10160
- "<loc_23>",
10161
- "<loc_24>",
10162
- "<loc_25>",
10163
- "<loc_26>",
10164
- "<loc_27>",
10165
- "<loc_28>",
10166
- "<loc_29>",
10167
- "<loc_30>",
10168
- "<loc_31>",
10169
- "<loc_32>",
10170
- "<loc_33>",
10171
- "<loc_34>",
10172
- "<loc_35>",
10173
- "<loc_36>",
10174
- "<loc_37>",
10175
- "<loc_38>",
10176
- "<loc_39>",
10177
- "<loc_40>",
10178
- "<loc_41>",
10179
- "<loc_42>",
10180
- "<loc_43>",
10181
- "<loc_44>",
10182
- "<loc_45>",
10183
- "<loc_46>",
10184
- "<loc_47>",
10185
- "<loc_48>",
10186
- "<loc_49>",
10187
- "<loc_50>",
10188
- "<loc_51>",
10189
- "<loc_52>",
10190
- "<loc_53>",
10191
- "<loc_54>",
10192
- "<loc_55>",
10193
- "<loc_56>",
10194
- "<loc_57>",
10195
- "<loc_58>",
10196
- "<loc_59>",
10197
- "<loc_60>",
10198
- "<loc_61>",
10199
- "<loc_62>",
10200
- "<loc_63>",
10201
- "<loc_64>",
10202
- "<loc_65>",
10203
- "<loc_66>",
10204
- "<loc_67>",
10205
- "<loc_68>",
10206
- "<loc_69>",
10207
- "<loc_70>",
10208
- "<loc_71>",
10209
- "<loc_72>",
10210
- "<loc_73>",
10211
- "<loc_74>",
10212
- "<loc_75>",
10213
- "<loc_76>",
10214
- "<loc_77>",
10215
- "<loc_78>",
10216
- "<loc_79>",
10217
- "<loc_80>",
10218
- "<loc_81>",
10219
- "<loc_82>",
10220
- "<loc_83>",
10221
- "<loc_84>",
10222
- "<loc_85>",
10223
- "<loc_86>",
10224
- "<loc_87>",
10225
- "<loc_88>",
10226
- "<loc_89>",
10227
- "<loc_90>",
10228
- "<loc_91>",
10229
- "<loc_92>",
10230
- "<loc_93>",
10231
- "<loc_94>",
10232
- "<loc_95>",
10233
- "<loc_96>",
10234
- "<loc_97>",
10235
- "<loc_98>",
10236
- "<loc_99>",
10237
- "<loc_100>",
10238
- "<loc_101>",
10239
- "<loc_102>",
10240
- "<loc_103>",
10241
- "<loc_104>",
10242
- "<loc_105>",
10243
- "<loc_106>",
10244
- "<loc_107>",
10245
- "<loc_108>",
10246
- "<loc_109>",
10247
- "<loc_110>",
10248
- "<loc_111>",
10249
- "<loc_112>",
10250
- "<loc_113>",
10251
- "<loc_114>",
10252
- "<loc_115>",
10253
- "<loc_116>",
10254
- "<loc_117>",
10255
- "<loc_118>",
10256
- "<loc_119>",
10257
- "<loc_120>",
10258
- "<loc_121>",
10259
- "<loc_122>",
10260
- "<loc_123>",
10261
- "<loc_124>",
10262
- "<loc_125>",
10263
- "<loc_126>",
10264
- "<loc_127>",
10265
- "<loc_128>",
10266
- "<loc_129>",
10267
- "<loc_130>",
10268
- "<loc_131>",
10269
- "<loc_132>",
10270
- "<loc_133>",
10271
- "<loc_134>",
10272
- "<loc_135>",
10273
- "<loc_136>",
10274
- "<loc_137>",
10275
- "<loc_138>",
10276
- "<loc_139>",
10277
- "<loc_140>",
10278
- "<loc_141>",
10279
- "<loc_142>",
10280
- "<loc_143>",
10281
- "<loc_144>",
10282
- "<loc_145>",
10283
- "<loc_146>",
10284
- "<loc_147>",
10285
- "<loc_148>",
10286
- "<loc_149>",
10287
- "<loc_150>",
10288
- "<loc_151>",
10289
- "<loc_152>",
10290
- "<loc_153>",
10291
- "<loc_154>",
10292
- "<loc_155>",
10293
- "<loc_156>",
10294
- "<loc_157>",
10295
- "<loc_158>",
10296
- "<loc_159>",
10297
- "<loc_160>",
10298
- "<loc_161>",
10299
- "<loc_162>",
10300
- "<loc_163>",
10301
- "<loc_164>",
10302
- "<loc_165>",
10303
- "<loc_166>",
10304
- "<loc_167>",
10305
- "<loc_168>",
10306
- "<loc_169>",
10307
- "<loc_170>",
10308
- "<loc_171>",
10309
- "<loc_172>",
10310
- "<loc_173>",
10311
- "<loc_174>",
10312
- "<loc_175>",
10313
- "<loc_176>",
10314
- "<loc_177>",
10315
- "<loc_178>",
10316
- "<loc_179>",
10317
- "<loc_180>",
10318
- "<loc_181>",
10319
- "<loc_182>",
10320
- "<loc_183>",
10321
- "<loc_184>",
10322
- "<loc_185>",
10323
- "<loc_186>",
10324
- "<loc_187>",
10325
- "<loc_188>",
10326
- "<loc_189>",
10327
- "<loc_190>",
10328
- "<loc_191>",
10329
- "<loc_192>",
10330
- "<loc_193>",
10331
- "<loc_194>",
10332
- "<loc_195>",
10333
- "<loc_196>",
10334
- "<loc_197>",
10335
- "<loc_198>",
10336
- "<loc_199>",
10337
- "<loc_200>",
10338
- "<loc_201>",
10339
- "<loc_202>",
10340
- "<loc_203>",
10341
- "<loc_204>",
10342
- "<loc_205>",
10343
- "<loc_206>",
10344
- "<loc_207>",
10345
- "<loc_208>",
10346
- "<loc_209>",
10347
- "<loc_210>",
10348
- "<loc_211>",
10349
- "<loc_212>",
10350
- "<loc_213>",
10351
- "<loc_214>",
10352
- "<loc_215>",
10353
- "<loc_216>",
10354
- "<loc_217>",
10355
- "<loc_218>",
10356
- "<loc_219>",
10357
- "<loc_220>",
10358
- "<loc_221>",
10359
- "<loc_222>",
10360
- "<loc_223>",
10361
- "<loc_224>",
10362
- "<loc_225>",
10363
- "<loc_226>",
10364
- "<loc_227>",
10365
- "<loc_228>",
10366
- "<loc_229>",
10367
- "<loc_230>",
10368
- "<loc_231>",
10369
- "<loc_232>",
10370
- "<loc_233>",
10371
- "<loc_234>",
10372
- "<loc_235>",
10373
- "<loc_236>",
10374
- "<loc_237>",
10375
- "<loc_238>",
10376
- "<loc_239>",
10377
- "<loc_240>",
10378
- "<loc_241>",
10379
- "<loc_242>",
10380
- "<loc_243>",
10381
- "<loc_244>",
10382
- "<loc_245>",
10383
- "<loc_246>",
10384
- "<loc_247>",
10385
- "<loc_248>",
10386
- "<loc_249>",
10387
- "<loc_250>",
10388
- "<loc_251>",
10389
- "<loc_252>",
10390
- "<loc_253>",
10391
- "<loc_254>",
10392
- "<loc_255>",
10393
- "<loc_256>",
10394
- "<loc_257>",
10395
- "<loc_258>",
10396
- "<loc_259>",
10397
- "<loc_260>",
10398
- "<loc_261>",
10399
- "<loc_262>",
10400
- "<loc_263>",
10401
- "<loc_264>",
10402
- "<loc_265>",
10403
- "<loc_266>",
10404
- "<loc_267>",
10405
- "<loc_268>",
10406
- "<loc_269>",
10407
- "<loc_270>",
10408
- "<loc_271>",
10409
- "<loc_272>",
10410
- "<loc_273>",
10411
- "<loc_274>",
10412
- "<loc_275>",
10413
- "<loc_276>",
10414
- "<loc_277>",
10415
- "<loc_278>",
10416
- "<loc_279>",
10417
- "<loc_280>",
10418
- "<loc_281>",
10419
- "<loc_282>",
10420
- "<loc_283>",
10421
- "<loc_284>",
10422
- "<loc_285>",
10423
- "<loc_286>",
10424
- "<loc_287>",
10425
- "<loc_288>",
10426
- "<loc_289>",
10427
- "<loc_290>",
10428
- "<loc_291>",
10429
- "<loc_292>",
10430
- "<loc_293>",
10431
- "<loc_294>",
10432
- "<loc_295>",
10433
- "<loc_296>",
10434
- "<loc_297>",
10435
- "<loc_298>",
10436
- "<loc_299>",
10437
- "<loc_300>",
10438
- "<loc_301>",
10439
- "<loc_302>",
10440
- "<loc_303>",
10441
- "<loc_304>",
10442
- "<loc_305>",
10443
- "<loc_306>",
10444
- "<loc_307>",
10445
- "<loc_308>",
10446
- "<loc_309>",
10447
- "<loc_310>",
10448
- "<loc_311>",
10449
- "<loc_312>",
10450
- "<loc_313>",
10451
- "<loc_314>",
10452
- "<loc_315>",
10453
- "<loc_316>",
10454
- "<loc_317>",
10455
- "<loc_318>",
10456
- "<loc_319>",
10457
- "<loc_320>",
10458
- "<loc_321>",
10459
- "<loc_322>",
10460
- "<loc_323>",
10461
- "<loc_324>",
10462
- "<loc_325>",
10463
- "<loc_326>",
10464
- "<loc_327>",
10465
- "<loc_328>",
10466
- "<loc_329>",
10467
- "<loc_330>",
10468
- "<loc_331>",
10469
- "<loc_332>",
10470
- "<loc_333>",
10471
- "<loc_334>",
10472
- "<loc_335>",
10473
- "<loc_336>",
10474
- "<loc_337>",
10475
- "<loc_338>",
10476
- "<loc_339>",
10477
- "<loc_340>",
10478
- "<loc_341>",
10479
- "<loc_342>",
10480
- "<loc_343>",
10481
- "<loc_344>",
10482
- "<loc_345>",
10483
- "<loc_346>",
10484
- "<loc_347>",
10485
- "<loc_348>",
10486
- "<loc_349>",
10487
- "<loc_350>",
10488
- "<loc_351>",
10489
- "<loc_352>",
10490
- "<loc_353>",
10491
- "<loc_354>",
10492
- "<loc_355>",
10493
- "<loc_356>",
10494
- "<loc_357>",
10495
- "<loc_358>",
10496
- "<loc_359>",
10497
- "<loc_360>",
10498
- "<loc_361>",
10499
- "<loc_362>",
10500
- "<loc_363>",
10501
- "<loc_364>",
10502
- "<loc_365>",
10503
- "<loc_366>",
10504
- "<loc_367>",
10505
- "<loc_368>",
10506
- "<loc_369>",
10507
- "<loc_370>",
10508
- "<loc_371>",
10509
- "<loc_372>",
10510
- "<loc_373>",
10511
- "<loc_374>",
10512
- "<loc_375>",
10513
- "<loc_376>",
10514
- "<loc_377>",
10515
- "<loc_378>",
10516
- "<loc_379>",
10517
- "<loc_380>",
10518
- "<loc_381>",
10519
- "<loc_382>",
10520
- "<loc_383>",
10521
- "<loc_384>",
10522
- "<loc_385>",
10523
- "<loc_386>",
10524
- "<loc_387>",
10525
- "<loc_388>",
10526
- "<loc_389>",
10527
- "<loc_390>",
10528
- "<loc_391>",
10529
- "<loc_392>",
10530
- "<loc_393>",
10531
- "<loc_394>",
10532
- "<loc_395>",
10533
- "<loc_396>",
10534
- "<loc_397>",
10535
- "<loc_398>",
10536
- "<loc_399>",
10537
- "<loc_400>",
10538
- "<loc_401>",
10539
- "<loc_402>",
10540
- "<loc_403>",
10541
- "<loc_404>",
10542
- "<loc_405>",
10543
- "<loc_406>",
10544
- "<loc_407>",
10545
- "<loc_408>",
10546
- "<loc_409>",
10547
- "<loc_410>",
10548
- "<loc_411>",
10549
- "<loc_412>",
10550
- "<loc_413>",
10551
- "<loc_414>",
10552
- "<loc_415>",
10553
- "<loc_416>",
10554
- "<loc_417>",
10555
- "<loc_418>",
10556
- "<loc_419>",
10557
- "<loc_420>",
10558
- "<loc_421>",
10559
- "<loc_422>",
10560
- "<loc_423>",
10561
- "<loc_424>",
10562
- "<loc_425>",
10563
- "<loc_426>",
10564
- "<loc_427>",
10565
- "<loc_428>",
10566
- "<loc_429>",
10567
- "<loc_430>",
10568
- "<loc_431>",
10569
- "<loc_432>",
10570
- "<loc_433>",
10571
- "<loc_434>",
10572
- "<loc_435>",
10573
- "<loc_436>",
10574
- "<loc_437>",
10575
- "<loc_438>",
10576
- "<loc_439>",
10577
- "<loc_440>",
10578
- "<loc_441>",
10579
- "<loc_442>",
10580
- "<loc_443>",
10581
- "<loc_444>",
10582
- "<loc_445>",
10583
- "<loc_446>",
10584
- "<loc_447>",
10585
- "<loc_448>",
10586
- "<loc_449>",
10587
- "<loc_450>",
10588
- "<loc_451>",
10589
- "<loc_452>",
10590
- "<loc_453>",
10591
- "<loc_454>",
10592
- "<loc_455>",
10593
- "<loc_456>",
10594
- "<loc_457>",
10595
- "<loc_458>",
10596
- "<loc_459>",
10597
- "<loc_460>",
10598
- "<loc_461>",
10599
- "<loc_462>",
10600
- "<loc_463>",
10601
- "<loc_464>",
10602
- "<loc_465>",
10603
- "<loc_466>",
10604
- "<loc_467>",
10605
- "<loc_468>",
10606
- "<loc_469>",
10607
- "<loc_470>",
10608
- "<loc_471>",
10609
- "<loc_472>",
10610
- "<loc_473>",
10611
- "<loc_474>",
10612
- "<loc_475>",
10613
- "<loc_476>",
10614
- "<loc_477>",
10615
- "<loc_478>",
10616
- "<loc_479>",
10617
- "<loc_480>",
10618
- "<loc_481>",
10619
- "<loc_482>",
10620
- "<loc_483>",
10621
- "<loc_484>",
10622
- "<loc_485>",
10623
- "<loc_486>",
10624
- "<loc_487>",
10625
- "<loc_488>",
10626
- "<loc_489>",
10627
- "<loc_490>",
10628
- "<loc_491>",
10629
- "<loc_492>",
10630
- "<loc_493>",
10631
- "<loc_494>",
10632
- "<loc_495>",
10633
- "<loc_496>",
10634
- "<loc_497>",
10635
- "<loc_498>",
10636
- "<loc_499>",
10637
- "<loc_500>",
10638
- "<other_0>",
10639
- "<other_1>",
10640
- "<other_2>",
10641
- "<other_3>",
10642
- "<other_4>",
10643
- "<other_5>",
10644
- "<other_6>",
10645
- "<other_7>",
10646
- "<other_8>",
10647
- "<other_9>",
10648
- "<other_10>",
10649
- "<other_11>",
10650
- "<other_12>",
10651
- "<other_13>",
10652
- "<other_14>",
10653
- "<other_15>",
10654
- "<other_16>",
10655
- "<other_17>",
10656
- "<other_18>",
10657
- "<other_19>",
10658
- "<other_20>",
10659
- "<other_21>",
10660
- "<other_22>",
10661
- "<other_23>",
10662
- "<other_24>",
10663
- "<other_25>",
10664
- "<other_26>",
10665
- "<other_27>",
10666
- "<other_28>",
10667
- "<other_29>",
10668
- "<other_30>",
10669
- "<other_31>",
10670
- "<other_32>",
10671
- "<other_33>",
10672
- "<other_34>",
10673
- "<other_35>",
10674
- "<other_36>",
10675
- "<other_37>",
10676
- "<other_38>",
10677
- "<other_39>",
10678
- "<other_40>",
10679
- "<other_41>",
10680
- "<other_42>",
10681
- "<other_43>",
10682
- "<other_44>",
10683
- "<other_45>",
10684
- "<other_46>",
10685
- "<other_47>",
10686
- "<other_48>",
10687
- "<other_49>",
10688
- "<other_50>",
10689
- "<other_51>",
10690
- "<other_52>",
10691
- "<other_53>",
10692
- "<other_54>",
10693
- "<other_55>",
10694
- "<other_56>",
10695
- "<other_57>",
10696
- "<other_58>",
10697
- "<other_59>",
10698
- "<other_60>",
10699
- "<other_61>",
10700
- "<other_62>",
10701
- "<other_63>",
10702
- "<other_64>",
10703
- "<other_65>",
10704
- "<other_66>",
10705
- "<other_67>",
10706
- "<other_68>",
10707
- "<other_69>",
10708
- "<other_70>",
10709
- "<other_71>",
10710
- "<other_72>",
10711
- "<other_73>",
10712
- "<other_74>",
10713
- "<other_75>",
10714
- "<other_76>",
10715
- "<other_77>",
10716
- "<other_78>",
10717
- "<other_79>",
10718
- "<other_80>",
10719
- "<other_81>",
10720
- "<other_82>",
10721
- "<other_83>",
10722
- "<other_84>",
10723
- "<other_85>",
10724
- "<other_86>",
10725
- "<other_87>",
10726
- "<other_88>",
10727
- "<other_89>",
10728
- "<other_90>",
10729
- "<other_91>",
10730
- "<other_92>",
10731
- "<other_93>",
10732
- "<other_94>",
10733
- "<other_95>",
10734
- "<other_96>",
10735
- "<other_97>",
10736
- "<other_98>",
10737
- "<other_99>",
10738
- "<other_100>",
10739
- "<other_101>",
10740
- "<other_102>",
10741
- "<other_103>",
10742
- "<other_104>",
10743
- "<other_105>",
10744
- "<other_106>",
10745
- "<other_107>",
10746
- "<other_108>",
10747
- "<other_109>",
10748
- "<other_110>",
10749
- "<other_111>",
10750
- "<other_112>",
10751
- "<other_113>",
10752
- "<other_114>",
10753
- "<other_115>",
10754
- "<other_116>",
10755
- "<other_117>",
10756
- "<other_118>",
10757
- "<other_119>",
10758
- "<other_120>",
10759
- "<other_121>",
10760
- "<other_122>",
10761
- "<other_123>",
10762
- "<other_124>",
10763
- "<other_125>",
10764
- "<other_126>",
10765
- "<other_127>",
10766
- "<other_128>",
10767
- "<other_129>",
10768
- "<other_130>",
10769
- "<other_131>",
10770
- "<other_132>",
10771
- "<other_133>",
10772
- "<other_134>",
10773
- "<other_135>",
10774
- "<other_136>",
10775
- "<other_137>",
10776
- "<other_138>",
10777
- "<other_139>",
10778
- "<other_140>",
10779
- "<other_141>",
10780
- "<other_142>",
10781
- "<other_143>",
10782
- "<other_144>",
10783
- "<other_145>",
10784
- "<other_146>",
10785
- "<other_147>",
10786
- "<other_148>",
10787
- "<other_149>",
10788
- "<other_150>",
10789
- "<other_151>",
10790
- "<other_152>",
10791
- "<other_153>",
10792
- "<other_154>",
10793
- "<other_155>",
10794
- "<other_156>",
10795
- "<other_157>",
10796
- "<other_158>",
10797
- "<other_159>",
10798
- "<other_160>",
10799
- "<other_161>",
10800
- "<other_162>",
10801
- "<other_163>",
10802
- "<other_164>",
10803
- "<other_165>",
10804
- "<other_166>",
10805
- "<other_167>",
10806
- "<other_168>",
10807
- "<other_169>",
10808
- "<other_170>",
10809
- "<other_171>",
10810
- "<other_172>",
10811
- "<other_173>",
10812
- "<other_174>",
10813
- "<other_175>",
10814
- "<other_176>",
10815
- "<other_177>",
10816
- "<other_178>",
10817
- "<other_179>",
10818
- "<other_180>",
10819
- "<other_181>",
10820
- "<other_182>",
10821
- "<other_183>",
10822
- "<other_184>",
10823
- "<other_185>",
10824
- "<other_186>",
10825
- "<other_187>",
10826
- "<other_188>",
10827
- "<other_189>",
10828
- "<other_190>",
10829
- "<other_191>",
10830
- "<other_192>",
10831
- "<other_193>",
10832
- "<other_194>",
10833
- "<other_195>",
10834
- "<other_196>",
10835
- "<other_197>",
10836
- "<other_198>",
10837
- "<other_199>"
10838
- ],
10839
  "clean_up_tokenization_spaces": true,
10840
  "eos_token": "[NEW_EOS]",
10841
  "extra_ids": 100,
 
24
  "single_word": false,
25
  "special": true
26
  },
27
+ "33200": {
28
+ "content": "[NEW_EOS]",
29
+ "lstrip": false,
30
+ "normalized": false,
31
+ "rstrip": false,
32
+ "single_word": false,
33
+ "special": true
34
+ },
35
  "33201": {
36
  "content": "<extra_id_0>",
37
  "lstrip": false,
 
9641
  "special": true
9642
  }
9643
  },
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
9644
  "clean_up_tokenization_spaces": true,
9645
  "eos_token": "[NEW_EOS]",
9646
  "extra_ids": 100,