CodeModernBERT-Crow-v3-len1024 / special_tokens_map.json
Shuu12121's picture
Upload ModernBERT model
e6d2c25 verified
{
"additional_special_tokens": [
"[UNUSED1]",
"[UNUSED2]",
"[UNUSED3]",
"[UNUSED4]",
"[UNUSED5]",
"[UNUSED6]",
"[UNUSED7]",
"[UNUSED8]",
"[UNUSED9]",
"[UNUSED10]",
"[UNUSED11]",
"[UNUSED12]",
"[UNUSED13]",
"[UNUSED14]",
"[UNUSED15]",
"[UNUSED16]",
"[UNUSED17]",
"[UNUSED18]",
"[UNUSED19]",
"[UNUSED20]",
"[UNUSED21]",
"[UNUSED22]",
"[UNUSED23]",
"[UNUSED24]",
"[UNUSED25]",
"[UNUSED26]",
"[UNUSED27]",
"[UNUSED28]",
"[UNUSED29]",
"[UNUSED30]",
"[UNUSED31]",
"[UNUSED32]",
"[UNUSED33]",
"[UNUSED34]",
"[UNUSED35]",
"[UNUSED36]",
"[UNUSED37]",
"[UNUSED38]",
"[UNUSED39]",
"[UNUSED40]",
"[UNUSED41]",
"[UNUSED42]",
"[UNUSED43]",
"[UNUSED44]",
"[UNUSED45]",
"[UNUSED46]",
"[UNUSED47]",
"[UNUSED48]",
"[UNUSED49]",
"[UNUSED50]",
"[UNUSED51]",
"[UNUSED52]",
"[UNUSED53]",
"[UNUSED54]",
"[UNUSED55]",
"[UNUSED56]",
"[UNUSED57]",
"[UNUSED58]",
"[UNUSED59]",
"[UNUSED60]",
"[UNUSED61]",
"[UNUSED62]",
"[UNUSED63]",
"[UNUSED64]",
"[UNUSED65]",
"[UNUSED66]",
"[UNUSED67]",
"[UNUSED68]",
"[UNUSED69]",
"[UNUSED70]",
"[UNUSED71]",
"[UNUSED72]",
"[UNUSED73]",
"[UNUSED74]",
"[UNUSED75]",
"[UNUSED76]",
"[UNUSED77]",
"[UNUSED78]",
"[UNUSED79]",
"[UNUSED80]",
"[UNUSED81]",
"[UNUSED82]",
"[UNUSED83]",
"[UNUSED84]",
"[UNUSED85]",
"[UNUSED86]",
"[UNUSED87]",
"[UNUSED88]",
"[UNUSED89]",
"[UNUSED90]",
"[UNUSED91]",
"[UNUSED92]",
"[UNUSED93]",
"[UNUSED94]",
"[UNUSED95]",
"[UNUSED96]",
"[UNUSED97]",
"[UNUSED98]",
"[UNUSED99]",
"[UNUSED100]",
"[UNUSED101]",
"[UNUSED102]",
"[UNUSED103]",
"[UNUSED104]",
"[UNUSED105]",
"[UNUSED106]",
"[UNUSED107]",
"[UNUSED108]",
"[UNUSED109]",
"[UNUSED110]",
"[UNUSED111]",
"[UNUSED112]",
"[UNUSED113]",
"[UNUSED114]",
"[UNUSED115]",
"[UNUSED116]",
"[UNUSED117]",
"[UNUSED118]",
"[UNUSED119]",
"[UNUSED120]",
"[UNUSED121]",
"[UNUSED122]",
"[UNUSED123]",
"[UNUSED124]",
"[UNUSED125]",
"[UNUSED126]",
"[UNUSED127]",
"[UNUSED128]",
"[UNUSED129]",
"[UNUSED130]",
"[UNUSED131]",
"[UNUSED132]",
"[UNUSED133]",
"[UNUSED134]",
"[UNUSED135]",
"[UNUSED136]",
"[UNUSED137]",
"[UNUSED138]",
"[UNUSED139]",
"[UNUSED140]",
"[UNUSED141]",
"[UNUSED142]",
"[UNUSED143]",
"[UNUSED144]",
"[UNUSED145]",
"[UNUSED146]",
"[UNUSED147]",
"[UNUSED148]",
"[UNUSED149]",
"[UNUSED150]",
"[UNUSED151]",
"[UNUSED152]",
"[UNUSED153]",
"[UNUSED154]",
"[UNUSED155]",
"[UNUSED156]",
"[UNUSED157]",
"[UNUSED158]",
"[UNUSED159]",
"[UNUSED160]",
"[UNUSED161]",
"[UNUSED162]",
"[UNUSED163]",
"[UNUSED164]",
"[UNUSED165]",
"[UNUSED166]",
"[UNUSED167]",
"[UNUSED168]",
"[UNUSED169]",
"[UNUSED170]",
"[UNUSED171]",
"[UNUSED172]",
"[UNUSED173]",
"[UNUSED174]",
"[UNUSED175]",
"[UNUSED176]",
"[UNUSED177]",
"[UNUSED178]",
"[UNUSED179]",
"[UNUSED180]",
"[UNUSED181]",
"[UNUSED182]",
"[UNUSED183]",
"[UNUSED184]",
"[UNUSED185]",
"[UNUSED186]",
"[UNUSED187]",
"[UNUSED188]",
"[UNUSED189]",
"[UNUSED190]",
"[UNUSED191]",
"[UNUSED192]",
"[UNUSED193]",
"[UNUSED194]",
"[UNUSED195]",
"[UNUSED196]",
"[UNUSED197]",
"[UNUSED198]",
"[UNUSED199]",
"[UNUSED200]",
"[UNUSED201]",
"[UNUSED202]",
"[UNUSED203]",
"[UNUSED204]",
"[UNUSED205]",
"[UNUSED206]",
"[UNUSED207]",
"[UNUSED208]",
"[UNUSED209]",
"[UNUSED210]",
"[UNUSED211]",
"[UNUSED212]",
"[UNUSED213]",
"[UNUSED214]",
"[UNUSED215]",
"[UNUSED216]",
"[UNUSED217]",
"[UNUSED218]",
"[UNUSED219]",
"[UNUSED220]",
"[UNUSED221]",
"[UNUSED222]",
"[UNUSED223]",
"[UNUSED224]",
"[UNUSED225]",
"[UNUSED226]",
"[UNUSED227]",
"[UNUSED228]",
"[UNUSED229]",
"[UNUSED230]",
"[UNUSED231]",
"[UNUSED232]",
"[UNUSED233]",
"[UNUSED234]",
"[UNUSED235]",
"[UNUSED236]",
"[UNUSED237]",
"[UNUSED238]",
"[UNUSED239]",
"[UNUSED240]",
"[UNUSED241]",
"[UNUSED242]",
"[UNUSED243]",
"[UNUSED244]",
"[UNUSED245]",
"[UNUSED246]",
"[UNUSED247]",
"[UNUSED248]",
"[UNUSED249]",
"[UNUSED250]",
"[UNUSED251]",
"[UNUSED252]",
"[UNUSED253]",
"[UNUSED254]",
"[UNUSED255]",
"[UNUSED256]",
"[UNUSED257]",
"[UNUSED258]",
"[UNUSED259]",
"[UNUSED260]",
"[UNUSED261]",
"[UNUSED262]",
"[UNUSED263]",
"[UNUSED264]",
"[UNUSED265]",
"[UNUSED266]",
"[UNUSED267]",
"[UNUSED268]",
"[UNUSED269]",
"[UNUSED270]",
"[UNUSED271]",
"[UNUSED272]",
"[UNUSED273]",
"[UNUSED274]",
"[UNUSED275]",
"[UNUSED276]",
"[UNUSED277]",
"[UNUSED278]",
"[UNUSED279]",
"[UNUSED280]",
"[UNUSED281]",
"[UNUSED282]",
"[UNUSED283]",
"[UNUSED284]",
"[UNUSED285]",
"[UNUSED286]",
"[UNUSED287]",
"[UNUSED288]",
"[UNUSED289]",
"[UNUSED290]",
"[UNUSED291]",
"[UNUSED292]",
"[UNUSED293]",
"[UNUSED294]",
"[UNUSED295]",
"[UNUSED296]",
"[UNUSED297]",
"[UNUSED298]",
"[UNUSED299]",
"[UNUSED300]",
"[UNUSED301]",
"[UNUSED302]",
"[UNUSED303]",
"[UNUSED304]",
"[UNUSED305]",
"[UNUSED306]",
"[UNUSED307]",
"[UNUSED308]",
"[UNUSED309]",
"[UNUSED310]",
"[UNUSED311]",
"[UNUSED312]",
"[UNUSED313]",
"[UNUSED314]",
"[UNUSED315]",
"[UNUSED316]",
"[UNUSED317]",
"[UNUSED318]",
"[UNUSED319]",
"[UNUSED320]",
"[UNUSED321]",
"[UNUSED322]",
"[UNUSED323]",
"[UNUSED324]",
"[UNUSED325]",
"[UNUSED326]",
"[UNUSED327]",
"[UNUSED328]",
"[UNUSED329]",
"[UNUSED330]",
"[UNUSED331]",
"[UNUSED332]",
"[UNUSED333]",
"[UNUSED334]",
"[UNUSED335]",
"[UNUSED336]",
"[UNUSED337]",
"[UNUSED338]",
"[UNUSED339]",
"[UNUSED340]",
"[UNUSED341]",
"[UNUSED342]",
"[UNUSED343]",
"[UNUSED344]",
"[UNUSED345]",
"[UNUSED346]",
"[UNUSED347]",
"[UNUSED348]",
"[UNUSED349]",
"[UNUSED350]",
"[UNUSED351]",
"[UNUSED352]",
"[UNUSED353]",
"[UNUSED354]",
"[UNUSED355]",
"[UNUSED356]",
"[UNUSED357]",
"[UNUSED358]",
"[UNUSED359]",
"[UNUSED360]",
"[UNUSED361]",
"[UNUSED362]",
"[UNUSED363]"
],
"cls_token": {
"content": "[CLS]",
"lstrip": false,
"normalized": false,
"rstrip": false,
"single_word": false
},
"mask_token": {
"content": "[MASK]",
"lstrip": false,
"normalized": false,
"rstrip": false,
"single_word": false
},
"pad_token": {
"content": "[PAD]",
"lstrip": false,
"normalized": false,
"rstrip": false,
"single_word": false
},
"sep_token": {
"content": "[SEP]",
"lstrip": false,
"normalized": false,
"rstrip": false,
"single_word": false
},
"unk_token": {
"content": "[UNK]",
"lstrip": false,
"normalized": false,
"rstrip": false,
"single_word": false
}
}