| { | |
| "add_prefix_space": false, | |
| "backend": "tokenizers", | |
| "bos_token": "<|endoftext|>", | |
| "clean_up_tokenization_spaces": true, | |
| "eos_token": "<|endoftext|>", | |
| "errors": "replace", | |
| "extra_special_tokens": [ | |
| "865331112869", | |
| "569765693871", | |
| "485177821815", | |
| "135441121756", | |
| "367459894796", | |
| "877482678543", | |
| "457919547633", | |
| "765474393376", | |
| "114848338811", | |
| "746285987371", | |
| "649291669397", | |
| "927914615679", | |
| "445925149649", | |
| "691587454538", | |
| "143777992227", | |
| "997981281989", | |
| "425949483533", | |
| "982993456429", | |
| "718726519731", | |
| "172599315861", | |
| "643489267333", | |
| "282322838685", | |
| "781653545886", | |
| "796415361892", | |
| "841991688488", | |
| "211411365397", | |
| "698218415444", | |
| "355977139358", | |
| "682564697312", | |
| "383837596997", | |
| "689362171782", | |
| "749966767285", | |
| "753159165157", | |
| "795693824762", | |
| "669689115557", | |
| "327491773134", | |
| "983569279932", | |
| "612128769512", | |
| "374327157578", | |
| "311632789559", | |
| "523918658846", | |
| "765981581453", | |
| "794825141891", | |
| "873898736873", | |
| "447445629421", | |
| "473822473819", | |
| "181439694557", | |
| "592538279337", | |
| "668134915514", | |
| "643692393748", | |
| "696651276628", | |
| "853859348234", | |
| "778466723723", | |
| "929826356991", | |
| "272362973463", | |
| "694235616268", | |
| "281673864127", | |
| "479676316326", | |
| "646979124677", | |
| "922327493433", | |
| "883685933161", | |
| "264259917554", | |
| "836746273134", | |
| "658481324922", | |
| "481884157827", | |
| "587787496812", | |
| "579184949249", | |
| "912193598348", | |
| "529679678956", | |
| "795838284624", | |
| "159337222655", | |
| "173781362446", | |
| "773687856563", | |
| "535787224917", | |
| "351885857332", | |
| "578827344666", | |
| "198462689911", | |
| "722618266242", | |
| "952872416512", | |
| "517778845323", | |
| "749665846687", | |
| "661436365453", | |
| "259666844669", | |
| "242851284913", | |
| "514532995959", | |
| "161588262349", | |
| "742765629356", | |
| "225164373623", | |
| "676539973863", | |
| "826214551218", | |
| "182345464792", | |
| "232776999554", | |
| "337326533813", | |
| "676676697292", | |
| "929185622831", | |
| "545512344383", | |
| "499444466686", | |
| "314697386682", | |
| "517379856925", | |
| "379557332953", | |
| "614797267726", | |
| "429781429464", | |
| "922466849763", | |
| "721737645236", | |
| "479227349997", | |
| "136931728327", | |
| "259533577263", | |
| "488538864842", | |
| "937495658852", | |
| "489991411364", | |
| "499148455254", | |
| "441373944925", | |
| "899151413682", | |
| "467893531755", | |
| "527117488925", | |
| "928335588653", | |
| "374439448821", | |
| "879425227932", | |
| "867678158885", | |
| "399749397872", | |
| "129693547287", | |
| "689285841825", | |
| "771619544974", | |
| "724883568652", | |
| "516968424863", | |
| "733737988257", | |
| "852347289392", | |
| "296953381169", | |
| "377273562477", | |
| "262296912232", | |
| "547149832394", | |
| "298464134954", | |
| "216667245274", | |
| "843998562287", | |
| "572154333646", | |
| "124589118494", | |
| "841824384614", | |
| "232896526252", | |
| "295448593321", | |
| "123741461297", | |
| "653573457168", | |
| "196735786156", | |
| "377338713663", | |
| "964342468552", | |
| "586855179568", | |
| "484773717614", | |
| "894885246797", | |
| "677896358599", | |
| "848845611563", | |
| "851852651677", | |
| "398549545767", | |
| "454244839926", | |
| "799364566435", | |
| "967114116556", | |
| "817378986438", | |
| "233795848681", | |
| "824387273757", | |
| "916198946615", | |
| "563117729724", | |
| "951794811935", | |
| "374598961236", | |
| "922867396683", | |
| "765737843639", | |
| "175469284871", | |
| "231853711778", | |
| "662426712668", | |
| "711412347158", | |
| "753466987363", | |
| "513361312532", | |
| "712992815957", | |
| "971621888444", | |
| "829235161526", | |
| "585544633356", | |
| "582471228164", | |
| "678666359123", | |
| "557533689478", | |
| "632962475133", | |
| "484489193824", | |
| "489562189822", | |
| "589547936288", | |
| "363214487524", | |
| "244885399387", | |
| "431751228368", | |
| "433581868192", | |
| "486391569221", | |
| "185438575221", | |
| "126574388585", | |
| "741757479784", | |
| "529854679937", | |
| "996116119839", | |
| "616248973917", | |
| "763531783491", | |
| "955456118295", | |
| "364196983365", | |
| "195792996468", | |
| "151859598873", | |
| "399223169721", | |
| "938488813964", | |
| "961981959227", | |
| "183368827562", | |
| "533417736566", | |
| "786391632558", | |
| "665661658354", | |
| "693281533643", | |
| "475794684356", | |
| "652154162978", | |
| "753233719644", | |
| "668514843129", | |
| "819162623892", | |
| "941169431859", | |
| "877385381798", | |
| "752644929761", | |
| "881136466196", | |
| "275597777299", | |
| "731681792655", | |
| "961133895172", | |
| "864718285734", | |
| "963852916563", | |
| "319584985416", | |
| "563365646341", | |
| "811371928234", | |
| "837131396371", | |
| "267514771964", | |
| "944513428457", | |
| "117298239631", | |
| "158142752582", | |
| "252867443568", | |
| "839269684865", | |
| "612788593128", | |
| "145669731981", | |
| "121557291859", | |
| "245416776926", | |
| "799417897197", | |
| "997958836435", | |
| "892336777248", | |
| "158929292238", | |
| "581976444672", | |
| "897784492783", | |
| "492373714791", | |
| "512659818733", | |
| "881112998642", | |
| "619454958782", | |
| "431149748713", | |
| "624221476921", | |
| "125866399464", | |
| "339882449689", | |
| "186198784585", | |
| "943193294691", | |
| "955668961269", | |
| "232787996724", | |
| "215671314196", | |
| "286173241916", | |
| "745977673725", | |
| "556976448182", | |
| "599961512792", | |
| "766294538337", | |
| "934912591213", | |
| "295118729589", | |
| "529455466433", | |
| "196119929397", | |
| "379571934299", | |
| "251789649997", | |
| "564544131355", | |
| "244371196654", | |
| "384598329253", | |
| "887753195844", | |
| "364947325679", | |
| "655517954651", | |
| "673948786567", | |
| "857231548835", | |
| "816115936673", | |
| "644234165531", | |
| "182782912224", | |
| "234316622259", | |
| "421369185549", | |
| "434632855397", | |
| "921889371893", | |
| "415956914763", | |
| "598916996413", | |
| "773671349113", | |
| "952465217972", | |
| "117657531962", | |
| "729825168745", | |
| "691315125346", | |
| "768461952319", | |
| "664847713559", | |
| "953267689786", | |
| "886464195129", | |
| "824488329416", | |
| "837873762491", | |
| "532833541879", | |
| "669183782449", | |
| "941976537588", | |
| "739394546916", | |
| "267954879268", | |
| "637551427887", | |
| "217756494954", | |
| "524444658383", | |
| "117783274348", | |
| "138218735276", | |
| "814611949491", | |
| "711641973413", | |
| "499156317423", | |
| "515856611931", | |
| "454164859837", | |
| "345271433112", | |
| "462294118988", | |
| "511785788222", | |
| "497294727353", | |
| "866519986723", | |
| "334513529294", | |
| "549946382131", | |
| "284445431422", | |
| "396521188476", | |
| "421435255895", | |
| "133373659361", | |
| "322683334381", | |
| "228358422847", | |
| "291762694874", | |
| "143182978129", | |
| "511923256573", | |
| "327158398268", | |
| "879764613759", | |
| "564395222747", | |
| "451161679736", | |
| "538631466654", | |
| "221762325616", | |
| "218391991184", | |
| "322589379462", | |
| "876537814263", | |
| "152676556624", | |
| "332522971941", | |
| "884354318946", | |
| "513349618943", | |
| "116639746413", | |
| "635185846287", | |
| "993832498489", | |
| "813981174797", | |
| "438745114173", | |
| "983493951323", | |
| "724492262421", | |
| "622553389126", | |
| "889965243135", | |
| "364492359246", | |
| "154962668224", | |
| "179564995814", | |
| "418412875665", | |
| "718951851413", | |
| "699446724178", | |
| "624266421831", | |
| "815458725125", | |
| "455423278865", | |
| "393741199486", | |
| "328552864359", | |
| "211662639865", | |
| "218784516525", | |
| "762486672996", | |
| "142799718159", | |
| "858146415154", | |
| "767858144912", | |
| "571317457151", | |
| "635127952696", | |
| "116427191984", | |
| "268921994538", | |
| "523937669294", | |
| "165429152138", | |
| "739246183345", | |
| "591464355756", | |
| "212985874612", | |
| "191887635211", | |
| "967214577653", | |
| "119342152414", | |
| "946444632795", | |
| "618423867817", | |
| "228565148417", | |
| "729116422489", | |
| "527874729936", | |
| "739784153482", | |
| "387763951128", | |
| "331369926711", | |
| "562716493614", | |
| "739667844957", | |
| "562389434565", | |
| "256497188281", | |
| "859927364588", | |
| "417668946583", | |
| "357621613582", | |
| "438435178228", | |
| "485692541169", | |
| "825815739116", | |
| "342221452223", | |
| "697747991249", | |
| "716763689965", | |
| "141499982867", | |
| "818479319499", | |
| "336813343298", | |
| "594688742928", | |
| "472129283475", | |
| "514354144759", | |
| "349249721685", | |
| "546276298359", | |
| "353755529131", | |
| "315534574435", | |
| "523723475786", | |
| "215826764872", | |
| "367968398551", | |
| "569853653352", | |
| "389715484387", | |
| "293847485454", | |
| "714738141818", | |
| "178478368922", | |
| "581493616981", | |
| "589439538674", | |
| "846657726193", | |
| "722339992679", | |
| "138154781148", | |
| "757785319772", | |
| "492516914298", | |
| "919181521716", | |
| "985781138935", | |
| "476969195485", | |
| "313145133463", | |
| "758963111966", | |
| "147541537162", | |
| "557163366873", | |
| "144373897488", | |
| "522515164754", | |
| "724964923582", | |
| "284776712475", | |
| "375429755114", | |
| "181233596124", | |
| "948585673431", | |
| "243165586174", | |
| "396847976144", | |
| "997724962668", | |
| "558837194455", | |
| "163165456396", | |
| "378749551722", | |
| "161238482259", | |
| "754978243758", | |
| "195388849133", | |
| "229775525672", | |
| "262437452884", | |
| "441377892146", | |
| "451885565366", | |
| "981277526855", | |
| "762495822823", | |
| "368763327262", | |
| "757422791351", | |
| "636324136426", | |
| "214193645583", | |
| "412843856172", | |
| "179386156569", | |
| "756916173536", | |
| "892697125149", | |
| "625334487352", | |
| "941861857715", | |
| "887417525236", | |
| "649516938598", | |
| "717628619782", | |
| "438124184139", | |
| "547563892268", | |
| "856317483891", | |
| "313313831273", | |
| "371496153876", | |
| "587541149322", | |
| "265847332563", | |
| "449549215429", | |
| "163497196769", | |
| "861342291298", | |
| "268433315926", | |
| "774679513717", | |
| "851254219729", | |
| "583527834464", | |
| "488496781997", | |
| "556814553861", | |
| "482829231639", | |
| "618878266619", | |
| "147444452794", | |
| "949235426629", | |
| "357299947518", | |
| "175528632226", | |
| "645527857972", | |
| "186872457894", | |
| "552738847828", | |
| "626748382482", | |
| "921894985642", | |
| "943878645871", | |
| "859289776479", | |
| "614583493135", | |
| "933775286797", | |
| "332234613346", | |
| "325196781219", | |
| "142526557681", | |
| "356722692178", | |
| "449318681694", | |
| "687284547244", | |
| "947262995132", | |
| "893974619684", | |
| "797238311233" | |
| ], | |
| "is_local": false, | |
| "model_max_length": 1000000000000000019884624838656, | |
| "pad_token": "<|endoftext|>", | |
| "tokenizer_class": "GPT2Tokenizer", | |
| "unk_token": "<|endoftext|>", | |
| "vocab_size": 49152 | |
| } | |