{ "_name_or_path": "google-bert/bert-base-uncased", "_num_labels": 1436, "architectures": [ "BertForSequenceClassification" ], "attention_probs_dropout_prob": 0.1, "classifier_dropout": null, "gradient_checkpointing": false, "hidden_act": "gelu", "hidden_dropout_prob": 0.1, "hidden_size": 768, "id2label": { "0": "1002", "1": "1006", "2": "1007", "3": "1009", "4": "1010", "5": "1011", "6": "1012", "7": "1013", "8": "1014", "9": "1015", "10": "1016", "11": "1019", "12": "102", "13": "1020", "14": "1021", "15": "1022", "16": "1023", "17": "1024", "18": "1025", "19": "1026", "20": "1027", "21": "1028", "22": "1029", "23": "1033", "24": "1036", "25": "1038", "26": "104", "27": "1040", "28": "1042", "29": "1043", "30": "1044", "31": "1046", "32": "1047", "33": "105", "34": "106", "35": "107", "36": "108", "37": "111", "38": "114", "39": "115", "40": "116", "41": "122", "42": "123", "43": "124", "44": "125", "45": "126", "46": "127", "47": "128", "48": "129", "49": "130", "50": "131", "51": "132", "52": "133", "53": "134", "54": "135", "55": "136", "56": "137", "57": "138", "58": "139", "59": "140", "60": "141", "61": "142", "62": "143", "63": "144", "64": "152", "65": "153", "66": "154", "67": "155", "68": "156", "69": "157", "70": "158", "71": "159", "72": "160", "73": "161", "74": "162", "75": "163", "76": "164", "77": "165", "78": "166", "79": "167", "80": "170", "81": "171", "82": "172", "83": "173", "84": "174", "85": "175", "86": "176", "87": "177", "88": "178", "89": "179", "90": "180", "91": "181", "92": "182", "93": "183", "94": "184", "95": "185", "96": "186", "97": "187", "98": "188", "99": "189", "100": "190", "101": "191", "102": "192", "103": "193", "104": "194", "105": "195", "106": "196", "107": "197", "108": "198", "109": "199", "110": "20", "111": "200", "112": "2002", "113": "2007", "114": "2008", "115": "201", "116": "2010", "117": "2011", "118": "2014", "119": "2015", "120": "2017", "121": "2018", "122": "2019", "123": "2025", "124": "2026", "125": "2027", "126": "2028", "127": "203", "128": "2031", "129": "2032", "130": "2033", "131": "2035", "132": "2036", "133": "2037", "134": "2038", "135": "2039", "136": "204", "137": "2040", "138": "2041", "139": "2042", "140": "2044", "141": "2047", "142": "2048", "143": "2049", "144": "205", "145": "2052", "146": "2053", "147": "2054", "148": "2055", "149": "2056", "150": "2057", "151": "2059", "152": "206", "153": "2060", "154": "2062", "155": "2063", "156": "2064", "157": "2065", "158": "2068", "159": "2069", "160": "207", "161": "2070", "162": "2072", "163": "2073", "164": "2074", "165": "2075", "166": "2076", "167": "2077", "168": "2078", "169": "2079", "170": "2080", "171": "2081", "172": "2082", "173": "2085", "174": "2086", "175": "2088", "176": "209", "177": "2090", "178": "2091", "179": "2092", "180": "2093", "181": "2094", "182": "2096", "183": "2097", "184": "2098", "185": "210", "186": "2100", "187": "2102", "188": "2103", "189": "2104", "190": "2105", "191": "2106", "192": "2107", "193": "2108", "194": "2109", "195": "2111", "196": "2112", "197": "2113", "198": "2114", "199": "2116", "200": "2117", "201": "2118", "202": "2119", "203": "212", "204": "2120", "205": "2121", "206": "2122", "207": "2123", "208": "2124", "209": "2125", "210": "2126", "211": "2127", "212": "2128", "213": "2129", "214": "213", "215": "2130", "216": "2131", "217": "2133", "218": "2134", "219": "2135", "220": "2136", "221": "2137", "222": "2138", "223": "2139", "224": "214", "225": "2140", "226": "2141", "227": "2142", "228": "2143", "229": "2144", "230": "2145", "231": "2146", "232": "2147", "233": "2148", "234": "2149", "235": "215", "236": "2150", "237": "2151", "238": "2152", "239": "2153", "240": "2158", "241": "2159", "242": "216", "243": "2160", "244": "2162", "245": "2164", "246": "217", "247": "2170", "248": "2171", "249": "2173", "250": "2174", "251": "2175", "252": "2176", "253": "2178", "254": "2179", "255": "218", "256": "2180", "257": "2181", "258": "2182", "259": "2183", "260": "2184", "261": "2185", "262": "219", "263": "220", "264": "2205", "265": "2206", "266": "2207", "267": "2211", "268": "2212", "269": "2216", "270": "2217", "271": "2219", "272": "2221", "273": "2222", "274": "2223", "275": "2224", "276": "2225", "277": "2226", "278": "2227", "279": "2228", "280": "2229", "281": "2230", "282": "2231", "283": "2233", "284": "2235", "285": "2237", "286": "2238", "287": "2239", "288": "2240", "289": "2241", "290": "2242", "291": "2243", "292": "2244", "293": "2246", "294": "2247", "295": "2248", "296": "2249", "297": "2250", "298": "2253", "299": "2254", "300": "2255", "301": "2256", "302": "2257", "303": "2258", "304": "2259", "305": "2261", "306": "2262", "307": "2263", "308": "2264", "309": "2266", "310": "2267", "311": "2268", "312": "2269", "313": "2270", "314": "2271", "315": "2272", "316": "2273", "317": "2274", "318": "2276", "319": "2277", "320": "2278", "321": "2279", "322": "2280", "323": "2281", "324": "2285", "325": "2286", "326": "2288", "327": "2290", "328": "2291", "329": "2292", "330": "2293", "331": "2294", "332": "2295", "333": "2296", "334": "2297", "335": "2299", "336": "23", "337": "230", "338": "2303", "339": "2304", "340": "2305", "341": "2306", "342": "2308", "343": "2309", "344": "231", "345": "2310", "346": "2312", "347": "2313", "348": "2314", "349": "2315", "350": "2316", "351": "2320", "352": "2328", "353": "2329", "354": "233", "355": "2330", "356": "2331", "357": "2332", "358": "2333", "359": "2334", "360": "2335", "361": "2336", "362": "2337", "363": "2338", "364": "2339", "365": "234", "366": "2341", "367": "2342", "368": "2343", "369": "2344", "370": "2346", "371": "2348", "372": "235", "373": "2351", "374": "2352", "375": "2353", "376": "2354", "377": "2356", "378": "236", "379": "2360", "380": "2361", "381": "2362", "382": "2363", "383": "2364", "384": "2366", "385": "2367", "386": "237", "387": "2370", "388": "2371", "389": "2373", "390": "2374", "391": "2375", "392": "2376", "393": "2377", "394": "2378", "395": "2379", "396": "238", "397": "2380", "398": "2381", "399": "2382", "400": "2383", "401": "2384", "402": "2385", "403": "2386", "404": "2387", "405": "2388", "406": "2389", "407": "239", "408": "2390", "409": "2391", "410": "2392", "411": "2393", "412": "2394", "413": "2395", "414": "2396", "415": "2397", "416": "2398", "417": "2399", "418": "24", "419": "240", "420": "2400", "421": "2401", "422": "2402", "423": "2403", "424": "2404", "425": "2405", "426": "2406", "427": "2407", "428": "2408", "429": "2409", "430": "241", "431": "2410", "432": "2411", "433": "2412", "434": "2413", "435": "2414", "436": "2415", "437": "2416", "438": "2417", "439": "2418", "440": "2419", "441": "242", "442": "2421", "443": "2422", "444": "2423", "445": "2424", "446": "2425", "447": "2426", "448": "2427", "449": "2428", "450": "2429", "451": "243", "452": "2430", "453": "2431", "454": "2433", "455": "2434", "456": "2435", "457": "2437", "458": "2438", "459": "2439", "460": "244", "461": "2440", "462": "2441", "463": "2442", "464": "2443", "465": "2444", "466": "2447", "467": "2448", "468": "2449", "469": "245", "470": "2450", "471": "2451", "472": "2452", "473": "2453", "474": "2454", "475": "2455", "476": "2456", "477": "2457", "478": "2459", "479": "246", "480": "2460", "481": "2462", "482": "2463", "483": "2464", "484": "2465", "485": "2466", "486": "2468", "487": "2469", "488": "247", "489": "2470", "490": "2471", "491": "2472", "492": "2473", "493": "2474", "494": "2475", "495": "2477", "496": "2478", "497": "248", "498": "2480", "499": "2481", "500": "2482", "501": "2483", "502": "2484", "503": "2485", "504": "2486", "505": "2487", "506": "2488", "507": "2489", "508": "2490", "509": "2491", "510": "2492", "511": "2493", "512": "2494", "513": "2495", "514": "2497", "515": "2498", "516": "2499", "517": "2500", "518": "2501", "519": "2502", "520": "2503", "521": "2504", "522": "2505", "523": "2507", "524": "2508", "525": "2509", "526": "2510", "527": "2513", "528": "2514", "529": "2516", "530": "2517", "531": "2518", "532": "2519", "533": "2520", "534": "2521", "535": "2522", "536": "2523", "537": "2524", "538": "2525", "539": "2526", "540": "2529", "541": "2530", "542": "2531", "543": "2532", "544": "2533", "545": "2534", "546": "2535", "547": "2536", "548": "2538", "549": "2541", "550": "2542", "551": "2543", "552": "2544", "553": "2545", "554": "2547", "555": "2548", "556": "255", "557": "2558", "558": "2561", "559": "2566", "560": "2567", "561": "2568", "562": "2578", "563": "2583", "564": "2595", "565": "2596", "566": "2597", "567": "2598", "568": "2599", "569": "2600", "570": "2601", "571": "2602", "572": "2603", "573": "2604", "574": "2605", "575": "2606", "576": "2607", "577": "2608", "578": "2609", "579": "2610", "580": "2611", "581": "2612", "582": "2613", "583": "2614", "584": "2615", "585": "2616", "586": "2617", "587": "2619", "588": "263", "589": "268", "590": "269", "591": "2691", "592": "2692", "593": "2693", "594": "2694", "595": "2696", "596": "2697", "597": "2698", "598": "2699", "599": "27", "600": "270", "601": "2700", "602": "2701", "603": "2702", "604": "2703", "605": "2704", "606": "2705", "607": "2706", "608": "2707", "609": "2708", "610": "2709", "611": "271", "612": "2710", "613": "2711", "614": "2712", "615": "2715", "616": "2716", "617": "2718", "618": "2719", "619": "272", "620": "2721", "621": "2722", "622": "2723", "623": "2724", "624": "2725", "625": "2726", "626": "2727", "627": "2728", "628": "2729", "629": "273", "630": "2730", "631": "2731", "632": "2732", "633": "2733", "634": "2734", "635": "2735", "636": "2736", "637": "2737", "638": "2738", "639": "2739", "640": "274", "641": "2740", "642": "2741", "643": "2742", "644": "2743", "645": "2744", "646": "2745", "647": "2746", "648": "2747", "649": "2748", "650": "2749", "651": "275", "652": "2750", "653": "2751", "654": "2753", "655": "2754", "656": "2755", "657": "2756", "658": "2759", "659": "276", "660": "2761", "661": "2762", "662": "2763", "663": "2764", "664": "2766", "665": "2767", "666": "277", "667": "2770", "668": "2771", "669": "2772", "670": "2773", "671": "2774", "672": "2776", "673": "2777", "674": "2778", "675": "2779", "676": "278", "677": "2780", "678": "2783", "679": "2784", "680": "2785", "681": "2786", "682": "2787", "683": "2788", "684": "2789", "685": "2790", "686": "2791", "687": "2792", "688": "2794", "689": "2795", "690": "2796", "691": "2798", "692": "2799", "693": "280", "694": "2800", "695": "2801", "696": "2803", "697": "2805", "698": "2806", "699": "2807", "700": "2808", "701": "2809", "702": "281", "703": "2810", "704": "2811", "705": "282", "706": "2822", "707": "2823", "708": "2824", "709": "2825", "710": "2826", "711": "2827", "712": "2828", "713": "2829", "714": "283", "715": "2830", "716": "2831", "717": "2832", "718": "2833", "719": "2834", "720": "2835", "721": "2836", "722": "2838", "723": "284", "724": "2840", "725": "2842", "726": "2843", "727": "2844", "728": "2845", "729": "2846", "730": "2847", "731": "2848", "732": "2849", "733": "285", "734": "2850", "735": "2851", "736": "2852", "737": "2853", "738": "2854", "739": "2855", "740": "2856", "741": "2857", "742": "286", "743": "2863", "744": "2864", "745": "2865", "746": "2866", "747": "2867", "748": "2868", "749": "2869", "750": "287", "751": "2870", "752": "2871", "753": "2872", "754": "2873", "755": "2874", "756": "2875", "757": "2876", "758": "2877", "759": "2878", "760": "2879", "761": "288", "762": "2880", "763": "2881", "764": "2882", "765": "2883", "766": "2884", "767": "2885", "768": "2886", "769": "289", "770": "2892", "771": "2893", "772": "2895", "773": "2897", "774": "2898", "775": "2899", "776": "29", "777": "290", "778": "2902", "779": "2903", "780": "2904", "781": "2906", "782": "2907", "783": "2908", "784": "2909", "785": "291", "786": "2910", "787": "2911", "788": "2912", "789": "2913", "790": "2915", "791": "2917", "792": "2918", "793": "292", "794": "2920", "795": "2921", "796": "2922", "797": "293", "798": "294", "799": "295", "800": "296", "801": "297", "802": "298", "803": "299", "804": "3000", "805": "3001", "806": "3002", "807": "3003", "808": "3004", "809": "3005", "810": "3006", "811": "3007", "812": "3008", "813": "3009", "814": "301", "815": "3010", "816": "3011", "817": "3012", "818": "3013", "819": "3014", "820": "3015", "821": "3016", "822": "3017", "823": "3018", "824": "3019", "825": "302", "826": "3020", "827": "3021", "828": "3022", "829": "3023", "830": "3026", "831": "3027", "832": "3028", "833": "3029", "834": "303", "835": "3031", "836": "3032", "837": "3033", "838": "3034", "839": "3035", "840": "3037", "841": "3038", "842": "3039", "843": "304", "844": "3040", "845": "3041", "846": "3042", "847": "3044", "848": "3045", "849": "3046", "850": "3047", "851": "3048", "852": "3049", "853": "305", "854": "3050", "855": "3051", "856": "3052", "857": "3053", "858": "3054", "859": "3055", "860": "3056", "861": "3057", "862": "3058", "863": "3059", "864": "306", "865": "3060", "866": "3061", "867": "3062", "868": "3065", "869": "3066", "870": "3067", "871": "3068", "872": "3069", "873": "307", "874": "3070", "875": "3071", "876": "3072", "877": "3073", "878": "3074", "879": "3075", "880": "3076", "881": "3077", "882": "3078", "883": "3079", "884": "308", "885": "3080", "886": "3081", "887": "3082", "888": "3083", "889": "3084", "890": "3085", "891": "3086", "892": "3087", "893": "3088", "894": "3089", "895": "309", "896": "3090", "897": "3091", "898": "3092", "899": "3093", "900": "310", "901": "3101", "902": "3102", "903": "3103", "904": "3104", "905": "3105", "906": "3106", "907": "3107", "908": "3108", "909": "3109", "910": "311", "911": "3111", "912": "3112", "913": "3118", "914": "3119", "915": "312", "916": "3120", "917": "3121", "918": "3122", "919": "3123", "920": "3124", "921": "3125", "922": "3126", "923": "3127", "924": "3128", "925": "3129", "926": "313", "927": "314", "928": "315", "929": "317", "930": "318", "931": "319", "932": "34", "933": "35", "934": "360", "935": "361", "936": "362", "937": "363", "938": "364", "939": "365", "940": "366", "941": "367", "942": "368", "943": "369", "944": "370", "945": "371", "946": "372", "947": "373", "948": "374", "949": "375", "950": "376", "951": "378", "952": "379", "953": "38", "954": "381", "955": "383", "956": "384", "957": "385", "958": "386", "959": "387", "960": "388", "961": "389", "962": "390", "963": "392", "964": "393", "965": "394", "966": "395", "967": "396", "968": "398", "969": "399", "970": "400", "971": "4005", "972": "4006", "973": "4007", "974": "4008", "975": "4009", "976": "401", "977": "4010", "978": "4011", "979": "4012", "980": "4013", "981": "4014", "982": "4015", "983": "4016", "984": "4017", "985": "4018", "986": "4019", "987": "402", "988": "4021", "989": "4023", "990": "4027", "991": "4028", "992": "403", "993": "4030", "994": "4032", "995": "4035", "996": "4036", "997": "4038", "998": "4039", "999": "404", "1000": "4041", "1001": "4042", "1002": "4043", "1003": "4044", "1004": "4045", "1005": "4046", "1006": "4047", "1007": "4049", "1008": "405", "1009": "4052", "1010": "4054", "1011": "4055", "1012": "4056", "1013": "4057", "1014": "4059", "1015": "4061", "1016": "4062", "1017": "4063", "1018": "4064", "1019": "4065", "1020": "4066", "1021": "4067", "1022": "4068", "1023": "4070", "1024": "4071", "1025": "4072", "1026": "4073", "1027": "4074", "1028": "4075", "1029": "4076", "1030": "4077", "1031": "4078", "1032": "4079", "1033": "408", "1034": "4080", "1035": "4081", "1036": "4082", "1037": "409", "1038": "410", "1039": "412", "1040": "413", "1041": "416", "1042": "417", "1043": "418", "1044": "419", "1045": "420", "1046": "423", "1047": "424", "1048": "425", "1049": "426", "1050": "427", "1051": "428", "1052": "429", "1053": "430", "1054": "431", "1055": "432", "1056": "450", "1057": "452", "1058": "455", "1059": "456", "1060": "460", "1061": "461", "1062": "462", "1063": "463", "1064": "464", "1065": "465", "1066": "466", "1067": "467", "1068": "468", "1069": "469", "1070": "47", "1071": "470", "1072": "471", "1073": "472", "1074": "473", "1075": "474", "1076": "475", "1077": "476", "1078": "478", "1079": "479", "1080": "480", "1081": "481", "1082": "482", "1083": "483", "1084": "484", "1085": "485", "1086": "486", "1087": "487", "1088": "489", "1089": "490", "1090": "491", "1091": "492", "1092": "493", "1093": "494", "1094": "495", "1095": "496", "1096": "497", "1097": "498", "1098": "499", "1099": "536", "1100": "538", "1101": "539", "1102": "540", "1103": "541", "1104": "542", "1105": "543", "1106": "544", "1107": "545", "1108": "546", "1109": "547", "1110": "548", "1111": "549", "1112": "550", "1113": "551", "1114": "552", "1115": "553", "1116": "554", "1117": "555", "1118": "556", "1119": "557", "1120": "558", "1121": "559", "1122": "560", "1123": "561", "1124": "562", "1125": "563", "1126": "564", "1127": "565", "1128": "566", "1129": "567", "1130": "568", "1131": "569", "1132": "570", "1133": "572", "1134": "573", "1135": "575", "1136": "576", "1137": "578", "1138": "580", "1139": "581", "1140": "582", "1141": "583", "1142": "584", "1143": "585", "1144": "586", "1145": "587", "1146": "588", "1147": "589", "1148": "590", "1149": "591", "1150": "592", "1151": "593", "1152": "594", "1153": "595", "1154": "596", "1155": "597", "1156": "599", "1157": "600", "1158": "602", "1159": "603", "1160": "604", "1161": "605", "1162": "606", "1163": "607", "1164": "610", "1165": "611", "1166": "612", "1167": "6130", "1168": "614", "1169": "6140", "1170": "6220", "1171": "6230", "1172": "6240", "1173": "625", "1174": "630", "1175": "631", "1176": "6320", "1177": "633", "1178": "6330", "1179": "635", "1180": "636", "1181": "637", "1182": "638", "1183": "639", "1184": "640", "1185": "641", "1186": "6411", "1187": "6412", "1188": "6413", "1189": "6414", "1190": "6415", "1191": "642", "1192": "6420", "1193": "643", "1194": "6433", "1195": "6434", "1196": "644", "1197": "645", "1198": "6450", "1199": "646", "1200": "647", "1201": "6473", "1202": "6474", "1203": "648", "1204": "649", "1205": "65", "1206": "650", "1207": "651", "1208": "652", "1209": "653", "1210": "654", "1211": "655", "1212": "666", "1213": "667", "1214": "668", "1215": "669", "1216": "670", "1217": "671", "1218": "677", "1219": "678", "1220": "68", "1221": "702", "1222": "711", "1223": "712", "1224": "713", "1225": "714", "1226": "715", "1227": "716", "1228": "718", "1229": "719", "1230": "72", "1231": "721", "1232": "723", "1233": "724", "1234": "726", "1235": "727", "1236": "728", "1237": "73", "1238": "732", "1239": "733", "1240": "735", "1241": "737", "1242": "74", "1243": "740", "1244": "741", "1245": "742", "1246": "743", "1247": "744", "1248": "745", "1249": "746", "1250": "747", "1251": "748", "1252": "749", "1253": "75", "1254": "750", "1255": "751", "1256": "752", "1257": "753", "1258": "754", "1259": "755", "1260": "756", "1261": "757", "1262": "758", "1263": "759", "1264": "760", "1265": "761", "1266": "762", "1267": "763", "1268": "764", "1269": "776", "1270": "780", "1271": "782", "1272": "783", "1273": "784", "1274": "785", "1275": "786", "1276": "787", "1277": "788", "1278": "789", "1279": "790", "1280": "791", "1281": "792", "1282": "793", "1283": "795", "1284": "797", "1285": "798", "1286": "799", "1287": "800", "1288": "801", "1289": "803", "1290": "804", "1291": "807", "1292": "808", "1293": "809", "1294": "810", "1295": "811", "1296": "812", "1297": "813", "1298": "814", "1299": "815", "1300": "817", "1301": "818", "1302": "819", "1303": "82", "1304": "820", "1305": "821", "1306": "822", "1307": "823", "1308": "824", "1309": "826", "1310": "827", "1311": "828", "1312": "829", "1313": "83", "1314": "830", "1315": "831", "1316": "832", "1317": "833", "1318": "834", "1319": "835", "1320": "836", "1321": "837", "1322": "838", "1323": "839", "1324": "840", "1325": "853", "1326": "854", "1327": "855", "1328": "856", "1329": "857", "1330": "858", "1331": "859", "1332": "86", "1333": "860", "1334": "861", "1335": "862", "1336": "863", "1337": "864", "1338": "865", "1339": "866", "1340": "867", "1341": "868", "1342": "869", "1343": "870", "1344": "871", "1345": "872", "1346": "873", "1347": "874", "1348": "875", "1349": "876", "1350": "877", "1351": "878", "1352": "879", "1353": "880", "1354": "881", "1355": "882", "1356": "883", "1357": "884", "1358": "885", "1359": "886", "1360": "887", "1361": "888", "1362": "889", "1363": "890", "1364": "891", "1365": "906", "1366": "907", "1367": "908", "1368": "909", "1369": "91", "1370": "910", "1371": "911", "1372": "912", "1373": "913", "1374": "914", "1375": "915", "1376": "916", "1377": "917", "1378": "918", "1379": "919", "1380": "92", "1381": "921", "1382": "922", "1383": "924", "1384": "926", "1385": "929", "1386": "930", "1387": "931", "1388": "932", "1389": "933", "1390": "934", "1391": "935", "1392": "936", "1393": "937", "1394": "938", "1395": "939", "1396": "94", "1397": "940", "1398": "941", "1399": "942", "1400": "944", "1401": "945", "1402": "947", "1403": "948", "1404": "951", "1405": "953", "1406": "954", "1407": "955", "1408": "956", "1409": "957", "1410": "958", "1411": "959", "1412": "960", "1413": "961", "1414": "962", "1415": "963", "1416": "966", "1417": "968", "1418": "969", "1419": "970", "1420": "973", "1421": "974", "1422": "975", "1423": "976", "1424": "978", "1425": "979", "1426": "980", "1427": "986", "1428": "988", "1429": "99", "1430": "993", "1431": "994", "1432": "995", "1433": "996", "1434": "997", "1435": "998" }, "initializer_range": 0.02, "intermediate_size": 3072, "label2id": { "1002": 0, "1006": 1, "1007": 2, "1009": 3, "1010": 4, "1011": 5, "1012": 6, "1013": 7, "1014": 8, "1015": 9, "1016": 10, "1019": 11, "102": 12, "1020": 13, "1021": 14, "1022": 15, "1023": 16, "1024": 17, "1025": 18, "1026": 19, "1027": 20, "1028": 21, "1029": 22, "1033": 23, "1036": 24, "1038": 25, "104": 26, "1040": 27, "1042": 28, "1043": 29, "1044": 30, "1046": 31, "1047": 32, "105": 33, "106": 34, "107": 35, "108": 36, "111": 37, "114": 38, "115": 39, "116": 40, "122": 41, "123": 42, "124": 43, "125": 44, "126": 45, "127": 46, "128": 47, "129": 48, "130": 49, "131": 50, "132": 51, "133": 52, "134": 53, "135": 54, "136": 55, "137": 56, "138": 57, "139": 58, "140": 59, "141": 60, "142": 61, "143": 62, "144": 63, "152": 64, "153": 65, "154": 66, "155": 67, "156": 68, "157": 69, "158": 70, "159": 71, "160": 72, "161": 73, "162": 74, "163": 75, "164": 76, "165": 77, "166": 78, "167": 79, "170": 80, "171": 81, "172": 82, "173": 83, "174": 84, "175": 85, "176": 86, "177": 87, "178": 88, "179": 89, "180": 90, "181": 91, "182": 92, "183": 93, "184": 94, "185": 95, "186": 96, "187": 97, "188": 98, "189": 99, "190": 100, "191": 101, "192": 102, "193": 103, "194": 104, "195": 105, "196": 106, "197": 107, "198": 108, "199": 109, "20": 110, "200": 111, "2002": 112, "2007": 113, "2008": 114, "201": 115, "2010": 116, "2011": 117, "2014": 118, "2015": 119, "2017": 120, "2018": 121, "2019": 122, "2025": 123, "2026": 124, "2027": 125, "2028": 126, "203": 127, "2031": 128, "2032": 129, "2033": 130, "2035": 131, "2036": 132, "2037": 133, "2038": 134, "2039": 135, "204": 136, "2040": 137, "2041": 138, "2042": 139, "2044": 140, "2047": 141, "2048": 142, "2049": 143, "205": 144, "2052": 145, "2053": 146, "2054": 147, "2055": 148, "2056": 149, "2057": 150, "2059": 151, "206": 152, "2060": 153, "2062": 154, "2063": 155, "2064": 156, "2065": 157, "2068": 158, "2069": 159, "207": 160, "2070": 161, "2072": 162, "2073": 163, "2074": 164, "2075": 165, "2076": 166, "2077": 167, "2078": 168, "2079": 169, "2080": 170, "2081": 171, "2082": 172, "2085": 173, "2086": 174, "2088": 175, "209": 176, "2090": 177, "2091": 178, "2092": 179, "2093": 180, "2094": 181, "2096": 182, "2097": 183, "2098": 184, "210": 185, "2100": 186, "2102": 187, "2103": 188, "2104": 189, "2105": 190, "2106": 191, "2107": 192, "2108": 193, "2109": 194, "2111": 195, "2112": 196, "2113": 197, "2114": 198, "2116": 199, "2117": 200, "2118": 201, "2119": 202, "212": 203, "2120": 204, "2121": 205, "2122": 206, "2123": 207, "2124": 208, "2125": 209, "2126": 210, "2127": 211, "2128": 212, "2129": 213, "213": 214, "2130": 215, "2131": 216, "2133": 217, "2134": 218, "2135": 219, "2136": 220, "2137": 221, "2138": 222, "2139": 223, "214": 224, "2140": 225, "2141": 226, "2142": 227, "2143": 228, "2144": 229, "2145": 230, "2146": 231, "2147": 232, "2148": 233, "2149": 234, "215": 235, "2150": 236, "2151": 237, "2152": 238, "2153": 239, "2158": 240, "2159": 241, "216": 242, "2160": 243, "2162": 244, "2164": 245, "217": 246, "2170": 247, "2171": 248, "2173": 249, "2174": 250, "2175": 251, "2176": 252, "2178": 253, "2179": 254, "218": 255, "2180": 256, "2181": 257, "2182": 258, "2183": 259, "2184": 260, "2185": 261, "219": 262, "220": 263, "2205": 264, "2206": 265, "2207": 266, "2211": 267, "2212": 268, "2216": 269, "2217": 270, "2219": 271, "2221": 272, "2222": 273, "2223": 274, "2224": 275, "2225": 276, "2226": 277, "2227": 278, "2228": 279, "2229": 280, "2230": 281, "2231": 282, "2233": 283, "2235": 284, "2237": 285, "2238": 286, "2239": 287, "2240": 288, "2241": 289, "2242": 290, "2243": 291, "2244": 292, "2246": 293, "2247": 294, "2248": 295, "2249": 296, "2250": 297, "2253": 298, "2254": 299, "2255": 300, "2256": 301, "2257": 302, "2258": 303, "2259": 304, "2261": 305, "2262": 306, "2263": 307, "2264": 308, "2266": 309, "2267": 310, "2268": 311, "2269": 312, "2270": 313, "2271": 314, "2272": 315, "2273": 316, "2274": 317, "2276": 318, "2277": 319, "2278": 320, "2279": 321, "2280": 322, "2281": 323, "2285": 324, "2286": 325, "2288": 326, "2290": 327, "2291": 328, "2292": 329, "2293": 330, "2294": 331, "2295": 332, "2296": 333, "2297": 334, "2299": 335, "23": 336, "230": 337, "2303": 338, "2304": 339, "2305": 340, "2306": 341, "2308": 342, "2309": 343, "231": 344, "2310": 345, "2312": 346, "2313": 347, "2314": 348, "2315": 349, "2316": 350, "2320": 351, "2328": 352, "2329": 353, "233": 354, "2330": 355, "2331": 356, "2332": 357, "2333": 358, "2334": 359, "2335": 360, "2336": 361, "2337": 362, "2338": 363, "2339": 364, "234": 365, "2341": 366, "2342": 367, "2343": 368, "2344": 369, "2346": 370, "2348": 371, "235": 372, "2351": 373, "2352": 374, "2353": 375, "2354": 376, "2356": 377, "236": 378, "2360": 379, "2361": 380, "2362": 381, "2363": 382, "2364": 383, "2366": 384, "2367": 385, "237": 386, "2370": 387, "2371": 388, "2373": 389, "2374": 390, "2375": 391, "2376": 392, "2377": 393, "2378": 394, "2379": 395, "238": 396, "2380": 397, "2381": 398, "2382": 399, "2383": 400, "2384": 401, "2385": 402, "2386": 403, "2387": 404, "2388": 405, "2389": 406, "239": 407, "2390": 408, "2391": 409, "2392": 410, "2393": 411, "2394": 412, "2395": 413, "2396": 414, "2397": 415, "2398": 416, "2399": 417, "24": 418, "240": 419, "2400": 420, "2401": 421, "2402": 422, "2403": 423, "2404": 424, "2405": 425, "2406": 426, "2407": 427, "2408": 428, "2409": 429, "241": 430, "2410": 431, "2411": 432, "2412": 433, "2413": 434, "2414": 435, "2415": 436, "2416": 437, "2417": 438, "2418": 439, "2419": 440, "242": 441, "2421": 442, "2422": 443, "2423": 444, "2424": 445, "2425": 446, "2426": 447, "2427": 448, "2428": 449, "2429": 450, "243": 451, "2430": 452, "2431": 453, "2433": 454, "2434": 455, "2435": 456, "2437": 457, "2438": 458, "2439": 459, "244": 460, "2440": 461, "2441": 462, "2442": 463, "2443": 464, "2444": 465, "2447": 466, "2448": 467, "2449": 468, "245": 469, "2450": 470, "2451": 471, "2452": 472, "2453": 473, "2454": 474, "2455": 475, "2456": 476, "2457": 477, "2459": 478, "246": 479, "2460": 480, "2462": 481, "2463": 482, "2464": 483, "2465": 484, "2466": 485, "2468": 486, "2469": 487, "247": 488, "2470": 489, "2471": 490, "2472": 491, "2473": 492, "2474": 493, "2475": 494, "2477": 495, "2478": 496, "248": 497, "2480": 498, "2481": 499, "2482": 500, "2483": 501, "2484": 502, "2485": 503, "2486": 504, "2487": 505, "2488": 506, "2489": 507, "2490": 508, "2491": 509, "2492": 510, "2493": 511, "2494": 512, "2495": 513, "2497": 514, "2498": 515, "2499": 516, "2500": 517, "2501": 518, "2502": 519, "2503": 520, "2504": 521, "2505": 522, "2507": 523, "2508": 524, "2509": 525, "2510": 526, "2513": 527, "2514": 528, "2516": 529, "2517": 530, "2518": 531, "2519": 532, "2520": 533, "2521": 534, "2522": 535, "2523": 536, "2524": 537, "2525": 538, "2526": 539, "2529": 540, "2530": 541, "2531": 542, "2532": 543, "2533": 544, "2534": 545, "2535": 546, "2536": 547, "2538": 548, "2541": 549, "2542": 550, "2543": 551, "2544": 552, "2545": 553, "2547": 554, "2548": 555, "255": 556, "2558": 557, "2561": 558, "2566": 559, "2567": 560, "2568": 561, "2578": 562, "2583": 563, "2595": 564, "2596": 565, "2597": 566, "2598": 567, "2599": 568, "2600": 569, "2601": 570, "2602": 571, "2603": 572, "2604": 573, "2605": 574, "2606": 575, "2607": 576, "2608": 577, "2609": 578, "2610": 579, "2611": 580, "2612": 581, "2613": 582, "2614": 583, "2615": 584, "2616": 585, "2617": 586, "2619": 587, "263": 588, "268": 589, "269": 590, "2691": 591, "2692": 592, "2693": 593, "2694": 594, "2696": 595, "2697": 596, "2698": 597, "2699": 598, "27": 599, "270": 600, "2700": 601, "2701": 602, "2702": 603, "2703": 604, "2704": 605, "2705": 606, "2706": 607, "2707": 608, "2708": 609, "2709": 610, "271": 611, "2710": 612, "2711": 613, "2712": 614, "2715": 615, "2716": 616, "2718": 617, "2719": 618, "272": 619, "2721": 620, "2722": 621, "2723": 622, "2724": 623, "2725": 624, "2726": 625, "2727": 626, "2728": 627, "2729": 628, "273": 629, "2730": 630, "2731": 631, "2732": 632, "2733": 633, "2734": 634, "2735": 635, "2736": 636, "2737": 637, "2738": 638, "2739": 639, "274": 640, "2740": 641, "2741": 642, "2742": 643, "2743": 644, "2744": 645, "2745": 646, "2746": 647, "2747": 648, "2748": 649, "2749": 650, "275": 651, "2750": 652, "2751": 653, "2753": 654, "2754": 655, "2755": 656, "2756": 657, "2759": 658, "276": 659, "2761": 660, "2762": 661, "2763": 662, "2764": 663, "2766": 664, "2767": 665, "277": 666, "2770": 667, "2771": 668, "2772": 669, "2773": 670, "2774": 671, "2776": 672, "2777": 673, "2778": 674, "2779": 675, "278": 676, "2780": 677, "2783": 678, "2784": 679, "2785": 680, "2786": 681, "2787": 682, "2788": 683, "2789": 684, "2790": 685, "2791": 686, "2792": 687, "2794": 688, "2795": 689, "2796": 690, "2798": 691, "2799": 692, "280": 693, "2800": 694, "2801": 695, "2803": 696, "2805": 697, "2806": 698, "2807": 699, "2808": 700, "2809": 701, "281": 702, "2810": 703, "2811": 704, "282": 705, "2822": 706, "2823": 707, "2824": 708, "2825": 709, "2826": 710, "2827": 711, "2828": 712, "2829": 713, "283": 714, "2830": 715, "2831": 716, "2832": 717, "2833": 718, "2834": 719, "2835": 720, "2836": 721, "2838": 722, "284": 723, "2840": 724, "2842": 725, "2843": 726, "2844": 727, "2845": 728, "2846": 729, "2847": 730, "2848": 731, "2849": 732, "285": 733, "2850": 734, "2851": 735, "2852": 736, "2853": 737, "2854": 738, "2855": 739, "2856": 740, "2857": 741, "286": 742, "2863": 743, "2864": 744, "2865": 745, "2866": 746, "2867": 747, "2868": 748, "2869": 749, "287": 750, "2870": 751, "2871": 752, "2872": 753, "2873": 754, "2874": 755, "2875": 756, "2876": 757, "2877": 758, "2878": 759, "2879": 760, "288": 761, "2880": 762, "2881": 763, "2882": 764, "2883": 765, "2884": 766, "2885": 767, "2886": 768, "289": 769, "2892": 770, "2893": 771, "2895": 772, "2897": 773, "2898": 774, "2899": 775, "29": 776, "290": 777, "2902": 778, "2903": 779, "2904": 780, "2906": 781, "2907": 782, "2908": 783, "2909": 784, "291": 785, "2910": 786, "2911": 787, "2912": 788, "2913": 789, "2915": 790, "2917": 791, "2918": 792, "292": 793, "2920": 794, "2921": 795, "2922": 796, "293": 797, "294": 798, "295": 799, "296": 800, "297": 801, "298": 802, "299": 803, "3000": 804, "3001": 805, "3002": 806, "3003": 807, "3004": 808, "3005": 809, "3006": 810, "3007": 811, "3008": 812, "3009": 813, "301": 814, "3010": 815, "3011": 816, "3012": 817, "3013": 818, "3014": 819, "3015": 820, "3016": 821, "3017": 822, "3018": 823, "3019": 824, "302": 825, "3020": 826, "3021": 827, "3022": 828, "3023": 829, "3026": 830, "3027": 831, "3028": 832, "3029": 833, "303": 834, "3031": 835, "3032": 836, "3033": 837, "3034": 838, "3035": 839, "3037": 840, "3038": 841, "3039": 842, "304": 843, "3040": 844, "3041": 845, "3042": 846, "3044": 847, "3045": 848, "3046": 849, "3047": 850, "3048": 851, "3049": 852, "305": 853, "3050": 854, "3051": 855, "3052": 856, "3053": 857, "3054": 858, "3055": 859, "3056": 860, "3057": 861, "3058": 862, "3059": 863, "306": 864, "3060": 865, "3061": 866, "3062": 867, "3065": 868, "3066": 869, "3067": 870, "3068": 871, "3069": 872, "307": 873, "3070": 874, "3071": 875, "3072": 876, "3073": 877, "3074": 878, "3075": 879, "3076": 880, "3077": 881, "3078": 882, "3079": 883, "308": 884, "3080": 885, "3081": 886, "3082": 887, "3083": 888, "3084": 889, "3085": 890, "3086": 891, "3087": 892, "3088": 893, "3089": 894, "309": 895, "3090": 896, "3091": 897, "3092": 898, "3093": 899, "310": 900, "3101": 901, "3102": 902, "3103": 903, "3104": 904, "3105": 905, "3106": 906, "3107": 907, "3108": 908, "3109": 909, "311": 910, "3111": 911, "3112": 912, "3118": 913, "3119": 914, "312": 915, "3120": 916, "3121": 917, "3122": 918, "3123": 919, "3124": 920, "3125": 921, "3126": 922, "3127": 923, "3128": 924, "3129": 925, "313": 926, "314": 927, "315": 928, "317": 929, "318": 930, "319": 931, "34": 932, "35": 933, "360": 934, "361": 935, "362": 936, "363": 937, "364": 938, "365": 939, "366": 940, "367": 941, "368": 942, "369": 943, "370": 944, "371": 945, "372": 946, "373": 947, "374": 948, "375": 949, "376": 950, "378": 951, "379": 952, "38": 953, "381": 954, "383": 955, "384": 956, "385": 957, "386": 958, "387": 959, "388": 960, "389": 961, "390": 962, "392": 963, "393": 964, "394": 965, "395": 966, "396": 967, "398": 968, "399": 969, "400": 970, "4005": 971, "4006": 972, "4007": 973, "4008": 974, "4009": 975, "401": 976, "4010": 977, "4011": 978, "4012": 979, "4013": 980, "4014": 981, "4015": 982, "4016": 983, "4017": 984, "4018": 985, "4019": 986, "402": 987, "4021": 988, "4023": 989, "4027": 990, "4028": 991, "403": 992, "4030": 993, "4032": 994, "4035": 995, "4036": 996, "4038": 997, "4039": 998, "404": 999, "4041": 1000, "4042": 1001, "4043": 1002, "4044": 1003, "4045": 1004, "4046": 1005, "4047": 1006, "4049": 1007, "405": 1008, "4052": 1009, "4054": 1010, "4055": 1011, "4056": 1012, "4057": 1013, "4059": 1014, "4061": 1015, "4062": 1016, "4063": 1017, "4064": 1018, "4065": 1019, "4066": 1020, "4067": 1021, "4068": 1022, "4070": 1023, "4071": 1024, "4072": 1025, "4073": 1026, "4074": 1027, "4075": 1028, "4076": 1029, "4077": 1030, "4078": 1031, "4079": 1032, "408": 1033, "4080": 1034, "4081": 1035, "4082": 1036, "409": 1037, "410": 1038, "412": 1039, "413": 1040, "416": 1041, "417": 1042, "418": 1043, "419": 1044, "420": 1045, "423": 1046, "424": 1047, "425": 1048, "426": 1049, "427": 1050, "428": 1051, "429": 1052, "430": 1053, "431": 1054, "432": 1055, "450": 1056, "452": 1057, "455": 1058, "456": 1059, "460": 1060, "461": 1061, "462": 1062, "463": 1063, "464": 1064, "465": 1065, "466": 1066, "467": 1067, "468": 1068, "469": 1069, "47": 1070, "470": 1071, "471": 1072, "472": 1073, "473": 1074, "474": 1075, "475": 1076, "476": 1077, "478": 1078, "479": 1079, "480": 1080, "481": 1081, "482": 1082, "483": 1083, "484": 1084, "485": 1085, "486": 1086, "487": 1087, "489": 1088, "490": 1089, "491": 1090, "492": 1091, "493": 1092, "494": 1093, "495": 1094, "496": 1095, "497": 1096, "498": 1097, "499": 1098, "536": 1099, "538": 1100, "539": 1101, "540": 1102, "541": 1103, "542": 1104, "543": 1105, "544": 1106, "545": 1107, "546": 1108, "547": 1109, "548": 1110, "549": 1111, "550": 1112, "551": 1113, "552": 1114, "553": 1115, "554": 1116, "555": 1117, "556": 1118, "557": 1119, "558": 1120, "559": 1121, "560": 1122, "561": 1123, "562": 1124, "563": 1125, "564": 1126, "565": 1127, "566": 1128, "567": 1129, "568": 1130, "569": 1131, "570": 1132, "572": 1133, "573": 1134, "575": 1135, "576": 1136, "578": 1137, "580": 1138, "581": 1139, "582": 1140, "583": 1141, "584": 1142, "585": 1143, "586": 1144, "587": 1145, "588": 1146, "589": 1147, "590": 1148, "591": 1149, "592": 1150, "593": 1151, "594": 1152, "595": 1153, "596": 1154, "597": 1155, "599": 1156, "600": 1157, "602": 1158, "603": 1159, "604": 1160, "605": 1161, "606": 1162, "607": 1163, "610": 1164, "611": 1165, "612": 1166, "6130": 1167, "614": 1168, "6140": 1169, "6220": 1170, "6230": 1171, "6240": 1172, "625": 1173, "630": 1174, "631": 1175, "6320": 1176, "633": 1177, "6330": 1178, "635": 1179, "636": 1180, "637": 1181, "638": 1182, "639": 1183, "640": 1184, "641": 1185, "6411": 1186, "6412": 1187, "6413": 1188, "6414": 1189, "6415": 1190, "642": 1191, "6420": 1192, "643": 1193, "6433": 1194, "6434": 1195, "644": 1196, "645": 1197, "6450": 1198, "646": 1199, "647": 1200, "6473": 1201, "6474": 1202, "648": 1203, "649": 1204, "65": 1205, "650": 1206, "651": 1207, "652": 1208, "653": 1209, "654": 1210, "655": 1211, "666": 1212, "667": 1213, "668": 1214, "669": 1215, "670": 1216, "671": 1217, "677": 1218, "678": 1219, "68": 1220, "702": 1221, "711": 1222, "712": 1223, "713": 1224, "714": 1225, "715": 1226, "716": 1227, "718": 1228, "719": 1229, "72": 1230, "721": 1231, "723": 1232, "724": 1233, "726": 1234, "727": 1235, "728": 1236, "73": 1237, "732": 1238, "733": 1239, "735": 1240, "737": 1241, "74": 1242, "740": 1243, "741": 1244, "742": 1245, "743": 1246, "744": 1247, "745": 1248, "746": 1249, "747": 1250, "748": 1251, "749": 1252, "75": 1253, "750": 1254, "751": 1255, "752": 1256, "753": 1257, "754": 1258, "755": 1259, "756": 1260, "757": 1261, "758": 1262, "759": 1263, "760": 1264, "761": 1265, "762": 1266, "763": 1267, "764": 1268, "776": 1269, "780": 1270, "782": 1271, "783": 1272, "784": 1273, "785": 1274, "786": 1275, "787": 1276, "788": 1277, "789": 1278, "790": 1279, "791": 1280, "792": 1281, "793": 1282, "795": 1283, "797": 1284, "798": 1285, "799": 1286, "800": 1287, "801": 1288, "803": 1289, "804": 1290, "807": 1291, "808": 1292, "809": 1293, "810": 1294, "811": 1295, "812": 1296, "813": 1297, "814": 1298, "815": 1299, "817": 1300, "818": 1301, "819": 1302, "82": 1303, "820": 1304, "821": 1305, "822": 1306, "823": 1307, "824": 1308, "826": 1309, "827": 1310, "828": 1311, "829": 1312, "83": 1313, "830": 1314, "831": 1315, "832": 1316, "833": 1317, "834": 1318, "835": 1319, "836": 1320, "837": 1321, "838": 1322, "839": 1323, "840": 1324, "853": 1325, "854": 1326, "855": 1327, "856": 1328, "857": 1329, "858": 1330, "859": 1331, "86": 1332, "860": 1333, "861": 1334, "862": 1335, "863": 1336, "864": 1337, "865": 1338, "866": 1339, "867": 1340, "868": 1341, "869": 1342, "870": 1343, "871": 1344, "872": 1345, "873": 1346, "874": 1347, "875": 1348, "876": 1349, "877": 1350, "878": 1351, "879": 1352, "880": 1353, "881": 1354, "882": 1355, "883": 1356, "884": 1357, "885": 1358, "886": 1359, "887": 1360, "888": 1361, "889": 1362, "890": 1363, "891": 1364, "906": 1365, "907": 1366, "908": 1367, "909": 1368, "91": 1369, "910": 1370, "911": 1371, "912": 1372, "913": 1373, "914": 1374, "915": 1375, "916": 1376, "917": 1377, "918": 1378, "919": 1379, "92": 1380, "921": 1381, "922": 1382, "924": 1383, "926": 1384, "929": 1385, "930": 1386, "931": 1387, "932": 1388, "933": 1389, "934": 1390, "935": 1391, "936": 1392, "937": 1393, "938": 1394, "939": 1395, "94": 1396, "940": 1397, "941": 1398, "942": 1399, "944": 1400, "945": 1401, "947": 1402, "948": 1403, "951": 1404, "953": 1405, "954": 1406, "955": 1407, "956": 1408, "957": 1409, "958": 1410, "959": 1411, "960": 1412, "961": 1413, "962": 1414, "963": 1415, "966": 1416, "968": 1417, "969": 1418, "970": 1419, "973": 1420, "974": 1421, "975": 1422, "976": 1423, "978": 1424, "979": 1425, "980": 1426, "986": 1427, "988": 1428, "99": 1429, "993": 1430, "994": 1431, "995": 1432, "996": 1433, "997": 1434, "998": 1435 }, "layer_norm_eps": 1e-12, "max_position_embeddings": 512, "model_type": "bert", "num_attention_heads": 12, "num_hidden_layers": 12, "pad_token_id": 0, "position_embedding_type": "absolute", "problem_type": "single_label_classification", "torch_dtype": "float32", "transformers_version": "4.48.0", "type_vocab_size": 2, "use_cache": true, "vocab_size": 30522 }