cafa6-esm / config.json
Kelmoir's picture
CAFA6 ESM training run (best epoch 8, val_loss=0.0733)
8a9a052 verified
Raw
History Blame Contribute Delete
19.1 kB
{
"add_cross_attention": false,
"architectures": [
"EsmForSequenceClassification"
],
"attention_probs_dropout_prob": 0.0,
"bos_token_id": null,
"classifier_dropout": null,
"dtype": "float32",
"emb_layer_norm_before": false,
"eos_token_id": 2,
"esmfold_config": null,
"hidden_act": "gelu",
"hidden_dropout_prob": 0.0,
"hidden_size": 1280,
"id2label": {
"0": "GO:0000146",
"1": "GO:0000407",
"2": "GO:0000785",
"3": "GO:0000922",
"4": "GO:0000940",
"5": "GO:0000974",
"6": "GO:0001503",
"7": "GO:0001650",
"8": "GO:0001750",
"9": "GO:0001763",
"10": "GO:0001772",
"11": "GO:0001775",
"12": "GO:0001776",
"13": "GO:0001891",
"14": "GO:0001906",
"15": "GO:0001917",
"16": "GO:0002200",
"17": "GO:0002252",
"18": "GO:0002253",
"19": "GO:0002262",
"20": "GO:0002376",
"21": "GO:0002440",
"22": "GO:0002520",
"23": "GO:0003006",
"24": "GO:0003008",
"25": "GO:0003674",
"26": "GO:0003676",
"27": "GO:0003682",
"28": "GO:0003700",
"29": "GO:0003712",
"30": "GO:0003735",
"31": "GO:0003743",
"32": "GO:0003774",
"33": "GO:0003777",
"34": "GO:0003823",
"35": "GO:0003824",
"36": "GO:0003925",
"37": "GO:0004386",
"38": "GO:0004601",
"39": "GO:0004784",
"40": "GO:0005198",
"41": "GO:0005200",
"42": "GO:0005201",
"43": "GO:0005215",
"44": "GO:0005319",
"45": "GO:0005488",
"46": "GO:0005515",
"47": "GO:0005575",
"48": "GO:0005576",
"49": "GO:0005581",
"50": "GO:0005615",
"51": "GO:0005622",
"52": "GO:0005654",
"53": "GO:0005657",
"54": "GO:0005667",
"55": "GO:0005737",
"56": "GO:0005815",
"57": "GO:0005829",
"58": "GO:0005838",
"59": "GO:0005875",
"60": "GO:0005885",
"61": "GO:0005930",
"62": "GO:0005933",
"63": "GO:0006457",
"64": "GO:0006885",
"65": "GO:0006903",
"66": "GO:0006949",
"67": "GO:0006950",
"68": "GO:0006955",
"69": "GO:0007017",
"70": "GO:0007049",
"71": "GO:0007154",
"72": "GO:0007155",
"73": "GO:0007163",
"74": "GO:0007165",
"75": "GO:0007272",
"76": "GO:0007275",
"77": "GO:0007389",
"78": "GO:0007566",
"79": "GO:0007585",
"80": "GO:0007586",
"81": "GO:0007610",
"82": "GO:0007623",
"83": "GO:0008037",
"84": "GO:0008094",
"85": "GO:0008137",
"86": "GO:0008150",
"87": "GO:0008152",
"88": "GO:0008186",
"89": "GO:0008219",
"90": "GO:0008283",
"91": "GO:0008289",
"92": "GO:0008307",
"93": "GO:0008340",
"94": "GO:0009055",
"95": "GO:0009295",
"96": "GO:0009407",
"97": "GO:0009524",
"98": "GO:0009532",
"99": "GO:0009561",
"100": "GO:0009566",
"101": "GO:0009605",
"102": "GO:0009607",
"103": "GO:0009628",
"104": "GO:0009653",
"105": "GO:0009719",
"106": "GO:0009791",
"107": "GO:0009845",
"108": "GO:0009846",
"109": "GO:0009856",
"110": "GO:0009975",
"111": "GO:0009986",
"112": "GO:0009987",
"113": "GO:0010073",
"114": "GO:0010118",
"115": "GO:0010287",
"116": "GO:0012505",
"117": "GO:0014823",
"118": "GO:0015645",
"119": "GO:0016020",
"120": "GO:0016032",
"121": "GO:0016049",
"122": "GO:0016192",
"123": "GO:0016209",
"124": "GO:0016251",
"125": "GO:0016328",
"126": "GO:0016363",
"127": "GO:0016459",
"128": "GO:0016491",
"129": "GO:0016597",
"130": "GO:0016740",
"131": "GO:0016787",
"132": "GO:0016829",
"133": "GO:0016853",
"134": "GO:0016874",
"135": "GO:0016887",
"136": "GO:0017056",
"137": "GO:0018995",
"138": "GO:0019058",
"139": "GO:0019080",
"140": "GO:0019725",
"141": "GO:0019827",
"142": "GO:0019835",
"143": "GO:0019882",
"144": "GO:0019898",
"145": "GO:0019953",
"146": "GO:0019954",
"147": "GO:0021700",
"148": "GO:0022402",
"149": "GO:0022404",
"150": "GO:0022406",
"151": "GO:0022412",
"152": "GO:0022413",
"153": "GO:0022414",
"154": "GO:0022602",
"155": "GO:0022611",
"156": "GO:0022624",
"157": "GO:0022857",
"158": "GO:0030017",
"159": "GO:0030018",
"160": "GO:0030029",
"161": "GO:0030054",
"162": "GO:0030234",
"163": "GO:0030246",
"164": "GO:0030312",
"165": "GO:0030313",
"166": "GO:0030315",
"167": "GO:0030371",
"168": "GO:0030427",
"169": "GO:0030428",
"170": "GO:0030431",
"171": "GO:0030447",
"172": "GO:0030496",
"173": "GO:0030545",
"174": "GO:0030674",
"175": "GO:0030990",
"176": "GO:0030992",
"177": "GO:0031128",
"178": "GO:0031252",
"179": "GO:0031256",
"180": "GO:0031294",
"181": "GO:0031503",
"182": "GO:0031667",
"183": "GO:0031672",
"184": "GO:0031674",
"185": "GO:0031967",
"186": "GO:0031974",
"187": "GO:0031977",
"188": "GO:0031984",
"189": "GO:0032153",
"190": "GO:0032432",
"191": "GO:0032451",
"192": "GO:0032501",
"193": "GO:0032502",
"194": "GO:0032991",
"195": "GO:0032993",
"196": "GO:0033036",
"197": "GO:0033059",
"198": "GO:0033218",
"199": "GO:0033555",
"200": "GO:0034399",
"201": "GO:0034451",
"202": "GO:0035176",
"203": "GO:0035264",
"204": "GO:0035265",
"205": "GO:0035821",
"206": "GO:0035869",
"207": "GO:0036094",
"208": "GO:0036379",
"209": "GO:0036452",
"210": "GO:0036477",
"211": "GO:0038023",
"212": "GO:0038024",
"213": "GO:0040007",
"214": "GO:0040011",
"215": "GO:0042221",
"216": "GO:0042277",
"217": "GO:0042303",
"218": "GO:0042330",
"219": "GO:0042555",
"220": "GO:0042562",
"221": "GO:0042592",
"222": "GO:0042597",
"223": "GO:0042626",
"224": "GO:0042641",
"225": "GO:0042698",
"226": "GO:0042763",
"227": "GO:0042995",
"228": "GO:0043198",
"229": "GO:0043204",
"230": "GO:0043209",
"231": "GO:0043226",
"232": "GO:0043235",
"233": "GO:0043473",
"234": "GO:0043500",
"235": "GO:0043934",
"236": "GO:0044010",
"237": "GO:0044183",
"238": "GO:0044232",
"239": "GO:0044297",
"240": "GO:0044298",
"241": "GO:0044304",
"242": "GO:0044306",
"243": "GO:0044403",
"244": "GO:0044419",
"245": "GO:0044703",
"246": "GO:0044706",
"247": "GO:0044877",
"248": "GO:0045058",
"249": "GO:0045103",
"250": "GO:0045171",
"251": "GO:0045177",
"252": "GO:0045178",
"253": "GO:0045182",
"254": "GO:0045321",
"255": "GO:0045494",
"256": "GO:0046906",
"257": "GO:0048066",
"258": "GO:0048471",
"259": "GO:0048489",
"260": "GO:0048511",
"261": "GO:0048532",
"262": "GO:0048589",
"263": "GO:0048609",
"264": "GO:0048646",
"265": "GO:0048771",
"266": "GO:0048786",
"267": "GO:0048856",
"268": "GO:0048869",
"269": "GO:0048870",
"270": "GO:0048871",
"271": "GO:0048878",
"272": "GO:0050789",
"273": "GO:0050817",
"274": "GO:0050840",
"275": "GO:0050879",
"276": "GO:0050896",
"277": "GO:0050900",
"278": "GO:0051179",
"279": "GO:0051233",
"280": "GO:0051234",
"281": "GO:0051235",
"282": "GO:0051301",
"283": "GO:0051321",
"284": "GO:0051606",
"285": "GO:0051640",
"286": "GO:0051641",
"287": "GO:0051651",
"288": "GO:0051703",
"289": "GO:0051707",
"290": "GO:0051716",
"291": "GO:0055044",
"292": "GO:0055046",
"293": "GO:0055085",
"294": "GO:0055120",
"295": "GO:0060089",
"296": "GO:0060090",
"297": "GO:0060187",
"298": "GO:0060590",
"299": "GO:0061645",
"300": "GO:0061687",
"301": "GO:0061842",
"302": "GO:0061919",
"303": "GO:0065007",
"304": "GO:0065008",
"305": "GO:0065009",
"306": "GO:0070938",
"307": "GO:0071554",
"308": "GO:0071684",
"309": "GO:0071827",
"310": "GO:0071840",
"311": "GO:0071944",
"312": "GO:0072341",
"313": "GO:0072562",
"314": "GO:0090130",
"315": "GO:0090398",
"316": "GO:0090693",
"317": "GO:0090729",
"318": "GO:0090734",
"319": "GO:0097038",
"320": "GO:0097194",
"321": "GO:0097225",
"322": "GO:0097367",
"323": "GO:0097542",
"324": "GO:0097545",
"325": "GO:0097546",
"326": "GO:0097722",
"327": "GO:0098552",
"328": "GO:0098636",
"329": "GO:0098687",
"330": "GO:0098727",
"331": "GO:0098743",
"332": "GO:0098754",
"333": "GO:0098772",
"334": "GO:0098793",
"335": "GO:0098794",
"336": "GO:0098796",
"337": "GO:0098798",
"338": "GO:0098803",
"339": "GO:0098862",
"340": "GO:0099023",
"341": "GO:0099080",
"342": "GO:0099086",
"343": "GO:0099120",
"344": "GO:0110165",
"345": "GO:0120114",
"346": "GO:0140029",
"347": "GO:0140096",
"348": "GO:0140104",
"349": "GO:0140110",
"350": "GO:0140142",
"351": "GO:0140223",
"352": "GO:0140253",
"353": "GO:0140299",
"354": "GO:0140311",
"355": "GO:0140313",
"356": "GO:0140318",
"357": "GO:0140352",
"358": "GO:0140513",
"359": "GO:0140534",
"360": "GO:0140535",
"361": "GO:0140597",
"362": "GO:0140640",
"363": "GO:0140657",
"364": "GO:0140677",
"365": "GO:0140678",
"366": "GO:0141060",
"367": "GO:0141108",
"368": "GO:0150034",
"369": "GO:0160110",
"370": "GO:0160215",
"371": "GO:0170062",
"372": "GO:0180051",
"373": "GO:1901265",
"374": "GO:1901681",
"375": "GO:1902494",
"376": "GO:1903046",
"377": "GO:1990229",
"378": "GO:1990351",
"379": "GO:1990748",
"380": "GO:1990752",
"381": "GO:1990904",
"382": "GO:1990961"
},
"initializer_range": 0.02,
"intermediate_size": 5120,
"is_decoder": false,
"is_folding_model": false,
"label2id": {
"GO:0000146": 0,
"GO:0000407": 1,
"GO:0000785": 2,
"GO:0000922": 3,
"GO:0000940": 4,
"GO:0000974": 5,
"GO:0001503": 6,
"GO:0001650": 7,
"GO:0001750": 8,
"GO:0001763": 9,
"GO:0001772": 10,
"GO:0001775": 11,
"GO:0001776": 12,
"GO:0001891": 13,
"GO:0001906": 14,
"GO:0001917": 15,
"GO:0002200": 16,
"GO:0002252": 17,
"GO:0002253": 18,
"GO:0002262": 19,
"GO:0002376": 20,
"GO:0002440": 21,
"GO:0002520": 22,
"GO:0003006": 23,
"GO:0003008": 24,
"GO:0003674": 25,
"GO:0003676": 26,
"GO:0003682": 27,
"GO:0003700": 28,
"GO:0003712": 29,
"GO:0003735": 30,
"GO:0003743": 31,
"GO:0003774": 32,
"GO:0003777": 33,
"GO:0003823": 34,
"GO:0003824": 35,
"GO:0003925": 36,
"GO:0004386": 37,
"GO:0004601": 38,
"GO:0004784": 39,
"GO:0005198": 40,
"GO:0005200": 41,
"GO:0005201": 42,
"GO:0005215": 43,
"GO:0005319": 44,
"GO:0005488": 45,
"GO:0005515": 46,
"GO:0005575": 47,
"GO:0005576": 48,
"GO:0005581": 49,
"GO:0005615": 50,
"GO:0005622": 51,
"GO:0005654": 52,
"GO:0005657": 53,
"GO:0005667": 54,
"GO:0005737": 55,
"GO:0005815": 56,
"GO:0005829": 57,
"GO:0005838": 58,
"GO:0005875": 59,
"GO:0005885": 60,
"GO:0005930": 61,
"GO:0005933": 62,
"GO:0006457": 63,
"GO:0006885": 64,
"GO:0006903": 65,
"GO:0006949": 66,
"GO:0006950": 67,
"GO:0006955": 68,
"GO:0007017": 69,
"GO:0007049": 70,
"GO:0007154": 71,
"GO:0007155": 72,
"GO:0007163": 73,
"GO:0007165": 74,
"GO:0007272": 75,
"GO:0007275": 76,
"GO:0007389": 77,
"GO:0007566": 78,
"GO:0007585": 79,
"GO:0007586": 80,
"GO:0007610": 81,
"GO:0007623": 82,
"GO:0008037": 83,
"GO:0008094": 84,
"GO:0008137": 85,
"GO:0008150": 86,
"GO:0008152": 87,
"GO:0008186": 88,
"GO:0008219": 89,
"GO:0008283": 90,
"GO:0008289": 91,
"GO:0008307": 92,
"GO:0008340": 93,
"GO:0009055": 94,
"GO:0009295": 95,
"GO:0009407": 96,
"GO:0009524": 97,
"GO:0009532": 98,
"GO:0009561": 99,
"GO:0009566": 100,
"GO:0009605": 101,
"GO:0009607": 102,
"GO:0009628": 103,
"GO:0009653": 104,
"GO:0009719": 105,
"GO:0009791": 106,
"GO:0009845": 107,
"GO:0009846": 108,
"GO:0009856": 109,
"GO:0009975": 110,
"GO:0009986": 111,
"GO:0009987": 112,
"GO:0010073": 113,
"GO:0010118": 114,
"GO:0010287": 115,
"GO:0012505": 116,
"GO:0014823": 117,
"GO:0015645": 118,
"GO:0016020": 119,
"GO:0016032": 120,
"GO:0016049": 121,
"GO:0016192": 122,
"GO:0016209": 123,
"GO:0016251": 124,
"GO:0016328": 125,
"GO:0016363": 126,
"GO:0016459": 127,
"GO:0016491": 128,
"GO:0016597": 129,
"GO:0016740": 130,
"GO:0016787": 131,
"GO:0016829": 132,
"GO:0016853": 133,
"GO:0016874": 134,
"GO:0016887": 135,
"GO:0017056": 136,
"GO:0018995": 137,
"GO:0019058": 138,
"GO:0019080": 139,
"GO:0019725": 140,
"GO:0019827": 141,
"GO:0019835": 142,
"GO:0019882": 143,
"GO:0019898": 144,
"GO:0019953": 145,
"GO:0019954": 146,
"GO:0021700": 147,
"GO:0022402": 148,
"GO:0022404": 149,
"GO:0022406": 150,
"GO:0022412": 151,
"GO:0022413": 152,
"GO:0022414": 153,
"GO:0022602": 154,
"GO:0022611": 155,
"GO:0022624": 156,
"GO:0022857": 157,
"GO:0030017": 158,
"GO:0030018": 159,
"GO:0030029": 160,
"GO:0030054": 161,
"GO:0030234": 162,
"GO:0030246": 163,
"GO:0030312": 164,
"GO:0030313": 165,
"GO:0030315": 166,
"GO:0030371": 167,
"GO:0030427": 168,
"GO:0030428": 169,
"GO:0030431": 170,
"GO:0030447": 171,
"GO:0030496": 172,
"GO:0030545": 173,
"GO:0030674": 174,
"GO:0030990": 175,
"GO:0030992": 176,
"GO:0031128": 177,
"GO:0031252": 178,
"GO:0031256": 179,
"GO:0031294": 180,
"GO:0031503": 181,
"GO:0031667": 182,
"GO:0031672": 183,
"GO:0031674": 184,
"GO:0031967": 185,
"GO:0031974": 186,
"GO:0031977": 187,
"GO:0031984": 188,
"GO:0032153": 189,
"GO:0032432": 190,
"GO:0032451": 191,
"GO:0032501": 192,
"GO:0032502": 193,
"GO:0032991": 194,
"GO:0032993": 195,
"GO:0033036": 196,
"GO:0033059": 197,
"GO:0033218": 198,
"GO:0033555": 199,
"GO:0034399": 200,
"GO:0034451": 201,
"GO:0035176": 202,
"GO:0035264": 203,
"GO:0035265": 204,
"GO:0035821": 205,
"GO:0035869": 206,
"GO:0036094": 207,
"GO:0036379": 208,
"GO:0036452": 209,
"GO:0036477": 210,
"GO:0038023": 211,
"GO:0038024": 212,
"GO:0040007": 213,
"GO:0040011": 214,
"GO:0042221": 215,
"GO:0042277": 216,
"GO:0042303": 217,
"GO:0042330": 218,
"GO:0042555": 219,
"GO:0042562": 220,
"GO:0042592": 221,
"GO:0042597": 222,
"GO:0042626": 223,
"GO:0042641": 224,
"GO:0042698": 225,
"GO:0042763": 226,
"GO:0042995": 227,
"GO:0043198": 228,
"GO:0043204": 229,
"GO:0043209": 230,
"GO:0043226": 231,
"GO:0043235": 232,
"GO:0043473": 233,
"GO:0043500": 234,
"GO:0043934": 235,
"GO:0044010": 236,
"GO:0044183": 237,
"GO:0044232": 238,
"GO:0044297": 239,
"GO:0044298": 240,
"GO:0044304": 241,
"GO:0044306": 242,
"GO:0044403": 243,
"GO:0044419": 244,
"GO:0044703": 245,
"GO:0044706": 246,
"GO:0044877": 247,
"GO:0045058": 248,
"GO:0045103": 249,
"GO:0045171": 250,
"GO:0045177": 251,
"GO:0045178": 252,
"GO:0045182": 253,
"GO:0045321": 254,
"GO:0045494": 255,
"GO:0046906": 256,
"GO:0048066": 257,
"GO:0048471": 258,
"GO:0048489": 259,
"GO:0048511": 260,
"GO:0048532": 261,
"GO:0048589": 262,
"GO:0048609": 263,
"GO:0048646": 264,
"GO:0048771": 265,
"GO:0048786": 266,
"GO:0048856": 267,
"GO:0048869": 268,
"GO:0048870": 269,
"GO:0048871": 270,
"GO:0048878": 271,
"GO:0050789": 272,
"GO:0050817": 273,
"GO:0050840": 274,
"GO:0050879": 275,
"GO:0050896": 276,
"GO:0050900": 277,
"GO:0051179": 278,
"GO:0051233": 279,
"GO:0051234": 280,
"GO:0051235": 281,
"GO:0051301": 282,
"GO:0051321": 283,
"GO:0051606": 284,
"GO:0051640": 285,
"GO:0051641": 286,
"GO:0051651": 287,
"GO:0051703": 288,
"GO:0051707": 289,
"GO:0051716": 290,
"GO:0055044": 291,
"GO:0055046": 292,
"GO:0055085": 293,
"GO:0055120": 294,
"GO:0060089": 295,
"GO:0060090": 296,
"GO:0060187": 297,
"GO:0060590": 298,
"GO:0061645": 299,
"GO:0061687": 300,
"GO:0061842": 301,
"GO:0061919": 302,
"GO:0065007": 303,
"GO:0065008": 304,
"GO:0065009": 305,
"GO:0070938": 306,
"GO:0071554": 307,
"GO:0071684": 308,
"GO:0071827": 309,
"GO:0071840": 310,
"GO:0071944": 311,
"GO:0072341": 312,
"GO:0072562": 313,
"GO:0090130": 314,
"GO:0090398": 315,
"GO:0090693": 316,
"GO:0090729": 317,
"GO:0090734": 318,
"GO:0097038": 319,
"GO:0097194": 320,
"GO:0097225": 321,
"GO:0097367": 322,
"GO:0097542": 323,
"GO:0097545": 324,
"GO:0097546": 325,
"GO:0097722": 326,
"GO:0098552": 327,
"GO:0098636": 328,
"GO:0098687": 329,
"GO:0098727": 330,
"GO:0098743": 331,
"GO:0098754": 332,
"GO:0098772": 333,
"GO:0098793": 334,
"GO:0098794": 335,
"GO:0098796": 336,
"GO:0098798": 337,
"GO:0098803": 338,
"GO:0098862": 339,
"GO:0099023": 340,
"GO:0099080": 341,
"GO:0099086": 342,
"GO:0099120": 343,
"GO:0110165": 344,
"GO:0120114": 345,
"GO:0140029": 346,
"GO:0140096": 347,
"GO:0140104": 348,
"GO:0140110": 349,
"GO:0140142": 350,
"GO:0140223": 351,
"GO:0140253": 352,
"GO:0140299": 353,
"GO:0140311": 354,
"GO:0140313": 355,
"GO:0140318": 356,
"GO:0140352": 357,
"GO:0140513": 358,
"GO:0140534": 359,
"GO:0140535": 360,
"GO:0140597": 361,
"GO:0140640": 362,
"GO:0140657": 363,
"GO:0140677": 364,
"GO:0140678": 365,
"GO:0141060": 366,
"GO:0141108": 367,
"GO:0150034": 368,
"GO:0160110": 369,
"GO:0160215": 370,
"GO:0170062": 371,
"GO:0180051": 372,
"GO:1901265": 373,
"GO:1901681": 374,
"GO:1902494": 375,
"GO:1903046": 376,
"GO:1990229": 377,
"GO:1990351": 378,
"GO:1990748": 379,
"GO:1990752": 380,
"GO:1990904": 381,
"GO:1990961": 382
},
"layer_norm_eps": 1e-05,
"mask_token_id": 32,
"max_position_embeddings": 1026,
"model_type": "esm",
"num_attention_heads": 20,
"num_hidden_layers": 33,
"pad_token_id": 1,
"position_embedding_type": "rotary",
"problem_type": "multi_label_classification",
"rope_theta": 10000.0,
"tie_word_embeddings": true,
"token_dropout": true,
"transformers_version": "5.13.1",
"use_cache": true,
"vocab_list": null,
"vocab_size": 33
}