| { |
| "metadata": { |
| "ParamSize": 205, |
| "ParamBytes": 500957200.0, |
| "BitsPerParam": 32.0 |
| }, |
| "records": [ |
| { |
| "dataPath": "params_shard_0.bin", |
| "format": "raw-shard", |
| "nbytes": 77207040, |
| "records": [ |
| { |
| "name": "roberta.embeddings.word_embeddings.weight", |
| "shape": [ |
| 50265, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 77207040, |
| "byteOffset": 0 |
| } |
| ], |
| "md5sum": "822cb1e659d209d0c4ab502aa588a4a9" |
| }, |
| { |
| "dataPath": "params_shard_1.bin", |
| "format": "raw-shard", |
| "nbytes": 32699912, |
| "records": [ |
| { |
| "name": "latency_classifier.dense.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 0 |
| }, |
| { |
| "name": "latency_classifier.dense.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1179648, |
| "byteOffset": 1536 |
| }, |
| { |
| "name": "latency_classifier.out_proj.bias", |
| "shape": [ |
| 2 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 4, |
| "byteOffset": 1181184 |
| }, |
| { |
| "name": "latency_classifier.out_proj.weight", |
| "shape": [ |
| 2, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 1181188 |
| }, |
| { |
| "name": "quality_classifier.dense.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 1184260 |
| }, |
| { |
| "name": "quality_classifier.dense.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1179648, |
| "byteOffset": 1185796 |
| }, |
| { |
| "name": "quality_classifier.out_proj.bias", |
| "shape": [ |
| 2 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 4, |
| "byteOffset": 2365444 |
| }, |
| { |
| "name": "quality_classifier.out_proj.weight", |
| "shape": [ |
| 2, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 3072, |
| "byteOffset": 2365448 |
| }, |
| { |
| "name": "roberta.embeddings.LayerNorm.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 2368520 |
| }, |
| { |
| "name": "roberta.embeddings.LayerNorm.weight", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 2370056 |
| }, |
| { |
| "name": "roberta.embeddings.position_embeddings.weight", |
| "shape": [ |
| 514, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 789504, |
| "byteOffset": 2371592 |
| }, |
| { |
| "name": "roberta.embeddings.token_type_embeddings.weight", |
| "shape": [ |
| 1, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 3161096 |
| }, |
| { |
| "name": "roberta.encoder.layer.0.attention.output.LayerNorm.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 3162632 |
| }, |
| { |
| "name": "roberta.encoder.layer.0.attention.output.LayerNorm.weight", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 3164168 |
| }, |
| { |
| "name": "roberta.encoder.layer.0.attention.output.dense.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 3165704 |
| }, |
| { |
| "name": "roberta.encoder.layer.0.attention.output.dense.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1179648, |
| "byteOffset": 3167240 |
| }, |
| { |
| "name": "roberta.encoder.layer.0.attention.self.key.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 4346888 |
| }, |
| { |
| "name": "roberta.encoder.layer.0.attention.self.key.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1179648, |
| "byteOffset": 4348424 |
| }, |
| { |
| "name": "roberta.encoder.layer.0.attention.self.query.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 5528072 |
| }, |
| { |
| "name": "roberta.encoder.layer.0.attention.self.query.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1179648, |
| "byteOffset": 5529608 |
| }, |
| { |
| "name": "roberta.encoder.layer.0.attention.self.value.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 6709256 |
| }, |
| { |
| "name": "roberta.encoder.layer.0.attention.self.value.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1179648, |
| "byteOffset": 6710792 |
| }, |
| { |
| "name": "roberta.encoder.layer.0.intermediate.dense.bias", |
| "shape": [ |
| 3072 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 6144, |
| "byteOffset": 7890440 |
| }, |
| { |
| "name": "roberta.encoder.layer.0.intermediate.dense.weight", |
| "shape": [ |
| 3072, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 4718592, |
| "byteOffset": 7896584 |
| }, |
| { |
| "name": "roberta.encoder.layer.0.output.LayerNorm.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 12615176 |
| }, |
| { |
| "name": "roberta.encoder.layer.0.output.LayerNorm.weight", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 12616712 |
| }, |
| { |
| "name": "roberta.encoder.layer.0.output.dense.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 12618248 |
| }, |
| { |
| "name": "roberta.encoder.layer.0.output.dense.weight", |
| "shape": [ |
| 768, |
| 3072 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 4718592, |
| "byteOffset": 12619784 |
| }, |
| { |
| "name": "roberta.encoder.layer.1.attention.output.LayerNorm.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 17338376 |
| }, |
| { |
| "name": "roberta.encoder.layer.1.attention.output.LayerNorm.weight", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 17339912 |
| }, |
| { |
| "name": "roberta.encoder.layer.1.attention.output.dense.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 17341448 |
| }, |
| { |
| "name": "roberta.encoder.layer.1.attention.output.dense.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1179648, |
| "byteOffset": 17342984 |
| }, |
| { |
| "name": "roberta.encoder.layer.1.attention.self.key.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 18522632 |
| }, |
| { |
| "name": "roberta.encoder.layer.1.attention.self.key.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1179648, |
| "byteOffset": 18524168 |
| }, |
| { |
| "name": "roberta.encoder.layer.1.attention.self.query.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 19703816 |
| }, |
| { |
| "name": "roberta.encoder.layer.1.attention.self.query.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1179648, |
| "byteOffset": 19705352 |
| }, |
| { |
| "name": "roberta.encoder.layer.1.attention.self.value.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 20885000 |
| }, |
| { |
| "name": "roberta.encoder.layer.1.attention.self.value.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1179648, |
| "byteOffset": 20886536 |
| }, |
| { |
| "name": "roberta.encoder.layer.1.intermediate.dense.bias", |
| "shape": [ |
| 3072 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 6144, |
| "byteOffset": 22066184 |
| }, |
| { |
| "name": "roberta.encoder.layer.1.intermediate.dense.weight", |
| "shape": [ |
| 3072, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 4718592, |
| "byteOffset": 22072328 |
| }, |
| { |
| "name": "roberta.encoder.layer.1.output.LayerNorm.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 26790920 |
| }, |
| { |
| "name": "roberta.encoder.layer.1.output.LayerNorm.weight", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 26792456 |
| }, |
| { |
| "name": "roberta.encoder.layer.1.output.dense.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 26793992 |
| }, |
| { |
| "name": "roberta.encoder.layer.1.output.dense.weight", |
| "shape": [ |
| 768, |
| 3072 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 4718592, |
| "byteOffset": 26795528 |
| }, |
| { |
| "name": "roberta.encoder.layer.10.attention.output.LayerNorm.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 31514120 |
| }, |
| { |
| "name": "roberta.encoder.layer.10.attention.output.LayerNorm.weight", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 31515656 |
| }, |
| { |
| "name": "roberta.encoder.layer.10.attention.output.dense.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 31517192 |
| }, |
| { |
| "name": "roberta.encoder.layer.10.attention.output.dense.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1179648, |
| "byteOffset": 31518728 |
| }, |
| { |
| "name": "roberta.encoder.layer.10.attention.self.key.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 32698376 |
| } |
| ], |
| "md5sum": "c773b3066463e8b7ca2c687935fdd38d" |
| }, |
| { |
| "dataPath": "params_shard_2.bin", |
| "format": "raw-shard", |
| "nbytes": 31899648, |
| "records": [ |
| { |
| "name": "roberta.encoder.layer.10.attention.self.key.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1179648, |
| "byteOffset": 0 |
| }, |
| { |
| "name": "roberta.encoder.layer.10.attention.self.query.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 1179648 |
| }, |
| { |
| "name": "roberta.encoder.layer.10.attention.self.query.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1179648, |
| "byteOffset": 1181184 |
| }, |
| { |
| "name": "roberta.encoder.layer.10.attention.self.value.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 2360832 |
| }, |
| { |
| "name": "roberta.encoder.layer.10.attention.self.value.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1179648, |
| "byteOffset": 2362368 |
| }, |
| { |
| "name": "roberta.encoder.layer.10.intermediate.dense.bias", |
| "shape": [ |
| 3072 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 6144, |
| "byteOffset": 3542016 |
| }, |
| { |
| "name": "roberta.encoder.layer.10.intermediate.dense.weight", |
| "shape": [ |
| 3072, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 4718592, |
| "byteOffset": 3548160 |
| }, |
| { |
| "name": "roberta.encoder.layer.10.output.LayerNorm.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 8266752 |
| }, |
| { |
| "name": "roberta.encoder.layer.10.output.LayerNorm.weight", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 8268288 |
| }, |
| { |
| "name": "roberta.encoder.layer.10.output.dense.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 8269824 |
| }, |
| { |
| "name": "roberta.encoder.layer.10.output.dense.weight", |
| "shape": [ |
| 768, |
| 3072 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 4718592, |
| "byteOffset": 8271360 |
| }, |
| { |
| "name": "roberta.encoder.layer.11.attention.output.LayerNorm.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 12989952 |
| }, |
| { |
| "name": "roberta.encoder.layer.11.attention.output.LayerNorm.weight", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 12991488 |
| }, |
| { |
| "name": "roberta.encoder.layer.11.attention.output.dense.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 12993024 |
| }, |
| { |
| "name": "roberta.encoder.layer.11.attention.output.dense.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1179648, |
| "byteOffset": 12994560 |
| }, |
| { |
| "name": "roberta.encoder.layer.11.attention.self.key.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 14174208 |
| }, |
| { |
| "name": "roberta.encoder.layer.11.attention.self.key.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1179648, |
| "byteOffset": 14175744 |
| }, |
| { |
| "name": "roberta.encoder.layer.11.attention.self.query.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 15355392 |
| }, |
| { |
| "name": "roberta.encoder.layer.11.attention.self.query.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1179648, |
| "byteOffset": 15356928 |
| }, |
| { |
| "name": "roberta.encoder.layer.11.attention.self.value.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 16536576 |
| }, |
| { |
| "name": "roberta.encoder.layer.11.attention.self.value.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1179648, |
| "byteOffset": 16538112 |
| }, |
| { |
| "name": "roberta.encoder.layer.11.intermediate.dense.bias", |
| "shape": [ |
| 3072 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 6144, |
| "byteOffset": 17717760 |
| }, |
| { |
| "name": "roberta.encoder.layer.11.intermediate.dense.weight", |
| "shape": [ |
| 3072, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 4718592, |
| "byteOffset": 17723904 |
| }, |
| { |
| "name": "roberta.encoder.layer.11.output.LayerNorm.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 22442496 |
| }, |
| { |
| "name": "roberta.encoder.layer.11.output.LayerNorm.weight", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 22444032 |
| }, |
| { |
| "name": "roberta.encoder.layer.11.output.dense.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 22445568 |
| }, |
| { |
| "name": "roberta.encoder.layer.11.output.dense.weight", |
| "shape": [ |
| 768, |
| 3072 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 4718592, |
| "byteOffset": 22447104 |
| }, |
| { |
| "name": "roberta.encoder.layer.2.attention.output.LayerNorm.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 27165696 |
| }, |
| { |
| "name": "roberta.encoder.layer.2.attention.output.LayerNorm.weight", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 27167232 |
| }, |
| { |
| "name": "roberta.encoder.layer.2.attention.output.dense.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 27168768 |
| }, |
| { |
| "name": "roberta.encoder.layer.2.attention.output.dense.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1179648, |
| "byteOffset": 27170304 |
| }, |
| { |
| "name": "roberta.encoder.layer.2.attention.self.key.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 28349952 |
| }, |
| { |
| "name": "roberta.encoder.layer.2.attention.self.key.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1179648, |
| "byteOffset": 28351488 |
| }, |
| { |
| "name": "roberta.encoder.layer.2.attention.self.query.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 29531136 |
| }, |
| { |
| "name": "roberta.encoder.layer.2.attention.self.query.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1179648, |
| "byteOffset": 29532672 |
| }, |
| { |
| "name": "roberta.encoder.layer.2.attention.self.value.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 30712320 |
| }, |
| { |
| "name": "roberta.encoder.layer.2.attention.self.value.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1179648, |
| "byteOffset": 30713856 |
| }, |
| { |
| "name": "roberta.encoder.layer.2.intermediate.dense.bias", |
| "shape": [ |
| 3072 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 6144, |
| "byteOffset": 31893504 |
| } |
| ], |
| "md5sum": "cd967b7aa914de66a898f89fcac8f9dc" |
| }, |
| { |
| "dataPath": "params_shard_3.bin", |
| "format": "raw-shard", |
| "nbytes": 33074688, |
| "records": [ |
| { |
| "name": "roberta.encoder.layer.2.intermediate.dense.weight", |
| "shape": [ |
| 3072, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 4718592, |
| "byteOffset": 0 |
| }, |
| { |
| "name": "roberta.encoder.layer.2.output.LayerNorm.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 4718592 |
| }, |
| { |
| "name": "roberta.encoder.layer.2.output.LayerNorm.weight", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 4720128 |
| }, |
| { |
| "name": "roberta.encoder.layer.2.output.dense.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 4721664 |
| }, |
| { |
| "name": "roberta.encoder.layer.2.output.dense.weight", |
| "shape": [ |
| 768, |
| 3072 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 4718592, |
| "byteOffset": 4723200 |
| }, |
| { |
| "name": "roberta.encoder.layer.3.attention.output.LayerNorm.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 9441792 |
| }, |
| { |
| "name": "roberta.encoder.layer.3.attention.output.LayerNorm.weight", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 9443328 |
| }, |
| { |
| "name": "roberta.encoder.layer.3.attention.output.dense.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 9444864 |
| }, |
| { |
| "name": "roberta.encoder.layer.3.attention.output.dense.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1179648, |
| "byteOffset": 9446400 |
| }, |
| { |
| "name": "roberta.encoder.layer.3.attention.self.key.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 10626048 |
| }, |
| { |
| "name": "roberta.encoder.layer.3.attention.self.key.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1179648, |
| "byteOffset": 10627584 |
| }, |
| { |
| "name": "roberta.encoder.layer.3.attention.self.query.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 11807232 |
| }, |
| { |
| "name": "roberta.encoder.layer.3.attention.self.query.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1179648, |
| "byteOffset": 11808768 |
| }, |
| { |
| "name": "roberta.encoder.layer.3.attention.self.value.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 12988416 |
| }, |
| { |
| "name": "roberta.encoder.layer.3.attention.self.value.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1179648, |
| "byteOffset": 12989952 |
| }, |
| { |
| "name": "roberta.encoder.layer.3.intermediate.dense.bias", |
| "shape": [ |
| 3072 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 6144, |
| "byteOffset": 14169600 |
| }, |
| { |
| "name": "roberta.encoder.layer.3.intermediate.dense.weight", |
| "shape": [ |
| 3072, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 4718592, |
| "byteOffset": 14175744 |
| }, |
| { |
| "name": "roberta.encoder.layer.3.output.LayerNorm.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 18894336 |
| }, |
| { |
| "name": "roberta.encoder.layer.3.output.LayerNorm.weight", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 18895872 |
| }, |
| { |
| "name": "roberta.encoder.layer.3.output.dense.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 18897408 |
| }, |
| { |
| "name": "roberta.encoder.layer.3.output.dense.weight", |
| "shape": [ |
| 768, |
| 3072 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 4718592, |
| "byteOffset": 18898944 |
| }, |
| { |
| "name": "roberta.encoder.layer.4.attention.output.LayerNorm.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 23617536 |
| }, |
| { |
| "name": "roberta.encoder.layer.4.attention.output.LayerNorm.weight", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 23619072 |
| }, |
| { |
| "name": "roberta.encoder.layer.4.attention.output.dense.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 23620608 |
| }, |
| { |
| "name": "roberta.encoder.layer.4.attention.output.dense.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1179648, |
| "byteOffset": 23622144 |
| }, |
| { |
| "name": "roberta.encoder.layer.4.attention.self.key.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 24801792 |
| }, |
| { |
| "name": "roberta.encoder.layer.4.attention.self.key.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1179648, |
| "byteOffset": 24803328 |
| }, |
| { |
| "name": "roberta.encoder.layer.4.attention.self.query.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 25982976 |
| }, |
| { |
| "name": "roberta.encoder.layer.4.attention.self.query.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1179648, |
| "byteOffset": 25984512 |
| }, |
| { |
| "name": "roberta.encoder.layer.4.attention.self.value.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 27164160 |
| }, |
| { |
| "name": "roberta.encoder.layer.4.attention.self.value.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1179648, |
| "byteOffset": 27165696 |
| }, |
| { |
| "name": "roberta.encoder.layer.4.intermediate.dense.bias", |
| "shape": [ |
| 3072 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 6144, |
| "byteOffset": 28345344 |
| }, |
| { |
| "name": "roberta.encoder.layer.4.intermediate.dense.weight", |
| "shape": [ |
| 3072, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 4718592, |
| "byteOffset": 28351488 |
| }, |
| { |
| "name": "roberta.encoder.layer.4.output.LayerNorm.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 33070080 |
| }, |
| { |
| "name": "roberta.encoder.layer.4.output.LayerNorm.weight", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 33071616 |
| }, |
| { |
| "name": "roberta.encoder.layer.4.output.dense.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 33073152 |
| } |
| ], |
| "md5sum": "f1598d0a023d40021c0400ee9f49844d" |
| }, |
| { |
| "dataPath": "params_shard_4.bin", |
| "format": "raw-shard", |
| "nbytes": 33074688, |
| "records": [ |
| { |
| "name": "roberta.encoder.layer.4.output.dense.weight", |
| "shape": [ |
| 768, |
| 3072 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 4718592, |
| "byteOffset": 0 |
| }, |
| { |
| "name": "roberta.encoder.layer.5.attention.output.LayerNorm.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 4718592 |
| }, |
| { |
| "name": "roberta.encoder.layer.5.attention.output.LayerNorm.weight", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 4720128 |
| }, |
| { |
| "name": "roberta.encoder.layer.5.attention.output.dense.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 4721664 |
| }, |
| { |
| "name": "roberta.encoder.layer.5.attention.output.dense.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1179648, |
| "byteOffset": 4723200 |
| }, |
| { |
| "name": "roberta.encoder.layer.5.attention.self.key.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 5902848 |
| }, |
| { |
| "name": "roberta.encoder.layer.5.attention.self.key.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1179648, |
| "byteOffset": 5904384 |
| }, |
| { |
| "name": "roberta.encoder.layer.5.attention.self.query.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 7084032 |
| }, |
| { |
| "name": "roberta.encoder.layer.5.attention.self.query.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1179648, |
| "byteOffset": 7085568 |
| }, |
| { |
| "name": "roberta.encoder.layer.5.attention.self.value.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 8265216 |
| }, |
| { |
| "name": "roberta.encoder.layer.5.attention.self.value.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1179648, |
| "byteOffset": 8266752 |
| }, |
| { |
| "name": "roberta.encoder.layer.5.intermediate.dense.bias", |
| "shape": [ |
| 3072 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 6144, |
| "byteOffset": 9446400 |
| }, |
| { |
| "name": "roberta.encoder.layer.5.intermediate.dense.weight", |
| "shape": [ |
| 3072, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 4718592, |
| "byteOffset": 9452544 |
| }, |
| { |
| "name": "roberta.encoder.layer.5.output.LayerNorm.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 14171136 |
| }, |
| { |
| "name": "roberta.encoder.layer.5.output.LayerNorm.weight", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 14172672 |
| }, |
| { |
| "name": "roberta.encoder.layer.5.output.dense.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 14174208 |
| }, |
| { |
| "name": "roberta.encoder.layer.5.output.dense.weight", |
| "shape": [ |
| 768, |
| 3072 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 4718592, |
| "byteOffset": 14175744 |
| }, |
| { |
| "name": "roberta.encoder.layer.6.attention.output.LayerNorm.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 18894336 |
| }, |
| { |
| "name": "roberta.encoder.layer.6.attention.output.LayerNorm.weight", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 18895872 |
| }, |
| { |
| "name": "roberta.encoder.layer.6.attention.output.dense.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 18897408 |
| }, |
| { |
| "name": "roberta.encoder.layer.6.attention.output.dense.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1179648, |
| "byteOffset": 18898944 |
| }, |
| { |
| "name": "roberta.encoder.layer.6.attention.self.key.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 20078592 |
| }, |
| { |
| "name": "roberta.encoder.layer.6.attention.self.key.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1179648, |
| "byteOffset": 20080128 |
| }, |
| { |
| "name": "roberta.encoder.layer.6.attention.self.query.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 21259776 |
| }, |
| { |
| "name": "roberta.encoder.layer.6.attention.self.query.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1179648, |
| "byteOffset": 21261312 |
| }, |
| { |
| "name": "roberta.encoder.layer.6.attention.self.value.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 22440960 |
| }, |
| { |
| "name": "roberta.encoder.layer.6.attention.self.value.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1179648, |
| "byteOffset": 22442496 |
| }, |
| { |
| "name": "roberta.encoder.layer.6.intermediate.dense.bias", |
| "shape": [ |
| 3072 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 6144, |
| "byteOffset": 23622144 |
| }, |
| { |
| "name": "roberta.encoder.layer.6.intermediate.dense.weight", |
| "shape": [ |
| 3072, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 4718592, |
| "byteOffset": 23628288 |
| }, |
| { |
| "name": "roberta.encoder.layer.6.output.LayerNorm.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 28346880 |
| }, |
| { |
| "name": "roberta.encoder.layer.6.output.LayerNorm.weight", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 28348416 |
| }, |
| { |
| "name": "roberta.encoder.layer.6.output.dense.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 28349952 |
| }, |
| { |
| "name": "roberta.encoder.layer.6.output.dense.weight", |
| "shape": [ |
| 768, |
| 3072 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 4718592, |
| "byteOffset": 28351488 |
| }, |
| { |
| "name": "roberta.encoder.layer.7.attention.output.LayerNorm.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 33070080 |
| }, |
| { |
| "name": "roberta.encoder.layer.7.attention.output.LayerNorm.weight", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 33071616 |
| }, |
| { |
| "name": "roberta.encoder.layer.7.attention.output.dense.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 33073152 |
| } |
| ], |
| "md5sum": "d7db2ff4e87fb3b13f5a0f5e9c00d5e9" |
| }, |
| { |
| "dataPath": "params_shard_5.bin", |
| "format": "raw-shard", |
| "nbytes": 33080832, |
| "records": [ |
| { |
| "name": "roberta.encoder.layer.7.attention.output.dense.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1179648, |
| "byteOffset": 0 |
| }, |
| { |
| "name": "roberta.encoder.layer.7.attention.self.key.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 1179648 |
| }, |
| { |
| "name": "roberta.encoder.layer.7.attention.self.key.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1179648, |
| "byteOffset": 1181184 |
| }, |
| { |
| "name": "roberta.encoder.layer.7.attention.self.query.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 2360832 |
| }, |
| { |
| "name": "roberta.encoder.layer.7.attention.self.query.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1179648, |
| "byteOffset": 2362368 |
| }, |
| { |
| "name": "roberta.encoder.layer.7.attention.self.value.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 3542016 |
| }, |
| { |
| "name": "roberta.encoder.layer.7.attention.self.value.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1179648, |
| "byteOffset": 3543552 |
| }, |
| { |
| "name": "roberta.encoder.layer.7.intermediate.dense.bias", |
| "shape": [ |
| 3072 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 6144, |
| "byteOffset": 4723200 |
| }, |
| { |
| "name": "roberta.encoder.layer.7.intermediate.dense.weight", |
| "shape": [ |
| 3072, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 4718592, |
| "byteOffset": 4729344 |
| }, |
| { |
| "name": "roberta.encoder.layer.7.output.LayerNorm.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 9447936 |
| }, |
| { |
| "name": "roberta.encoder.layer.7.output.LayerNorm.weight", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 9449472 |
| }, |
| { |
| "name": "roberta.encoder.layer.7.output.dense.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 9451008 |
| }, |
| { |
| "name": "roberta.encoder.layer.7.output.dense.weight", |
| "shape": [ |
| 768, |
| 3072 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 4718592, |
| "byteOffset": 9452544 |
| }, |
| { |
| "name": "roberta.encoder.layer.8.attention.output.LayerNorm.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 14171136 |
| }, |
| { |
| "name": "roberta.encoder.layer.8.attention.output.LayerNorm.weight", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 14172672 |
| }, |
| { |
| "name": "roberta.encoder.layer.8.attention.output.dense.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 14174208 |
| }, |
| { |
| "name": "roberta.encoder.layer.8.attention.output.dense.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1179648, |
| "byteOffset": 14175744 |
| }, |
| { |
| "name": "roberta.encoder.layer.8.attention.self.key.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 15355392 |
| }, |
| { |
| "name": "roberta.encoder.layer.8.attention.self.key.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1179648, |
| "byteOffset": 15356928 |
| }, |
| { |
| "name": "roberta.encoder.layer.8.attention.self.query.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 16536576 |
| }, |
| { |
| "name": "roberta.encoder.layer.8.attention.self.query.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1179648, |
| "byteOffset": 16538112 |
| }, |
| { |
| "name": "roberta.encoder.layer.8.attention.self.value.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 17717760 |
| }, |
| { |
| "name": "roberta.encoder.layer.8.attention.self.value.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1179648, |
| "byteOffset": 17719296 |
| }, |
| { |
| "name": "roberta.encoder.layer.8.intermediate.dense.bias", |
| "shape": [ |
| 3072 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 6144, |
| "byteOffset": 18898944 |
| }, |
| { |
| "name": "roberta.encoder.layer.8.intermediate.dense.weight", |
| "shape": [ |
| 3072, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 4718592, |
| "byteOffset": 18905088 |
| }, |
| { |
| "name": "roberta.encoder.layer.8.output.LayerNorm.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 23623680 |
| }, |
| { |
| "name": "roberta.encoder.layer.8.output.LayerNorm.weight", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 23625216 |
| }, |
| { |
| "name": "roberta.encoder.layer.8.output.dense.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 23626752 |
| }, |
| { |
| "name": "roberta.encoder.layer.8.output.dense.weight", |
| "shape": [ |
| 768, |
| 3072 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 4718592, |
| "byteOffset": 23628288 |
| }, |
| { |
| "name": "roberta.encoder.layer.9.attention.output.LayerNorm.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 28346880 |
| }, |
| { |
| "name": "roberta.encoder.layer.9.attention.output.LayerNorm.weight", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 28348416 |
| }, |
| { |
| "name": "roberta.encoder.layer.9.attention.output.dense.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 28349952 |
| }, |
| { |
| "name": "roberta.encoder.layer.9.attention.output.dense.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1179648, |
| "byteOffset": 28351488 |
| }, |
| { |
| "name": "roberta.encoder.layer.9.attention.self.key.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 29531136 |
| }, |
| { |
| "name": "roberta.encoder.layer.9.attention.self.key.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1179648, |
| "byteOffset": 29532672 |
| }, |
| { |
| "name": "roberta.encoder.layer.9.attention.self.query.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 30712320 |
| }, |
| { |
| "name": "roberta.encoder.layer.9.attention.self.query.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1179648, |
| "byteOffset": 30713856 |
| }, |
| { |
| "name": "roberta.encoder.layer.9.attention.self.value.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 31893504 |
| }, |
| { |
| "name": "roberta.encoder.layer.9.attention.self.value.weight", |
| "shape": [ |
| 768, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1179648, |
| "byteOffset": 31895040 |
| }, |
| { |
| "name": "roberta.encoder.layer.9.intermediate.dense.bias", |
| "shape": [ |
| 3072 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 6144, |
| "byteOffset": 33074688 |
| } |
| ], |
| "md5sum": "16e5fe6cb9c4b8dfe68170b6b4a350be" |
| }, |
| { |
| "dataPath": "params_shard_6.bin", |
| "format": "raw-shard", |
| "nbytes": 9441792, |
| "records": [ |
| { |
| "name": "roberta.encoder.layer.9.intermediate.dense.weight", |
| "shape": [ |
| 3072, |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 4718592, |
| "byteOffset": 0 |
| }, |
| { |
| "name": "roberta.encoder.layer.9.output.LayerNorm.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 4718592 |
| }, |
| { |
| "name": "roberta.encoder.layer.9.output.LayerNorm.weight", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 4720128 |
| }, |
| { |
| "name": "roberta.encoder.layer.9.output.dense.bias", |
| "shape": [ |
| 768 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 1536, |
| "byteOffset": 4721664 |
| }, |
| { |
| "name": "roberta.encoder.layer.9.output.dense.weight", |
| "shape": [ |
| 768, |
| 3072 |
| ], |
| "dtype": "bfloat16", |
| "format": "raw", |
| "nbytes": 4718592, |
| "byteOffset": 4723200 |
| } |
| ], |
| "md5sum": "5882c18b7fb291d522cc147ec14e7014" |
| } |
| ] |
| } |
