checkpoint_0/_METADATA

{"tree_metadata": {"('dropout_rng',)": {"key_metadata": [{"key": "dropout_rng", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_0', 'attn', 'k_norm', 'weight')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_0", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "k_norm", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_0', 'attn', 'proj', 'bias')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_0", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "proj", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_0', 'attn', 'proj', 'kernel')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_0", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "proj", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_0', 'attn', 'q_norm', 'weight')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_0", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "q_norm", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_0', 'attn', 'qkv', 'bias')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_0", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "qkv", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_0', 'attn', 'qkv', 'kernel')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_0", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "qkv", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_0', 'mlp', 'w12', 'bias')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_0", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w12", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_0', 'mlp', 'w12', 'kernel')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_0", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w12", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_0', 'mlp', 'w3', 'bias')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_0", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w3", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_0', 'mlp', 'w3', 'kernel')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_0", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w3", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_0', 'norm1', 'weight')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_0", "key_type": 2}, {"key": "norm1", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_0', 'norm2', 'weight')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_0", "key_type": 2}, {"key": "norm2", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_1', 'attn', 'k_norm', 'weight')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_1", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "k_norm", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_1', 'attn', 'proj', 'bias')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_1", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "proj", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_1', 'attn', 'proj', 'kernel')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_1", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "proj", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_1', 'attn', 'q_norm', 'weight')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_1", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "q_norm", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_1', 'attn', 'qkv', 'bias')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_1", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "qkv", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_1', 'attn', 'qkv', 'kernel')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_1", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "qkv", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_1', 'mlp', 'w12', 'bias')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_1", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w12", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_1', 'mlp', 'w12', 'kernel')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_1", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w12", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_1', 'mlp', 'w3', 'bias')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_1", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w3", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_1', 'mlp', 'w3', 'kernel')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_1", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w3", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_1', 'norm1', 'weight')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_1", "key_type": 2}, {"key": "norm1", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_1', 'norm2', 'weight')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_1", "key_type": 2}, {"key": "norm2", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_10', 'attn', 'k_norm', 'weight')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_10", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "k_norm", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_10', 'attn', 'proj', 'bias')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_10", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "proj", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_10', 'attn', 'proj', 'kernel')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_10", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "proj", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_10', 'attn', 'q_norm', 'weight')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_10", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "q_norm", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_10', 'attn', 'qkv', 'bias')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_10", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "qkv", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_10', 'attn', 'qkv', 'kernel')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_10", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "qkv", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_10', 'mlp', 'w12', 'bias')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_10", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w12", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_10', 'mlp', 'w12', 'kernel')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_10", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w12", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_10', 'mlp', 'w3', 'bias')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_10", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w3", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_10', 'mlp', 'w3', 'kernel')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_10", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w3", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_10', 'norm1', 'weight')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_10", "key_type": 2}, {"key": "norm1", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_10', 'norm2', 'weight')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_10", "key_type": 2}, {"key": "norm2", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_11', 'attn', 'k_norm', 'weight')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_11", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "k_norm", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_11', 'attn', 'proj', 'bias')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_11", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "proj", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_11', 'attn', 'proj', 'kernel')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_11", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "proj", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_11', 'attn', 'q_norm', 'weight')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_11", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "q_norm", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_11', 'attn', 'qkv', 'bias')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_11", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "qkv", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_11', 'attn', 'qkv', 'kernel')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_11", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "qkv", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_11', 'mlp', 'w12', 'bias')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_11", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w12", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_11', 'mlp', 'w12', 'kernel')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_11", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w12", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_11', 'mlp', 'w3', 'bias')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_11", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w3", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_11', 'mlp', 'w3', 'kernel')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_11", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w3", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_11', 'norm1', 'weight')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_11", "key_type": 2}, {"key": "norm1", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_11', 'norm2', 'weight')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_11", "key_type": 2}, {"key": "norm2", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_2', 'attn', 'k_norm', 'weight')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_2", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "k_norm", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_2', 'attn', 'proj', 'bias')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_2", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "proj", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_2', 'attn', 'proj', 'kernel')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_2", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "proj", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_2', 'attn', 'q_norm', 'weight')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_2", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "q_norm", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_2', 'attn', 'qkv', 'bias')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_2", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "qkv", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_2', 'attn', 'qkv', 'kernel')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_2", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "qkv", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_2', 'mlp', 'w12', 'bias')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_2", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w12", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_2', 'mlp', 'w12', 'kernel')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_2", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w12", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_2', 'mlp', 'w3', 'bias')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_2", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w3", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_2', 'mlp', 'w3', 'kernel')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_2", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w3", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_2', 'norm1', 'weight')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_2", "key_type": 2}, {"key": "norm1", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_2', 'norm2', 'weight')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_2", "key_type": 2}, {"key": "norm2", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_3', 'attn', 'k_norm', 'weight')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_3", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "k_norm", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_3', 'attn', 'proj', 'bias')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_3", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "proj", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_3', 'attn', 'proj', 'kernel')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_3", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "proj", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_3', 'attn', 'q_norm', 'weight')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_3", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "q_norm", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_3', 'attn', 'qkv', 'bias')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_3", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "qkv", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_3', 'attn', 'qkv', 'kernel')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_3", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "qkv", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_3', 'mlp', 'w12', 'bias')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_3", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w12", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_3', 'mlp', 'w12', 'kernel')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_3", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w12", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_3', 'mlp', 'w3', 'bias')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_3", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w3", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_3', 'mlp', 'w3', 'kernel')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_3", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w3", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_3', 'norm1', 'weight')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_3", "key_type": 2}, {"key": "norm1", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_3', 'norm2', 'weight')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_3", "key_type": 2}, {"key": "norm2", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_4', 'attn', 'k_norm', 'weight')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_4", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "k_norm", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_4', 'attn', 'proj', 'bias')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_4", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "proj", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_4', 'attn', 'proj', 'kernel')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_4", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "proj", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_4', 'attn', 'q_norm', 'weight')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_4", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "q_norm", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_4', 'attn', 'qkv', 'bias')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_4", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "qkv", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_4', 'attn', 'qkv', 'kernel')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_4", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "qkv", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_4', 'mlp', 'w12', 'bias')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_4", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w12", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_4', 'mlp', 'w12', 'kernel')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_4", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w12", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_4', 'mlp', 'w3', 'bias')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_4", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w3", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_4', 'mlp', 'w3', 'kernel')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_4", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w3", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_4', 'norm1', 'weight')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_4", "key_type": 2}, {"key": "norm1", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_4', 'norm2', 'weight')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_4", "key_type": 2}, {"key": "norm2", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_5', 'attn', 'k_norm', 'weight')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_5", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "k_norm", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_5', 'attn', 'proj', 'bias')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_5", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "proj", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_5', 'attn', 'proj', 'kernel')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_5", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "proj", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_5', 'attn', 'q_norm', 'weight')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_5", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "q_norm", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_5', 'attn', 'qkv', 'bias')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_5", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "qkv", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_5', 'attn', 'qkv', 'kernel')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_5", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "qkv", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_5', 'mlp', 'w12', 'bias')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_5", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w12", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_5', 'mlp', 'w12', 'kernel')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_5", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w12", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_5', 'mlp', 'w3', 'bias')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_5", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w3", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_5', 'mlp', 'w3', 'kernel')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_5", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w3", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_5', 'norm1', 'weight')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_5", "key_type": 2}, {"key": "norm1", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_5', 'norm2', 'weight')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_5", "key_type": 2}, {"key": "norm2", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_6', 'attn', 'k_norm', 'weight')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_6", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "k_norm", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_6', 'attn', 'proj', 'bias')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_6", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "proj", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_6', 'attn', 'proj', 'kernel')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_6", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "proj", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_6', 'attn', 'q_norm', 'weight')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_6", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "q_norm", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_6', 'attn', 'qkv', 'bias')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_6", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "qkv", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_6', 'attn', 'qkv', 'kernel')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_6", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "qkv", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_6', 'mlp', 'w12', 'bias')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_6", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w12", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_6', 'mlp', 'w12', 'kernel')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_6", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w12", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_6', 'mlp', 'w3', 'bias')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_6", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w3", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_6', 'mlp', 'w3', 'kernel')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_6", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w3", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_6', 'norm1', 'weight')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_6", "key_type": 2}, {"key": "norm1", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_6', 'norm2', 'weight')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_6", "key_type": 2}, {"key": "norm2", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_7', 'attn', 'k_norm', 'weight')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_7", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "k_norm", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_7', 'attn', 'proj', 'bias')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_7", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "proj", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_7', 'attn', 'proj', 'kernel')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_7", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "proj", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_7', 'attn', 'q_norm', 'weight')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_7", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "q_norm", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_7', 'attn', 'qkv', 'bias')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_7", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "qkv", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_7', 'attn', 'qkv', 'kernel')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_7", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "qkv", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_7', 'mlp', 'w12', 'bias')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_7", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w12", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_7', 'mlp', 'w12', 'kernel')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_7", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w12", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_7', 'mlp', 'w3', 'bias')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_7", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w3", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_7', 'mlp', 'w3', 'kernel')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_7", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w3", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_7', 'norm1', 'weight')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_7", "key_type": 2}, {"key": "norm1", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_7', 'norm2', 'weight')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_7", "key_type": 2}, {"key": "norm2", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_8', 'attn', 'k_norm', 'weight')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_8", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "k_norm", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_8', 'attn', 'proj', 'bias')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_8", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "proj", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_8', 'attn', 'proj', 'kernel')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_8", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "proj", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_8', 'attn', 'q_norm', 'weight')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_8", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "q_norm", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_8', 'attn', 'qkv', 'bias')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_8", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "qkv", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_8', 'attn', 'qkv', 'kernel')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_8", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "qkv", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_8', 'mlp', 'w12', 'bias')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_8", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w12", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_8', 'mlp', 'w12', 'kernel')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_8", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w12", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_8', 'mlp', 'w3', 'bias')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_8", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w3", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_8', 'mlp', 'w3', 'kernel')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_8", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w3", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_8', 'norm1', 'weight')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_8", "key_type": 2}, {"key": "norm1", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_8', 'norm2', 'weight')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_8", "key_type": 2}, {"key": "norm2", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_9', 'attn', 'k_norm', 'weight')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_9", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "k_norm", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_9', 'attn', 'proj', 'bias')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_9", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "proj", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_9', 'attn', 'proj', 'kernel')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_9", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "proj", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_9', 'attn', 'q_norm', 'weight')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_9", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "q_norm", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_9', 'attn', 'qkv', 'bias')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_9", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "qkv", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_9', 'attn', 'qkv', 'kernel')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_9", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "qkv", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_9', 'mlp', 'w12', 'bias')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_9", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w12", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_9', 'mlp', 'w12', 'kernel')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_9", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w12", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_9', 'mlp', 'w3', 'bias')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_9", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w3", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_9', 'mlp', 'w3', 'kernel')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_9", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w3", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_9', 'norm1', 'weight')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_9", "key_type": 2}, {"key": "norm1", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'blocks_9', 'norm2', 'weight')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "blocks_9", "key_type": 2}, {"key": "norm2", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'final_layer', 'linear', 'bias')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "final_layer", "key_type": 2}, {"key": "linear", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'final_layer', 'linear', 'kernel')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "final_layer", "key_type": 2}, {"key": "linear", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'final_layer', 'norm_final', 'weight')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "final_layer", "key_type": 2}, {"key": "norm_final", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'mode_tokens')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "mode_tokens", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'proj_bias')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "proj_bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'proj_kernel')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "proj_kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'self_cond_cfg_embedder', 'mlp_0', 'bias')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "self_cond_cfg_embedder", "key_type": 2}, {"key": "mlp_0", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'self_cond_cfg_embedder', 'mlp_0', 'kernel')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "self_cond_cfg_embedder", "key_type": 2}, {"key": "mlp_0", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'self_cond_cfg_embedder', 'mlp_2', 'bias')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "self_cond_cfg_embedder", "key_type": 2}, {"key": "mlp_2", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'self_cond_cfg_embedder', 'mlp_2', 'kernel')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "self_cond_cfg_embedder", "key_type": 2}, {"key": "mlp_2", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'self_cond_cfg_tokens')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "self_cond_cfg_tokens", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'self_cond_proj', 'bias')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "self_cond_proj", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'self_cond_proj', 'kernel')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "self_cond_proj", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 't_emb_tokens')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "t_emb_tokens", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 't_embedder', 'mlp_0', 'bias')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "t_embedder", "key_type": 2}, {"key": "mlp_0", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 't_embedder', 'mlp_0', 'kernel')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "t_embedder", "key_type": 2}, {"key": "mlp_0", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 't_embedder', 'mlp_2', 'bias')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "t_embedder", "key_type": 2}, {"key": "mlp_2", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 't_embedder', 'mlp_2', 'kernel')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "t_embedder", "key_type": 2}, {"key": "mlp_2", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'text_proj', 'proj1', 'kernel')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "text_proj", "key_type": 2}, {"key": "proj1", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'text_proj', 'proj2', 'bias')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "text_proj", "key_type": 2}, {"key": "proj2", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'text_proj', 'proj2', 'kernel')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "text_proj", "key_type": 2}, {"key": "proj2", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'unembed_bias')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "unembed_bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('ema_params1', 'unembed_kernel')": {"key_metadata": [{"key": "ema_params1", "key_type": 2}, {"key": "unembed_kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('epoch',)": {"key_metadata": [{"key": "epoch", "key_type": 2}], "value_metadata": {"value_type": "scalar", "skip_deserialize": false}}, "('params', 'blocks_0', 'attn', 'k_norm', 'weight')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_0", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "k_norm", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_0', 'attn', 'proj', 'bias')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_0", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "proj", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_0', 'attn', 'proj', 'kernel')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_0", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "proj", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_0', 'attn', 'q_norm', 'weight')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_0", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "q_norm", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_0', 'attn', 'qkv', 'bias')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_0", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "qkv", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_0', 'attn', 'qkv', 'kernel')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_0", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "qkv", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_0', 'mlp', 'w12', 'bias')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_0", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w12", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_0', 'mlp', 'w12', 'kernel')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_0", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w12", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_0', 'mlp', 'w3', 'bias')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_0", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w3", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_0', 'mlp', 'w3', 'kernel')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_0", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w3", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_0', 'norm1', 'weight')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_0", "key_type": 2}, {"key": "norm1", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_0', 'norm2', 'weight')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_0", "key_type": 2}, {"key": "norm2", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_1', 'attn', 'k_norm', 'weight')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_1", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "k_norm", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_1', 'attn', 'proj', 'bias')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_1", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "proj", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_1', 'attn', 'proj', 'kernel')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_1", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "proj", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_1', 'attn', 'q_norm', 'weight')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_1", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "q_norm", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_1', 'attn', 'qkv', 'bias')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_1", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "qkv", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_1', 'attn', 'qkv', 'kernel')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_1", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "qkv", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_1', 'mlp', 'w12', 'bias')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_1", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w12", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_1', 'mlp', 'w12', 'kernel')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_1", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w12", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_1', 'mlp', 'w3', 'bias')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_1", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w3", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_1', 'mlp', 'w3', 'kernel')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_1", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w3", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_1', 'norm1', 'weight')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_1", "key_type": 2}, {"key": "norm1", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_1', 'norm2', 'weight')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_1", "key_type": 2}, {"key": "norm2", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_10', 'attn', 'k_norm', 'weight')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_10", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "k_norm", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_10', 'attn', 'proj', 'bias')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_10", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "proj", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_10', 'attn', 'proj', 'kernel')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_10", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "proj", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_10', 'attn', 'q_norm', 'weight')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_10", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "q_norm", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_10', 'attn', 'qkv', 'bias')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_10", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "qkv", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_10', 'attn', 'qkv', 'kernel')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_10", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "qkv", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_10', 'mlp', 'w12', 'bias')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_10", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w12", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_10', 'mlp', 'w12', 'kernel')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_10", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w12", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_10', 'mlp', 'w3', 'bias')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_10", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w3", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_10', 'mlp', 'w3', 'kernel')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_10", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w3", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_10', 'norm1', 'weight')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_10", "key_type": 2}, {"key": "norm1", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_10', 'norm2', 'weight')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_10", "key_type": 2}, {"key": "norm2", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_11', 'attn', 'k_norm', 'weight')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_11", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "k_norm", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_11', 'attn', 'proj', 'bias')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_11", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "proj", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_11', 'attn', 'proj', 'kernel')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_11", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "proj", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_11', 'attn', 'q_norm', 'weight')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_11", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "q_norm", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_11', 'attn', 'qkv', 'bias')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_11", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "qkv", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_11', 'attn', 'qkv', 'kernel')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_11", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "qkv", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_11', 'mlp', 'w12', 'bias')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_11", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w12", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_11', 'mlp', 'w12', 'kernel')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_11", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w12", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_11', 'mlp', 'w3', 'bias')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_11", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w3", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_11', 'mlp', 'w3', 'kernel')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_11", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w3", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_11', 'norm1', 'weight')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_11", "key_type": 2}, {"key": "norm1", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_11', 'norm2', 'weight')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_11", "key_type": 2}, {"key": "norm2", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_2', 'attn', 'k_norm', 'weight')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_2", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "k_norm", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_2', 'attn', 'proj', 'bias')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_2", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "proj", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_2', 'attn', 'proj', 'kernel')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_2", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "proj", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_2', 'attn', 'q_norm', 'weight')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_2", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "q_norm", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_2', 'attn', 'qkv', 'bias')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_2", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "qkv", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_2', 'attn', 'qkv', 'kernel')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_2", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "qkv", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_2', 'mlp', 'w12', 'bias')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_2", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w12", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_2', 'mlp', 'w12', 'kernel')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_2", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w12", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_2', 'mlp', 'w3', 'bias')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_2", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w3", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_2', 'mlp', 'w3', 'kernel')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_2", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w3", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_2', 'norm1', 'weight')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_2", "key_type": 2}, {"key": "norm1", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_2', 'norm2', 'weight')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_2", "key_type": 2}, {"key": "norm2", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_3', 'attn', 'k_norm', 'weight')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_3", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "k_norm", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_3', 'attn', 'proj', 'bias')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_3", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "proj", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_3', 'attn', 'proj', 'kernel')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_3", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "proj", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_3', 'attn', 'q_norm', 'weight')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_3", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "q_norm", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_3', 'attn', 'qkv', 'bias')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_3", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "qkv", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_3', 'attn', 'qkv', 'kernel')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_3", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "qkv", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_3', 'mlp', 'w12', 'bias')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_3", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w12", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_3', 'mlp', 'w12', 'kernel')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_3", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w12", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_3', 'mlp', 'w3', 'bias')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_3", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w3", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_3', 'mlp', 'w3', 'kernel')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_3", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w3", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_3', 'norm1', 'weight')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_3", "key_type": 2}, {"key": "norm1", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_3', 'norm2', 'weight')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_3", "key_type": 2}, {"key": "norm2", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_4', 'attn', 'k_norm', 'weight')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_4", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "k_norm", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_4', 'attn', 'proj', 'bias')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_4", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "proj", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_4', 'attn', 'proj', 'kernel')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_4", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "proj", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_4', 'attn', 'q_norm', 'weight')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_4", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "q_norm", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_4', 'attn', 'qkv', 'bias')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_4", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "qkv", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_4', 'attn', 'qkv', 'kernel')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_4", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "qkv", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_4', 'mlp', 'w12', 'bias')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_4", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w12", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_4', 'mlp', 'w12', 'kernel')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_4", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w12", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_4', 'mlp', 'w3', 'bias')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_4", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w3", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_4', 'mlp', 'w3', 'kernel')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_4", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w3", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_4', 'norm1', 'weight')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_4", "key_type": 2}, {"key": "norm1", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_4', 'norm2', 'weight')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_4", "key_type": 2}, {"key": "norm2", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_5', 'attn', 'k_norm', 'weight')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_5", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "k_norm", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_5', 'attn', 'proj', 'bias')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_5", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "proj", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_5', 'attn', 'proj', 'kernel')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_5", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "proj", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_5', 'attn', 'q_norm', 'weight')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_5", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "q_norm", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_5', 'attn', 'qkv', 'bias')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_5", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "qkv", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_5', 'attn', 'qkv', 'kernel')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_5", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "qkv", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_5', 'mlp', 'w12', 'bias')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_5", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w12", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_5', 'mlp', 'w12', 'kernel')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_5", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w12", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_5', 'mlp', 'w3', 'bias')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_5", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w3", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_5', 'mlp', 'w3', 'kernel')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_5", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w3", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_5', 'norm1', 'weight')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_5", "key_type": 2}, {"key": "norm1", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_5', 'norm2', 'weight')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_5", "key_type": 2}, {"key": "norm2", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_6', 'attn', 'k_norm', 'weight')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_6", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "k_norm", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_6', 'attn', 'proj', 'bias')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_6", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "proj", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_6', 'attn', 'proj', 'kernel')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_6", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "proj", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_6', 'attn', 'q_norm', 'weight')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_6", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "q_norm", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_6', 'attn', 'qkv', 'bias')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_6", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "qkv", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_6', 'attn', 'qkv', 'kernel')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_6", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "qkv", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_6', 'mlp', 'w12', 'bias')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_6", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w12", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_6', 'mlp', 'w12', 'kernel')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_6", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w12", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_6', 'mlp', 'w3', 'bias')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_6", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w3", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_6', 'mlp', 'w3', 'kernel')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_6", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w3", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_6', 'norm1', 'weight')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_6", "key_type": 2}, {"key": "norm1", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_6', 'norm2', 'weight')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_6", "key_type": 2}, {"key": "norm2", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_7', 'attn', 'k_norm', 'weight')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_7", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "k_norm", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_7', 'attn', 'proj', 'bias')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_7", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "proj", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_7', 'attn', 'proj', 'kernel')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_7", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "proj", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_7', 'attn', 'q_norm', 'weight')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_7", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "q_norm", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_7', 'attn', 'qkv', 'bias')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_7", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "qkv", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_7', 'attn', 'qkv', 'kernel')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_7", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "qkv", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_7', 'mlp', 'w12', 'bias')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_7", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w12", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_7', 'mlp', 'w12', 'kernel')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_7", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w12", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_7', 'mlp', 'w3', 'bias')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_7", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w3", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_7', 'mlp', 'w3', 'kernel')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_7", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w3", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_7', 'norm1', 'weight')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_7", "key_type": 2}, {"key": "norm1", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_7', 'norm2', 'weight')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_7", "key_type": 2}, {"key": "norm2", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_8', 'attn', 'k_norm', 'weight')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_8", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "k_norm", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_8', 'attn', 'proj', 'bias')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_8", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "proj", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_8', 'attn', 'proj', 'kernel')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_8", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "proj", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_8', 'attn', 'q_norm', 'weight')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_8", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "q_norm", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_8', 'attn', 'qkv', 'bias')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_8", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "qkv", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_8', 'attn', 'qkv', 'kernel')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_8", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "qkv", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_8', 'mlp', 'w12', 'bias')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_8", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w12", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_8', 'mlp', 'w12', 'kernel')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_8", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w12", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_8', 'mlp', 'w3', 'bias')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_8", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w3", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_8', 'mlp', 'w3', 'kernel')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_8", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w3", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_8', 'norm1', 'weight')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_8", "key_type": 2}, {"key": "norm1", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_8', 'norm2', 'weight')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_8", "key_type": 2}, {"key": "norm2", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_9', 'attn', 'k_norm', 'weight')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_9", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "k_norm", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_9', 'attn', 'proj', 'bias')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_9", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "proj", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_9', 'attn', 'proj', 'kernel')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_9", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "proj", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_9', 'attn', 'q_norm', 'weight')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_9", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "q_norm", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_9', 'attn', 'qkv', 'bias')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_9", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "qkv", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_9', 'attn', 'qkv', 'kernel')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_9", "key_type": 2}, {"key": "attn", "key_type": 2}, {"key": "qkv", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_9', 'mlp', 'w12', 'bias')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_9", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w12", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_9', 'mlp', 'w12', 'kernel')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_9", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w12", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_9', 'mlp', 'w3', 'bias')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_9", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w3", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_9', 'mlp', 'w3', 'kernel')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_9", "key_type": 2}, {"key": "mlp", "key_type": 2}, {"key": "w3", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_9', 'norm1', 'weight')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_9", "key_type": 2}, {"key": "norm1", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'blocks_9', 'norm2', 'weight')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "blocks_9", "key_type": 2}, {"key": "norm2", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'final_layer', 'linear', 'bias')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "final_layer", "key_type": 2}, {"key": "linear", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'final_layer', 'linear', 'kernel')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "final_layer", "key_type": 2}, {"key": "linear", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'final_layer', 'norm_final', 'weight')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "final_layer", "key_type": 2}, {"key": "norm_final", "key_type": 2}, {"key": "weight", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'mode_tokens')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "mode_tokens", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'proj_bias')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "proj_bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'proj_kernel')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "proj_kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'self_cond_cfg_embedder', 'mlp_0', 'bias')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "self_cond_cfg_embedder", "key_type": 2}, {"key": "mlp_0", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'self_cond_cfg_embedder', 'mlp_0', 'kernel')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "self_cond_cfg_embedder", "key_type": 2}, {"key": "mlp_0", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'self_cond_cfg_embedder', 'mlp_2', 'bias')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "self_cond_cfg_embedder", "key_type": 2}, {"key": "mlp_2", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'self_cond_cfg_embedder', 'mlp_2', 'kernel')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "self_cond_cfg_embedder", "key_type": 2}, {"key": "mlp_2", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'self_cond_cfg_tokens')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "self_cond_cfg_tokens", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'self_cond_proj', 'bias')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "self_cond_proj", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'self_cond_proj', 'kernel')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "self_cond_proj", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 't_emb_tokens')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "t_emb_tokens", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 't_embedder', 'mlp_0', 'bias')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "t_embedder", "key_type": 2}, {"key": "mlp_0", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 't_embedder', 'mlp_0', 'kernel')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "t_embedder", "key_type": 2}, {"key": "mlp_0", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 't_embedder', 'mlp_2', 'bias')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "t_embedder", "key_type": 2}, {"key": "mlp_2", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 't_embedder', 'mlp_2', 'kernel')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "t_embedder", "key_type": 2}, {"key": "mlp_2", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'text_proj', 'proj1', 'kernel')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "text_proj", "key_type": 2}, {"key": "proj1", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'text_proj', 'proj2', 'bias')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "text_proj", "key_type": 2}, {"key": "proj2", "key_type": 2}, {"key": "bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'text_proj', 'proj2', 'kernel')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "text_proj", "key_type": 2}, {"key": "proj2", "key_type": 2}, {"key": "kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'unembed_bias')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "unembed_bias", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('params', 'unembed_kernel')": {"key_metadata": [{"key": "params", "key_type": 2}, {"key": "unembed_kernel", "key_type": 2}], "value_metadata": {"value_type": "np.ndarray", "skip_deserialize": false}}, "('step',)": {"key_metadata": [{"key": "step", "key_type": 2}], "value_metadata": {"value_type": "scalar", "skip_deserialize": false}}}, "use_zarr3": false}