config.json

{
  "architectures": [
    "MoeModel"
  ],
  "auto_map": {
    "AutoConfig": "MoEConfig.MoEConfig",
    "AutoModelForCausalLM": "MoEModel.MoeModel"
  },
  "model_type": "moewrapper",
  "torch_dtype": "float16",
  "transformers_version": "4.35.0"
}