Update chatNT.py
Browse files
chatNT.py
CHANGED
|
@@ -605,7 +605,7 @@ class TorchMultiOmicsModel(PreTrainedModel):
|
|
| 605 |
else:
|
| 606 |
if isinstance(config.gpt_config, dict):
|
| 607 |
config.gpt_config["rope_config"] = RotaryEmbeddingConfig(
|
| 608 |
-
**config.gpt_config
|
| 609 |
)
|
| 610 |
config.gpt_config = GptConfig(**config.gpt_config)
|
| 611 |
|
|
|
|
| 605 |
else:
|
| 606 |
if isinstance(config.gpt_config, dict):
|
| 607 |
config.gpt_config["rope_config"] = RotaryEmbeddingConfig(
|
| 608 |
+
**config.gpt_config["rope_config"]
|
| 609 |
)
|
| 610 |
config.gpt_config = GptConfig(**config.gpt_config)
|
| 611 |
|