Update src/models/inference.py

src/models/inference.py

@@ -59,7 +59,7 @@ class InferenceEngine:
         # bfloat16 вдвое меньше float32 (~6 ГБ vs ~12 ГБ) и поддерживается на CPU
         self.model = AutoModelForCausalLM.from_pretrained(
             self.base_model_name,
-            dtype=torch.bfloat16,
+            torch_dtype=torch.bfloat16,,
             device_map=self.device if self.device != "cpu" else None,
         )