Update app.py

app.py

@@ -7,12 +7,12 @@ device = "cuda" if torch.cuda.is_available() else "cpu"
 # Modell und Tokenizer laden
 model = AutoModel.from_pretrained(
     model_name,
-    revision="main",  # Hier den Namen des Branches oder Commit-Hash einfügen
-    device_map=device,
-    torch_dtype=torch.bfloat16,
+    device_map="auto",  # Modell auf verfügbaren Geräten verteilen
+    low_cpu_mem_usage=True,
     trust_remote_code=True,
 ).eval()
 
+
 tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
 
 # Eingabe für das Gesprächsmodell erstellen