unsl

app.py

@@ -30,6 +30,8 @@ def translate(
     direction,
     max_tokens=128
 ):
+    FastLanguageModel.for_inference(model)
+    
     # Richtung bestimmen und Anweisung formatieren
     if direction == "hochdeutsch_to_schwaebisch":
         instruction = "Übersetze den hochdeutschen Text ins Schwäbische. Achte auf eine sinnvolle und korrekte Satzbildung!"