Update app.py

app.py

@@ -58,7 +58,7 @@ def load_model():
         log(f"✅ Model indirildi: {model_path}")
 
         log("📦 GGUF model yükleniyor...")
-        llm = Llama(model_path=model_path, n_gpu_layers=-1, n_ctx=1024)
+        llm = Llama(model_path=model_path, n_gpu_layers=40, n_ctx=1024)
         log("✅ Model başarıyla yüklendi ve kullanılmaya hazır.")
         log("💡 Artık /chat endpoint'ine POST isteği gönderebilirsiniz.")
     except Exception as e:
@@ -75,7 +75,7 @@ def chat(req: ChatRequest):
 
         response = llm(
             prompt,
-            max_tokens=512,
+            max_tokens=256,
             stop=["Kullanıcı:", "Asistan:"],
             echo=False
         )