Update app.py

app.py

@@ -1,37 +1,34 @@
 import gradio as gr
-from huggingface_hub import InferenceClient
+from transformers import AutoModelForCausalLM, AutoTokenizer
+import torch
 
-# InferenceClient'ı oluşturun
-client = InferenceClient("bkaplan/MRL1")
+# Modeli yükleyin
+model_name = "bkaplan/MRL1"
+tokenizer = AutoTokenizer.from_pretrained(model_name)
+model = AutoModelForCausalLM.from_pretrained(model_name, device_map="auto", torch_dtype=torch.float16)
 
 def respond(message, history, system_message, max_tokens, temperature, top_p):
-    # Mesaj listesini hazırlayın
-    messages = []
-    
-    # Sistem mesajını ekleyin
-    if system_message:
-        messages.append({"role": "system", "content": system_message})
-    
-    # Geçmiş mesajları ekleyin
-    for user, assistant in history:
-        if user:
-            messages.append({"role": "user", "content": user})
-        if assistant:
-            messages.append({"role": "assistant", "content": assistant})
-    
-    # Yeni mesajı ekleyin
-    messages.append({"role": "user", "content": message})
-    
     try:
-        # chat yerine text_generation metodunu kullanın
-        response = client.text_generation(
-            prompt=message,  # Doğrudan son mesajı kullanın
-            max_new_tokens=max_tokens,
-            temperature=temperature,
+        # Girdiyi hazırlama
+        input_text = f"System: {system_message}\nUser: {message}\nAssistant:"
+        
+        # Tokenize etme
+        inputs = tokenizer(input_text, return_tensors="pt").to(model.device)
+        
+        # Üretim parametreleri
+        outputs = model.generate(
+            **inputs, 
+            max_length=max_tokens, 
+            temperature=temperature, 
             top_p=top_p,
-            # Gerekirse ek parametreler ekleyebilirsiniz
+            num_return_sequences=1,
+            do_sample=True
         )
+        
+        # Yanıtı çözme
+        response = tokenizer.decode(outputs[0], skip_special_tokens=True)
         yield response
+    
     except Exception as e:
         yield f"Hata oluştu: {str(e)}"