Update app.py

app.py

@@ -4,8 +4,10 @@ from transformers import AutoModelForCausalLM, AutoTokenizer, TextIteratorStream
 from threading import Thread
 import time
 
-MODEL_ID = "HuggingFaceTB/SmolLM-360M-Instruct"
+# --- MODEL AYARLARI ---
+MODEL_ID = "HuggingFaceTB/SmolLM-360M-Instruct"  # veya "microsoft/Phi-3.5-mini-instruct"
 
+# 4-bit Quantization
 quantization_config = BitsAndBytesConfig(
     load_in_4bit=True,
     bnb_4bit_compute_dtype=torch.float16,
@@ -28,18 +30,29 @@ model = AutoModelForCausalLM.from_pretrained(
 print("✅ Model başarıyla yüklendi!")
 
 def respond(message, history):
-    system_prompt = "NoiseAI/Noise adlı, MagnuX tarafından eğitilmiş bir yapay zekasın. Türkçe konuş ve en iyi kod pratiklerini uygula."
+    system_prompt = "NoiseAI/Noise adlı, MagnuX tarafından eğitilmiş bir yapay zekasın. Türkçe konuş ve en iyi kod pratiklerini uygula. Kullanıcının önceki mesajlarını hatırlarsın."
     
+    # ✅ HISTORY FİX: Her formatı dene
     messages = [{"role": "system", "content": system_prompt}]
     
-    for user_msg, assistant_msg in history:
-        if user_msg:
-            messages.append({"role": "user", "content": user_msg})
-        if assistant_msg:
-            messages.append({"role": "assistant", "content": assistant_msg})
+    # History'yi işle (Gradio'nun formatı: [[user1, asst1], [user2, asst2], ...])
+    for item in history:
+        if isinstance(item, (list, tuple)) and len(item) == 2:
+            user_msg, asst_msg = item[0], item[1]
+            if user_msg:
+                messages.append({"role": "user", "content": user_msg})
+            if asst_msg:
+                messages.append({"role": "assistant", "content": asst_msg})
+        elif isinstance(item, dict):  # Alternatif format
+            if item.get("role") == "user":
+                messages.append(item)
+            elif item.get("role") == "assistant":
+                messages.append(item)
     
+    # Yeni mesajı ekle
     messages.append({"role": "user", "content": message})
     
+    # Prompt'u oluştur
     text = tokenizer.apply_chat_template(
         messages,
         tokenize=False,
@@ -48,34 +61,36 @@ def respond(message, history):
     
     inputs = tokenizer([text], return_tensors="pt").to(model.device)
     
-    # Generation kwargs - streamer'ı düzelt
-    generation_kwargs = dict(
-        **inputs,
-        max_new_tokens=2048,
-        temperature=0.6,
-        top_p=0.9,
-        do_sample=True,
-        pad_token_id=tokenizer.pad_token_id,
-        eos_token_id=tokenizer.eos_token_id,
-    )
-    
-    # Thread'de çalıştır ve sonucu bekle
+    # Generation
     with torch.no_grad():
-        outputs = model.generate(**generation_kwargs)
+        outputs = model.generate(
+            **inputs,
+            max_new_tokens=2048,
+            temperature=0.6,
+            top_p=0.9,
+            do_sample=True,
+            pad_token_id=tokenizer.pad_token_id,
+            eos_token_id=tokenizer.eos_token_id,
+        )
     
     # Decode et
     response = tokenizer.decode(outputs[0][inputs.input_ids.shape[1]:], skip_special_tokens=True)
     
-    # Karakter karakter akıt (gerçek stream değil ama görelim)
-    for i in range(0, len(response), 5):
-        yield response[:i+5]
-        time.sleep(0.02)
+    # Stream gibi göster (karakter karakter)
+    for i in range(0, len(response), 3):
+        yield response[:i+3]
+        time.sleep(0.01)
 
+# Arayüz
 demo = gr.ChatInterface(
     respond,
     title="NoiseAI - Qwen2.5-7B",
-    description="7B parametre - Test ediliyor",
-    examples=[["2+2=?"]]
+    description="7B parametre - History hatası düzeltildi",
+    examples=[
+        ["2+2=?"],
+        ["Peki ya 3*3?"],
+        ["Python ile yılan oyunu yaz"]
+    ]
 )
 
 if __name__ == "__main__":