Update app.py

app.py

@@ -7,8 +7,8 @@ from transformers import AutoTokenizer, AutoModelForCausalLM, TextIteratorStream
 MODEL_NAME = "daniel-dona/gemma-3-270m-it"
 
 # CPU optimizasyonları
-torch.set_num_threads(torch.get_num_threads())  # tüm çekirdekleri kullan
-torch.set_float32_matmul_precision("high")      # matmul hızını artır
+torch.set_num_threads(torch.get_num_threads())   # Tüm çekirdekleri kullan
+torch.set_float32_matmul_precision("high")       # Matmul hızını artır
 
 # Model/Tokenizer global yükleme
 tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
@@ -19,36 +19,34 @@ model = AutoModelForCausalLM.from_pretrained(
 )
 model.eval()
 
-# Kullanıcı bazlı KV cache
-sessions = {}  # {user_id: past_key_values}
-
 def build_prompt(message, history, system_message, max_ctx_tokens=1024):
     msgs = [{"role": "system", "content": system_message}]
     for u, a in history:
-        if u: msgs.append({"role": "user", "content": u})
-        if a: msgs.append({"role": "assistant", "content": a})
+        if u:
+            msgs.append({"role": "user", "content": u})
+        if a:
+            msgs.append({"role": "assistant", "content": a})
     msgs.append({"role": "user", "content": message})
 
     # Token bütçesi ile kırpma
     while True:
-        text = tokenizer.apply_chat_template(msgs, tokenize=False, add_generation_prompt=True)
+        text = tokenizer.apply_chat_template(
+            msgs, tokenize=False, add_generation_prompt=True
+        )
         if len(tokenizer(text, add_special_tokens=False).input_ids) <= max_ctx_tokens:
             return text
-        # En eski user+assistant çiftini at
+        # En eski user+assistant çiftini at (system'i koru)
         for i in range(1, len(msgs)):
             if msgs[i]["role"] != "system":
                 del msgs[i:i+2]
                 break
 
 def respond_stream(message, history, system_message, max_tokens, temperature, top_p):
-    user_id = "default"
-    past = sessions.get(user_id)
-
-    if past is None:
-        text = build_prompt(message, history, system_message)
-        inputs = tokenizer([text], return_tensors="pt").to(model.device)
-    else:
-        inputs = tokenizer([message], return_tensors="pt").to(model.device)
+    # İlk mesajda tüm prompt'u veriyoruz; sonraki turlarda da bu örnek basit tutularak aynı akış korunuyor.
+    # (HF TextIteratorStreamer ile generate() sonrası past_key_values dışarı alınmadığı için
+    #  bu sürüm KV cache’i oturumlar arası taşımıyor; hız için streaming + bağlam kırpma kullanıyoruz.)
+    text = build_prompt(message, history, system_message)
+    inputs = tokenizer([text], return_tensors="pt").to(model.device)
 
     do_sample = temperature > 0
     gen_kwargs = dict(
@@ -56,30 +54,43 @@ def respond_stream(message, history, system_message, max_tokens, temperature, to
         do_sample=do_sample,
         top_p=top_p,
         temperature=temperature if do_sample else None,
-        use_cache=True,
-        past_key_values=past
+        use_cache=True,  # decode aşamasında KV cache'i etkin
+        eos_token_id=tokenizer.eos_token_id,
+        pad_token_id=tokenizer.eos_token_id,
     )
 
-    streamer = TextIteratorStreamer(tokenizer, skip_special_tokens=True)
+    # skip_prompt=True ile prompt’un ekrana yazılmasını engelleriz (Transformers >= 4.42 gerektirir)
+    try:
+        streamer = TextIteratorStreamer(
+            tokenizer, skip_special_tokens=True, skip_prompt=True
+        )
+    except TypeError:
+        # Eski sürüm uyumluluğu: skip_prompt yoksa, yine de çalışır ama ilk chunk'ta prompt kırıntısı gelebilir
+        streamer = TextIteratorStreamer(tokenizer, skip_special_tokens=True)
+
     thread = threading.Thread(
         target=model.generate,
         kwargs={**inputs, **{k: v for k, v in gen_kwargs.items() if v is not None}, "streamer": streamer}
     )
 
-    input_len = inputs["input_ids"].shape[1]
     partial_text = ""
-    token_count = 0
-    start_time = time.time()
-
+    start_time = None  # İlk token geldiği anı işaretler
     with torch.inference_mode():
         thread.start()
-        for new_text in streamer:
-            partial_text += new_text
-            yield partial_text
+        for chunk in streamer:
+            if start_time is None:
+                start_time = time.time()
+            partial_text += chunk
+            yield partial_text  # append streaming: önceki + yeni chunk
         thread.join()
 
-    end_time = time.time()
-    tps = token_count / (end_time - start_time) if (end_time - start_time) > 0 else 0
+    end_time = time.time() if start_time is not None else time.time()
+
+    # Üretilen token sayısını final metinden hesapla
+    gen_token_count = len(tokenizer(partial_text, add_special_tokens=False).input_ids)
+    duration = max(1e-6, end_time - start_time) if start_time else 0.0
+    tps = (gen_token_count / duration) if duration > 0 else 0.0
+
     yield partial_text + f"\n\n⚡ **Hız:** {tps:.2f} token/sn"
 
 demo = gr.ChatInterface(
@@ -87,10 +98,11 @@ demo = gr.ChatInterface(
     additional_inputs=[
         gr.Textbox(value="You are a friendly Chatbot.", label="System message"),
         gr.Slider(minimum=1, maximum=2048, value=256, step=1, label="Max new tokens"),
-        gr.Slider(minimum=0.1, maximum=4.0, value=0.7, step=0.1, label="Temperature"),
+        gr.Slider(minimum=0.0, maximum=4.0, value=0.7, step=0.1, label="Temperature"),
         gr.Slider(minimum=0.1, maximum=1.0, value=0.95, step=0.05, label="Top-p"),
     ],
 )
 
 if __name__ == "__main__":
-    demo.launch()
+    # Gradio’nun stream buffer hatalarını azaltmak için queue iyi sonuç verir
+    demo.queue().launch()