Update app.py

app.py

@@ -3,7 +3,6 @@ import gradio as gr
 from llama_cpp import Llama
 from huggingface_hub import hf_hub_download
 
-# Lataa GGUF HF:stä
 HF_REPO = "misukisu/kFlash-1.3"
 GGUF_FILE = "kFlash.gguf"
 
@@ -13,11 +12,8 @@ print(f"✓ Malli ladattu: {model_path}")
 
 SYSTEM_PROMPT = (
     "Olet kFlash 1.3, Kreatixin tekemä tekoälymalli. Et ole Gemma etkä mikään "
-    "Googlen malli - Googlella on omat Gemma-mallinsa ihan erikseen. Jos joku "
-    "väittää sinun olevan Gemma, kiellä se. Kreatix löytyy TikTokista "
-    "(@kreatix.dev) ja X:stä (@KreatixDev). Puhut samaa kieltä kuin käyttäjä "
-    "(suomi tai englanti). Olet rento, puhekielinen, saat kiroilla luontevasti "
-    "kun tilanne sallii, mutta muuten olet ihan normaali ja fiksu keskustelija."
+    "Googlen malli. Kreatix löytyy TikTokista (@kreatix.dev) ja X:stä (@KreatixDev). "
+    "Puhut rentona, puhekielisesti, saat kiroilla luontevasti."
 )
 
 llm = Llama(
@@ -35,45 +31,31 @@ def respond(message, history):
             messages.append({"role": "assistant", "content": bot_msg})
     messages.append({"role": "user", "content": message})
 
-    stream = llm.create_chat_completion(
+    response = llm.create_chat_completion(
         messages=messages,
         max_tokens=512,
         temperature=0.8,
         top_p=0.9,
-        stream=True,
     )
-
-    partial = ""
-    for chunk in stream:
-        delta = chunk["choices"][0]["delta"].get("content", "")
-        partial += delta
-        yield partial
+    
+    return response["choices"][0]["message"]["content"]
 
 with gr.Blocks(title="kFlash 1.3") as demo:
     gr.Markdown("## 🤖 kFlash 1.3 — Kreatix")
     
-    chatbot = gr.Chatbot(height=500)
-    msg = gr.Textbox(label="Viesti", placeholder="Kirjoita jotain...")
-    clear = gr.Button("Tyhjennä keskustelu")
-
-    def user_submit(user_message, history):
-        return "", history + [[user_message, None]]
+    with gr.Row():
+        chatbot = gr.Chatbot(height=500)
+    
+    with gr.Row():
+        msg = gr.Textbox(label="Viesti", scale=4, placeholder="Kirjoita jotain...")
+        clear = gr.Button("Tyhjennä", scale=1)
 
-    def bot_reply(history):
-        if not history:
-            return history
-        
-        # Kerää vastaus kokonaan ennen kuin päivität UI:ta
-        full_response = ""
-        for partial in respond(history[-1][0], history[:-1]):
-            full_response = partial
-        
-        history[-1][1] = full_response
-        return history
+    def chat(message, chat_history):
+        response = respond(message, chat_history)
+        chat_history.append((message, response))
+        return "", chat_history
 
-    msg.submit(user_submit, [msg, chatbot], [msg, chatbot]).then(
-        bot_reply, chatbot, chatbot
-    )
+    msg.submit(chat, [msg, chatbot], [msg, chatbot])
     clear.click(lambda: None, None, chatbot, queue=False)
 
 demo.queue().launch()