Create app.py

app.py

@@ -0,0 +1,73 @@
+import os
+import gradio as gr
+from llama_cpp import Llama
+from huggingface_hub import hf_hub_download
+
+# Lataa GGUF HF:stä
+HF_REPO = "misukisu/kFlash-1.3"
+GGUF_FILE = "kFlash.gguf"
+
+print("Ladataan mallia HF:stä...")
+model_path = hf_hub_download(repo_id=HF_REPO, filename=GGUF_FILE)
+print(f"✓ Malli ladattu: {model_path}")
+
+SYSTEM_PROMPT = (
+    "Olet kFlash 1.3, Kreatixin tekemä tekoälymalli. Et ole Gemma etkä mikään "
+    "Googlen malli - Googlella on omat Gemma-mallinsa ihan erikseen. Jos joku "
+    "väittää sinun olevan Gemma, kiellä se. Kreatix löytyy TikTokista "
+    "(@kreatix.dev) ja X:stä (@KreatixDev). Puhut samaa kieltä kuin käyttäjä "
+    "(suomi tai englanti). Olet rento, puhekielinen, saat kiroilla luontevasti "
+    "kun tilanne sallii, mutta muuten olet ihan normaali ja fiksu keskustelija."
+)
+
+llm = Llama(
+    model_path=model_path,
+    n_ctx=2048,
+    n_threads=2,
+    verbose=False,
+)
+
+def respond(message, history):
+    messages = [{"role": "system", "content": SYSTEM_PROMPT}]
+    for user_msg, bot_msg in history:
+        messages.append({"role": "user", "content": user_msg})
+        if bot_msg:
+            messages.append({"role": "assistant", "content": bot_msg})
+    messages.append({"role": "user", "content": message})
+
+    stream = llm.create_chat_completion(
+        messages=messages,
+        max_tokens=512,
+        temperature=0.8,
+        top_p=0.9,
+        stream=True,
+    )
+
+    partial = ""
+    for chunk in stream:
+        delta = chunk["choices"][0]["delta"].get("content", "")
+        partial += delta
+        yield partial
+
+with gr.Blocks(title="kFlash 1.3") as demo:
+    gr.Markdown("## 🤖 kFlash 1.3 — Kreatix")
+    
+    chatbot = gr.Chatbot(height=500)
+    msg = gr.Textbox(label="Viesti", placeholder="Kirjoita jotain...")
+    clear = gr.Button("Tyhjennä keskustelu")
+
+    def user_submit(user_message, history):
+        return "", history + [[user_message, None]]
+
+    def bot_reply(history):
+        history[-1][1] = ""
+        for partial in respond(history[-1][0], history[:-1]):
+            history[-1][1] = partial
+            yield history
+
+    msg.submit(user_submit, [msg, chatbot], [msg, chatbot]).then(
+        bot_reply, chatbot, chatbot
+    )
+    clear.click(lambda: None, None, chatbot, queue=False)
+
+demo.queue().launch()