Update app.py

app.py

@@ -1,66 +1,45 @@
-import torch
-from transformers import AutoTokenizer, AutoModelForCausalLM
+# app.py
 import gradio as gr
+from transformers import AutoTokenizer, AutoModelForCausalLM
+import torch
 
-# Optymalizacja obliczeń
-torch.set_float32_matmul_precision('high')
-
-# Nowy, lżejszy model
-model_name = "distilbert/distilgpt2"
+# Szybszy i sensowny model
+model_name = "tiiuae/falcon-rw-1b"
 tokenizer = AutoTokenizer.from_pretrained(model_name)
 model = AutoModelForCausalLM.from_pretrained(model_name)
 
-MAX_HISTORY = 800  # limit tokenów w historii
-
-def chatbot_response(user_input, history, top_k, top_p, temperature):
-    history += f"Użytkownik: {user_input}\nAI:"
-    input_ids = tokenizer.encode(history, return_tensors="pt", truncation=True, max_length=1024)
-    if input_ids.shape[1] > MAX_HISTORY:
-        input_ids = input_ids[:, -MAX_HISTORY:]
-
+def generate_response(user_input, history):
+    # Kontrola historii, ostatnie 3 interakcje
+    short_history = history[-3:] if history else []
+    
+    # Budowanie promptu
+    prompt = ""
+    for human, bot in short_history:
+        prompt += f"User: {human}\nAI: {bot}\n"
+    prompt += f"User: {user_input}\nAI:"
+
+    input_ids = tokenizer.encode(prompt, return_tensors="pt", truncation=True, max_length=1024)
     output = model.generate(
         input_ids,
-        max_length=input_ids.shape[1] + 80,
-        pad_token_id=tokenizer.eos_token_id,
+        max_new_tokens=80,
         do_sample=True,
-        top_k=int(top_k),
-        top_p=top_p,
-        temperature=temperature
-    )
-
-    decoded = tokenizer.decode(output[0], skip_special_tokens=True)
-    reply = decoded[len(history):].split("Użytkownik:")[0].strip()
-    history += f" {reply}\n"
-    return history, history
-
-with gr.Blocks() as demo:
-    gr.Markdown("# 🤖 Polski Chatbot AI (DistilGPT2)")
-
-    chat_output = gr.Textbox(label="Historia rozmowy", lines=15, interactive=False)
-    user_input = gr.Textbox(label="Wpisz wiadomość")
-
-    top_k = gr.Slider(0, 100, value=50, step=1, label="Top-k")
-    top_p = gr.Slider(0.1, 1.0, value=0.9, step=0.05, label="Top-p")
-    temperature = gr.Slider(0.1, 1.5, value=0.7, step=0.1, label="Temperature")
-
-    history_state = gr.State("")
-
-    send_btn = gr.Button("Wyślij")
-    send_btn.click(
-        chatbot_response,
-        inputs=[user_input, history_state, top_k, top_p, temperature],
-        outputs=[chat_output, history_state]
+        top_k=50,
+        top_p=0.95,
+        temperature=0.7,
+        pad_token_id=tokenizer.eos_token_id
     )
 
-    clear_btn = gr.Button("🧹 Wyczyść historię")
-    clear_btn.click(lambda: ("", ""), outputs=[chat_output, history_state])
+    output_text = tokenizer.decode(output[0], skip_special_tokens=True)
+    reply = output_text[len(prompt):].split("User:")[0].strip()
+    history.append((user_input, reply))
+    return reply, history
 
-    gr.Markdown("## 🔄 Szybkie pytania:")
-    with gr.Row():
-        gr.Button("Jak się nazywasz?").click(
-            lambda _: chatbot_response("Jak się nazywasz?", "", 50, 0.9, 0.7), outputs=[chat_output, history_state])
-        gr.Button("Czym się zajmujesz?").click(
-            lambda _: chatbot_response("Czym się zajmujesz?", "", 50, 0.9, 0.7), outputs=[chat_output, history_state])
+iface = gr.Interface(
+    fn=generate_response,
+    inputs=[gr.Textbox(label="Twoje pytanie"), gr.State([])],
+    outputs=[gr.Textbox(label="Odpowiedź AI"), gr.State([])],
+    title="🤖 Polski Chatbot AI",
+    description="Chatbot działający na bazie modelu Falcon-RW-1B. Zadaj pytanie, a AI postara się odpowiedzieć mądrze i szybko."
+)
 
-if __name__ == "__main__":
-    demo.launch()
+iface.launch()