Update app.py

app.py

@@ -1,29 +1,35 @@
-from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
+from transformers import AutoModelForCausalLM, AutoTokenizer
 import gradio as gr
+import torch
 
-# Załaduj model
-model_name = "google/mt5-small"
+# Załaduj model i tokenizer
+model_name = "radlab/polish-gpt2-small-v2"
 tokenizer = AutoTokenizer.from_pretrained(model_name)
-model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
+model = AutoModelForCausalLM.from_pretrained(model_name)
 
-# Funkcja odpowiadająca na pytanie
-def answer_question(question):
-    input_text = f"Pytanie: {question} Odpowiedź:"
-    inputs = tokenizer.encode(input_text, return_tensors="pt")
-    output = model.generate(
+# Funkcja czatu
+def chatbot(prompt, history=[]):
+    history_text = ""
+    for user, bot in history:
+        history_text += f"Użytkownik: {user}\nAI: {bot}\n"
+    history_text += f"Użytkownik: {prompt}\nAI:"
+
+    inputs = tokenizer.encode(history_text, return_tensors="pt", truncation=True, max_length=1024)
+    outputs = model.generate(
         inputs,
-        max_new_tokens=60,
-        do_sample=False,
-        temperature=0.3,
-        top_p=0.95
+        max_length=inputs.shape[1] + 80,
+        do_sample=True,
+        top_k=50,
+        top_p=0.95,
+        temperature=0.7,
+        pad_token_id=tokenizer.eos_token_id
     )
-    return tokenizer.decode(output[0], skip_special_tokens=True)
+    decoded = tokenizer.decode(outputs[0], skip_special_tokens=True)
+
+    # Wyciągnij tylko nową odpowiedź
+    answer = decoded[len(history_text):].split("Użytkownik:")[0].strip()
+    history.append((prompt, answer))
+    return answer, history
 
 # Gradio UI
-gr.Interface(
-    fn=answer_question,
-    inputs=gr.Textbox(lines=2, placeholder="Zadaj pytanie..."),
-    outputs=gr.Textbox(),
-    title="🤖 Polski Chatbot AI",
-    description="Zadaj pytanie po polsku, a chatbot udzieli sensownej odpowiedzi"
-).launch()
+gr.ChatInterface(fn=chatbot, title="🤖 Polski Chatbot AI", description="Model: radlab/polish-gpt2-small-v2").launch()