Update app.py

app.py

@@ -1,23 +1,52 @@
+import torch
+from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
 import gradio as gr
-from transformers import pipeline, set_seed
 
-# Memuat model GPT-2 untuk generasi teks
-generator = pipeline('text-generation', model='gpt2')
+# Setup model dan tokenizer
+torch.random.manual_seed(0)
+model = AutoModelForCausalLM.from_pretrained(
+    "microsoft/Phi-3-mini-128k-instruct",
+    device_map="cuda",  # Gunakan 'cpu' jika tidak menggunakan GPU
+    torch_dtype="auto",
+    trust_remote_code=True,
+)
 
-# Menetapkan seed untuk hasil yang konsisten
-set_seed(42)
+tokenizer = AutoTokenizer.from_pretrained("microsoft/Phi-3-mini-128k-instruct")
 
-# Fungsi untuk menghasilkan respons chatbot
-def chatbot_response(prompt):
-    response = generator(prompt, max_length=50, num_return_sequences=1)
-    return response[0]['generated_text']
+# Pipeline untuk text-generation
+pipe = pipeline(
+    "text-generation",
+    model=model,
+    tokenizer=tokenizer,
+)
 
-# Membuat antarmuka Gradio untuk input dan output
-interface = gr.Interface(fn=chatbot_response, 
-                         inputs="text", 
-                         outputs="text",
-                         title="Chatbot with GPT-2", 
-                         description="Masukkan teks Anda, dan chatbot akan memberikan respons berdasarkan model GPT-2.")
+# Fungsi untuk menghasilkan respons
+def generate_response(input_text):
+    messages = [
+        {"role": "system", "content": "You are a helpful AI assistant."},
+        {"role": "user", "content": input_text}
+    ]
+    
+    generation_args = {
+        "max_new_tokens": 500,
+        "return_full_text": False,
+        "temperature": 0.7,  # Bisa disesuaikan untuk variasi output
+        "do_sample": True,   # Mengaktifkan sampling untuk variasi output
+    }
 
-# Meluncurkan aplikasi
-interface.launch()
+    output = pipe(messages, **generation_args)
+    return output[0]['generated_text']
+
+# Membuat antarmuka menggunakan Gradio
+iface = gr.Interface(
+    fn=generate_response,             # Fungsi untuk menangani input
+    inputs=gr.Textbox(label="Ask me anything!", placeholder="Tanyakan sesuatu..."),  # Input teks
+    outputs=gr.Textbox(label="AI Response"),  # Output teks dari AI
+    title="AI Chatbot Assistant",      # Judul aplikasi
+    description="Tanya apapun, saya siap membantu!",  # Deskripsi aplikasi
+    theme="compact",                  # Tema antarmuka
+    layout="vertical",                # Layout input dan output secara vertikal
+)
+
+# Menjalankan antarmuka
+iface.launch()