back

app.py

@@ -1,8 +1,64 @@
 # app.py
 import gradio as gr
-import phoGPT
 
-respond = phoGPT.respond()
+import torch
+from transformers import AutoConfig, AutoModelForCausalLM, AutoTokenizer
+
+# 1️⃣ Cấu hình và load model + tokenizer
+model_path = "vinai/PhoGPT-4B-Chat"
+ 
+config = AutoConfig.from_pretrained(model_path, trust_remote_code=True)
+config.init_device = "cpu"
+
+model = AutoModelForCausalLM.from_pretrained("vinai/PhoGPT-4B-Chat", trust_remote_code=True)
+model.eval()
+tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
+
+
+def respond(message, history: list[tuple[str, str]], system_message, max_tokens, temperature, top_p):
+    # 2.1 — Gom system message và history vào messages list
+    messages = [{"role": "system", "content": system_message}]
+    for u, b in history:
+        if u:
+            messages.append({"role": "user", "content": u})
+        if b:
+            messages.append({"role": "assistant", "content": b})
+    messages.append({"role": "user", "content": message})
+
+    # 2.2 — Tạo prompt chuẩn
+    input_prompt  = tokenizer.apply_chat_template(
+        messages,
+        tokenize=False,
+        add_generation_prompt=True
+    )
+
+    # 2.3 — Tokenize và đưa lên device
+    # inputs = tokenizer(input_prompt, return_tensors="pt")
+    input_ids = tokenizer(input_prompt, return_tensors="pt")  
+    # inputs = {k: v.to(model.device) for k, v in inputs.items()}
+
+    # 2.4 — Sinh text
+    outputs = model.generate(
+        inputs=input_ids["input_ids"], 
+        max_new_tokens=max_tokens,
+        temperature=temperature,
+        top_p=top_p,
+        do_sample=True,
+        eos_token_id=tokenizer.eos_token_id,
+        pad_token_id=tokenizer.pad_token_id,
+    )
+    # print('!!!! OUTPUTS 1: ',outputs)
+    # 2.5 — Decode và tách phần assistant trả lời
+    response = tokenizer.batch_decode(outputs, skip_special_tokens=True)[0]  
+    print('!! OUTPUTS 2: ',response)
+
+    response = response.split("### Trả lời:")[1]
+    print('!!!! OUTPUTS 3: ',response)
+    return response
+
+    # 2.6 — Cập nhật history và trả về
+    # history.append((message, response))
+    # return history
 
 # 3️⃣ Giao diện Gradio
 demo = gr.ChatInterface(

git.txt

@@ -1,4 +0,0 @@
-git commit -am "Update space"; git push origin main
-
-git add test.py
-git rm test.py

phoGPT.py

@@ -1,5 +1,6 @@
-import torch
+ # type: ignore
 from transformers import AutoConfig, AutoModelForCausalLM, AutoTokenizer
+import torch
 
 # 1️⃣ Cấu hình và load model + tokenizer
 model_path = "vinai/PhoGPT-4B-Chat"