Update app.py

app.py

@@ -3,31 +3,35 @@ from llama_cpp import Llama
 from huggingface_hub import hf_hub_download
 import os
 
-# --- 1. การตั้งค่าโมเดล (The Sandbox Model) ---
-# เลือกโมเดลที่เก่งภาษาไทยและขนาดไม่เกิน RAM ฟรีของ HF
+# --- 1. การตั้งค่าโมเดล (เน้นประหยัด RAM เพื่อไม่ให้โดน Kill) ---
+# เปลี่ยนมาใช้ Q2_K ซึ่งเล็กกว่าเดิมมาก แต่ยังคงความฉลาดของ Llama-3 อยู่
 repo_id = "QuantFactory/Llama-3-8B-Instruct-GGUF"
-filename = "Llama-3-8B-Instruct.Q4_K_M.gguf"
+filename = "Llama-3-8B-Instruct.Q2_K.gguf"
 
-print("กำลังดาวน์โหลดโมเดลเข้าสู่ Sandbox... โปรดรอสักครู่")
+print("📥 กำลังดาวน์โหลดโมเดลเข้า Sandbox...")
 model_path = hf_hub_download(repo_id=repo_id, filename=filename)
 
-# โหลดโมเดลเข้าสู่ Memory
-# n_ctx คือจำนวนคำที่จำได้ (ปรับตามความแรงเครื่อง)
-llm = Llama(model_path=model_path, n_ctx=2048, n_threads=2)
+# โหลดโมเดลแบบจำกัดทรัพยากร
+# n_ctx=512 คือลดความจำระยะสั้นลงนิดหน่อยเพื่อให้รันไหว
+llm = Llama(
+    model_path=model_path, 
+    n_ctx=512, 
+    n_threads=2,
+    n_batch=128
+)
 
-# --- 2. ขอบเขตคำสั่ง (System Prompt) ---
-SYSTEM_PROMPT = "คุณคือผู้ช่วย AI ที่ฉลาดและสุภาพ ตอบเป็นภาษาไทยอย่างถูกต้อง อยู่ในกรอบของระบบปิด"
+SYSTEM_PROMPT = "คุณคือ AI ผู้ช่วยใน Sandbox ตอบเป็นภาษาไทยอย่างฉลาดและสุภาพ"
 
 def respond(message, history):
-    # รวมประวัติการแชทเพื่อให้ AI จำบริบทได้
+    # Format ของ Llama-3
     prompt = f"<|begin_of_text|><|start_header_id|>system<|end_header_id|>\n\n{SYSTEM_PROMPT}<|eot_id|>"
     
     for user_msg, bot_msg in history:
-        prompt += f"<|start_header_id|>user<|end_header_id|>\n\n{user_msg}<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n{bot_msg}<|eot_id|>"
+        if user_msg and bot_msg:
+            prompt += f"<|start_header_id|>user<|end_header_id|>\n\n{user_msg}<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n{bot_msg}<|eot_id|>"
     
     prompt += f"<|start_header_id|>user<|end_header_id|>\n\n{message}<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n"
 
-    # รัน AI ในกล่องปิด (Local Inference)
     output = llm(
         prompt,
         max_tokens=512,
@@ -37,14 +41,14 @@ def respond(message, history):
     
     return output["choices"][0]["text"].strip()
 
-# --- 3. สร้าง UI หน้าแชท ---
+# --- 2. UI หน้าแชท ---
 with gr.Blocks(theme=gr.themes.Soft()) as demo:
-    gr.Markdown("# 🤖 My Local AI Sandbox (Thai Edition)")
-    gr.Markdown("โมเดลนี้รันอยู่บน CPU ของ Hugging Face โดยตรง ไม่มีการส่งข้อมูลไปข้างนอก")
+    gr.Markdown("# 🛡️ Tanny's Secure AI Sandbox")
+    gr.Markdown("สถานะ: กำลังรันภายใน Docker (Isolated Environment)")
     
-    chatbot = gr.Chatbot(label="ห้องแชทส่วนตัว")
-    msg = gr.Textbox(label="พิมพ์คำถามของคุณที่นี่", placeholder="สวัสดีครับ...")
-    clear = gr.Button("ล้างการสนทนา")
+    chatbot = gr.Chatbot(label="Chat History")
+    msg = gr.Textbox(label="พิมพ์คำถามของคุณ", placeholder="ลองถามอะไรดูก็ได้...")
+    clear = gr.Button("ล้างแชท")
 
     def user(user_message, history):
         return "", history + [[user_message, None]]
@@ -60,4 +64,7 @@ with gr.Blocks(theme=gr.themes.Soft()) as demo:
     )
     clear.click(lambda: None, None, chatbot, queue=False)
 
-demo.launch()
+# สำคัญ: ต้องตั้งพอร์ตเป็น 7860 สำหรับ HF และ host เป็น 0.0.0.0
+if __name__ == "__main__":
+    demo.launch(server_name="0.0.0.0", server_port=7860)
+