Update app.py

app.py

@@ -1,25 +1,24 @@
-from flask import Flask, request, jsonify, render_template
+from flask import Flask, render_template, request, jsonify
+import requests
 from flask_cors import CORS
-from llama_cpp import Llama
-import os
 
 app = Flask(__name__)
 CORS(app)
 
-# Đường dẫn tới model GGUF
-MODEL_PATH = "models/mistral-7b-instruct-v0.2.Q4_K_M.gguf"
-
-# Kiểm tra model có tồn tại không
-if not os.path.exists(MODEL_PATH):
-    raise FileNotFoundError(f"Không tìm thấy model tại {MODEL_PATH}")
-
-# Load model GGUF
-llm = Llama(model_path=MODEL_PATH, n_ctx=4096, n_threads=8, n_batch=512)
-
-# Xử lý chat
-def get_answer(user_text):
-    response = llm(f"User: {user_text}\nAssistant:", max_tokens=150, temperature=0.7)
-    return response["choices"][0]["text"]
+# Model Hugging Face (Không cần tải về)
+HF_MODEL = "google/gemma-2b"
+HF_API_URL = f"https://api-inference.huggingface.co/models/{HF_MODEL}"
+
+# Gửi request API để chat
+def chat_with_gemma(prompt):
+    response = requests.post(
+        HF_API_URL,
+        headers={"Authorization": f"Bearer YOUR_HF_API_KEY"},  # Thay YOUR_HF_API_KEY bằng API Key của bạn
+        json={"inputs": prompt}
+    )
+    if response.status_code == 200:
+        return response.json()[0]['generated_text']
+    return "Lỗi: Không thể lấy phản hồi từ API."
 
 @app.route('/')
 def index():
@@ -28,9 +27,9 @@ def index():
 @app.route('/chat', methods=['POST'])
 def chat():
     data = request.json
-    user_message = data.get('message', '')
-    bot_reply = get_answer(user_message)
-    return jsonify({'FROM': 'AI Assistant', 'MESSAGE': bot_reply})
+    user_message = data.get("message", "")
+    bot_reply = chat_with_gemma(user_message)
+    return jsonify({'FROM': 'Gemma-2B', 'MESSAGE': bot_reply})
 
 if __name__ == '__main__':
-    app.run(host="0.0.0.0", port=7860, debug=True)
+    app.run(host="0.0.0.0", port=7860)