Update app.py
Browse files
app.py
CHANGED
|
@@ -16,11 +16,15 @@ HF_API_URL = f"https://api-inference.huggingface.co/models/{HF_MODEL}"
|
|
| 16 |
|
| 17 |
# Lấy API Key từ biến môi trường
|
| 18 |
HF_API_KEY = os.getenv("HF_API_KEY")
|
|
|
|
| 19 |
if not HF_API_KEY:
|
| 20 |
-
|
| 21 |
|
| 22 |
# Hàm gửi request đến API Hugging Face
|
| 23 |
def chat_with_tinyllama(prompt):
|
|
|
|
|
|
|
|
|
|
| 24 |
logging.info(f"Gửi request đến API: {HF_API_URL}")
|
| 25 |
logging.info(f"Nội dung gửi: {prompt}")
|
| 26 |
|
|
@@ -33,7 +37,13 @@ def chat_with_tinyllama(prompt):
|
|
| 33 |
|
| 34 |
if response.status_code == 200:
|
| 35 |
result = response.json()
|
| 36 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 37 |
elif response.status_code == 503:
|
| 38 |
return "Mô hình đang quá tải, vui lòng thử lại sau."
|
| 39 |
else:
|
|
@@ -44,11 +54,17 @@ def chat_with_tinyllama(prompt):
|
|
| 44 |
except requests.exceptions.RequestException as e:
|
| 45 |
return f"Lỗi mạng: {str(e)}"
|
| 46 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 47 |
# Route API chat
|
| 48 |
@app.route('/chat', methods=['POST'])
|
| 49 |
def chat():
|
| 50 |
data = request.json
|
| 51 |
-
user_message = data.get("message", "")
|
|
|
|
| 52 |
if not user_message:
|
| 53 |
return jsonify({'FROM': 'TinyLlama', 'MESSAGE': 'Lỗi: Tin nhắn không hợp lệ.'})
|
| 54 |
|
|
@@ -57,4 +73,4 @@ def chat():
|
|
| 57 |
|
| 58 |
# Chạy Flask server
|
| 59 |
if __name__ == '__main__':
|
| 60 |
-
app.run(host="0.0.0.0", port=7860)
|
|
|
|
| 16 |
|
| 17 |
# Lấy API Key từ biến môi trường
|
| 18 |
HF_API_KEY = os.getenv("HF_API_KEY")
|
| 19 |
+
|
| 20 |
if not HF_API_KEY:
|
| 21 |
+
logging.error("Lỗi: API Key không tồn tại. Hãy thêm vào Hugging Face Secrets.")
|
| 22 |
|
| 23 |
# Hàm gửi request đến API Hugging Face
|
| 24 |
def chat_with_tinyllama(prompt):
|
| 25 |
+
if not HF_API_KEY:
|
| 26 |
+
return "Lỗi: API Key không tồn tại."
|
| 27 |
+
|
| 28 |
logging.info(f"Gửi request đến API: {HF_API_URL}")
|
| 29 |
logging.info(f"Nội dung gửi: {prompt}")
|
| 30 |
|
|
|
|
| 37 |
|
| 38 |
if response.status_code == 200:
|
| 39 |
result = response.json()
|
| 40 |
+
# Kiểm tra định dạng JSON trả về
|
| 41 |
+
if isinstance(result, list) and "generated_text" in result[0]:
|
| 42 |
+
return result[0]["generated_text"]
|
| 43 |
+
elif isinstance(result, dict) and "generated_text" in result:
|
| 44 |
+
return result["generated_text"]
|
| 45 |
+
else:
|
| 46 |
+
return "Lỗi: Định dạng phản hồi không hợp lệ."
|
| 47 |
elif response.status_code == 503:
|
| 48 |
return "Mô hình đang quá tải, vui lòng thử lại sau."
|
| 49 |
else:
|
|
|
|
| 54 |
except requests.exceptions.RequestException as e:
|
| 55 |
return f"Lỗi mạng: {str(e)}"
|
| 56 |
|
| 57 |
+
# Route API kiểm tra server
|
| 58 |
+
@app.route('/')
|
| 59 |
+
def index():
|
| 60 |
+
return jsonify({'message': 'TinyLlama API is running!'})
|
| 61 |
+
|
| 62 |
# Route API chat
|
| 63 |
@app.route('/chat', methods=['POST'])
|
| 64 |
def chat():
|
| 65 |
data = request.json
|
| 66 |
+
user_message = data.get("message", "").strip()
|
| 67 |
+
|
| 68 |
if not user_message:
|
| 69 |
return jsonify({'FROM': 'TinyLlama', 'MESSAGE': 'Lỗi: Tin nhắn không hợp lệ.'})
|
| 70 |
|
|
|
|
| 73 |
|
| 74 |
# Chạy Flask server
|
| 75 |
if __name__ == '__main__':
|
| 76 |
+
app.run(host="0.0.0.0", port=7860, debug=True)
|