Upload 3 files

app.py

@@ -1124,11 +1124,15 @@ def index():
 
 def num_tokens_from_string(string, model=""):
     try:
-        print(f"\n开始计算token: model={model}")
+        print("\n===================== 开始计算token =====================")
+        print(f"模型: {model}")
+        print(f"输入内容长度: {len(string)} 字符")
+        
         request_data = {
             "model": model,
             "messages": [{"role": "user", "content": string}]
         }
+        print(f"发送请求到tokenizer服务: {TOKENIZER_SERVICE_URL}")
         print(f"请求数据: {json.dumps(request_data, ensure_ascii=False)}")
         
         response = requests.post(
@@ -1137,23 +1141,30 @@ def num_tokens_from_string(string, model=""):
             timeout=10
         )
         
-        print(f"Tokenizer响应状态码: {response.status_code}")
+        print(f"\nTokenizer响应状态码: {response.status_code}")
         print(f"Tokenizer响应内容: {response.text}")
         
         if response.status_code == 200:
             result = response.json()
             input_tokens = result.get("input_tokens", 0)
-            print(f"成功获取token数: {input_tokens}，返回计算方法: 精确")
+            print(f"\n成功获取token数: {input_tokens}")
+            print(f"使用计算方法: 精确")
+            print("===================== 计算完成 =====================\n")
             return input_tokens, "精确"
         else:
             estimated_tokens = len(string) // 4
-            print(f"Tokenizer服务错误: {response.status_code} - {response.text}")
-            print(f"使用估算token数: {estimated_tokens}，返回计算方法: 估算")
+            print(f"\nTokenizer服务错误: {response.status_code}")
+            print(f"错误响应: {response.text}")
+            print(f"使用估算token数: {estimated_tokens}")
+            print(f"使用计算方法: 估算")
+            print("===================== 计算完成 =====================\n")
             return estimated_tokens, "估算"
     except Exception as e:
         estimated_tokens = len(string) // 4
-        print(f"计算token错误: {e}")
-        print(f"使用估算token数: {estimated_tokens}，返回计算方法: 估算")
+        print(f"\n计算token时发生错误: {str(e)}")
+        print(f"使用估算token数: {estimated_tokens}")
+        print(f"使用计算方法: 估算")
+        print("===================== 计算完成 =====================\n")
         return estimated_tokens, "估算"