Update app.py

app.py

@@ -15,143 +15,125 @@ OUTPUT_DIR = os.path.join(BASE_DIR, "mineru_outputs")
 os.makedirs(PAPERS_DIR, exist_ok=True)
 
 def get_debug_info():
-    """读取服务器文件系统状态，用于实时监控"""
+    """读取服务器文件系统状态"""
     now = datetime.now().strftime("%H:%M:%S")
     files = os.listdir(PAPERS_DIR) if os.path.exists(PAPERS_DIR) else "Directory missing"
     
-    # 检查输出目录状态
-    output_status = "Not generated"
+    # 递归检查输出目录下的内容，看看到底生成了什么
+    output_detail = "Not generated"
     if os.path.exists(OUTPUT_DIR):
-        out_files = os.listdir(OUTPUT_DIR)
-        output_status = f"Exists ({len(out_files)} items)"
+        all_output_items = []
+        for root, dirs, files_in_out in os.walk(OUTPUT_DIR):
+            for name in files_in_out:
+                all_output_items.append(os.path.join(os.path.relpath(root, OUTPUT_DIR), name))
+        output_detail = f"Found {len(all_output_items)} files: {all_output_items[:5]}..." if all_output_items else "Directory exists but is EMPTY"
 
-    config_content = "Not found"
-    if os.path.exists(CONFIG_PATH):
-        try:
-            with open(CONFIG_PATH, "r", encoding="utf-8") as f:
-                config_content = f.read()
-        except Exception:
-            config_content = "Error reading config"
-            
-    return f"[{now}] 📁 papers/ 文件夹:\n{files}\n\n[{now}] 📂 mineru_outputs:\n{output_status}\n\n[{now}] 📄 config.yaml 内容:\n{config_content}"
+    return f"[{now}] 📁 papers/ 内容: {files}\n\n[{now}] 📂 mineru_outputs 状态: {output_detail}"
 
 def save_pdf(file):
-    if file is None:
-        return "❌ 请先选择一个 PDF 文件", get_debug_info()
-    
+    if file is None: return "❌ 请先选择 PDF", get_debug_info()
     try:
-        file_name = os.path.basename(file.name)
-        file_path = os.path.join(PAPERS_DIR, file_name)
+        file_path = os.path.join(PAPERS_DIR, os.path.basename(file.name))
         shutil.copy(file.name, file_path)
-        return f"✅ 成功保存文件: {file_name}", get_debug_info()
+        return f"✅ 已保存: {os.path.basename(file.name)}", get_debug_info()
     except Exception as e:
-        return f"❌ 保存 PDF 出错: {str(e)}", get_debug_info()
+        return f"❌ 出错: {str(e)}", get_debug_info()
 
 def save_api_key(api_key):
-    if not api_key:
-        return "❌ API Key 不能为空", get_debug_info()
-    
+    if not api_key: return "❌ Key 不能为空", get_debug_info()
     try:
         config = {}
         if os.path.exists(CONFIG_PATH):
             with open(CONFIG_PATH, "r", encoding="utf-8") as f:
                 config = yaml.safe_load(f) or {}
-        
-        if "api_keys" not in config:
-            config["api_keys"] = {}
-        config["api_keys"]["gemini_api_key"] = api_key
-        
+        config.setdefault("api_keys", {})["gemini_api_key"] = api_key
         with open(CONFIG_PATH, "w", encoding="utf-8") as f:
-            yaml.dump(config, f, allow_unicode=True, default_flow_style=False)
-            
-        return "✅ API Key 已成功写入 config.yaml", get_debug_info()
+            yaml.dump(config, f, allow_unicode=True)
+        return "✅ Key 已保存", get_debug_info()
     except Exception as e:
-        return f"❌ 保存 Key 出错: {str(e)}", get_debug_info()
+        return f"❌ 出错: {str(e)}", get_debug_info()
 
 def run_mineru_parsing():
-    """执行 PDF 解析逻辑"""
-    # 1. 判断是否上传了 PDF
+    """执行 PDF 解析并捕获完整日志"""
     if not os.path.exists(PAPERS_DIR) or not any(f.endswith('.pdf') for f in os.listdir(PAPERS_DIR)):
-        return "❌ 未发现已上传的 PDF 文件，请先执行步骤 2。", get_debug_info()
+        return "❌ 未发现 PDF 文件", get_debug_info(), "No execution logs."
 
     try:
-        # 2. 设置环境变量 (包含你发现的虚拟显存设置)
         env = os.environ.copy()
         env["MINERU_FORMULA_ENABLE"] = "false"
         env["MINERU_TABLE_ENABLE"] = "false"
         env["MINERU_DEVICE_MODE"] = "cpu"
-        # 核心修改：添加虚拟显存大小设置，规避 torch 检测错误
         env["MINERU_VIRTUAL_VRAM_SIZE"] = "8"
 
-        # 3. 执行 Mineru 命令
-        command = ["mineru", "-p", "papers", "-o", "mineru_outputs"]
+        # 尝试使用完整的 mineru 命令
+        command = ["mineru", "-p", PAPERS_DIR, "-o", OUTPUT_DIR]
         
-        # 将启动信息打印到 stderr 以便在 HF Log 中查看
-        print(f">>> 开始解析任务: {' '.join(command)}", file=sys.stderr, flush=True)
+        # 使用 subprocess.run 捕获所有输出
+        result = subprocess.run(
+            command, 
+            env=env, 
+            capture_output=True, 
+            text=True,
+            timeout=300 # 设置5分钟超时防止卡死
+        )
+
+        # 组合 stdout 和 stderr 作为完整的运行日志
+        full_log = f"--- STDOUT ---\n{result.stdout}\n\n--- STDERR ---\n{result.stderr}"
         
-        # 执行子进程
-        # capture_output=True 将捕获输出，text=True 将结果作为字符串处理
-        result = subprocess.run(command, env=env, capture_output=True, text=True)
-
         if result.returncode == 0:
-            print(">>> 解析任务成功结束", file=sys.stderr, flush=True)
-            return "✅ PDF解析完成", get_debug_info()
+            status = "✅ PDF解析完成"
         else:
-            # 打印详细错误到后台日志
-            print(f">>> 解析任务失败: {result.stderr}", file=sys.stderr, flush=True)
-            return f"❌ 解析过程中出错: {result.stderr}", get_debug_info()
+            status = f"❌ 解析失败 (Exit Code: {result.returncode})"
+            
+        return status, get_debug_info(), full_log
 
     except Exception as e:
-        return f"❌ 执行命令时发生异常: {str(e)}", get_debug_info()
+        error_log = f"Exception occurred during execution:\n{str(e)}"
+        return "❌ 运行异常", get_debug_info(), error_log
 
-# --- 构建单页 UI ---
+# --- UI ---
 with gr.Blocks(theme=gr.themes.Soft()) as demo:
-    gr.Markdown("# 📑 PDF 助手管理后台")
+    gr.Markdown("# 📑 Mineru PDF 解析调试器")
     
     with gr.Row():
-        # 左侧操作区
-        with gr.Column(scale=2):
-            # 第一部分：API 配置
+        with gr.Column(scale=1):
             with gr.Group():
-                gr.Markdown("### 1. 密钥配置")
-                key_input = gr.Textbox(label="Gemini API Key", type="password")
-                key_btn = gr.Button("保存配置", variant="primary")
-                key_status = gr.Textbox(label="配置状态", interactive=False)
-
-            gr.Markdown("---")
-
-            # 第二部分：PDF 上传
+                gr.Markdown("### 1. 配置 & 上传")
+                key_input = gr.Textbox(label="API Key", type="password")
+                key_btn = gr.Button("保存 Key")
+                gr.Markdown("---")
+                pdf_input = gr.File(label="选择 PDF", file_types=[".pdf"])
+                pdf_btn = gr.Button("保存 PDF")
+                
             with gr.Group():
-                gr.Markdown("### 2. 论文上传")
-                pdf_input = gr.File(label="选择 PDF 文件", file_types=[".pdf"])
-                pdf_btn = gr.Button("保存到 papers 文件夹", variant="primary")
-                pdf_status = gr.Textbox(label="上传状态", interactive=False)
+                gr.Markdown("### 2. 执行解析")
+                parse_btn = gr.Button("🚀 Run Mineru (CPU Mode)", variant="primary")
+                parse_status = gr.Textbox(label="运行状态")
 
-            gr.Markdown("---")
-
-            # 第三部分：解析步骤
-            with gr.Group():
-                gr.Markdown("### 3. 解析 PDF")
-                gr.Markdown("<small>已应用环境变量：MINERU_VIRTUAL_VRAM_SIZE=8</small>")
-                parse_btn = gr.Button("🚀 开始解析 (Run Mineru)", variant="secondary")
-                parse_status = gr.Textbox(label="解析进度/结果", interactive=False)
-
-        # 右侧调试监控区
         with gr.Column(scale=1):
             gr.Markdown("### 🔍 实时系统监控")
-            debug_view = gr.Textbox(
-                label="服务器文件状态", 
-                value=get_debug_info(), 
-                lines=25,
+            debug_view = gr.Textbox(label="文件系统快照", value=get_debug_info(), lines=8, interactive=False)
+            
+            gr.Markdown("### 📜 Mineru 终端输出日志")
+            cmd_logs = gr.Textbox(
+                label="Command Output (Stdout/Stderr)", 
+                placeholder="等待解析任务开始...", 
+                lines=15, 
                 interactive=False
             )
-            refresh_btn = gr.Button("🔄 手动刷新状态")
+            refresh_btn = gr.Button("🔄 刷新状态")
 
-    # 绑定事件逻辑
-    key_btn.click(fn=save_api_key, inputs=key_input, outputs=[key_status, debug_view])
-    pdf_btn.click(fn=save_pdf, inputs=pdf_input, outputs=[pdf_status, debug_view])
-    parse_btn.click(fn=run_mineru_parsing, outputs=[parse_status, debug_view])
-    refresh_btn.click(fn=get_debug_info, outputs=debug_view)
+    # 逻辑绑定
+    key_btn.click(save_api_key, inputs=key_input, outputs=[parse_status, debug_view])
+    pdf_btn.click(save_pdf, inputs=pdf_input, outputs=[parse_status, debug_view])
+    
+    # 解析按钮会更新三个地方：状态、文件监控、详细日志
+    parse_btn.click(
+        fn=run_mineru_parsing, 
+        outputs=[parse_status, debug_view, cmd_logs]
+    )
+    
+    refresh_btn.click(get_debug_info, outputs=debug_view)
 
 if __name__ == "__main__":
     demo.launch()