Program Concurrency Performance (#5)

本次提交实施了稳定的三层防护方案，解决单进程模式导致的CPU争抢问题。

## 核心改进

### 第1层：启用多进程Worker模式
- 修改 entrypoint.sh：添加 --workers 参数
- 默认4个worker进程，充分利用多核CPU
- 预期CPU利用率从12.5%提升至60-70%

### 第2层：并发限制保护机制
- 修改 main.py：添加信号量（Semaphore）控制
- 每个worker最多3个并发ImageMagick进程
- 防止资源过载和系统不稳定

### 第3层：ImageMagick资源限制
- 修改 Dockerfile：配置资源限制环境变量
- MAGICK_MEMORY_LIMIT=512MiB (内存限制)
- MAGICK_TIME_LIMIT=300 (超时限制)
- MAGICK_THREAD_LIMIT=2 (线程限制)

Dockerfile

@@ -6,6 +6,17 @@ ENV PORT=8000
 ENV PYTHONUNBUFFERED=1
 ENV TEMP_DIR=/app/temp
 
+# ImageMagick 资源限制（防止资源过载）
+ENV MAGICK_MEMORY_LIMIT=512MiB
+ENV MAGICK_MAP_LIMIT=1GiB
+ENV MAGICK_DISK_LIMIT=4GiB
+ENV MAGICK_TIME_LIMIT=300
+ENV MAGICK_THREAD_LIMIT=2
+
+# 并发控制配置
+ENV WORKERS=4
+ENV MAX_CONCURRENT_PER_WORKER=3
+
 # 2. 安装 ImageMagick 和 AVIF/HEIC 依赖
 #    libheif-examples 提供了 magick 所需的 heif-enc 编码器
 RUN apt-get update && apt-get install -y \

entrypoint.sh

@@ -1,18 +1,33 @@
 #!/bin/sh
 
 # 打印环境信息用于调试
-echo "Starting Magick API Service"
-echo "Environment: PORT=$PORT"
+echo "=========================================="
+echo "Magick API Service Starting"
+echo "=========================================="
+echo "Configuration:"
+echo "  PORT: ${PORT:-8000}"
+echo "  WORKERS: ${WORKERS:-4}"
+echo "  MAX_CONCURRENT_PER_WORKER: ${MAX_CONCURRENT_PER_WORKER:-3}"
+echo "  MAGICK_MEMORY_LIMIT: ${MAGICK_MEMORY_LIMIT:-512MiB}"
+echo "  MAGICK_TIME_LIMIT: ${MAGICK_TIME_LIMIT:-300}"
+echo "=========================================="
 
 # 验证Magick是否可用
-echo "Checking ImageMagick installation..."
+echo "Checking dependencies..."
 magick --version | head -n 1
-echo "Checking AVIF encoder (heif-enc) installation..."
 which heif-enc
 
 # 确保使用正确的端口变量
 PORT="${PORT:-8000}"
-echo "Using port: $PORT"
+WORKERS="${WORKERS:-4}"
 
-# 执行 uvicorn 服务器 (同您的 OCR-HFS)
-exec uvicorn main:app --host 0.0.0.0 --port $PORT
+echo "Starting $WORKERS workers on port $PORT..."
+echo "=========================================="
+
+# 执行 uvicorn 服务器 - 启用多进程模式
+exec uvicorn main:app \
+    --host 0.0.0.0 \
+    --port $PORT \
+    --workers $WORKERS \
+    --log-level info \
+    --access-log

main.py

@@ -50,6 +50,11 @@ MAX_FILE_SIZE_MB = 200  # 允许上传的最大文件大小 (MB)
 TIMEOUT_SECONDS = 300   # Magick 进程执行的超时时间 (秒)
 TEMP_DIR = os.getenv("TEMP_DIR", tempfile.gettempdir())  # 临时文件存储目录，优先使用环境变量，否则使用系统临时目录
 
+# 并发控制配置（防止资源过载）
+MAX_CONCURRENT_CONVERSIONS = int(os.getenv("MAX_CONCURRENT_PER_WORKER", "3"))
+conversion_semaphore = asyncio.Semaphore(MAX_CONCURRENT_CONVERSIONS)
+logger.info(f"并发限制已启用: 每个worker最多 {MAX_CONCURRENT_CONVERSIONS} 个并发转换")
+
 # --- 2. API 参数类型定义 ---
 
 # 定义 API 路径中允许的目标格式
@@ -339,16 +344,18 @@ async def _perform_conversion(
         command_str = ' '.join(cmd)
         logger.info(f"正在执行命令: {command_str}")
 
-        # 7. 异步执行 Magick 命令 (继承自 imagemagickapi-hfs 实践)
-        process = await asyncio.subprocess.create_subprocess_exec(
-            *cmd,
-            stdout=asyncio.subprocess.PIPE,
-            stderr=asyncio.subprocess.PIPE
-        )
-        stdout, stderr = await asyncio.wait_for(
-            process.communicate(),
-            timeout=TIMEOUT_SECONDS
-        )
+        # 7. 异步执行 Magick 命令 (使用信号量限制并发)
+        async with conversion_semaphore:
+            logger.info(f"获取并发许可，开始ImageMagick处理")
+            process = await asyncio.subprocess.create_subprocess_exec(
+                *cmd,
+                stdout=asyncio.subprocess.PIPE,
+                stderr=asyncio.subprocess.PIPE
+            )
+            stdout, stderr = await asyncio.wait_for(
+                process.communicate(),
+                timeout=TIMEOUT_SECONDS
+            )
 
         # 8. 检查命令执行结果
         if process.returncode != 0: