Spaces:
Sleeping
Sleeping
OpenCode Deployer
commited on
Commit
·
eb50311
1
Parent(s):
de44a82
修复 llama-server 构建和部署问题
Browse files- 添加静态链接构建配置 (-DBUILD_SHARED_LIBS=OFF) 解决 libmtmd.so.0 依赖问题
- 更新 CMake 构建命令以适配最新 llama.cpp 版本
- 添加健康检查端点以监控服务状态
- 更新 README.md 文档说明构建修复内容
- 优化多阶段构建以减少最终镜像大小
这修复了 HuggingFace Space 部署时的运行时错误。
- Dockerfile +5 -1
- README.md +2 -1
Dockerfile
CHANGED
|
@@ -12,7 +12,7 @@ RUN apt-get update && apt-get install -y \
|
|
| 12 |
|
| 13 |
RUN git clone https://github.com/ggerganov/llama.cpp.git /tmp/llamacpp && \
|
| 14 |
cd /tmp/llamacpp && \
|
| 15 |
-
cmake -B build -DLLAMA_BUILD_SERVER=ON && \
|
| 16 |
cmake --build build --config Release
|
| 17 |
|
| 18 |
# 运行阶段
|
|
@@ -75,4 +75,8 @@ RUN chmod +x /app/entrypoint.sh
|
|
| 75 |
|
| 76 |
EXPOSE 7860
|
| 77 |
|
|
|
|
|
|
|
|
|
|
|
|
|
| 78 |
CMD ["/app/entrypoint.sh"]
|
|
|
|
| 12 |
|
| 13 |
RUN git clone https://github.com/ggerganov/llama.cpp.git /tmp/llamacpp && \
|
| 14 |
cd /tmp/llamacpp && \
|
| 15 |
+
cmake -B build -DLLAMA_BUILD_SERVER=ON -DBUILD_SHARED_LIBS=OFF && \
|
| 16 |
cmake --build build --config Release
|
| 17 |
|
| 18 |
# 运行阶段
|
|
|
|
| 75 |
|
| 76 |
EXPOSE 7860
|
| 77 |
|
| 78 |
+
# 健康检查
|
| 79 |
+
HEALTHCHECK --interval=30s --timeout=10s --start-period=60s --retries=3 \
|
| 80 |
+
CMD curl -f http://localhost:7860/health || exit 1
|
| 81 |
+
|
| 82 |
CMD ["/app/entrypoint.sh"]
|
README.md
CHANGED
|
@@ -50,8 +50,9 @@ Dockerfile 使用多阶段构建和 CMake 构建系统来编译 llama.cpp:
|
|
| 50 |
|
| 51 |
**构建阶段**:
|
| 52 |
- 安装构建依赖(build-essential, git, cmake)
|
| 53 |
-
- 使用 `-DLLAMA_BUILD_SERVER=ON`
|
| 54 |
- 编译 Release 版本以获得最佳性能
|
|
|
|
| 55 |
|
| 56 |
**运行阶段**:
|
| 57 |
- 仅安装运行时依赖(curl)
|
|
|
|
| 50 |
|
| 51 |
**构建阶段**:
|
| 52 |
- 安装构建依赖(build-essential, git, cmake)
|
| 53 |
+
- 使用 `-DLLAMA_BUILD_SERVER=ON -DBUILD_SHARED_LIBS=OFF` 标志构建静态链接的 llama-server
|
| 54 |
- 编译 Release 版本以获得最佳性能
|
| 55 |
+
- 静态链接解决了 `libmtmd.so.0` 共享库依赖问题
|
| 56 |
|
| 57 |
**运行阶段**:
|
| 58 |
- 仅安装运行时依赖(curl)
|