File size: 650 Bytes
3a4ba96 7fb0b28 464f939 3a4ba96 7fb0b28 3a4ba96 7fb0b28 3a4ba96 7fb0b28 3a4ba96 614c8a7 7fb0b28 3a4ba96 7fb0b28 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 | # 使用英伟达官方镜像，这里没有 HF 的自动加载脚本，绝对不会报错 Unrecognized model
FROM nvidia/cuda:12.4.1-devel-ubuntu22.04
USER root
ENV DEBIAN_FRONTEND=noninteractive
# 安装 Python 和基础工具
RUN apt-get update && apt-get install -y \
python3-pip python3-dev git wget curl && \
rm -rf /var/lib/apt/lists/*
# 安装 Heretic 和 HF 工具
RUN pip3 install --upgrade pip
RUN pip3 install heretic-llm huggingface_hub vllm
WORKDIR /app
COPY run.sh /app/run.sh
RUN chmod +x /app/run.sh
# 告诉 HF 这是一个自定义容器，不要尝试加载模型
ENV HF_MODEL_SKIP_LOAD=1
ENTRYPOINT ["/app/run.sh"]
|