Dockerfile

# 使用英伟达官方镜像，这里没有 HF 的自动加载脚本，绝对不会报错 Unrecognized model
FROM nvidia/cuda:12.4.1-devel-ubuntu22.04

USER root
ENV DEBIAN_FRONTEND=noninteractive

# 安装 Python 和基础工具
RUN apt-get update && apt-get install -y \
    python3-pip python3-dev git wget curl && \
    rm -rf /var/lib/apt/lists/*

# 安装 Heretic 和 HF 工具
RUN pip3 install --upgrade pip
RUN pip3 install heretic-llm huggingface_hub vllm

WORKDIR /app
COPY run.sh /app/run.sh
RUN chmod +x /app/run.sh

# 告诉 HF 这是一个自定义容器，不要尝试加载模型
ENV HF_MODEL_SKIP_LOAD=1

ENTRYPOINT ["/app/run.sh"]