Upload 2 files
Browse files- Dockerfile +23 -0
- app.py +12 -0
Dockerfile
ADDED
|
@@ -0,0 +1,23 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
FROM python:3.10-slim
|
| 2 |
+
|
| 3 |
+
# Ставим зависимости для скачивания и работы модели
|
| 4 |
+
RUN apt-get update && apt-get install -y git && rm -rf /var/lib/apt/lists/*
|
| 5 |
+
RUN useradd -m -u 1000 user
|
| 6 |
+
USER user
|
| 7 |
+
ENV PATH="/home/user/.local/bin:$PATH"
|
| 8 |
+
|
| 9 |
+
WORKDIR /app
|
| 10 |
+
|
| 11 |
+
# Устанавливаем библиотеку для работы с HF Hub и сервер
|
| 12 |
+
RUN pip install --no-cache-dir huggingface_hub llama-cpp-python fastapi uvicorn
|
| 13 |
+
|
| 14 |
+
# Копируем скрипт запуска (тот самый app.py, который мы обсуждали)
|
| 15 |
+
COPY --chown=user app.py .
|
| 16 |
+
|
| 17 |
+
# Если репозиторий ПРИВАТНЫЙ, нужно передать токен через переменную окружения в настройках Space
|
| 18 |
+
# ENV HF_TOKEN=твой_токен
|
| 19 |
+
|
| 20 |
+
EXPOSE 7860
|
| 21 |
+
|
| 22 |
+
# Запускаем сервер
|
| 23 |
+
CMD ["uvicorn", "app:app", "--host", "0.0.0.0", "--port", "7860"]
|
app.py
ADDED
|
@@ -0,0 +1,12 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
from huggingface_hub import hf_hub_download
|
| 2 |
+
|
| 3 |
+
def load_model(model_name: str):
|
| 4 |
+
# ... логика очистки памяти ...
|
| 5 |
+
|
| 6 |
+
# Скачиваем файл из твоего НОВОГО репозитория
|
| 7 |
+
model_path = hf_hub_download(
|
| 8 |
+
repo_id="Rid3/xtime-v1beta-gguf-storage",
|
| 9 |
+
filename=model_name
|
| 10 |
+
)
|
| 11 |
+
|
| 12 |
+
current_llm = Llama(model_path=model_path, n_ctx=2048)
|