Rid3 commited on
Commit
155bed5
·
verified ·
1 Parent(s): 470f516

Upload 2 files

Browse files
Files changed (2) hide show
  1. Dockerfile +23 -0
  2. app.py +12 -0
Dockerfile ADDED
@@ -0,0 +1,23 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ FROM python:3.10-slim
2
+
3
+ # Ставим зависимости для скачивания и работы модели
4
+ RUN apt-get update && apt-get install -y git && rm -rf /var/lib/apt/lists/*
5
+ RUN useradd -m -u 1000 user
6
+ USER user
7
+ ENV PATH="/home/user/.local/bin:$PATH"
8
+
9
+ WORKDIR /app
10
+
11
+ # Устанавливаем библиотеку для работы с HF Hub и сервер
12
+ RUN pip install --no-cache-dir huggingface_hub llama-cpp-python fastapi uvicorn
13
+
14
+ # Копируем скрипт запуска (тот самый app.py, который мы обсуждали)
15
+ COPY --chown=user app.py .
16
+
17
+ # Если репозиторий ПРИВАТНЫЙ, нужно передать токен через переменную окружения в настройках Space
18
+ # ENV HF_TOKEN=твой_токен
19
+
20
+ EXPOSE 7860
21
+
22
+ # Запускаем сервер
23
+ CMD ["uvicorn", "app:app", "--host", "0.0.0.0", "--port", "7860"]
app.py ADDED
@@ -0,0 +1,12 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ from huggingface_hub import hf_hub_download
2
+
3
+ def load_model(model_name: str):
4
+ # ... логика очистки памяти ...
5
+
6
+ # Скачиваем файл из твоего НОВОГО репозитория
7
+ model_path = hf_hub_download(
8
+ repo_id="Rid3/xtime-v1beta-gguf-storage",
9
+ filename=model_name
10
+ )
11
+
12
+ current_llm = Llama(model_path=model_path, n_ctx=2048)