yut23387 commited on
Commit
c905108
·
verified ·
1 Parent(s): 2f62d28

Update Dockerfile

Browse files
Files changed (1) hide show
  1. Dockerfile +2 -13
Dockerfile CHANGED
@@ -1,20 +1,9 @@
1
- # 1. بنستخدم بايثون كأساس
2
- FROM python:3.9
3
 
4
- # 2. تسطيب خادم llama.cpp (النسخة الخفيفة جداً)
5
- RUN pip install --no-cache-dir llama-cpp-python[server] pydantic_settings huggingface_hub
6
-
7
- # 🔴 3. إعدادات الموديل (عدل البيانات دي ببيانات موديلك الجديد)
8
- # اكتب هنا اسم المستودع الجديد اللي لسه معمول
9
  ENV HF_REPO_ID="yut23387/Llama-3-8B-Merged-Model-Q4_K_M-GGUF"
10
- # اكتب هنا اسم ملف gguf اللي جوا المستودع
11
  ENV HF_MODEL_FILE="llama-3-8b-merged-model-q4_k_m.gguf"
12
 
13
- # 4. فتح البورت للسيرفر
14
- EXPOSE 7860
15
-
16
- # 5. أمر تشغيل السيرفر
17
- CMD python -m llama_cpp.server \
18
  --model_hf_repo_id $HF_REPO_ID \
19
  --model_hf_file $HF_MODEL_FILE \
20
  --host 0.0.0.0 \
 
1
+ FROM ghcr.io/abetlen/llama-cpp-python:latest-cpu
 
2
 
 
 
 
 
 
3
  ENV HF_REPO_ID="yut23387/Llama-3-8B-Merged-Model-Q4_K_M-GGUF"
 
4
  ENV HF_MODEL_FILE="llama-3-8b-merged-model-q4_k_m.gguf"
5
 
6
+ CMD python3 -m llama_cpp.server \
 
 
 
 
7
  --model_hf_repo_id $HF_REPO_ID \
8
  --model_hf_file $HF_MODEL_FILE \
9
  --host 0.0.0.0 \