yut23387 commited on
Commit
2f62d28
·
verified ·
1 Parent(s): 711d27f

Create Dockerfile

Browse files
Files changed (1) hide show
  1. Dockerfile +22 -0
Dockerfile ADDED
@@ -0,0 +1,22 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ # 1. بنستخدم بايثون كأساس
2
+ FROM python:3.9
3
+
4
+ # 2. تسطيب خادم llama.cpp (النسخة الخفيفة جداً)
5
+ RUN pip install --no-cache-dir llama-cpp-python[server] pydantic_settings huggingface_hub
6
+
7
+ # 🔴 3. إعدادات الموديل (عدل البيانات دي ببيانات موديلك الجديد)
8
+ # اكتب هنا اسم المستودع الجديد اللي لسه معمول
9
+ ENV HF_REPO_ID="yut23387/Llama-3-8B-Merged-Model-Q4_K_M-GGUF"
10
+ # اكتب هنا اسم ملف gguf اللي جوا المستودع
11
+ ENV HF_MODEL_FILE="llama-3-8b-merged-model-q4_k_m.gguf"
12
+
13
+ # 4. فتح البورت للسيرفر
14
+ EXPOSE 7860
15
+
16
+ # 5. أمر تشغيل السيرفر
17
+ CMD python -m llama_cpp.server \
18
+ --model_hf_repo_id $HF_REPO_ID \
19
+ --model_hf_file $HF_MODEL_FILE \
20
+ --host 0.0.0.0 \
21
+ --port 7860 \
22
+ --n_ctx 8192