Spaces:
Runtime error
Runtime error
Create Dockerfile
Browse files- Dockerfile +22 -0
Dockerfile
ADDED
|
@@ -0,0 +1,22 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
# 1. بنستخدم بايثون كأساس
|
| 2 |
+
FROM python:3.9
|
| 3 |
+
|
| 4 |
+
# 2. تسطيب خادم llama.cpp (النسخة الخفيفة جداً)
|
| 5 |
+
RUN pip install --no-cache-dir llama-cpp-python[server] pydantic_settings huggingface_hub
|
| 6 |
+
|
| 7 |
+
# 🔴 3. إعدادات الموديل (عدل البيانات دي ببيانات موديلك الجديد)
|
| 8 |
+
# اكتب هنا اسم المستودع الجديد اللي لسه معمول
|
| 9 |
+
ENV HF_REPO_ID="yut23387/Llama-3-8B-Merged-Model-Q4_K_M-GGUF"
|
| 10 |
+
# اكتب هنا اسم ملف gguf اللي جوا المستودع
|
| 11 |
+
ENV HF_MODEL_FILE="llama-3-8b-merged-model-q4_k_m.gguf"
|
| 12 |
+
|
| 13 |
+
# 4. فتح البورت للسيرفر
|
| 14 |
+
EXPOSE 7860
|
| 15 |
+
|
| 16 |
+
# 5. أمر تشغيل السيرفر
|
| 17 |
+
CMD python -m llama_cpp.server \
|
| 18 |
+
--model_hf_repo_id $HF_REPO_ID \
|
| 19 |
+
--model_hf_file $HF_MODEL_FILE \
|
| 20 |
+
--host 0.0.0.0 \
|
| 21 |
+
--port 7860 \
|
| 22 |
+
--n_ctx 8192
|