saiful-ai-dev commited on
Commit
9d34954
·
verified ·
1 Parent(s): 06100fb

Update Dockerfile

Browse files
Files changed (1) hide show
  1. Dockerfile +19 -9
Dockerfile CHANGED
@@ -1,14 +1,24 @@
1
- # ১. সার্ার মেজ
2
- FROM ghcr.io/ggerganov/llama.cpp:server
3
 
4
- # ২. মডেের সরািউআরএল (তোমার মডে িপোজিটরি ে)
5
- # এতে স্পেসের জিবি স্টোরেজ খরচ হবে না, সরাসরি র‍্যামে লোড হবে
6
- ENV MODEL_URL="https://huggingface.co/saiful-ai-dev/MotionMindX/resolve/main/Qwen2.5-3B-Instruct-Q4_K_M.gguf"
7
 
8
- # ৩. পোর্ট সেি
 
 
 
9
  ENV PORT=7860
10
  EXPOSE 7860
11
 
12
- # . সার্ভার ান করা মা্ড
13
- ENTRYPOINT ["/server"]
14
- CMD ["--url", "https://huggingface.co/saiful-ai-dev/MotionMindX/resolve/main/Qwen2.5-3B-Instruct-Q4_K_M.gguf", "--host", "0.0.0.0", "--port", "7860", "-c", "2048"]
 
 
 
 
 
 
 
 
 
1
+ # ১. আমা পাইথন ইমেজ বযবহার করবো কারণ এটা দিয়ে মেমোরি কন্ট্রোল করা সহ
2
+ FROM python:3.9-slim
3
 
4
+ # ২. ল্যামা্ভার ইনস্টকরা (সরিাইব্রি হিসে)
5
+ RUN pip install --no-cache-dir llama-cpp-python
 
6
 
7
+ # ৩. হাগিং ফেসের লাইব্রেরি ইন্টল
8
+ RUN pip install --no-cache-dir huggingface_hub
9
+
10
+ # ৪. পোর্ট সেটিংস
11
  ENV PORT=7860
12
  EXPOSE 7860
13
 
14
+ # . একটি ছোট পইথস্িপ্ট যেটা মডেল সরসরি র‍যামে লো করবে
15
+ RUN echo 'from llama_cpp import Llama; \
16
+ import os; \
17
+ from huggingface_hub import hf_hub_download; \
18
+ path = hf_hub_download(repo_id="saiful-ai-dev/MotionMindX", filename="Qwen2.5-3B-Instruct-Q4_K_M.gguf"); \
19
+ llm = Llama(model_path=path, n_ctx=2048, n_threads=2); \
20
+ print("✅ Model Loaded!"); \
21
+ os.system(f"python3 -m llama_cpp.server --model {path} --host 0.0.0.0 --port 7860")' > app.py
22
+
23
+ # ৬. রান করা
24
+ CMD ["python", "app.py"]