saiful-ai-dev commited on
Commit
fe558e2
·
verified ·
1 Parent(s): 9d34954

Update Dockerfile

Browse files
Files changed (1) hide show
  1. Dockerfile +11 -19
Dockerfile CHANGED
@@ -1,24 +1,16 @@
1
- # ১. আমরা পাইথন ইমেজ ব্যবহার করবো কারণ এটা দিয়ে মেমোরি কন্ট্রোল করা সহজ
2
- FROM python:3.9-slim
 
3
 
4
- # ২. ল্যামা সার্ভার ইনস্টল করা (সরাসরি লাইব্রেরি হিসেবে)
5
- RUN pip install --no-cache-dir llama-cpp-python
 
 
6
 
7
- # ৩. হাগিং ফেসের লাইব্রেরি ইনস্টল
8
- RUN pip install --no-cache-dir huggingface_hub
9
-
10
- # ৪. পোর্ট সেটিংস
11
  ENV PORT=7860
12
  EXPOSE 7860
13
 
14
- # ৫. একটি ছোট পাইথন স্ক্রিপ্ট যেটা মডেল সরাসরি র‍্যামে লোড করবে
15
- RUN echo 'from llama_cpp import Llama; \
16
- import os; \
17
- from huggingface_hub import hf_hub_download; \
18
- path = hf_hub_download(repo_id="saiful-ai-dev/MotionMindX", filename="Qwen2.5-3B-Instruct-Q4_K_M.gguf"); \
19
- llm = Llama(model_path=path, n_ctx=2048, n_threads=2); \
20
- print("✅ Model Loaded!"); \
21
- os.system(f"python3 -m llama_cpp.server --model {path} --host 0.0.0.0 --port 7860")' > app.py
22
-
23
- # ৬. রান করা
24
- CMD ["python", "app.py"]
 
1
+ # ১. আমরা llama.cpp এর অফিসিয়াল রেডিমেড সার্ভার ইমেজ ব্যবহার করবো
2
+ # এতে কোনো বিল্ড করতে হবে না, ১ মিনিটে রান হবে!
3
+ FROM ghcr.io/ggerganov/llama.cpp:server
4
 
5
+ # ২. মডেলটি তোমার রিপোজিটরি থেকে ডাউনলোড করে ভেতরে রাখা
6
+ USER root
7
+ RUN apt-get update && apt-get install -y curl
8
+ RUN curl -L https://huggingface.co/saiful-ai-dev/MotionMindX/resolve/main/Qwen2.5-3B-Instruct-Q4_K_M.gguf -o /model.gguf
9
 
10
+ # ৩. পোর্ট সেটআপ
 
 
 
11
  ENV PORT=7860
12
  EXPOSE 7860
13
 
14
+ # ৪. সরাসরি সার্ভার রান করা (স্ট্রিমিং অটোমেটিক অন থাকে)
15
+ ENTRYPOINT ["/server"]
16
+ CMD ["--model", "/model.gguf", "--host", "0.0.0.0", "--port", "7860", "-c", "2048", "--parallel", "1"]