File size: 967 Bytes
fe558e2
 
 
8a65d98
fe558e2
 
 
 
8a65d98
fe558e2
8a65d98
 
 
fe558e2
 
 
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
# ১. আমরা llama.cpp এর অফিসিয়াল রেডিমেড সার্ভার ইমেজ ব্যবহার করবো
# এতে কোনো বিল্ড করতে হবে না, ১ মিনিটে রান হবে!
FROM ghcr.io/ggerganov/llama.cpp:server

# ২. মডেলটি তোমার রিপোজিটরি থেকে ডাউনলোড করে ভেতরে রাখা
USER root
RUN apt-get update && apt-get install -y curl
RUN curl -L https://huggingface.co/saiful-ai-dev/MotionMindX/resolve/main/Qwen2.5-3B-Instruct-Q4_K_M.gguf -o /model.gguf

# ৩. পোর্ট সেটআপ
ENV PORT=7860
EXPOSE 7860

# ৪. সরাসরি সার্ভার রান করা (স্ট্রিমিং অটোমেটিক অন থাকে)
ENTRYPOINT ["/server"]
CMD ["--model", "/model.gguf", "--host", "0.0.0.0", "--port", "7860", "-c", "2048", "--parallel", "1"]