saiful-ai-dev commited on
Commit
7e0d71e
·
verified ·
1 Parent(s): 97b54f4

Update Dockerfile

Browse files
Files changed (1) hide show
  1. Dockerfile +22 -10
Dockerfile CHANGED
@@ -1,15 +1,27 @@
1
- # ১. llama.cpp এর অফিসিয়াল লাইট ইমেজ ব্যবহার করছি
2
- FROM ghcr.io/ggerganov/llama.cpp:server
3
 
4
- # ২. মডেল রাখার ফোল্ডার
 
 
 
 
 
 
 
 
 
 
5
  WORKDIR /app
6
 
7
- # ৩. আপনার GGUF মডেল ডাউনলোড (এখানে আমি একটি ৩বি মডেলের লিঙ্ক দিচ্ছি, আপনি আপনারটা দিয়ে চেঞ্জ করতে পারেন)
8
- # আমরা এখানে Qwen-2.5-3B ব্যবহার করছি যা শিক্ষক হিসেবে খুব ভালো এবং ফাস্ট
9
- RUN apt-get update && apt-get install -y wget
10
  RUN wget https://huggingface.co/Qwen/Qwen2.5-3B-Instruct-GGUF/resolve/main/qwen2.5-3b-instruct-q4_k_m.gguf -O model.gguf
11
 
12
- # ৪. সার্ভার রান করার কনফিগারেশন
13
- # -t 4 (৪টি থ্রেড ব্যবহার করবে স্পিড বাড়ানোর জন্য)
14
- # -c 2048 (কনটেক্সট সাইজ)
15
- CMD ["./llama-server", "-m", "model.gguf", "--host", "0.0.0.0", "--port", "7860", "-t", "4", "-c", "2048"]
 
 
 
 
 
1
+ # ১. পাইথনসহ একটি লাইটওয়েট ইমেজ ব্যবহার করছি
2
+ FROM python:3.10-slim
3
 
4
+ # ২. সিস্টেমের প্রয়োজনীয় টুলস ইনস্টল করা
5
+ RUN apt-get update && apt-get install -y \
6
+ build-essential \
7
+ wget \
8
+ git \
9
+ && rm -rf /var/lib/apt/lists/*
10
+
11
+ # ৩. সরাসরি llama-cpp-python ইনস্টল করা (এটি সার্ভার হিসেবেও কাজ করে)
12
+ RUN pip install --no-cache-dir "llama-cpp-python[server]"
13
+
14
+ # ৪. মডেল রাখার ডিরেক্টরি তৈরি
15
  WORKDIR /app
16
 
17
+ # ৫. আপনার পছন্দের ৩বি মডেল ডাউনলোড (Qwen 2.5 3B)
 
 
18
  RUN wget https://huggingface.co/Qwen/Qwen2.5-3B-Instruct-GGUF/resolve/main/qwen2.5-3b-instruct-q4_k_m.gguf -O model.gguf
19
 
20
+ # ৬. এনভায়রনমেন্ট ভেরিয়েবল সেট করা
21
+ ENV HOST=0.0.0.0
22
+ ENV PORT=7860
23
+
24
+ # ৭. সার্ভার রান করা (OpenAI API ফরম্যাটে)
25
+ # n_ctx: কনটেক্সট সাইজ
26
+ # n_threads: ২ কোর প্রসেসরের জন্য ২ বা ৪ দেওয়া ভালো
27
+ CMD ["python3", "-m", "llama_cpp.server", "--model", "model.gguf", "--host", "0.0.0.0", "--port", "7860", "--n_ctx", "2048", "--n_threads", "2"]