saiful-ai-dev commited on
Commit
0c2e09d
·
verified ·
1 Parent(s): 7e0d71e

Update Dockerfile

Browse files
Files changed (1) hide show
  1. Dockerfile +18 -18
Dockerfile CHANGED
@@ -1,27 +1,27 @@
1
- # ১. পাইথনসহ একটি লাইটওয়েট ইমেজ ব্যবহার করছি
2
- FROM python:3.10-slim
3
 
4
- # ২. সিস্টেমের প্রয়োজনীয় টুলস ইনস্টল করা
5
  RUN apt-get update && apt-get install -y \
6
- build-essential \
7
  wget \
8
- git \
 
 
9
  && rm -rf /var/lib/apt/lists/*
10
 
11
- # ৩. সরাসরি llama-cpp-python ইনস্টল করা (এটি সার্ভার হিসেবেও কাজ করে)
12
- RUN pip install --no-cache-dir "llama-cpp-python[server]"
13
-
14
- # ৪. মডেল রাখার ডিরেক্টরি তৈরি
15
  WORKDIR /app
16
 
17
- # ৫. আপনার পছন্দের ৩বি মডেল ডাউনলোড (Qwen 2.5 3B)
18
- RUN wget https://huggingface.co/Qwen/Qwen2.5-3B-Instruct-GGUF/resolve/main/qwen2.5-3b-instruct-q4_k_m.gguf -O model.gguf
 
 
 
 
19
 
20
- # ৬. এনভায়রনমেন্ট ভেরিয়েবল সেট করা
21
- ENV HOST=0.0.0.0
22
- ENV PORT=7860
23
 
24
- # ৭. সার্ভার রান করা (OpenAI API ফরম্যাটে)
25
- # n_ctx: কনটেক্সট সাইজ
26
- # n_threads: কোর প্রসেসরের জন্য বা দেওয়া ভালো
27
- CMD ["python3", "-m", "llama_cpp.server", "--model", "model.gguf", "--host", "0.0.0.0", "--port", "7860", "--n_ctx", "2048", "--n_threads", "2"]
 
1
+ # ১. লাইট লিনাক্স ইমেজ
2
+ FROM debian:bookworm-slim
3
 
4
+ # ২. টুলস ইনস্টল
5
  RUN apt-get update && apt-get install -y \
 
6
  wget \
7
+ curl \
8
+ ca-certificates \
9
+ unzip \
10
  && rm -rf /var/lib/apt/lists/*
11
 
 
 
 
 
12
  WORKDIR /app
13
 
14
+ # ৩. সরাসরি llama.cpp বাইনারি ডাউনলোড সেটআপ
15
+ RUN wget https://github.com/ggerganov/llama.cpp/releases/download/b4491/llama-b4491-bin-ubuntu-x64.zip && \
16
+ unzip llama-b4491-bin-ubuntu-x64.zip -d /app/temp_bin && \
17
+ cp /app/temp_bin/build/bin/llama-server /app/llama-server && \
18
+ chmod +x /app/llama-server && \
19
+ rm -rf llama-b4491-bin-ubuntu-x64.zip /app/temp_bin
20
 
21
+ # ৪. শিক্ষক মডেল ডাউনলোড (Qwen 2.5 3B)
22
+ # আপনি চাইলে আপনার ৩বি মডেলের লিঙ্ক এখানে দিতে পারেন
23
+ RUN wget https://huggingface.co/Qwen/Qwen2.5-3B-Instruct-GGUF/resolve/main/qwen2.5-3b-instruct-q4_k_m.gguf -O model.gguf
24
 
25
+ # ৫. রান করা
26
+ EXPOSE 7860
27
+ CMD ["./llama-server", "-m", "model.gguf", "--host", "0.0.0.0", "--port", "7860", "-c", "2048", "-t", "2"]