saiful-ai-dev commited on
Commit
72d1fbf
·
verified ·
1 Parent(s): bf9d899

Update Dockerfile

Browse files
Files changed (1) hide show
  1. Dockerfile +13 -14
Dockerfile CHANGED
@@ -1,29 +1,28 @@
1
- # ১. উবুন্টু বেস ইমেজ
 
 
 
2
  FROM ubuntu:22.04
3
 
4
- # ২. প্রয়োজনীয় সিস্টেম লাইব্রেরি
5
  RUN apt-get update && apt-get install -y \
6
  wget \
7
  ca-certificates \
8
- unzip \
9
  libgomp1 \
10
  && rm -rf /var/lib/apt/lists/*
11
 
12
  WORKDIR /app
13
 
14
- # ৩. llama.cpp বাইনারি ডাউনলোড লাইব্রেরি ফিক্স
15
- RUN wget https://github.com/ggerganov/llama.cpp/releases/download/b4491/llama-b4491-bin-ubuntu-x64.zip && \
16
- unzip llama-b4491-bin-ubuntu-x64.zip -d /app/temp && \
17
- # সব .so লাইব্রেরি ফাইল সিস্টেম ফোল্ডারে কপি করা যাতে error না দেয়
18
- cp /app/temp/build/bin/*.so /usr/lib/ && \
19
- # মেইন সার্ভার ফাইলটি কপি করা
20
- cp /app/temp/build/bin/llama-server /app/llama-server && \
21
- chmod +x /app/llama-server && \
22
- rm -rf llama-b4491-bin-ubuntu-x64.zip /app/temp
23
 
24
- # ৪. শিক্ষক মডেল ডাউনলোড (Qwen 2.5 3B)
25
  RUN wget https://huggingface.co/Qwen/Qwen2.5-3B-Instruct-GGUF/resolve/main/qwen2.5-3b-instruct-q4_k_m.gguf -O model.gguf
26
 
27
- # ৫. সার্ভার রান করা
28
  EXPOSE 7860
29
  CMD ["./llama-server", "-m", "model.gguf", "--host", "0.0.0.0", "--port", "7860", "-c", "2048", "-t", "2"]
 
1
+ # ১. প্রথম ধাপে অফিসিয়াল ইমেজ থেকে ফাইলগুলো নেওয়া হচ্ছে
2
+ FROM ghcr.io/ggerganov/llama.cpp:full AS llama
3
+
4
+ # ২. মূল সার্ভারের জন্য উবুন্টু ইমেজ ব্যবহার করছি
5
  FROM ubuntu:22.04
6
 
7
+ # ৩. প্রয়োজনীয় সিস্টেম লাইব্রেরি
8
  RUN apt-get update && apt-get install -y \
9
  wget \
10
  ca-certificates \
 
11
  libgomp1 \
12
  && rm -rf /var/lib/apt/lists/*
13
 
14
  WORKDIR /app
15
 
16
+ # ৪. অফিসিয়াল ইমেজ থেকে সব ফাইল এখানে কপি করে আনা হচ্ছে
17
+ # এটি করলে সব ফাইল সঠিক জায়গায় থাকবে এবং কোনো এরর দেবে না
18
+ COPY --from=llama /app/llama-server /app/llama-server
19
+ COPY --from=llama /app/*.so /usr/lib/
20
+ # কিছু ভার্সনে ফাইলগুলো /app থাকে না, তাই নিচের লাইনটিও যোগ করছি নিরাপদ থাকতে
21
+ COPY --from=llama /usr/local/lib/*.so /usr/lib/ || true
 
 
 
22
 
23
+ # ৫. আপনার শিক্ষক মডেল ডাউনলোড (Qwen 2.5 3B)
24
  RUN wget https://huggingface.co/Qwen/Qwen2.5-3B-Instruct-GGUF/resolve/main/qwen2.5-3b-instruct-q4_k_m.gguf -O model.gguf
25
 
26
+ # ৬. সার্ভার রান করা
27
  EXPOSE 7860
28
  CMD ["./llama-server", "-m", "model.gguf", "--host", "0.0.0.0", "--port", "7860", "-c", "2048", "-t", "2"]