saiful-ai-dev commited on
Commit
52ce0f9
·
verified ·
1 Parent(s): 0c2e09d

Update Dockerfile

Browse files
Files changed (1) hide show
  1. Dockerfile +15 -12
Dockerfile CHANGED
@@ -1,27 +1,30 @@
1
- # ১. লাইট লিনাক্স ইমেজ
2
- FROM debian:bookworm-slim
 
3
 
4
- # ২. টুলস ইনস্টল
5
  RUN apt-get update && apt-get install -y \
6
- wget \
7
  curl \
 
8
  ca-certificates \
9
  unzip \
 
10
  && rm -rf /var/lib/apt/lists/*
11
 
12
  WORKDIR /app
13
 
14
- # ৩. সরাসরি llama.cpp বাইনারি ডাউনলোড সেটআপ
15
  RUN wget https://github.com/ggerganov/llama.cpp/releases/download/b4491/llama-b4491-bin-ubuntu-x64.zip && \
16
- unzip llama-b4491-bin-ubuntu-x64.zip -d /app/temp_bin && \
17
- cp /app/temp_bin/build/bin/llama-server /app/llama-server && \
18
- chmod +x /app/llama-server && \
19
- rm -rf llama-b4491-bin-ubuntu-x64.zip /app/temp_bin
 
20
 
21
  # ৪. শিক্ষক মডেল ডাউনলোড (Qwen 2.5 3B)
22
- # আপনি চাইলে আপনার ৩বি মডেলের লিঙ্ক এখানে দিতে পারেন
23
  RUN wget https://huggingface.co/Qwen/Qwen2.5-3B-Instruct-GGUF/resolve/main/qwen2.5-3b-instruct-q4_k_m.gguf -O model.gguf
24
 
25
- # ৫. রান করা
26
  EXPOSE 7860
27
- CMD ["./llama-server", "-m", "model.gguf", "--host", "0.0.0.0", "--port", "7860", "-c", "2048", "-t", "2"]
 
 
1
+ # ১. আমরা সরাসরি ghcr.io থেকে অফিসিয়াল ফুল ইমেজটি ব্যবহার করব না (যেহেতু ওটা পাচ্ছিল না)
2
+ # তার বদলে আমরা Ubuntu ব্যবহার করে সব এক জায়গায় আনব
3
+ FROM ubuntu:22.04
4
 
5
+ # ২. প্রয়োজনীয় সিস্টেম লাইব্রেরি ইনস্টল
6
  RUN apt-get update && apt-get install -y \
 
7
  curl \
8
+ wget \
9
  ca-certificates \
10
  unzip \
11
+ libgomp1 \
12
  && rm -rf /var/lib/apt/lists/*
13
 
14
  WORKDIR /app
15
 
16
+ # ৩. সরাসরি llama.cpp এর রিলিজ থেকে ফাইল নামানো এবং লাইব্রেরি পাথ সেট করা
17
  RUN wget https://github.com/ggerganov/llama.cpp/releases/download/b4491/llama-b4491-bin-ubuntu-x64.zip && \
18
+ unzip llama-b4491-bin-ubuntu-x64.zip -d /app/build && \
19
+ rm llama-b4491-bin-ubuntu-x64.zip
20
+
21
+ # লাইব্রেরি পাথ এনভায়রনমেন্ট সেট করা যাতে libllama.so খুঁজে পায়
22
+ ENV LD_LIBRARY_PATH=/app/build/build/bin
23
 
24
  # ৪. শিক্ষক মডেল ডাউনলোড (Qwen 2.5 3B)
 
25
  RUN wget https://huggingface.co/Qwen/Qwen2.5-3B-Instruct-GGUF/resolve/main/qwen2.5-3b-instruct-q4_k_m.gguf -O model.gguf
26
 
27
+ # ৫. সার্ভার রান করা
28
  EXPOSE 7860
29
+ # সরাসরি পাথ দিয়ে রান করছি
30
+ CMD ["/app/build/build/bin/llama-server", "-m", "model.gguf", "--host", "0.0.0.0", "--port", "7860", "-c", "2048", "-t", "2"]