saiful-ai-dev commited on
Commit
bf9d899
·
verified ·
1 Parent(s): 52ce0f9

Update Dockerfile

Browse files
Files changed (1) hide show
  1. Dockerfile +11 -12
Dockerfile CHANGED
@@ -1,10 +1,8 @@
1
- # ১. আমরা সরাসরি ghcr.io থকে অফিিয়াল ফুল ইমেজটি ব্যবহার করব না (যেহেতু ওটা পাচ্ছিল না)
2
- # তার বদলে আমরা Ubuntu ব্যবহার করে সব এক জায়গায় আনব
3
  FROM ubuntu:22.04
4
 
5
- # ২. প্রয়োজনীয় সিস্টেম লাইব্রেরি ইনস্টল
6
  RUN apt-get update && apt-get install -y \
7
- curl \
8
  wget \
9
  ca-certificates \
10
  unzip \
@@ -13,18 +11,19 @@ RUN apt-get update && apt-get install -y \
13
 
14
  WORKDIR /app
15
 
16
- # ৩. সরাসরি llama.cpp এর রিলিজ থেকে ফাইনাানো এবং লাইব্রেরি পাথ সেট রা
17
  RUN wget https://github.com/ggerganov/llama.cpp/releases/download/b4491/llama-b4491-bin-ubuntu-x64.zip && \
18
- unzip llama-b4491-bin-ubuntu-x64.zip -d /app/build && \
19
- rm llama-b4491-bin-ubuntu-x64.zip
20
-
21
- # লাইব্ররি থ এনভায়নমেন্ট সেট করা যাতে libllama.so খুঁজে পায়
22
- ENV LD_LIBRARY_PATH=/app/build/build/bin
 
 
23
 
24
  # ৪. শিক্ষক মডেল ডাউনলোড (Qwen 2.5 3B)
25
  RUN wget https://huggingface.co/Qwen/Qwen2.5-3B-Instruct-GGUF/resolve/main/qwen2.5-3b-instruct-q4_k_m.gguf -O model.gguf
26
 
27
  # ৫. সার্ভার রান করা
28
  EXPOSE 7860
29
- # সরাসরি পাথ দিয়ে রান করছি
30
- CMD ["/app/build/build/bin/llama-server", "-m", "model.gguf", "--host", "0.0.0.0", "--port", "7860", "-c", "2048", "-t", "2"]
 
1
+ # ১. উবুন্টু েস ইমেজ
 
2
  FROM ubuntu:22.04
3
 
4
+ # ২. প্রয়োজনীয় সিস্টেম লাইব্রেরি
5
  RUN apt-get update && apt-get install -y \
 
6
  wget \
7
  ca-certificates \
8
  unzip \
 
11
 
12
  WORKDIR /app
13
 
14
+ # ৩. llama.cpp াইনারি ড লাইব্রেরি ফি্স
15
  RUN wget https://github.com/ggerganov/llama.cpp/releases/download/b4491/llama-b4491-bin-ubuntu-x64.zip && \
16
+ unzip llama-b4491-bin-ubuntu-x64.zip -d /app/temp && \
17
+ # সব .so লাইব্রেরি ফাইল সিস্টেম ফোল্ডারে কপি করা যাতে error না দেয়
18
+ cp /app/temp/build/bin/*.so /usr/lib/ && \
19
+ # ইন র্ভার ফাইলিপি করা
20
+ cp /app/temp/build/bin/llama-server /app/llama-server && \
21
+ chmod +x /app/llama-server && \
22
+ rm -rf llama-b4491-bin-ubuntu-x64.zip /app/temp
23
 
24
  # ৪. শিক্ষক মডেল ডাউনলোড (Qwen 2.5 3B)
25
  RUN wget https://huggingface.co/Qwen/Qwen2.5-3B-Instruct-GGUF/resolve/main/qwen2.5-3b-instruct-q4_k_m.gguf -O model.gguf
26
 
27
  # ৫. সার্ভার রান করা
28
  EXPOSE 7860
29
+ CMD ["./llama-server", "-m", "model.gguf", "--host", "0.0.0.0", "--port", "7860", "-c", "2048", "-t", "2"]