nzgnzg73
/

llama_cpp_WebUI

@@ -1,132 +0,0 @@
-llama-server.exe --n-gpu-layers 0 --ctx-size 4096 -m "C:\Users\........"
-Example command:
-llama-server.exe --n-gpu-layers 0 --ctx-size 4096 -m "C:\Users\Mr_Nomi\Downloads\gemma-3-12b-it-Q4_K_S.gguf"
-video:- https://youtu.be/FLp-_Ln8Wtg?si=txPUQqPgNyCQwYUd
-github:- https://github.com/ggml-org/llama.cpp/releases
-Model:- https://huggingface.co/models?num_parameters=min:0,max:1B&library=gguf&sort=trending
-Cpu Only
-llama-server.exe --n-gpu-layers 0 --ctx-size 4096 -m "C:\Users\Mr_Nomi\Downloads\gemma-3-12b-it-Q4_K_S.gguf"
-Gpu Only/Cuda Olny
-llama-server.exe --n-gpu-layers 999 --ctx-size 4096 -m "C:\Users\Mr_Nomi\Downloads\gemma-3-12b-it-Q4_K_S.gguf"
-💻 Llama.cpp Setup Guide for Windows (English)
-This guide provides the exact steps to download the correct Llama.cpp binaries for Windows and run an LLM (Large Language Model) locally using a command prompt.
-Part 1: Download Llama.cpp Windows Binaries
- * Search & Navigate: Open your web browser and search for the Llama.cpp GitHub page, or use the direct link below:
-   Link: https://github.com/ggerganov/llama.cpp/releases
- * Select the Latest Release: On the right sidebar, click on the latest available release (e.g., a tag like b7028).
- * Download the Windows Package: Scroll down to the Assets section. You must download the file specifically built for Windows 64-bit (x64) that supports your hardware.
-   * For CPU-ONLY Use (Recommended for maximum compatibility): Download the file containing cpu-win-x64 in its name.
-     * Example File Name: llama-bXXXX-bin-cpu-win-x64.zip
-   * For NVIDIA GPU (CUDA) Use: Download the file containing cuda-XX.X-x64 in its name.
-     * Example File Name: llama-bXXXX-bin-win-cuda-12.4-x64.zip
- * Extract the Files: Once downloaded, Extract the entire contents of the .zip file into a new, easily accessible folder (e.g., E:\llama-setup). This will create a build folder containing the necessary bin subdirectory.
-Part 2: Download the LLM Model (GGUF Format)
- * Download the Model File: You need an LLM model in the GGUF format. We will use the Gemma 2B model as an example due to its small size and efficiency.
-   Model Link (Gemma 2B Q4_K_S GGUF): https://huggingface.co/lmstudio-community/gemma-2b-it-GGUF/blob/main/gemma-2b-it-Q4_K_S.gguf
- * Save the Model: Download the GGUF file and place it in a simple location, like your Downloads folder:
-   * Model Path Example: C:\Users\YourName\Downloads\gemma-2b-it-Q4_K_S.gguf
-Part 3: Run the Model (Command Line)
- * Open the Bin Folder: Navigate to the folder where the executable files are located: E:\llama-setup\build\bin.
- * Open Command Prompt: Right-click in an empty space within the bin folder and select Open in Terminal or Open PowerShell window here.
- * Execute the Command: Now, run the llama-server.exe file, specifying the correct options and the path to your downloaded model (-m).
-  * If you downloaded the CPU-ONLY version (Recommended):
-     llama-server.exe --n-gpu-layers 0 --ctx-size 4096 -m "C:\Users\YourName\Downloads\gemma-2b-it-Q4_K_S.gguf"
-   * If you downloaded the CUDA (GPU) version:
-     llama-server.exe --n-gpu-layers 80 --ctx-size 4096 -m "C:\Users\YourName\Downloads\gemma-2b-it-Q4_K_S.gguf"
-   > Note: Replace "C:\Users\YourName\Downloads\gemma-2b-it-Q4_K_S.gguf" with the actual path where you saved your model.
-   >
- * Access the Web Interface: Once the server starts running, it will display a local IP address (e.g., http://127.0.0.1:8080). Copy this address and paste it into your web browser to start chatting with the model!
-💻 ونڈوز کے لیے Llama.cpp سیٹ اپ گائیڈ (اردو)
-یہ گائیڈ آپ کو ونڈوز پر Llama.cpp کی درست باائنریز ڈاؤن لوڈ کرنے اور کمانڈ پرامپٹ کے ذریعے ایک LLM (لارج لینگویج ماڈل) کو لوکل مشین پر چلانے کا صحیح طریقہ بتائے گا۔
-حصہ 1: Llama.cpp کی ونڈوز باائنریز ڈاؤن لوڈ کرنا
- * سرچ اور وزٹ کریں: اپنا ویب براؤزر کھولیں اور Llama.cpp کے گٹ ہب پیج کو سرچ کریں، یا نیچے دیا گیا براہ راست لنک استعمال کریں:
-   لنک: https://github.com/ggerganov/llama.cpp/releases
- * تازہ ترین ریلیز منتخب کریں: دائیں جانب موجود پینل میں، سب سے تازہ ترین دستیاب ریلیز پر کلک کریں۔
- * ونڈوز پیکج ڈاؤن لوڈ کریں: Assets سیکشن تک نیچے سکرول کریں۔ آپ کو خاص طور پر ونڈوز 64-بٹ (x64) کے لیے بنائی گئی فائل ڈاؤن لوڈ کرنی ہے جو آپ کے ہارڈویئر کو سپورٹ کرے۔
-   * صرف CPU استعمال کے لیے (زیادہ مطابقت کے لیے تجویز کردہ): اس فائل کو ڈاؤن لو�� کریں جس کے نام میں cpu-win-x64 شامل ہو۔
-     * مثال فائل کا نام: llama-bXXXX-bin-cpu-win-x64.zip
-   * NVIDIA GPU (CUDA) استعمال کے لیے: اس فائل کو ڈاؤن لوڈ کریں جس کے نام میں cuda-XX.X-x64 شامل ہو۔
-     * مثال فائل کا نام: llama-bXXXX-bin-win-cuda-12.4-x64.zip
- * فائلز کو ایکسٹریکٹ کریں: ڈاؤن لوڈ ہونے کے بعد، پوری .zip فائل کو ایک نئی، آسانی سے قابل رسائی جگہ پر ایکسٹریکٹ کر لیں (مثلاً، E:\llama-setup)۔ اس سے ایک build فولڈر بنے گا جس میں ضروری bin سب ڈائریکٹری موجود ہو گی۔
-حصہ 2: LLM ماڈل ڈاؤن لوڈ کرنا (GGUF فارمیٹ)
- * ماڈل فائل ڈاؤن لوڈ کریں: آپ کو GGUF فارمیٹ میں ایک LLM ماڈل درکار ہے۔ ہم چھوٹی سائز اور افادیت کی وجہ سے Gemma 2B ماڈل کو مثال کے طور پر استعمال کریں گے۔
-   ماڈل کا لنک (Gemma 2B Q4_K_S GGUF): https://huggingface.co/lmstudio-community/gemma-2b-it-GGUF/blob/main/gemma-2b-it-Q4_K_S.gguf
- * ماڈل محفوظ کریں: GGUF فائل ڈاؤن لوڈ کریں اور اسے کسی سادہ مقام پر رکھیں، جیسے کہ آپ کا Downloads فولڈر:
-   * ماڈل پاتھ کی مثال: C:\Users\آپ کا نام\Downloads\gemma-2b-it-Q4_K_S.gguf
-حصہ 3: ماڈل چلانا (کمانڈ لائن)
- * Bin فولڈر کھولیں: اس فولڈر میں جائیں جہاں آپ کی llama-server.exe فائل موجود ہے: E:\llama-setup\build\bin۔
- * کمانڈ پرامپٹ کھولیں: bin فولڈر کے اندر خالی جگہ پر رائٹ کلک کریں اور Open in Terminal یا Open PowerShell window here کو منتخب کریں۔
- * کمانڈ ایگزیکیوٹ کریں: اب، llama-server.exe فائل کو چلائیں، اور صحیح آپشنز اور ماڈل کا پاتھ (-m) بتائیں۔
-   * اگر آپ نے صرف CPU ورژن ڈاؤن لوڈ کیا ہے (تجویز کردہ):
-     llama-server.exe --n-gpu-layers 0 --ctx-size 4096 -m "C:\Users\آپ کا نام\Downloads\gemma-2b-it-Q4_K_S.gguf"
-   * اگر آپ نے CUDA (GPU) ورژن ڈاؤن لوڈ کیا ہے:
-     llama-server.exe --n-gpu-layers 80 --ctx-size 4096 -m "C:\Users\آپ کا نام\Downloads\gemma-2b-it-Q4_K_S.gguf"
-   > نوٹ: "C:\Users\آپ کا نام\Downloads\gemma-2b-it-Q4_K_S.gguf" کی جگہ وہ اصل پاتھ استعمال کریں جہاں آپ نے اپنا ماڈل محفوظ کیا ہے۔
-   >
- * ویب انٹرفیس تک رسائی: سرور کے چلنا شروع ہوتے ہی، یہ ایک لوکل IP ایڈریس ظاہر کرے گا (مثلاً: http://127.0.0.1:8080)۔ اس ایڈریس کو کاپی کریں اور اپنے ویب براؤزر میں پیسٹ کریں تاکہ ماڈل کے ساتھ چیٹنگ شروع کی جا سکے۔