Upload 3 files

Install tutorial.txt

@@ -0,0 +1,132 @@
+
+
+
+
+llama-server.exe --n-gpu-layers 0 --ctx-size 4096 -m "C:\Users\........"
+
+
+
+Example command:
+
+llama-server.exe --n-gpu-layers 0 --ctx-size 4096 -m "C:\Users\Mr_Nomi\Downloads\gemma-3-12b-it-Q4_K_S.gguf"
+
+
+
+
+
+video:- https://youtu.be/FLp-_Ln8Wtg?si=txPUQqPgNyCQwYUd
+
+
+github:- https://github.com/ggml-org/llama.cpp/releases
+
+
+Model:- https://huggingface.co/models?num_parameters=min:0,max:1B&library=gguf&sort=trending
+
+
+
+
+
+
+
+
+Cpu Only
+
+
+llama-server.exe --n-gpu-layers 0 --ctx-size 4096 -m "C:\Users\Mr_Nomi\Downloads\gemma-3-12b-it-Q4_K_S.gguf"
+
+
+
+Gpu Only/Cuda Olny
+
+llama-server.exe --n-gpu-layers 999 --ctx-size 4096 -m "C:\Users\Mr_Nomi\Downloads\gemma-3-12b-it-Q4_K_S.gguf"
+
+
+
+
+
+
+
+
+
+
+
+
+💻 Llama.cpp Setup Guide for Windows (English)
+This guide provides the exact steps to download the correct Llama.cpp binaries for Windows and run an LLM (Large Language Model) locally using a command prompt.
+Part 1: Download Llama.cpp Windows Binaries
+ * Search & Navigate: Open your web browser and search for the Llama.cpp GitHub page, or use the direct link below:
+   Link: https://github.com/ggerganov/llama.cpp/releases
+ * Select the Latest Release: On the right sidebar, click on the latest available release (e.g., a tag like b7028).
+ * Download the Windows Package: Scroll down to the Assets section. You must download the file specifically built for Windows 64-bit (x64) that supports your hardware.
+   * For CPU-ONLY Use (Recommended for maximum compatibility): Download the file containing cpu-win-x64 in its name.
+     * Example File Name: llama-bXXXX-bin-cpu-win-x64.zip
+   * For NVIDIA GPU (CUDA) Use: Download the file containing cuda-XX.X-x64 in its name.
+     * Example File Name: llama-bXXXX-bin-win-cuda-12.4-x64.zip
+ * Extract the Files: Once downloaded, Extract the entire contents of the .zip file into a new, easily accessible folder (e.g., E:\llama-setup). This will create a build folder containing the necessary bin subdirectory.
+Part 2: Download the LLM Model (GGUF Format)
+ * Download the Model File: You need an LLM model in the GGUF format. We will use the Gemma 2B model as an example due to its small size and efficiency.
+   Model Link (Gemma 2B Q4_K_S GGUF): https://huggingface.co/lmstudio-community/gemma-2b-it-GGUF/blob/main/gemma-2b-it-Q4_K_S.gguf
+ * Save the Model: Download the GGUF file and place it in a simple location, like your Downloads folder:
+   * Model Path Example: C:\Users\YourName\Downloads\gemma-2b-it-Q4_K_S.gguf
+Part 3: Run the Model (Command Line)
+ * Open the Bin Folder: Navigate to the folder where the executable files are located: E:\llama-setup\build\bin.
+ * Open Command Prompt: Right-click in an empty space within the bin folder and select Open in Terminal or Open PowerShell window here.
+ * Execute the Command: Now, run the llama-server.exe file, specifying the correct options and the path to your downloaded model (-m).
+ 
+
+
+
+  * If you downloaded the CPU-ONLY version (Recommended):
+     llama-server.exe --n-gpu-layers 0 --ctx-size 4096 -m "C:\Users\YourName\Downloads\gemma-2b-it-Q4_K_S.gguf"
+
+
+
+
+
+   * If you downloaded the CUDA (GPU) version:
+
+
+     llama-server.exe --n-gpu-layers 80 --ctx-size 4096 -m "C:\Users\YourName\Downloads\gemma-2b-it-Q4_K_S.gguf"
+
+
+
+   > Note: Replace "C:\Users\YourName\Downloads\gemma-2b-it-Q4_K_S.gguf" with the actual path where you saved your model.
+   > 
+
+ * Access the Web Interface: Once the server starts running, it will display a local IP address (e.g., http://127.0.0.1:8080). Copy this address and paste it into your web browser to start chatting with the model!
+
+
+
+
+
+
+💻 ونڈوز کے لیے Llama.cpp سیٹ اپ گائیڈ (اردو)
+یہ گائیڈ آپ کو ونڈوز پر Llama.cpp کی درست باائنریز ڈاؤن لوڈ کرنے اور کمانڈ پرامپٹ کے ذریعے ایک LLM (لارج لینگویج ماڈل) کو لوکل مشین پر چلانے کا صحیح طریقہ بتائے گا۔
+حصہ 1: Llama.cpp کی ونڈوز باائنریز ڈاؤن لوڈ کرنا
+ * سرچ اور وزٹ کریں: اپنا ویب براؤزر کھولیں اور Llama.cpp کے گٹ ہب پیج کو سرچ کریں، یا نیچے دیا گیا براہ راست لنک استعمال کریں:
+   لنک: https://github.com/ggerganov/llama.cpp/releases
+ * تازہ ترین ریلیز منتخب کریں: دائیں جانب موجود پینل میں، سب سے تازہ ترین دستیاب ریلیز پر کلک کریں۔
+ * ونڈوز پیکج ڈاؤن لوڈ کریں: Assets سیکشن تک نیچے سکرول کریں۔ آپ کو خاص طور پر ونڈوز 64-بٹ (x64) کے لیے بنائی گئی فائل ڈاؤن لوڈ کرنی ہے جو آپ کے ہارڈویئر کو سپورٹ کرے۔
+   * صرف CPU استعمال کے لیے (زیادہ مطابقت کے لیے تجویز کردہ): اس فائل کو ڈاؤن لو�� کریں جس کے نام میں cpu-win-x64 شامل ہو۔
+     * مثال فائل کا نام: llama-bXXXX-bin-cpu-win-x64.zip
+   * NVIDIA GPU (CUDA) استعمال کے لیے: اس فائل کو ڈاؤن لوڈ کریں جس کے نام میں cuda-XX.X-x64 شامل ہو۔
+     * مثال فائل کا نام: llama-bXXXX-bin-win-cuda-12.4-x64.zip
+ * فائلز کو ایکسٹریکٹ کریں: ڈاؤن لوڈ ہونے کے بعد، پوری .zip فائل کو ایک نئی، آسانی سے قابل رسائی جگہ پر ایکسٹریکٹ کر لیں (مثلاً، E:\llama-setup)۔ اس سے ایک build فولڈر بنے گا جس میں ضروری bin سب ڈائریکٹری موجود ہو گی۔
+حصہ 2: LLM ماڈل ڈاؤن لوڈ کرنا (GGUF فارمیٹ)
+ * ماڈل فائل ڈاؤن لوڈ کریں: آپ کو GGUF فارمیٹ میں ایک LLM ماڈل درکار ہے۔ ہم چھوٹی سائز اور افادیت کی وجہ سے Gemma 2B ماڈل کو مثال کے طور پر استعمال کریں گے۔
+   ماڈل کا لنک (Gemma 2B Q4_K_S GGUF): https://huggingface.co/lmstudio-community/gemma-2b-it-GGUF/blob/main/gemma-2b-it-Q4_K_S.gguf
+ * ماڈل محفوظ کریں: GGUF فائل ڈاؤن لوڈ کریں اور اسے کسی سادہ مقام پر رکھیں، جیسے کہ آپ کا Downloads فولڈر:
+   * ماڈل پاتھ کی مثال: C:\Users\آپ کا نام\Downloads\gemma-2b-it-Q4_K_S.gguf
+حصہ 3: ماڈل چلانا (کمانڈ لائن)
+ * Bin فولڈر کھولیں: اس فولڈر میں جائیں جہاں آپ کی llama-server.exe فائل موجود ہے: E:\llama-setup\build\bin۔
+ * کمانڈ پرامپٹ کھولیں: bin فولڈر کے اندر خالی جگہ پر رائٹ کلک کریں اور Open in Terminal یا Open PowerShell window here کو منتخب کریں۔
+ * کمانڈ ایگزیکیوٹ کریں: اب، llama-server.exe فائل کو چلائیں، اور صحیح آپشنز اور ماڈل کا پاتھ (-m) بتائیں۔
+   * اگر آپ نے صرف CPU ورژن ڈاؤن لوڈ کیا ہے (تجویز کردہ):
+     llama-server.exe --n-gpu-layers 0 --ctx-size 4096 -m "C:\Users\آپ کا نام\Downloads\gemma-2b-it-Q4_K_S.gguf"
+
+   * اگر آپ نے CUDA (GPU) ورژن ڈاؤن لوڈ کیا ہے:
+     llama-server.exe --n-gpu-layers 80 --ctx-size 4096 -m "C:\Users\آپ کا نام\Downloads\gemma-2b-it-Q4_K_S.gguf"
+
+   > نوٹ: "C:\Users\آپ کا نام\Downloads\gemma-2b-it-Q4_K_S.gguf" کی جگہ وہ اصل پاتھ استعمال کریں جہاں آپ نے اپنا ماڈل محفوظ کیا ہے۔
+   > 
+ * ویب انٹرفیس تک رسائی: سرور کے چلنا شروع ہوتے ہی، یہ ایک لوکل IP ایڈریس ظاہر کرے گا (مثلاً: http://127.0.0.1:8080)۔ اس ایڈریس کو کاپی کریں اور اپنے ویب براؤزر میں پیسٹ کریں تاکہ ماڈل کے ساتھ چیٹنگ شروع کی جا سکے۔

llama_cpp_WebUI.zip

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:698bf6499849700d3ba070937f5b5d5eab3927a7bb2b2262017fd4ffc8df39e3
+size 182568926

run_bat Edit tutorial.txt

@@ -0,0 +1,267 @@
+chatgpt:=  https://chatgpt.com/share/69141b4b-3448-800e-87ef-fb83c51228e9
+
+https://chatgpt.com/share/69141b4b-3448-800e-87ef-fb83c51228e9
+
+
+
+
+
+Tutorial: How to Edit Run.bat for Llama.cpp Local Server
+
+Step 1: Locate the Run.bat File
+
+Go to the folder where you downloaded Llama.cpp.
+
+Example path:
+
+
+D:\Flie\llama.cpp
+
+You will see Run.bat inside this folder.
+
+
+Step 2: Open Run.bat for Editing
+
+Right-click Run.bat → Choose Edit or Open with Notepad.
+
+This will open the batch file and you can see the code inside.
+
+
+Step 3: Edit the Base Directory
+
+Look for the line that defines the BASE_DIR.
+
+Example:
+
+
+SET BASE_DIR=D:\Flie\llama.cpp
+
+Replace D:\Flie\llama.cpp with your own Llama.cpp folder location if it’s different.
+
+
+Step 4: Check Models Folder
+
+Make sure you have a models folder inside your base folder.
+
+Place all your .gguf model files inside this folder.
+
+The batch file line should look like:
+
+
+SET MODELS_DIR=%BASE_DIR%\models
+
+Step 5: Save the File
+
+After editing the path, click File → Save in Notepad.
+
+Close Notepad.
+
+
+Step 6: Run the File
+
+Double-click Run.bat.
+
+You will see a list of models with numbers.
+
+Type the number of the model you want to run and press Enter.
+
+The server will start and automatically open the browser at:
+
+
+http://127.0.0.1:8080/
+
+
+---
+
+Step 7: Optional GPU/CPU Settings
+
+The batch file uses GPU by default:
+
+
+--n-gpu-layers 999
+
+If you want CPU only, edit the line in Run.bat like this:
+
+
+--n-gpu-layers 0
+
+
+---
+
+✅ Now your Run.bat is ready and will always show your models and run the server correctly.
+
+
+---
+
+ٹیوٹوریل: Run.bat کو ایڈٹ کرنا اور ماڈل فولڈر لوکیشن دینا (اردو)
+
+Step 1: Run.bat فائل تلاش کریں
+
+وہ فولڈر کھولیں جہاں آپ نے Llama.cpp رکھا ہوا ہے۔
+
+مثال:
+
+
+D:\Flie\llama.cpp
+
+یہاں آپ کو Run.bat نظر آئے گا۔
+
+
+Step 2: Run.bat کھولیں
+
+Run.bat پر Right-click → Edit یا Open with Notepad کریں۔
+
+Notepad میں فائل کھل جائے گی اور آپ کو کوڈ نظر آئے گا۔
+
+
+Step 3: Base Directory ایڈٹ کریں
+
+وہ لائن تلاش کریں جو BASE_DIR define کرتی ہے۔
+
+مثال:
+
+
+SET BASE_DIR=D:\Flie\llama.cpp
+
+اگر آپ نے Llama.cpp کسی اور فولڈر میں رکھا ہے تو اس کا path یہاں دیں۔
+
+
+Step 4: Models فولڈر چیک کریں
+
+یقین کریں کہ base folder میں models فولڈر موجود ہے۔
+
+اپنے تمام .gguf ماڈلز اس میں رکھیں۔
+
+Batch فائل میں یہ لائن اس طرح ہونی چاہیے:
+
+
+SET MODELS_DIR=%BASE_DIR%\models
+
+Step 5: فائل Save کریں
+
+Notepad میں File → Save کریں۔
+
+Notepad بند کر دیں۔
+
+
+Step 6: Run کریں
+
+Run.bat پر Double-click کریں۔
+
+ماڈلز کی لسٹ نمبر کے ساتھ دکھائی دے گی۔
+
+جس ماڈل کو چلانا ہے اس کا نمبر لکھیں اور Enter دبائیں۔
+
+Server start ہو جائے گا اور browser خود بخود کھلے گا:
+
+
+http://127.0.0.1:8080/
+
+
+---
+
+Step 7: GPU یا CPU موڈ
+
+Default GPU استعمال ہوتا ہے:
+
+
+--n-gpu-layers 999
+
+اگر CPU پر چلانا ہو تو 0 لکھیں:
+
+
+--n-gpu-layers 0
+
+
+---
+
+✅ اب آپ کا Run.bat بالکل تیار ہے۔
+یہ ہمیشہ ماڈل لسٹ دکھائے گا اور server صحیح طریقے سے چلائے گا۔
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+run.bat
+
+
+
+
+@echo off
+Title 🦙 Llama.cpp Local Server - GPU + Model Selector + Auto Chrome
+
+REM --- PATH SETTINGS ---
+SET BASE_DIR=D:\Flie\llama.cpp
+SET MODELS_DIR=%BASE_DIR%\models
+SET SERVER_EXE=%BASE_DIR%\llama-server.exe
+
+REM --- SERVER SETTINGS ---
+SET HOST_IP=0.0.0.0
+SET PORT=8080
+SET GPU_LAYERS=999
+SET CONTEXT_SIZE=4096
+
+echo ============================================
+echo   🦙 Llama.cpp Local Server - Model Selector
+echo ============================================
+echo.
+echo Available Models in: %MODELS_DIR%
+echo.
+
+REM --- LIST ALL MODELS ---
+SETLOCAL ENABLEDELAYEDEXPANSION
+SET COUNT=0
+for %%f in ("%MODELS_DIR%\*.gguf") do (
+    SET /A COUNT+=1
+    echo !COUNT!. %%~nxf
+    SET "MODEL[!COUNT!]=%%~nxf"
+)
+
+echo.
+set /p choice=Enter the model number to load: 
+
+IF "%choice%"=="" (
+    echo No selection made. Exiting...
+    pause
+    exit /b
+)
+
+SET SELECTED_MODEL=!MODEL[%choice%]!
+echo.
+echo ✅ Selected model: %SELECTED_MODEL%
+echo ---------------------------------------------
+
+SET MODEL_PATH="%MODELS_DIR%\%SELECTED_MODEL%"
+
+echo Starting llama-server with %SELECTED_MODEL% on GPU...
+echo.
+
+REM --- START SERVER ---
+start "" "%SERVER_EXE%" --n-gpu-layers %GPU_LAYERS% --ctx-size %CONTEXT_SIZE% --port %PORT% --host %HOST_IP% -m %MODEL_PATH%
+
+REM --- OPEN CHROME AUTOMATICALLY ---
+timeout /t 2 >nul
+start "" chrome http://127.0.0.1:%PORT%/
+
+echo.
+echo 🦙 Server started. Browser should open automatically.
+pause
+