nzgnzg73
/

llama_cpp_WebUI

@@ -1,203 +0,0 @@
-llama-server --n-gpu-layers 5 --ctx-size 14096 -m models/Qwen3-VL-2B-Instruct-Q8_0.gguf --mmproj models/mmproj-Qwen3-VL-2B-Instruct-Q8_0.gguf --host 127.0.0.1 --port 8083
-Chatgpt;- https://chatgpt.com/share/6914d98c-9784-800e-8d92-e8eb0a25b5a4
-https://chatgpt.com/share/6914d98c-9784-800e-8d92-e8eb0a25b5a4
-nglish Version 🇬🇧
-Title: [Image to Text Model Setup Guide (WebUI)]
-Part 1: File and Folder Setup
- * Base Folder: Assume your main software directory is D:\Flie\llama.cpp.
- * Download Vision Model:
-   * To run any Vision Model (e.g., Qwen-VL or Gemma-Vision), you must download two files from the model source (like Hugging Face):
-     * File 1 (Main Model): This is the large model file (e.g., Qwen3-VL-2B-Instruct-Q8_0.gguf).
-     * File 2 (MM Projector): This is the small model file responsible for image processing (e.g., mmproj-Qwen3-VL-2B-Instruct-Q8_0.gguf).
- * File Placement: Place both of these files inside the models folder located within D:\Flie\llama.cpp.
- * Ensure GPU Support (CUDA):
-   * Ensure that the llama-server.exe file in your D:\Flie\llama.cpp folder has been replaced with the version compiled for GPU (CUDA) support (as done by replacing all files from the 373 MB CUDART zip).
-Part 2: Preparing the Command (Running the Software)
-You must write a single command to tell the software which files to use and how much GPU power to allocate.
-Command Structure:
-llama-server --n-gpu-layers [GPU_LAYERS] --ctx-size 14096 -m models/[MAIN_MODEL_FILE.gguf] --mmproj models/[MMPROJ_FILE.gguf] --host 127.0.0.1 --port 8083
- * llama-server: This starts the WebUI server for use in a browser.
- * --n-gpu-layers [GPU_LAYERS]:
-   * What to put here? Enter a number based on your GPU's VRAM (e.g., 28 or 20). This accelerates text and image processing by transferring the load from the CPU to the GPU.
- * -m models/[MAIN_MODEL_FILE.gguf]:
-   * What to put here? Enter the full filename of the large Vision Model file you downloaded.
-   * Example: -m models/Qwen3-VL-2B-Instruct-Q8_0.gguf
- * --mmproj models/[MMPROJ_FILE.gguf]:
-   * What to put here? This is the Multi-Modal Projector path. Enter the full filename of the small MM Projector file.
-   * Crucial Rule: The MM Projector file MUST be from the same model family as the Main Model. Mixing files (e.g., a Gemma mmproj with a Qwen main model) will NOT work.
-   * Example (For Qwen-VL): --mmproj models/mmproj-Qwen3-VL-2B-Instruct-Q8_0.gguf
-Final Command (Qwen-VL Example):
-Run this command inside your D:\Flie\llama.cpp> folder:
-llama-server --n-gpu-layers 28 --ctx-size 14096 -m models/Qwen3-VL-2B-Instruct-Q8_0.gguf --mmproj models/mmproj-Qwen3-VL-2B-Instruct-Q8_0.gguf --host 127.0.0.1 --port 8083
-Part 3: Using the Model on WebUI
- * Run the Command: The command prompt will start loading the model onto your GPU.
- * Open URL: Once the console shows listening on http://127.0.0.1:8083, open this URL in your Chrome browser.
- * Upload Image: You will find an image upload button next to the chat window.
- * Fast Processing: The image processing (which was previously slow) will now be handled by your GPU and the model will respond quickly
-Urdu
-یہ ٹیوٹوریل WebUI (کروم براؤزر) پر تصویر اپلوڈ کرنے والے ماڈلز کو چلانے کا مکمل طریقہ ہے۔
-ٹیوٹوریل: llama.cpp پر تصویر (Image) والا ماڈل چلانے کا طریقہ (GPU کے ساتھ)
-عنوان: [Image to Text Model Setup Guide (WebUI)]
-اردو میں 🇵🇰
-یہ ہدایات کسی بھی نئے Vision ماڈل (جیسے Qwen-VL یا Gemma-Vision) کو آپ کے NVIDIA GPU پر چلا کر کروم براؤزر میں استعمال کرنے کے لیے ہیں۔
-حصہ 1: فائلیں اور فولڈر سیٹ اپ
- * بنیادی فولڈر: فرض کریں کہ آپ کا سارا سافٹ ویئر D:\Flie\llama.cpp فولڈر میں موجود ہے۔
- * Vision ماڈل ڈاؤنلوڈ کرنا:
-   * آپ جس بھی Vision ماڈل کو چلانا چاہتے ہیں (مثلاً Qwen-VL یا Gemma-Vision)، آپ کو اس کی دو فائلیں ڈاؤنلوڈ کرنی ہوں گی (جیسے آپ نے Hugging Face سے کی تھیں):
-     * پہلی فائل (Main Model): یہ ماڈل کا بڑا حصہ ہے (جیسے Qwen3-VL-2B-Instruct-Q8_0.gguf)۔
-     * دوسری فائل (MM Projector): یہ ماڈل کا چھوٹا حصہ ہے جو تصویر کو پروسیس کرتا ہے (جیسے mmproj-Qwen3-VL-2B-Instruct-Q8_0.gguf)۔
- * فائلوں کی جگہ: ان دونوں فائلوں کو D:\Flie\llama.cpp کے اندر موجود models نامی فولڈر میں رکھیں۔
- * GPU سپورٹ (CUDA) یقینی بنانا:
-   * یقینی بنائیں کہ آپ کے D:\Flie\llama.cpp فولڈر میں موجود llama-server.exe فائل GPU (CUDA) سپورٹ کے ساتھ کمپائل ہوئی ہو (جیسا کہ ہم نے 373 MB والی CUDART زِپ کو استعمال کر کے تمام فائلیں تبدیل کی تھیں)۔
-حصہ 2: کمانڈ تیار کرنا (سافٹ ویئر کو چلانا)
-آپ کو ایک واحد کمانڈ لکھنی ہے جو سافٹ ویئر کو یہ بتائے کہ کون سی فائل کس کام کے لیے استعمال کرنی ہے اور GPU پر کتنی طاقت استعمال کرنی ہے۔
-کمانڈ کا مکمل سٹرکچر:
-llama-server --n-gpu-layers [GPU_LAYERS] --ctx-size 14096 -m models/[MAIN_MODEL_FILE.gguf] --mmproj models/[MMPROJ_FILE.gguf] --host 127.0.0.1 --port 8083
- * llama-server: یہ کمانڈ براؤزر میں WebUI کو شروع کرنے کے لیے ضروری ہے۔
- * --n-gpu-layers [GPU_LAYERS]:
-   * کون سی ویلیو ڈالیں؟ یہاں آپ اپنے GPU کی VRAM کے حساب سے ایک نمبر ڈالیں (جیسے 28 یا 20 اگر میموری کم ہے)۔ یہ ٹیکسٹ اور تصویر کی پروسیسنگ کو تیز کرتا ہے۔
-   * مثال: --n-gpu-layers 28
- * -m models/[MAIN_MODEL_FILE.gguf]:
-   * کون سی ویلیو ڈالیں؟ یہاں آپ بڑی Vision ماڈل فائل کا نام ڈالیں گے جو آپ نے Hugging Face سے ڈاؤنلوڈ کی تھی۔
-   * مثال: -m models/Qwen3-VL-2B-Instruct-Q8_0.gguf
- * --mmproj models/[MMPROJ_FILE.gguf]:
-   * کون سی ویلیو ڈالیں؟ یہ Vision Projector فائل کا پاتھ ہے۔ یہاں آپ چھوٹی MM Projector فائل کا نام ڈالیں گے۔
-   * یاد رکھیں: اگر آپ Gemma ماڈل استعمال کر رہے ہیں، تو آپ کو Gemma کا ہی mmproj استعمال کرنا ہو گا۔ کوئی بھی mmproj کسی بھی ماڈل کے ساتھ کام نہیں کرے گا۔ یہ دونوں فائلیں ایک ہی ماڈل کی ہونی چاہئیں۔
-   * مثال (Qwen-VL کے لیے): --mmproj models/mmproj-Qwen3-VL-2B-Instruct-Q8_0.gguf
-آپ کی مکمل کمانڈ (Qwen-VL کی مثال):
-D:\Flie\llama.cpp> میں جا کر یہ کمانڈ چلائیں:
-llama-server --n-gpu-layers 28 --ctx-size 14096 -m models/Qwen3-VL-2B-Instruct-Q8_0.gguf --mmproj models/mmproj-Qwen3-VL-2B-Instruct-Q8_0.gguf --host 127.0.0.1 --port 8083
-حصہ 3: ماڈل کو WebUI پر استعمال کرنا
- * کمانڈ چلائیں: جب آپ Command Prompt میں یہ کمانڈ چلائیں گے تو یہ ماڈل کو آپ کے GPU پر لوڈ کرنا شروع کر دے گا۔
- * URL کھولیں: کنسول میں جب listening on http://127.0.0.1:8083 کا میسج آئے، تو اپنے کروم براؤزر میں یہ URL کھولیں۔
- * تصویر اپلوڈ کریں: آپ کو وہاں چیٹ ونڈو کے ساتھ ہی تصویر اپلوڈ کرنے کا بٹن مل جائے گا۔
- * تصویر پروسیسنگ: جیسے ہی آپ تصویر اپلوڈ کریں گے، آپ کا GPU (Quadro P2000) کام کرنا شروع کر دے گا اور Vision پروسیسنگ تیزی سے مکمل ہو کر آپ کا ماڈل تصویر کے بارے میں جواب دے گا۔
-NEW LAST
-RUN.BAT
-@echo off
-Title 🦙 Llama.cpp Local Server - GPU + Model Selector + Mobile Access
-REM --- PATH SETTINGS ---
-SET BASE_DIR=D:\Flie\llama.cpp
-SET MODELS_DIR=%BASE_DIR%\models
-SET SERVER_EXE=%BASE_DIR%\llama-server.exe
-REM --- SERVER SETTINGS ---
-SET HOST_IP=0.0.0.0
-SET PORT=8080
-SET GPU_LAYERS=3
-SET CONTEXT_SIZE=114096
-echo ============================================
-echo   🦙 Llama.cpp Local Server - Model Selector
-echo ============================================
-echo.
-echo Available Models in: %MODELS_DIR%
-echo.
-REM --- LIST ALL MODELS ---
-SETLOCAL ENABLEDELAYEDEXPANSION
-SET COUNT=0
-for %%f in ("%MODELS_DIR%\*.gguf") do (
-    SET /A COUNT+=1
-    echo !COUNT!. %%~nxf
-    SET "MODEL[!COUNT!]=%%~nxf"
-)
-echo.
-echo --------------------------------------------
-echo Type "NO" and press ENTER to start Vision Model (Qwen3-VL-2B)
-echo --------------------------------------------
-echo.
-set /p choice=Enter model number or type NO:
-REM --- IF USER TYPES NO ---
-IF /I "%choice%"=="NO" (
-    echo.
-    echo 🧠 Starting Vision Model: Qwen3-VL-2B-Instruct-Q8_0
-    echo --------------------------------------------
-    start "" "%SERVER_EXE%" --n-gpu-layers 3 --ctx-size 114096 -m "%MODELS_DIR%\Qwen3-VL-2B-Instruct-Q8_0.gguf" --mmproj "%MODELS_DIR%\mmproj-Qwen3-VL-2B-Instruct-Q8_0.gguf" --host %HOST_IP% --port %PORT%
-    timeout /t 3 >nul
-    REM --- GET LOCAL IP FOR MOBILE ACCESS ---
-    for /f "tokens=2 delims=:" %%a in ('ipconfig ^| findstr /c:"IPv4 Address"') do set LOCAL_IP=%%a
-    set LOCAL_IP=%LOCAL_IP: =%
-    echo.
-    echo 🌐 Open on this PC:      http://127.0.0.1:%PORT%
-    echo 📱 Open on your mobile:  http://%LOCAL_IP%:%PORT%
-    echo.
-    start "" chrome http://127.0.0.1:%PORT%/
-    pause
-    exit /b
-)
-REM --- NORMAL MODEL SELECTION PATH ---
-IF "%choice%"=="" (
-    echo No selection made. Exiting...
-    pause
-    exit /b
-)
-SET SELECTED_MODEL=!MODEL[%choice%]!
-SET MODEL_PATH="%MODELS_DIR%\%SELECTED_MODEL%"
-echo.
-echo ✅ Selected model: %SELECTED_MODEL%
-echo ---------------------------------------------
-echo.
-echo 🚀 Starting llama-server with %SELECTED_MODEL% ...
-echo.
-start "" "%SERVER_EXE%" --n-gpu-layers %GPU_LAYERS% --ctx-size %CONTEXT_SIZE% -m %MODEL_PATH% --host %HOST_IP% --port %PORT%
-timeout /t 3 >nul
-REM --- GET LOCAL IP FOR MOBILE ACCESS ---
-for /f "tokens=2 delims=:" %%a in ('ipconfig ^| findstr /c:"IPv4 Address"') do set LOCAL_IP=%%a
-set LOCAL_IP=%LOCAL_IP: =%
-echo.
-echo 🌐 Open on this PC:      http://127.0.0.1:%PORT%
-echo 📱 Open on your mobile:  http://%LOCAL_IP%:%PORT%
-echo.
-start "" chrome http://127.0.0.1:%PORT%/
-pause