| @echo off | |
| echo ======================================== | |
| echo Iniciando llama.cpp Servidor API | |
| echo ======================================== | |
| REM Ajustar caminhos abaixo | |
| set LLAMA_PATH=E:\AIVisionsLab\llama.cpp | |
| set MODEL_PATH=E:\AIVisionsLab\models\mistral-7b-q4_k_m.gguf | |
| echo Modelo: %MODEL_PATH% | |
| echo Porta: 8080 | |
| echo. | |
| %LLAMA_PATH%\build\bin\llama-server.exe ^ | |
| -m "%MODEL_PATH%" ^ | |
| -ngl 35 ^ | |
| --ctx-size 2048 ^ | |
| --port 8080 ^ | |
| --host 0.0.0.0 | |
| pause | |