沒辦法用該如何處理?

#3
by vancelai - opened

按照說明的方式執行,但執行檔執行完了之後,就沒了,也沒辦法訪間http://127.0.0.1:8081該如何處理?
註:我是用沒GPU的

1、我幫你寫一份 Ollama 的 Modelfile 範本,讓你可以在本機用 ollama create 建立一個支援影像判讀的模型(以 GemmaPro_q4.gguf + GemmaPro_Image.gguf 為核心)

Modelfile

指定語言模型 (量化 GGUF)

FROM ./GemmaPro_q4.gguf

指定 multimodal projector (影像核心 / mmproj)

注意:有些模型的 projector 檔可能要放在相對路徑下,名稱必須正確

MM_PROJECTOR ./GemmaPro_Image.gguf

給模型取名字 (可自行更改)

PARAMETER name "gemma-pro-image"

可選:限制輸出長度、溫度等參數

PARAMETER num_ctx 4096
PARAMETER temperature 0.6
PARAMETER top_p 0.9

TEMPLATE """
你是一個影像解讀助理,能根據圖片內容輸出清楚、詳細、正確的中文描述。
如果有圖片輸入,請專注描述圖片的內容;如果沒有圖片,則回答純文字問題。
"""

2、把這個 Modelfile 存在同一資料夾(與兩個 GGUF 檔一起),在命令列執行:
ollama create gemma-pro-image -f Modelfile

3、完成後,你可以用:
ollama run gemma-pro-image

4、使用瀏覽器看http://127.0.0.1:11434
應該就能成功。

按照說明的方式執行,但執行檔執行完了之後,就沒了,也沒辦法訪間http://127.0.0.1:8081該如何處理?
註:我是用沒GPU的

您是解壓縮llama-b6424-bin-win-cpu-x64這個資料夾嗎? 來執行run.bat嗎?
因為這就是給沒GPU的電腦使用的。

Sign up or log in to comment