沒辦法用該如何處理?
#3
by
vancelai
- opened
1、我幫你寫一份 Ollama 的 Modelfile 範本,讓你可以在本機用 ollama create 建立一個支援影像判讀的模型(以 GemmaPro_q4.gguf + GemmaPro_Image.gguf 為核心)
Modelfile
指定語言模型 (量化 GGUF)
FROM ./GemmaPro_q4.gguf
指定 multimodal projector (影像核心 / mmproj)
注意:有些模型的 projector 檔可能要放在相對路徑下,名稱必須正確
MM_PROJECTOR ./GemmaPro_Image.gguf
給模型取名字 (可自行更改)
PARAMETER name "gemma-pro-image"
可選:限制輸出長度、溫度等參數
PARAMETER num_ctx 4096
PARAMETER temperature 0.6
PARAMETER top_p 0.9
TEMPLATE """
你是一個影像解讀助理,能根據圖片內容輸出清楚、詳細、正確的中文描述。
如果有圖片輸入,請專注描述圖片的內容;如果沒有圖片,則回答純文字問題。
"""
2、把這個 Modelfile 存在同一資料夾(與兩個 GGUF 檔一起),在命令列執行:
ollama create gemma-pro-image -f Modelfile
3、完成後,你可以用:
ollama run gemma-pro-image
4、使用瀏覽器看http://127.0.0.1:11434
應該就能成功。
按照說明的方式執行,但執行檔執行完了之後,就沒了,也沒辦法訪間http://127.0.0.1:8081該如何處理?
註:我是用沒GPU的
您是解壓縮llama-b6424-bin-win-cpu-x64這個資料夾嗎? 來執行run.bat嗎?
因為這就是給沒GPU的電腦使用的。