Safetensors
gemma3

轉換為GGUF, 執行出現core dumped

#2
by sfkuo - opened

因為要在ollama執行,利用llama.cpp將 HuggingFace 模型轉換為 Ollama 支持的 GGUF 格式。
但是ollama run時出現 Error: llama runner process has terminated: signal: aborted (core dumped)

請問這是什麼原因? 如果是轉換為GGUF參數, 能否提供轉換為GGUF的參數。

謝謝

我使用llama.cpp的Github庫轉出來的GGUF是能用預編譯的llama-server.exe執行起來,以下是我使用的指令,請參考
#模型轉GGUF,有預先使用huggingface-cli把模型拉下來
python ./convert_hf_to_gguf.py ~/.cache/huggingface/hub/models--taide--Gemma-3-TAIDE-12b-Chat/snapshots/abae28ce090549c694cd130d8fe64a54a8f13a6e --outfile Gemma-3-TAIDE-12b-Chat-BF16.gguf --outtype f16
#從模型抽出clip並轉為gguf
python ./convert_hf_to_gguf.py ~/.cache/huggingface/hub/models--taide--Gemma-3-TAIDE-12b-Chat/snapshots/abae28ce090549c694cd130d8fe64a54a8f13a6e --outfile mmproj-taide_gemma-12b-it-bf16.gguf --mmproj
#量化
./llama-quantize.exe ../Gemma-3-TAIDE-12b-Chat-BF16.gguf Gemma-3-TAIDE-12b-Chat-q4_k_m.gguf Q4_K_M

Sign up or log in to comment