Pytorchからllama.cppに変更

app.py

@@ -1,12 +1,18 @@
 import gradio as gr
-from llama_cpp import Llama
+import pathlib
 from huggingface_hub import hf_hub_download
+from llama_cpp import Llama
+
+# 書き込み可能なディレクトリを指定（例：現在のディレクトリの "models" フォルダ）
+models_dir = pathlib.Path(__file__).parent / "models"
+models_dir.mkdir(exist_ok=True)
 
-# Hugging Face上のリポジトリからモデルをダウンロードする
-# repo_id はモデルが置かれているリポジトリのID、filename はモデルファイル名です
-model_path = hf_hub_download(repo_id="Mori-kamiyama/sarashina2-13b-r1", filename="model.gguf")
+model_path = hf_hub_download(
+    repo_id="Mori-kamiyama/sarashina2-13b-r1",
+    filename="model.gguf",
+    local_dir=models_dir
+)
 
-# ダウンロードされたパスを使ってモデルをロード
 llm = Llama(model_path=model_path)
 
 def generate_text(prompt):