Pytorchからllama.cppに変更

app.py

@@ -1,8 +1,13 @@
 import gradio as gr
 from llama_cpp import Llama
+from huggingface_hub import hf_hub_download
 
-# gguf形式のモデルファイルのパスを指定してロード
-llm = Llama(model_path="Mori-kamiyama/sarashina2-13b-r1/model.gguf")
+# Hugging Face上のリポジトリからモデルをダウンロードする
+# repo_id はモデルが置かれているリポジトリのID、filename はモデルファイル名です
+model_path = hf_hub_download(repo_id="Mori-kamiyama/sarashina2-13b-r1", filename="model.gguf")
+
+# ダウンロードされたパスを使ってモデルをロード
+llm = Llama(model_path=model_path)
 
 def generate_text(prompt):
     return llm(prompt)

requirements.txt

@@ -1,2 +1,3 @@
 gradio
-llama-cpp-python
+llama-cpp-python
+huggingface_hub