Fu01978 commited on
Commit
cb953dc
verified
1 Parent(s): 5529ce5

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +3 -6
app.py CHANGED
@@ -9,12 +9,9 @@ from llama_cpp import Llama
9
  import gradio as gr
10
 
11
  # ------------- CONFIG -------------
12
- REPO_ID = "mradermacher/gpt2-therapist-finetuned-GGUF"
13
- # "bartowski/Llama-3.2-3B-Instruct-GGUF" # "mradermacher/EuroLLM-1.7B-Instruct-GGUF"
14
- FILENAME = "gpt2-therapist-finetuned.f16.gguf"
15
- # "Llama-3.2-3B-Instruct-Q5_K_M.gguf" # "EuroLLM-1.7B-Instruct.Q8_0.gguf"
16
- SYSTEM_PROMPT = "You are a friendly assistant."
17
- # "Eres un asistente de conversaci贸n amistoso. Eres paciente y met贸dico. Tu nombre es \"VoxAI\" y siempre dices \"隆Viva Espa帽a!\" al final de CADA respuesta."
18
  MODEL_DIR = "/data/models"
19
  # MODEL_DIR = os.path.join(os.path.abspath(os.path.dirname(__file__)), "models")
20
  os.makedirs(MODEL_DIR, exist_ok=True)
 
9
  import gradio as gr
10
 
11
  # ------------- CONFIG -------------
12
+ REPO_ID = "bartowski/Llama-3.2-3B-Instruct-GGUF" # "mradermacher/EuroLLM-1.7B-Instruct-GGUF"
13
+ FILENAME = "Llama-3.2-3B-Instruct-Q5_K_M.gguf" # "EuroLLM-1.7B-Instruct.Q8_0.gguf"
14
+ SYSTEM_PROMPT = "Eres un asistente de conversaci贸n amistoso. Eres paciente y met贸dico. Tu nombre es \"VoxAI\" y siempre dices \"隆Viva Espa帽a!\" al final de CADA respuesta."
 
 
 
15
  MODEL_DIR = "/data/models"
16
  # MODEL_DIR = os.path.join(os.path.abspath(os.path.dirname(__file__)), "models")
17
  os.makedirs(MODEL_DIR, exist_ok=True)