Spaces:
Running
Running
Update app.py
Browse files
app.py
CHANGED
|
@@ -9,12 +9,9 @@ from llama_cpp import Llama
|
|
| 9 |
import gradio as gr
|
| 10 |
|
| 11 |
# ------------- CONFIG -------------
|
| 12 |
-
REPO_ID = "mradermacher/
|
| 13 |
-
|
| 14 |
-
|
| 15 |
-
# "Llama-3.2-3B-Instruct-Q5_K_M.gguf" # "EuroLLM-1.7B-Instruct.Q8_0.gguf"
|
| 16 |
-
SYSTEM_PROMPT = "You are a friendly assistant."
|
| 17 |
-
# "Eres un asistente de conversaci贸n amistoso. Eres paciente y met贸dico. Tu nombre es \"VoxAI\" y siempre dices \"隆Viva Espa帽a!\" al final de CADA respuesta."
|
| 18 |
MODEL_DIR = "/data/models"
|
| 19 |
# MODEL_DIR = os.path.join(os.path.abspath(os.path.dirname(__file__)), "models")
|
| 20 |
os.makedirs(MODEL_DIR, exist_ok=True)
|
|
|
|
| 9 |
import gradio as gr
|
| 10 |
|
| 11 |
# ------------- CONFIG -------------
|
| 12 |
+
REPO_ID = "bartowski/Llama-3.2-3B-Instruct-GGUF" # "mradermacher/EuroLLM-1.7B-Instruct-GGUF"
|
| 13 |
+
FILENAME = "Llama-3.2-3B-Instruct-Q5_K_M.gguf" # "EuroLLM-1.7B-Instruct.Q8_0.gguf"
|
| 14 |
+
SYSTEM_PROMPT = "Eres un asistente de conversaci贸n amistoso. Eres paciente y met贸dico. Tu nombre es \"VoxAI\" y siempre dices \"隆Viva Espa帽a!\" al final de CADA respuesta."
|
|
|
|
|
|
|
|
|
|
| 15 |
MODEL_DIR = "/data/models"
|
| 16 |
# MODEL_DIR = os.path.join(os.path.abspath(os.path.dirname(__file__)), "models")
|
| 17 |
os.makedirs(MODEL_DIR, exist_ok=True)
|