Spaces:
Runtime error
Runtime error
Update app.py
Browse files
app.py
CHANGED
|
@@ -54,7 +54,7 @@ async def chunk_text(data: ChunkRequest):
|
|
| 54 |
|
| 55 |
# ✅ Chargement du modèle LLM depuis Hugging Face (GGUF distant)
|
| 56 |
llm = LlamaCPP(
|
| 57 |
-
model_url="https://huggingface.co/
|
| 58 |
temperature=0.1,
|
| 59 |
max_new_tokens=512,
|
| 60 |
context_window=2048,
|
|
@@ -62,6 +62,11 @@ async def chunk_text(data: ChunkRequest):
|
|
| 62 |
model_kwargs={"n_gpu_layers": 1},
|
| 63 |
)
|
| 64 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 65 |
print("✅ ✔️ Modèle LLM chargé sans erreur on continue...")
|
| 66 |
|
| 67 |
# ✅ Définition d’un wrapper simple pour l’embedding local
|
|
|
|
| 54 |
|
| 55 |
# ✅ Chargement du modèle LLM depuis Hugging Face (GGUF distant)
|
| 56 |
llm = LlamaCPP(
|
| 57 |
+
model_url="https://huggingface.co/TheBloke/CodeLlama-7B-Instruct-GGUF/resolve/main/codellama-7b-instruct.Q4_K_M.gguf",
|
| 58 |
temperature=0.1,
|
| 59 |
max_new_tokens=512,
|
| 60 |
context_window=2048,
|
|
|
|
| 62 |
model_kwargs={"n_gpu_layers": 1},
|
| 63 |
)
|
| 64 |
|
| 65 |
+
|
| 66 |
+
|
| 67 |
+
print("✅✅ Le modèle CodeLlama-7B-Instruct Q4_K_M a été chargé sans erreur...")
|
| 68 |
+
|
| 69 |
+
|
| 70 |
print("✅ ✔️ Modèle LLM chargé sans erreur on continue...")
|
| 71 |
|
| 72 |
# ✅ Définition d’un wrapper simple pour l’embedding local
|