Spaces:
Runtime error
Runtime error
Commit ·
3d8164d
1
Parent(s): 5c1427b
try different model
Browse files
app.py
CHANGED
|
@@ -15,7 +15,7 @@ from transformers import BitsAndBytesConfig, AutoModelForCausalLM
|
|
| 15 |
load_dotenv()
|
| 16 |
app = FastAPI()
|
| 17 |
|
| 18 |
-
model_name = "
|
| 19 |
|
| 20 |
MODEL_CACHE = "/home/user/app/model_cache"
|
| 21 |
|
|
@@ -49,7 +49,8 @@ def load_model():
|
|
| 49 |
print("Loading model and tokenizer...", flush=True)
|
| 50 |
global model, tokenizer
|
| 51 |
model = AutoModelForCausalLM.from_pretrained(
|
| 52 |
-
|
|
|
|
| 53 |
local_files_only=True,
|
| 54 |
torch_dtype=dtype,
|
| 55 |
trust_remote_code=True,
|
|
@@ -57,7 +58,8 @@ def load_model():
|
|
| 57 |
device_map="auto"
|
| 58 |
).to(device).eval()
|
| 59 |
tokenizer = AutoTokenizer.from_pretrained(
|
| 60 |
-
|
|
|
|
| 61 |
local_files_only=True,
|
| 62 |
trust_remote_code=True,
|
| 63 |
device_map="auto"
|
|
@@ -90,7 +92,7 @@ def predict_NuExtract(texts, template, batch_size=1, max_length=5096, max_new_to
|
|
| 90 |
"Exemple 3 : \n"
|
| 91 |
"Texte : \"...mai 2025 – juin 2026...\"\n"
|
| 92 |
"Output : \"start_date\": \"05/2025\", \"end_date\": \"06/2026\"\n"
|
| 93 |
-
"Extraction des dates est *très* importante\n"
|
| 94 |
"Exemples types de formations : CAP Boucherie, Licence Pro Métiers de l’Énergétique, Baccalauréat Général\n"
|
| 95 |
"Exemples catégories de formations : Transport, énergie, langues, esthétique\n"
|
| 96 |
"Exemples mobilités : permis B, permis C, permis D. si y'a juste la mention de permis on considère que c'est le permis B. N’inclure que les permis explicitement mentionnés dans le texte. S’il n’y a aucune mention de permis, renvoyer une liste vide.\n"
|
|
|
|
| 15 |
load_dotenv()
|
| 16 |
app = FastAPI()
|
| 17 |
|
| 18 |
+
model_name = "numind/NuExtract-1.5"
|
| 19 |
|
| 20 |
MODEL_CACHE = "/home/user/app/model_cache"
|
| 21 |
|
|
|
|
| 49 |
print("Loading model and tokenizer...", flush=True)
|
| 50 |
global model, tokenizer
|
| 51 |
model = AutoModelForCausalLM.from_pretrained(
|
| 52 |
+
model_name,
|
| 53 |
+
cache_dir=MODEL_CACHE,
|
| 54 |
local_files_only=True,
|
| 55 |
torch_dtype=dtype,
|
| 56 |
trust_remote_code=True,
|
|
|
|
| 58 |
device_map="auto"
|
| 59 |
).to(device).eval()
|
| 60 |
tokenizer = AutoTokenizer.from_pretrained(
|
| 61 |
+
model_name,
|
| 62 |
+
cache_dir=MODEL_CACHE,
|
| 63 |
local_files_only=True,
|
| 64 |
trust_remote_code=True,
|
| 65 |
device_map="auto"
|
|
|
|
| 92 |
"Exemple 3 : \n"
|
| 93 |
"Texte : \"...mai 2025 – juin 2026...\"\n"
|
| 94 |
"Output : \"start_date\": \"05/2025\", \"end_date\": \"06/2026\"\n"
|
| 95 |
+
"Extraction des dates est *très* importante. Ne laisse jamais les dates vides\n"
|
| 96 |
"Exemples types de formations : CAP Boucherie, Licence Pro Métiers de l’Énergétique, Baccalauréat Général\n"
|
| 97 |
"Exemples catégories de formations : Transport, énergie, langues, esthétique\n"
|
| 98 |
"Exemples mobilités : permis B, permis C, permis D. si y'a juste la mention de permis on considère que c'est le permis B. N’inclure que les permis explicitement mentionnés dans le texte. S’il n’y a aucune mention de permis, renvoyer une liste vide.\n"
|