Spaces:
Sleeping
Sleeping
Update app.py
Browse files
app.py
CHANGED
|
@@ -4,7 +4,7 @@ import torch
|
|
| 4 |
|
| 5 |
app = FastAPI()
|
| 6 |
|
| 7 |
-
#
|
| 8 |
model_name = "AI-Sweden-Models/gpt-sw3-126m"
|
| 9 |
try:
|
| 10 |
tokenizer = AutoTokenizer.from_pretrained(model_name)
|
|
@@ -14,27 +14,32 @@ except Exception as e:
|
|
| 14 |
raise e
|
| 15 |
|
| 16 |
@app.post("/parse")
|
| 17 |
-
async def
|
| 18 |
-
if not
|
| 19 |
-
return {"error": "Ogiltig eller för lång
|
| 20 |
try:
|
| 21 |
-
#
|
| 22 |
-
prompt = f"
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 23 |
|
| 24 |
-
#
|
| 25 |
-
input_ids = tokenizer(
|
| 26 |
|
| 27 |
-
#
|
| 28 |
with torch.no_grad():
|
| 29 |
output = model.generate(
|
| 30 |
input_ids,
|
| 31 |
-
max_new_tokens=
|
| 32 |
do_sample=False,
|
| 33 |
pad_token_id=tokenizer.pad_token_id,
|
| 34 |
eos_token_id=tokenizer.eos_token_id
|
| 35 |
)
|
| 36 |
|
| 37 |
-
#
|
| 38 |
result = tokenizer.decode(output[0], skip_special_tokens=True).strip()
|
| 39 |
result = result.split("Svar: ")[-1].strip()
|
| 40 |
|
|
@@ -44,4 +49,4 @@ async def parse_arithmetic_prompt(prompt: str):
|
|
| 44 |
|
| 45 |
@app.get("/")
|
| 46 |
async def root():
|
| 47 |
-
return {"
|
|
|
|
| 4 |
|
| 5 |
app = FastAPI()
|
| 6 |
|
| 7 |
+
# Ladda GPT-SW3-126M
|
| 8 |
model_name = "AI-Sweden-Models/gpt-sw3-126m"
|
| 9 |
try:
|
| 10 |
tokenizer = AutoTokenizer.from_pretrained(model_name)
|
|
|
|
| 14 |
raise e
|
| 15 |
|
| 16 |
@app.post("/parse")
|
| 17 |
+
async def parse_user_request(request: str):
|
| 18 |
+
if not request or len(request) > 200:
|
| 19 |
+
return {"error": "Ogiltig eller för lång begäran"}
|
| 20 |
try:
|
| 21 |
+
# Prompt för att extrahera vara och attribut
|
| 22 |
+
prompt = f"""Analysera följande begäran på svenska och extrahera nyckelinformation som vara, färg, pris eller andra attribut. Returnera resultatet som en sträng med formatet "vara:namn,attribut1:värde,attribut2:värde" (bara relevanta attribut, utan tomma fält). Om ingen vara identifieras, returnera "error:ingen vara". Exempel:
|
| 23 |
+
- Input: "Jag vill ha en röd bil" -> "vara:bil,färg:röd"
|
| 24 |
+
- Input: "Jag vill ha en ros, helst billigt" -> "vara:ros,pris:billigt"
|
| 25 |
+
|
| 26 |
+
Begäran: {request}
|
| 27 |
+
Svar: """
|
| 28 |
|
| 29 |
+
# Tokenisera prompten
|
| 30 |
+
input_ids = tokenizer(prompt, return_tensors="pt").input_ids
|
| 31 |
|
| 32 |
+
# Generera svar
|
| 33 |
with torch.no_grad():
|
| 34 |
output = model.generate(
|
| 35 |
input_ids,
|
| 36 |
+
max_new_tokens=20,
|
| 37 |
do_sample=False,
|
| 38 |
pad_token_id=tokenizer.pad_token_id,
|
| 39 |
eos_token_id=tokenizer.eos_token_id
|
| 40 |
)
|
| 41 |
|
| 42 |
+
# Dekoda och extrahera svaret
|
| 43 |
result = tokenizer.decode(output[0], skip_special_tokens=True).strip()
|
| 44 |
result = result.split("Svar: ")[-1].strip()
|
| 45 |
|
|
|
|
| 49 |
|
| 50 |
@app.get("/")
|
| 51 |
async def root():
|
| 52 |
+
return {"Nytt!"}
|