Update handler.py

handler.py

@@ -20,7 +20,7 @@ class EndpointHandler:
             raise ValueError("La entrada debe ser un diccionario con la clave 'inputs' y un valor válido.")
 
         # Prompt personalizado para guiar al modelo
-        input_text = f"{data['inputs']}"
+        input_text = f"Generate a valid JSON capturing data from this text:{data['inputs']}"
         print(f"Prompt generado para el modelo: {input_text}")
         
         tokens = self.tokenizer(input_text, return_tensors="pt", truncation=True, padding="max_length", max_length=1024)
@@ -30,10 +30,10 @@ class EndpointHandler:
         generate_kwargs = {
             "max_length": 1024,
             "num_beams": 5,
-            "do_sample": False,
+            "do_sample": True,
             "temperature": 0.3,
             "top_k": 50,
-            "top_p": 0.7,
+            "top_p": 0.8,
             "repetition_penalty": 2.5
         }
         with torch.no_grad():