Update handler.py

handler.py

@@ -1,7 +1,40 @@
-class EndpointHandler:
+from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
+import torch
+import json
+
+class EndpointHandler:  # Asegúrate de que el nombre sea EndpointHandler
     def __init__(self, model_dir):
-        print("Inicializando el modelo")
-        self.model_dir = model_dir
+        # Cargar el modelo y el tokenizador desde el directorio del modelo
+        self.tokenizer = AutoTokenizer.from_pretrained(model_dir)
+        self.model = AutoModelForSeq2SeqLM.from_pretrained(model_dir)
+        self.model.eval()  # Configurar el modelo en modo de evaluación
+
+    def preprocess(self, data):
+        # Preprocesamiento de la entrada
+        if isinstance(data, dict) and "input_text" in data:
+            input_text = data["input_text"]
+        else:
+            raise ValueError("Esperando un diccionario con la clave 'input_text'")
+
+        # Tokenización de la entrada
+        tokens = self.tokenizer(input_text, return_tensors="pt", truncation=True, padding=True)
+        return tokens
+
+    def inference(self, tokens):
+        # Realizar la inferencia
+        with torch.no_grad():
+            outputs = self.model.generate(**tokens)
+        return outputs
+
+    def postprocess(self, outputs):
+        # Decodificar la salida del modelo
+        decoded_output = self.tokenizer.decode(outputs[0], skip_special_tokens=True)
+        return {"generated_text": decoded_output}
 
     def __call__(self, data):
-        return {"message": "Este es un mensaje de prueba"}
+        # Llamada principal del handler para procesamiento completo
+        tokens = self.preprocess(data)
+        outputs = self.inference(tokens)
+        result = self.postprocess(outputs)
+        return result
+