Update app.py

app.py

@@ -9,16 +9,27 @@ model_name = "BSC-LT/ALIA-40b"
 
 # Cargar el tokenizador y el modelo
 tokenizer = AutoTokenizer.from_pretrained(model_name)
-model = AutoModelForCausalLM.from_pretrained(model_name)
+model = AutoModelForCausalLM.from_pretrained(model_name, device_map="cuda")
+
+# Verificar en qué dispositivo está el modelo
+print(f"Modelo cargado en: {model.device}")
 
 
 
 def generar_texto(entrada):
     # Tokenizar la entrada
-    input_ids = tokenizer.encode(entrada, return_tensors="pt")
+    input_ids = tokenizer.encode(entrada, return_tensors="pt").input_ids.to("cuda")
     
     # Generar texto con el modelo
-    output = model.generate(input_ids, max_length=100, num_return_sequences=1)
+    output = model.generate(
+        input_ids,
+        max_length=100,         # Reduce la longitud de salida
+        temperature=0.7,        # Controla la aleatoriedad
+        top_p=0.9,              # Reduce la búsqueda del modelo
+        num_return_sequences=1, # Evita múltiples respuestas simultáneas
+        do_sample=True          # Sampling para rapidez
+    )
+
     
     # Decodificar y retornar el texto generado
     texto_generado = tokenizer.decode(output[0], skip_special_tokens=True)