Update app.py

app.py

@@ -1,14 +1,20 @@
 import gradio as gr
 import torch
-from transformers import AutoModelForCausalLM, AutoTokenizer
+from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig
 
 # Configuración del modelo
 model_id = "susanazhou/DPOtrained_model_LeIA_final"
 device = "cuda" if torch.cuda.is_available() else "cpu"
 
+# Config vacía para evitar errores de quantización
+quant_config = BitsAndBytesConfig(load_in_4bit=False, load_in_8bit=False)
+
 # Cargar modelo y tokenizer
 tokenizer = AutoTokenizer.from_pretrained(model_id)
-model = AutoModelForCausalLM.from_pretrained(model_id).to(device)
+model = AutoModelForCausalLM.from_pretrained(
+    model_id,
+    quantization_config=quant_config
+).to(device)
 
 # Función para responder
 def respond(message, history, system_message, max_tokens, temperature, top_p):
@@ -31,6 +37,8 @@ def respond(message, history, system_message, max_tokens, temperature, top_p):
     respuesta = decoded[len(prompt):].strip()
     return respuesta
 
+
+
 # Descripción del proyecto
 descripcion = """
 # 💬 LeIA GO: Explorando las variedades del español con NLP