Update app.py

app.py

@@ -1,51 +1,48 @@
 import gradio as gr
-from huggingface_hub import InferenceClient
+import torch
+from transformers import AutoModelForCausalLM, AutoTokenizer
 
-"""
-For more information on `huggingface_hub` Inference API support, please check the docs: https://huggingface.co/docs/huggingface_hub/v0.22.2/en/guides/inference
-"""
-client = InferenceClient("susanazhou/our.modelo_final")
+# Configuración del modelo
+model_id = "susanazhou/our.modelo_final"
+device = "cuda" if torch.cuda.is_available() else "cpu"
 
+# Cargar modelo y tokenizer
+tokenizer = AutoTokenizer.from_pretrained(model_id)
+model = AutoModelForCausalLM.from_pretrained(model_id).to(device)
 
-# Función para generar respuesta usando text_generation
+# Función para responder
 def respond(message, history, system_message, max_tokens, temperature, top_p):
-    # Arma el prompt incluyendo sistema, historial y nuevo mensaje
     prompt = system_message + "\n"
-    for user_input, assistant_response in history:
-        prompt += f"Usuario: {user_input}\nAsistente: {assistant_response}\n"
+    for user, assistant in history:
+        prompt += f"Usuario: {user}\nAsistente: {assistant}\n"
     prompt += f"Usuario: {message}\nAsistente:"
 
-    # Llama a la API de Hugging Face para generar texto
-    response = client.text_generation(
-        prompt=prompt,
+    inputs = tokenizer(prompt, return_tensors="pt").to(device)
+
+    output = model.generate(
+        **inputs,
         max_new_tokens=max_tokens,
         temperature=temperature,
         top_p=top_p,
+        pad_token_id=tokenizer.eos_token_id,
     )
 
-    # Extrae solo la parte generada (quita el prompt original)
-    generated_text = response.generated_text[len(prompt):]
-    return generated_text
+    decoded = tokenizer.decode(output[0], skip_special_tokens=True)
+    respuesta = decoded[len(prompt):].strip()
+    return respuesta
 
-
-
-# ------------------------
 # Descripción del proyecto
-# ------------------------
-
 descripcion = """
 # 💬 LeIA GO: Explorando las variedades del español con NLP
 
-¿Sabías que más casi todos los modelos de NLP están entrenados principalmente en inglés? Mientras tanto, el español —hablado por más de 500 millones de personas— sigue estando subrepresentado, especialmente en sus variedades regionales.
+¿Sabías que casi todos los modelos de NLP están entrenados principalmente en inglés? Mientras tanto, el español —hablado por más de 500 millones de personas— sigue estando subrepresentado, especialmente en sus variedades regionales.
 *LeIA GO* nace para abordar este problema: un asistente lingüístico que analiza, genera, corrige y adapta textos teniendo en cuenta diferencias culturales y lingüísticas de distintas variedades del español.
 
-
 ---
 
 ### 🚀 Motivación
 Nuestro proyecto nace con el objetivo de estudiar las diferencias lingüísticas entre las distintas variedades del español y sus normas culturales asociadas. Buscamos comprender mejor cómo varía el idioma en diferentes regiones para mejorar el procesamiento del lenguaje natural en español.
 
-
 ### 🌍 Impacto
 Actualmente, la mayoría de los recursos y modelos de NLP están centrados en el inglés, mientras que el español, especialmente en sus múltiples variedades, cuenta con menos datos y herramientas de calidad. Nuestro proyecto pretende contribuir a mejorar la calidad y diversidad de los datos disponibles en español, facilitando el desarrollo de tecnologías más inclusivas y precisas para esta lengua.
 
@@ -58,24 +55,19 @@ Actualmente, la mayoría de los recursos y modelos de NLP están centrados en el
 ### 🎯 Objetivo de desarrollo sostenible (ODS)
 Este proyecto contribuye al ODS 4: Educación de Calidad, promoviendo el acceso a recursos lingüísticos diversos que favorezcan la educación y la inclusión cultural a través del lenguaje.
 
-
 ### 👥 Equipo
 – ⁠Susana Zhou (Español peninsular)  
 – ⁠Constanza Jeldres (Español de Chile)  
 – ⁠Gabriel Schwartzmann (Español de Perú)
 """
 
-# ------------------------
-# Interfaz con pestañas
-# ------------------------
-
+# Interfaz Gradio
 with gr.Blocks() as demo:
     with gr.Tab("Descripción del Proyecto"):
         gr.Markdown(descripcion)
-
     with gr.Tab("Chatbot LeIA GO"):
         gr.ChatInterface(
-            fn=respond,
+            respond,
             additional_inputs=[
                 gr.Textbox(value="Eres una asistente lingüística especializada en español regional.", label="System message"),
                 gr.Slider(minimum=1, maximum=2048, value=512, step=1, label="Max new tokens"),
@@ -84,6 +76,5 @@ with gr.Blocks() as demo:
             ],
         )
 
-# Lanza la app
 if __name__ == "__main__":
     demo.launch()