Actualizo app.py, agrego nueva arquitectura Mori

app.py

@@ -3,16 +3,13 @@
 #=====================================================================================
 # Importing Libraries  ===============================================================
 #=====================================================================================
-import os, warnings, json, random, uuid, csv
-import numpy as np
 import streamlit as st
 import datetime as dt
 from pathlib import Path
-from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
-from Mori_TechnicalPrompts import answer_with_mori_rag, answer_with_mori_plain
+from transformers import AutoTokenizer, AutoModelForSeq2SeqLM, AutoModelForCausalLM
+from Mori_TechnicalPrompts import answer_with_mori_rag, answer_with_mori_plain, answer_with_qwen_base
 import torch
 from huggingface_hub import hf_hub_download, login
-from sentence_transformers import SentenceTransformer  # RAG embeddings
 #***************************************************************************
 #Setting up variables
 #***************************************************************************
@@ -31,51 +28,86 @@ REPO_ID = "tecuhtli/Mori_FAISS_Full"
 
 def sidebar_params():
     with st.sidebar:
-        st.title("🎮 Personalidad (FLAN-T5)")
+        st.title("🎮 Configuración de Mori")
 
         ss = st.session_state
 
+        # -------------------------
         # Estado inicial
-        ss.setdefault("show_llm_controls", False)
-        ss.setdefault("persona", "Mori Exacto")
-        ss.setdefault("mode", "beam")  # 'beam' | 'sampling'
+        # -------------------------
+        ss.setdefault("persona", "exacto")   # "exacto" | "creativo"
+        ss.setdefault("mode", "beam")
         ss.setdefault("max_new", 128)
         ss.setdefault("min_tok", 16)
         ss.setdefault("no_repeat", 3)
-        ss.setdefault("num_beams", 4)
-        ss.setdefault("length_penalty", 1.0)
-        ss.setdefault("temperature", 0.7)
-        ss.setdefault("top_p", 0.9)
         ss.setdefault("repetition_penalty", 1.0)
 
-        # ----------------------------
-        # Personalidad (presets)
-        # ----------------------------
-        st.header("💡 Personalidades predefinidas")
+        # NUEVO: backend
+        ss.setdefault("backend", "🍮 FLAN-T5 (fine-tuned)")
+        ss.setdefault("use_rag", True)
+
+        # -------------------------
+        # Personalidades
+        # -------------------------
+        st.header("🧠 Personalidades")
+
         c1, c2 = st.columns(2)
 
         with c1:
             if st.button("Exacto 🧐", use_container_width=True):
-                ss.update({"persona": "exacto"})
+                ss.persona = "exacto"
                 st.rerun()
 
         with c2:
             if st.button("Creativo 😃", use_container_width=True):
-                ss.update({"persona": "creativo"})
+                ss.persona = "creativo"
                 st.rerun()
 
         st.caption(f"Personalidad actual: **{ss.persona}**")
 
+        st.markdown(
+            """
+            🔗 Cómo controlar la generación de texto:
+            - https://huggingface.co/blog/how-to-generate
+            """
+        )
         st.markdown("---")
-        st.title("👀 RAG")
-        ss.setdefault("use_rag", True)
-        ss.setdefault("rag_k", 1)
-        ss.use_rag = st.checkbox(
-            "Usar RAG (FAISS + One-Shot)",
-            value=ss.use_rag,
-            help="Recupera evidencias de la base FAISS de Mori en Hugging Face y las usa en el prompt."
+
+        # -------------------------
+        # Selección de modelo
+        # -------------------------
+        st.title("📙 Modelo")
+        ss.backend = st.radio(
+            "Elige el modelo de respuesta:",
+            options=[
+                "🍮 FLAN-T5 (fine-tuned)",
+                "👸 Qwen",
+            ],
+            index=0 if ss.backend == "🍮 FLAN-T5 (fine-tuned)" else 1,
+            help="Documentación:\n- FLAN-T5: https://huggingface.co/docs/transformers/model_doc/flan-t5\n- Qwen: https://huggingface.co/Qwen"
         )
 
+        # -------------------------
+        # RAG solo para FLAN-T5
+        # -------------------------
+
+        st.header("👀 RAG:")
+        
+        if ss.backend == "🍮 FLAN-T5 (fine-tuned)":
+            ss.use_rag = st.checkbox(
+                "👷🏽 Usar RAG (FAISS + One-Shot)",
+                value=ss.use_rag,
+                help=(
+                    "Documentación útil:\n"
+                    "- RAG: https://huggingface.co/docs/transformers/en/model_doc/rag\n"
+                    "- FAISS: https://faiss.ai/\n"
+                    "- One-Shot Prompting: https://huggingface.co/docs/transformers/en/tasks/prompting"
+                ),
+            )
+        else:
+            ss.use_rag = False
+            st.caption("RAG no aplica en modo Qwen (usa solo el modelo base).")
+
         st.markdown("---")
         st.title("🧾 Vista previa del Prompt")
 
@@ -85,14 +117,14 @@ def sidebar_params():
                     "Prompt actual:",
                     ss["last_prompt"],
                     height=200,
-                    disabled=True
+                    disabled=True,
                 )
         else:
-            st.caption("👉 Aún no se ha generado ningún prompt.")
+            st.caption("🔍 Aún no se ha generado ningún prompt.")
 
-        # ----------------------------
+        # -------------------------
         # Construir diccionario de parámetros
-        # ----------------------------
+        # -------------------------
         params = {
             "persona": ss.persona,
             "mode": ss.mode,
@@ -100,14 +132,22 @@ def sidebar_params():
             "min_tokens": int(ss.min_tok),
             "no_repeat_ngram_size": int(ss.no_repeat),
             "repetition_penalty": float(ss.repetition_penalty),
+            "backend": ss.backend,
+            "use_rag": ss.use_rag,
         }
 
+        # Si ya tienes parámetros específicos para Qwen (como max_new_qwen),
+        # los puedes añadir aquí, por ejemplo:
+        # params["qwen_max_new"] = int(ss.qwen_max_new)
+
         return params
 
+
 #***************************************************************************
 # Functions
 #***************************************************************************
 
+# Function to clean the question field (por si luego lo quieres usar en un botón)
 # Function to clean the question field (por si luego lo quieres usar en un botón)
 def limpiar_input():
     st.session_state["entrada"] = ""
@@ -117,7 +157,7 @@ def get_model_path(folder_name):
     return Path("Models") / folder_name
 
 # Function to save user interaction
-def saving_interaction(question, response, user_id, use_of_rag, bot_personality):
+def saving_interaction(question, response, user_id, use_of_rag, bot_personality, modelo):
     """
     Guarda la interacción en CSV y JSONL para análisis posterior.
     """
@@ -143,17 +183,55 @@ def saving_interaction(question, response, user_id, use_of_rag, bot_personality)
             "user_id": user_id,
             "pregunta": question,
             "respuesta": response,
+            "modelo": modelo,
             "uso_rag": use_of_rag,
             "personality": bot_personality
         }
         f_jsonl.write(json.dumps(registro, ensure_ascii=False) + "\n")
 
-# Function to load models within the huggingface repositories space
 @st.cache_resource
-def load_remote_model(repo_id: str, token: str = None):
-    tokenizer = AutoTokenizer.from_pretrained(repo_id, token=token)
-    model = AutoModelForSeq2SeqLM.from_pretrained(repo_id, token=token)
+def load_mori_model():
+    """
+    Carga Mori Técnico desde el Hub.
+    Cambia 'tecuhtli/mori-tecnico-model' por el ID real si es otro.
+    """
+    model_id = "tecuhtli/mori-tecnico-model"
+
+    token_kwargs = {}
+    if HF_TOKEN:
+        token_kwargs["token"] = HF_TOKEN  # solo si el modelo es privado
+
+    tokenizer = AutoTokenizer.from_pretrained(model_id, **token_kwargs)
+    model = AutoModelForSeq2SeqLM.from_pretrained(model_id, **token_kwargs).to(device).eval()
     return model, tokenizer
+
+
+# =============================================================================
+# Carga de Qwen
+# =============================================================================
+
+QWEN_MODEL_NAME = "Qwen/Qwen2-1.5B-Instruct"
+
+
+@st.cache_resource
+def load_qwen_model():
+    """
+    Carga el modelo base de Qwen desde Hugging Face Hub (sin local_files_only).
+    Usa HF_TOKEN solo si el repo fuera privado.
+    """
+    token_kwargs = {}
+    if HF_TOKEN:
+        token_kwargs["token"] = HF_TOKEN  # la mayoría de las veces no hace falta
+
+    tokenizer = AutoTokenizer.from_pretrained(QWEN_MODEL_NAME, **token_kwargs)
+    if tokenizer.pad_token is None:
+        tokenizer.pad_token = tokenizer.eos_token
+    tokenizer.padding_side = "right"
+
+    model = AutoModelForCausalLM.from_pretrained(QWEN_MODEL_NAME, **token_kwargs).to(device).eval()
+    return model, tokenizer
+
+
 #-------------------------------------------------------------------------
 # Seeds
 #-------------------------------------------------------------------------
@@ -199,12 +277,15 @@ if __name__ == "__main__":
     st.title("🤖 Mori - Tu Asistente Personal ⌨️")
 
     st.caption("🙋🏽‍ Puedes preguntarme conceptos sobre machine learning, estadística, visualización, BI, limpieza de datos y más.")
-    st.caption("🙇🏽‍ Por el momento, solo puedo contestar preguntas simples como:")
+    st.caption("🙇🏽‍ Por el momento FLAN-T5, solo puedo contestar preguntas simples como:")
 
     st.caption("  🔹 **Definiciones** — Ejemplo: *¿Qué es machine learning?*")
     st.caption("  🔹 **Procedimientos** — Ejemplo: *¿Cómo limpiar datos?*")
     st.caption("  🔹 **Funcionalidad** — Ejemplo: *¿Para qué sirve un autoencoder?*")
 
+    st.caption("🔥 Qwen 1.5 corre con todas sus capacidades completas.")
+    st.caption("  🔹 **Consejo** — Sé paciente y específico. Usar signos correctos ayuda a obtener mejores respuestas.")
+
     st.markdown("<br>", unsafe_allow_html=True)
 
     st.caption("🦾 Aún estoy aprendiendo. Puedes ver mi desarrollo aquí:")
@@ -218,7 +299,7 @@ if __name__ == "__main__":
     if ss.pop("_clear_entrada", False):
         if "entrada" in ss:
             del ss["entrada"]
-
+            
     # 🧠 Flash de respuesta (la guardamos, pero la mostraremos después del form)
     _flash = ss.pop("_flash_response", None)
 
@@ -231,24 +312,45 @@ if __name__ == "__main__":
         if not user_question:
             st.info("Mori: ¿Podrías repetir eso? No entendí bien 😅")
         else:
-            use_rag = st.session_state.get("use_rag", False)
-            
+            backend = GEN_PARAMS.get("backend", "Mori (FT + RAG)")
             persona = GEN_PARAMS.get("persona", ss.persona)
 
-            if use_rag:
-                use_of_rag = 'Con RAG'
-                response, prompt = answer_with_mori_rag(
-                    tokenizer, model, user_question,
-                    modo=persona,
-                    score_threshold= 0.84,
-                    verbose=False
+            # -----------------------------------------
+            # Backend Qwen base (sin RAG, sin FT)
+            # -----------------------------------------
+            if backend.startswith("👸 Qwen"):
+                modelito = 'Qwen'
+                qwen_model, qwen_tokenizer = load_qwen_model()
+                response, prompt = answer_with_qwen_base(
+                    qwen_tokenizer,
+                    qwen_model,
+                    user_question,
+                    persona,
+                    max_new_tokens=GEN_PARAMS.get("qwen_max_new", 64),
                 )
+                use_of_rag = "sin RAG"
+
+            # -----------------------------------------
+            # Backend Mori Técnico (FT + RAG / sin RAG)
+            # -----------------------------------------
             else:
-                use_of_rag = 'Sin RAG'
-                response, prompt = answer_with_mori_plain(
-                    tokenizer, model, user_question,
-                    modo=persona
-                )
+                modelito = 'FLAN-T5'
+                use_rag = st.session_state.get("use_rag", False)
+
+                if use_rag:
+                    use_of_rag = 'Con RAG'
+                    response, prompt = answer_with_mori_rag(
+                        tokenizer, model, user_question,
+                        modo=persona,
+                        score_threshold=0.84,
+                        verbose=False
+                    )
+                else:
+                    use_of_rag = 'Sin RAG'
+                    response, prompt = answer_with_mori_plain(
+                        tokenizer, model, user_question,
+                        modo=persona
+                    )
 
             ss["last_prompt"] = prompt
             ss["just_generated"] = True
@@ -258,10 +360,10 @@ if __name__ == "__main__":
             ss.historial.append(("Tú", user_question, hora_actual))
 
             hora_actual = dt.datetime.now().strftime("%Y-%m-%d %H:%M:%S")
-            ss.historial.append(("Mori", response, hora_actual, use_of_rag, persona))
+            ss.historial.append(("Mori", response, hora_actual, modelito, use_of_rag, persona))
 
             # 💾 Guarda conversación
-            saving_interaction(user_question, response, ss["user_id"], use_of_rag, persona)
+            saving_interaction(user_question, response, ss["user_id"], modelito, use_of_rag, persona)
 
             # 🟩 Guarda respuesta para mostrar después del rerun
             ss["_flash_response"] = response
@@ -285,12 +387,12 @@ if __name__ == "__main__":
         # 💾 Botón de descarga arriba del historial
         lineas = []
         for msg in reversed(ss.historial):
-            if len(msg) == 5:
-                autor, texto, hora, rag, bot_per = msg
-                lineas.append(f"[{hora}] {autor}: {texto} RAG:{rag} Persoality:{bot_per}")
+            if len(msg) == 6:
+                autor, texto, hora, model, rag, bot_per = msg
+                lineas.append(f"[{hora}], {autor}: {texto}, Model:{model}, RAG:{rag}, Persoality:{bot_per}")
             else:
                 autor, texto, hora = msg
-                lineas.append(f"[{hora}] {autor}: {texto}")
+                lineas.append(f"[{hora}], {autor}: {texto}")
         texto_chat = "\n\n".join(lineas)
 
         st.download_button(