# -*- coding: utf-8 -*- """Mori – Inferencia Técnica (estable, UTF-8, con opción RAG ON/OFF)""" # ============================================================================= # Imports # ============================================================================= import os import csv import json import random import uuid from pathlib import Path import datetime as dt import numpy as np import streamlit as st import torch from transformers import AutoTokenizer, AutoModelForSeq2SeqLM, AutoModelForCausalLM from Mori_TechnicalPrompts import ( answer_with_mori_rag, answer_with_mori_plain, answer_with_qwen_base, ) # Si tus modelos son públicos, no necesitas login ni hf_hub_download. # from huggingface_hub import hf_hub_download, login # ============================================================================= # Configuración general # ============================================================================= device = "cuda" if torch.cuda.is_available() else "cpu" # Token privado (solo si vas a usar modelos privados) HF_TOKEN = os.environ.get("HF_TOKEN") #*************************************************************************** #Loading FAISS Vec DB #*************************************************************************** REPO_ID = "tecuhtli/Mori_FAISS_Full" #*************************************************************************** # Sidebar controls for generation params #*************************************************************************** def sidebar_params(): with st.sidebar: st.title("🎮 Configuración de Mori") ss = st.session_state # ------------------------- # Estado inicial # ------------------------- ss.setdefault("persona", "exacto") # "exacto" | "creativo" ss.setdefault("mode", "beam") ss.setdefault("max_new", 128) ss.setdefault("min_tok", 16) ss.setdefault("no_repeat", 3) ss.setdefault("repetition_penalty", 1.0) # NUEVO: backend ss.setdefault("backend", "🍮 FLAN-T5 (fine-tuned)") ss.setdefault("use_rag", True) # ------------------------- # Personalidades # ------------------------- st.header("🧠 Personalidades") c1, c2 = st.columns(2) with c1: if st.button("Exacto 🧐", use_container_width=True): ss.persona = "exacto" st.rerun() with c2: if st.button("Creativo 😃", use_container_width=True): ss.persona = "creativo" st.rerun() st.caption(f"Personalidad actual: **{ss.persona}**") st.markdown( """ 🔗 Cómo controlar la generación de texto: - https://huggingface.co/blog/how-to-generate """ ) st.markdown("---") # ------------------------- # Selección de modelo # ------------------------- st.title("📙 Modelo") ss.backend = st.radio( "Elige el modelo de respuesta:", options=[ "🍮 FLAN-T5 (fine-tuned)", "👸 Qwen", ], index=0 if ss.backend == "🍮 FLAN-T5 (fine-tuned)" else 1, help="Documentación:\n- FLAN-T5: https://huggingface.co/docs/transformers/model_doc/flan-t5\n- Qwen: https://huggingface.co/Qwen" ) # ------------------------- # RAG solo para FLAN-T5 # ------------------------- st.header("👀 RAG:") if ss.backend == "🍮 FLAN-T5 (fine-tuned)": ss.use_rag = st.checkbox( "👷🏽 Usar RAG (FAISS + One-Shot)", value=ss.use_rag, help=( "Documentación útil:\n" "- RAG: https://huggingface.co/docs/transformers/en/model_doc/rag\n" "- FAISS: https://faiss.ai/\n" "- One-Shot Prompting: https://huggingface.co/docs/transformers/en/tasks/prompting" ), ) else: ss.use_rag = False st.caption("RAG no aplica en modo Qwen (usa solo el modelo base).") st.markdown("---") st.title("🧾 Vista previa del Prompt") if "last_prompt" in ss and ss["last_prompt"]: with st.expander("Mostrar prompt generado"): st.text_area( "Prompt actual:", ss["last_prompt"], height=200, disabled=True, ) else: st.caption("🔍 Aún no se ha generado ningún prompt.") # ------------------------- # Construir diccionario de parámetros # ------------------------- params = { "persona": ss.persona, "mode": ss.mode, "max_new_tokens": int(ss.max_new), "min_tokens": int(ss.min_tok), "no_repeat_ngram_size": int(ss.no_repeat), "repetition_penalty": float(ss.repetition_penalty), "backend": ss.backend, "use_rag": ss.use_rag, } # Si ya tienes parámetros específicos para Qwen (como max_new_qwen), # los puedes añadir aquí, por ejemplo: # params["qwen_max_new"] = int(ss.qwen_max_new) return params #*************************************************************************** # Functions #*************************************************************************** # Function to clean the question field (por si luego lo quieres usar en un botón) # Function to clean the question field (por si luego lo quieres usar en un botón) def limpiar_input(): st.session_state["entrada"] = "" # ✅ Corrige la ruta correctamente desde Scripts hacia Models def get_model_path(folder_name): return Path("Models") / folder_name # Function to save user interaction def saving_interaction(question, response, user_id, use_of_rag, bot_personality, modelo): """ Guarda la interacción en CSV y JSONL para análisis posterior. """ timestamp = dt.datetime.now().isoformat() stats_dir = Path("Statistics") stats_dir.mkdir(parents=True, exist_ok=True) archivo_csv = stats_dir / "conversaciones_log.csv" existe_csv = archivo_csv.exists() # CSV with open(archivo_csv, mode="a", encoding="utf-8", newline="") as f_csv: writer = csv.writer(f_csv) if not existe_csv: writer.writerow(["timestamp", "user_id", "pregunta", "respuesta", "rag", "personality"]) writer.writerow([timestamp, user_id, question, response, use_of_rag, bot_personality]) # JSONL archivo_jsonl = stats_dir / "conversaciones_log.jsonl" with open(archivo_jsonl, mode="a", encoding="utf-8") as f_jsonl: registro = { "timestamp": timestamp, "user_id": user_id, "pregunta": question, "respuesta": response, "modelo": modelo, "uso_rag": use_of_rag, "personality": bot_personality } f_jsonl.write(json.dumps(registro, ensure_ascii=False) + "\n") @st.cache_resource def load_mori_model(): """ Carga Mori Técnico desde el Hub. Cambia 'tecuhtli/mori-tecnico-model' por el ID real si es otro. """ model_id = "tecuhtli/mori-tecnico-model" token_kwargs = {} if HF_TOKEN: token_kwargs["token"] = HF_TOKEN # solo si el modelo es privado tokenizer = AutoTokenizer.from_pretrained(model_id, **token_kwargs) model = AutoModelForSeq2SeqLM.from_pretrained(model_id, **token_kwargs).to(device).eval() return model, tokenizer # ============================================================================= # Carga de Qwen # ============================================================================= QWEN_MODEL_NAME = "Qwen/Qwen2-1.5B-Instruct" @st.cache_resource def load_qwen_model(): """ Carga el modelo base de Qwen desde Hugging Face Hub (sin local_files_only). Usa HF_TOKEN solo si el repo fuera privado. """ token_kwargs = {} if HF_TOKEN: token_kwargs["token"] = HF_TOKEN # la mayoría de las veces no hace falta tokenizer = AutoTokenizer.from_pretrained(QWEN_MODEL_NAME, **token_kwargs) if tokenizer.pad_token is None: tokenizer.pad_token = tokenizer.eos_token tokenizer.padding_side = "right" model = AutoModelForCausalLM.from_pretrained(QWEN_MODEL_NAME, **token_kwargs).to(device).eval() return model, tokenizer #------------------------------------------------------------------------- # Seeds #------------------------------------------------------------------------- def set_seeds(seed: int = 42): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) if torch.cuda.is_available(): torch.cuda.manual_seed_all(seed) torch.backends.cudnn.deterministic = True torch.backends.cudnn.benchmark = False #*************************************************************************** # MAIN #*************************************************************************** if __name__ == "__main__": # Semilla para reproducibilidad set_seeds(42) # --- Estado que debe persistir en todos los reruns --- ss = st.session_state ss.setdefault("historial", []) ss.setdefault("last_prompt", "") ss.setdefault("last_response", "") ss.setdefault("just_generated", False) # Sidebar (control total) GEN_PARAMS = sidebar_params() GEN_PARAMS["persona"] = ss.persona # por si acaso # Assigning a new ID to the current user if "user_id" not in ss: ss["user_id"] = str(uuid.uuid4())[:8] # Modelo Técnico model, tokenizer = load_mori_model() # Presentación de Mori st.title("[◉_◉] Mori - Tu Asistente Personal") st.caption("🙋🏽‍ Puedes preguntarme conceptos sobre machine learning, estadística, visualización, BI, limpieza de datos y más.") st.caption("🙇🏽‍ Por el momento FLAN-T5, solo puedo contestar preguntas simples como:") st.caption(" 🔹 **Definiciones** — Ejemplo: *¿Qué es machine learning?*") st.caption(" 🔹 **Procedimientos** — Ejemplo: *¿Cómo limpiar datos?*") st.caption(" 🔹 **Funcionalidad** — Ejemplo: *¿Para qué sirve un autoencoder?*") st.caption("🔥 Qwen 1.5 corre con todas sus capacidades completas.") st.caption(" 🔹 **Consejo** — Sé paciente y específico. Usar signos correctos ayuda a obtener mejores respuestas.") st.markdown("
", unsafe_allow_html=True) st.caption("🦾 Aún estoy aprendiendo. Puedes ver mi desarrollo aquí:") st.caption("[hazutecuhtli.github.io](https://github.com/hazutecuhtli/Mori_Development)") st.markdown("
", unsafe_allow_html=True) st.caption("✏️ Escribe tu pregunta abajo.") # 🔁 Limpieza segura antes del formulario if ss.pop("_clear_entrada", False): if "entrada" in ss: del ss["entrada"] # 🧠 Flash de respuesta (la guardamos, pero la mostraremos después del form) _flash = ss.pop("_flash_response", None) # Formulario principal with st.form("formulario_mori"): user_question = st.text_area("📝 Escribe tu pregunta aquí", key="entrada", height=100) submitted = st.form_submit_button("Responder") if submitted: if not user_question: st.info("Mori: ¿Podrías repetir eso? No entendí bien 😅") else: backend = GEN_PARAMS.get("backend", "Mori (FT + RAG)") persona = GEN_PARAMS.get("persona", ss.persona) # ----------------------------------------- # Backend Qwen base (sin RAG, sin FT) # ----------------------------------------- if backend.startswith("👸 Qwen"): modelito = 'Qwen' qwen_model, qwen_tokenizer = load_qwen_model() response, prompt = answer_with_qwen_base( qwen_tokenizer, qwen_model, user_question, persona, max_new_tokens=GEN_PARAMS.get("qwen_max_new", 64), ) use_of_rag = "sin RAG" # ----------------------------------------- # Backend Mori Técnico (FT + RAG / sin RAG) # ----------------------------------------- else: modelito = 'FLAN-T5' use_rag = st.session_state.get("use_rag", False) if use_rag: use_of_rag = 'Con RAG' response, prompt = answer_with_mori_rag( tokenizer, model, user_question, modo=persona, score_threshold=0.84, verbose=False ) else: use_of_rag = 'Sin RAG' response, prompt = answer_with_mori_plain( tokenizer, model, user_question, modo=persona ) ss["last_prompt"] = prompt ss["just_generated"] = True # 🧠 Guarda historial hora_actual = dt.datetime.now().strftime("%Y-%m-%d %H:%M:%S") ss.historial.append(("Tú", user_question, hora_actual)) hora_actual = dt.datetime.now().strftime("%Y-%m-%d %H:%M:%S") ss.historial.append(("Mori", response, hora_actual, modelito, use_of_rag, persona)) # 💾 Guarda conversación saving_interaction(user_question, response, ss["user_id"], modelito, use_of_rag, persona) # 🟩 Guarda respuesta para mostrar después del rerun ss["_flash_response"] = response # 🧼 Limpieza del textarea en el próximo ciclo ss["_clear_entrada"] = True # ♻️ Forzar refresh (sidebar verá el nuevo prompt) st.rerun() # ----------------------------------------------------------- # 💬 Mostrar la respuesta actual (flash) justo aquí ↓↓↓ # ----------------------------------------------------------- if _flash: st.success(_flash) # 🔁 Historial con estilo chat y contenedor con scroll if ss.historial: st.markdown("---") # 💾 Botón de descarga arriba del historial lineas = [] for msg in reversed(ss.historial): if len(msg) == 6: autor, texto, hora, model, rag, bot_per = msg lineas.append(f"[{hora}], {autor}: {texto}, Model:{model}, RAG:{rag}, Persoality:{bot_per}") else: autor, texto, hora = msg lineas.append(f"[{hora}], {autor}: {texto}") texto_chat = "\n\n".join(lineas) st.download_button( label="💾 Descargar conversación como .txt", data=texto_chat, file_name="conversacion_mori.txt", mime="text/plain", use_container_width=True ) # 🪟 Contenedor con scroll y burbujas st.markdown( """
""", unsafe_allow_html=True ) for msg in reversed(ss.historial): if len(msg) == 6: autor, texto, hora, model, rag, bot_per = msg else: autor, texto, hora = msg if autor == "Tú": st.markdown( f"""
🧍‍♂️ {autor}: {texto}
""", unsafe_allow_html=True ) else: st.markdown( f"""
🤖 {autor}: {texto}
""", unsafe_allow_html=True ) st.markdown("
", unsafe_allow_html=True)