app.py

import torch
import pandas as pd
import streamlit as st
from transformers import AutoModelForCausalLM, AutoTokenizer
from langchain.llms import HuggingFacePipeline
from huggingface_hub import login
from pydantic import BaseModel, model_validator
from transformers import AutoConfig  # Importar para configurar el modelo

# Token secreto de Hugging Face
huggingface_token = st.secrets["HUGGINGFACEHUB_API_TOKEN"]
login(huggingface_token)

# NOTA: No se necesita rope_scaling para Mistral, por lo que esa configuración se omite
# Puedes investigar si el modelo Mistral usa algún tipo de escalado, pero en general no debería ser necesario en este caso.

# Nombre del modelo Mistral
model_name = "mistralai/Mistral-7B-Instruct"  # Cambia a un modelo Mistral específico si es necesario

# Cargar el modelo y el tokenizer de Mistral
config = AutoConfig.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, config=config)
tokenizer = AutoToken