Update app.py

app.py

@@ -1,32 +1,46 @@
-from langchain_community.vectorstores import Chroma
-from langchain_huggingface import HuggingFaceEmbeddings
-from langchain_community.chat_models import ChatHuggingFace
+from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
+from langchain_community.llms import HuggingFacePipeline
 from langchain_core.output_parsers import StrOutputParser
+from langchain_chroma import Chroma
+from langchain_huggingface import HuggingFaceEmbeddings
 from langchain import hub
 import gradio as gr
 
-# Cargar embeddings (debe coincidir con los usados en Colab)
+# ------------------------------
+# MODELO
+# ------------------------------
+model_id = "mistralai/Mistral-7B-Instruct-v0.1"
+
+tokenizer = AutoTokenizer.from_pretrained(model_id)
+model = AutoModelForCausalLM.from_pretrained(model_id)
+
+pipe = pipeline(
+    "text-generation",
+    model=model,
+    tokenizer=tokenizer,
+    max_new_tokens=512,
+    temperature=0.7
+)
+
+llm = HuggingFacePipeline(pipeline=pipe)
+parser = StrOutputParser()
+
+# ------------------------------
+# EMBEDDINGS + CHROMA
+# ------------------------------
 embedding_function = HuggingFaceEmbeddings(
     model_name="sentence-transformers/paraphrase-multilingual-mpnet-base-v2",
     model_kwargs={"device": "cpu"}
 )
 
-# Cargar la base de vectores persistida
 vectordb = Chroma(
     persist_directory="chroma_db",
     embedding_function=embedding_function
 )
 
-# Cargar modelo de lenguaje gratuito y usable sin clave
-llm = ChatHuggingFace(
-    repo_id="mistralai/Mistral-7B-Instruct-v0.1",
-    task="text-generation",
-    model_kwargs={"temperature": 0.7, "max_new_tokens": 512}
-)
-
-# Crear la cadena de procesamiento
-parser = StrOutputParser()
-
+# ------------------------------
+# FUNCIÓN RAG
+# ------------------------------
 def responder_pregunta(query):
     docs = vectordb.similarity_search_with_score(query, k=5)
     prompt = hub.pull("rlm/rag-prompt")
@@ -44,11 +58,13 @@ def responder_pregunta(query):
     else:
         return "No tengo información suficiente para responder a esta pregunta."
 
-# Interfaz Gradio
+# ------------------------------
+# INTERFAZ GRADIO
+# ------------------------------
 gr.Interface(
     fn=responder_pregunta,
     inputs=gr.Textbox(label="Pregunta sobre nutrición"),
     outputs="text",
     title="Sistema RAG sobre Nutrición Clínica",
-    description="Haz preguntas sobre el manual clínico procesado con RAG, embeddings y Mistral 7B."
+    description="Haz preguntas sobre el manual clínico procesado con embeddings + Mistral 7B."
 ).launch()