Update modelo.py

modelo.py

@@ -7,8 +7,6 @@ from langchain_openai import ChatOpenAI
 from langchain_community.vectorstores import FAISS
 from langchain_community.document_loaders import HuggingFaceDatasetLoader
 from langchain_community.embeddings import HuggingFaceEmbeddings
-from dotenv import load_dotenv
-load_dotenv()
 
 def get_chain():
  # agregada en la config de hugginface
@@ -26,16 +24,20 @@ def get_chain():
         page_content_column = "respuestas"
         loader = HuggingFaceDatasetLoader(dataset_name, page_content_column)
         data = loader.load()
+
+        #Dividir en chucks, esto es super importante
         text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=150)
-        #Transformado a tipo de dato especifico para esto
+        
         docs = text_splitter.split_documents(data)
-    
         #DB y retriever
         db = FAISS.from_documents(docs, embeddings)  # Create a retriever object from the 'db' with a search configuration where it retrieves up to 4 relevant splits/documents.
-    
+        db = FAISS.load_local("cache")
+        
     retriever = db.as_retriever(search_kwargs={"k": 3})
     
-    prompt_template = """Usa los siguientes fragmentos de contextos para responder una pregunta al final. Por favor sigue las siguientes reglas:
+#    prompt_template = 
+    QA_CHAIN_PROMPT = PromptTemplate.from_template(""" 
+    Usa los siguientes fragmentos de contextos para responder una pregunta al final. Por favor sigue las siguientes reglas:
     1. Si la pregunta requiere vinculos, por favor retornar solamente las vinculos de los vinculos sin respuesta
     2. Si no sabes la respuesta, no inventes una respuesta. Solamente di **No pude encontrar la respuesta definitiva, pero, tal vez quieras ver los siguientes vínculos** y agregalos a la lista de vínculos.
     3. Si encuentras la respuesta, escribe una respuesta concisa y agrega la lista de víinculos relevantes para derivar la respuesta.
@@ -44,24 +46,26 @@ def get_chain():
     
     Pregunta: {question}
     Respuesta Util:"""
+    ) # prompt_template defined above
     
-    
-    QA_CHAIN_PROMPT = PromptTemplate.from_template(prompt_template) # prompt_template defined above
     llm_chain = LLMChain(llm=ChatOpenAI(), prompt=QA_CHAIN_PROMPT, callbacks=None, verbose=True)
     document_prompt = PromptTemplate(
         input_variables=["page_content", "url"],
         template="Contexto:\n{page_content}\nVinculo: {url}",
     )
+    
     combine_documents_chain = StuffDocumentsChain(
         llm_chain=llm_chain,
         document_variable_name="contexto",
         document_prompt=document_prompt,
         callbacks=None,
     )
+    
     chain = RetrievalQA(
         combine_documents_chain=combine_documents_chain,
         callbacks=None,
         verbose=True,
         retriever=retriever,
     )
+    
     return(chain)