Update app.py

app.py

@@ -16,7 +16,7 @@ from langchain.document_loaders.generic import GenericLoader
 from langchain.document_loaders.parsers import OpenAIWhisperParser
 from langchain.schema import AIMessage, HumanMessage
 from langchain.embeddings import HuggingFaceInstructEmbeddings, HuggingFaceEmbeddings, HuggingFaceBgeEmbeddings, HuggingFaceInferenceAPIEmbeddings
-
+from langchain.prompts import PromptTemplate
 from langchain.embeddings.openai import OpenAIEmbeddings
 from langchain.text_splitter import RecursiveCharacterTextSplitter
 from langchain.vectorstores import Chroma
@@ -44,6 +44,12 @@ template = """Antworte in deutsch, wenn es nicht explizit anders gefordert wird.
 llm_template = "Beantworte die Frage am Ende. " + template + "Frage: {question} Hilfreiche Antwort: "
 rag_template = "Nutze die folgenden Kontext Teile, um die Frage zu beantworten am Ende. " + template + "{context} Frage: {question} Hilfreiche Antwort: "
 
+#################################################
+#Konstanten
+LLM_CHAIN_PROMPT = PromptTemplate(input_variables = ["question"], 
+                                  template = llm_template)
+RAG_CHAIN_PROMPT = PromptTemplate(input_variables = ["context", "question"], 
+                                  template = rag_template)
 
 #################################################
 # Konstanten
@@ -201,6 +207,7 @@ def document_retrieval_chroma():
     return db
 
 
+
 ###############################################
 #Langchain anlegen
 
@@ -214,12 +221,21 @@ def llm_chain(prompt):
 #prompt mit RAG!!!
 def rag_chain(prompt, db):
     rag_template = "Nutze die folgenden Kontext Teile am Ende, um die Frage zu beantworten . " + template + "Frage: " + prompt + "Kontext Teile: "
-    retrieved_chunks = db.query(prompt, k=3)  #3 passende chunks zum Prompt hinzufügen 
-    neu_prompt = rag_template 
-    for i, chunk in enumerate(retrieved_chunks):
-        neu_prompt += f"{i+1}. {chunk}\n"
+    rag_chain = RetrievalQA.from_chain_type(API_URL, 
+                                            chain_type_kwargs = {"prompt": RAG_CHAIN_PROMPT}, 
+                                            retriever = db.as_retriever(search_kwargs = {"k": 3}), 
+                                            return_source_documents = True)
+    result = rag_chain({"query": prompt})
+    return result["result"]
+
+
+    
+    #retrieved_chunks = db.query(prompt, k=3)  #3 passende chunks zum Prompt hinzufügen 
+    #neu_prompt = rag_template 
+    #for i, chunk in enumerate(retrieved_chunks):
+        #neu_prompt += f"{i+1}. {chunk}\n"
 
-    return neu_prompt
+    #return neu_prompt