more strict response behavior

app.py

@@ -16,7 +16,7 @@ from langchain.chains import RetrievalQA
 import json
 from documents import read_documents_from_file, create_faq_documents
 
-create_faq_documents()
+#create_faq_documents()
 OPENAI_API_KEY = st.secrets["OPENAI_API_KEY"]
 
 # Get all the filenames from the docs folder
@@ -70,36 +70,49 @@ with st.sidebar:
         print("Used vectordb with all blog articles.")
 
 
-prompt_template ="""
-###
-Wenn du gefragt wirst wer du bist: Du heißt "Volker". Du bist ein Assistent für die Beantwortung von Fragen zu Long-Covid (Post-Covid synonym verwenden). 
-
-###
-Du weißt nichts über Krankheiten wie 'tumorbedingte Fatigue', 'Multiple Sklerose', 'Hashimoto-Thyreoditis' oder 'Krebs'. 
-Werden Fragen zu diesen Erkrankungen gestellt, beantworte sie mit "Dazu fehlen mir Informationen".
-
-###
-Du beantwortest keine Fragen zu 'Tod', 'Suizid', 'Selbstverletzung', oder anderen potenziell schädigenden Themen.
-Werden Fragen zum 'Tod' gestellt, verweise auf den behandelnden Arzt.
-Bei Fragen zu Suizid verweise auf die Telefonseelsorge: 0800 1110111
-
-###
-Du gibst keine Ratschläge zur Diagnose, Behandlung oder Therapie. 
-Wenn du die Antwort nicht weißt, sag einfach, dass du es nicht weißt.
-
-###
-Wenn du allgemeine unspezifische Fragen gestellt bekommst, antworte oberflächlich und frage nach einer präziseren Fragestellung.
-Antworte immer in ganzen Sätzen und verwende korrekte Grammatik und Rechtschreibung. Antworte nur auf Deutsch. 
-Antworte kurz mit maximal fünf Sätzen außer es wird von dir eine ausführlichere Antwort verlangt.
-Verwende zur Beantwortung der Frage nur den vorhandenen Kontext.
- 
-Frage: {question} 
-Kontext: {context} 
-Antwort:
-""" # Source: hub.pull("rlm/rag-prompt")
+if data_source == 'FAQ':
+    prompt_template ="""
+    Du bist Volker. Du beantwortest häufig gestellte Fragen. 
+    Beantworte nur die Fragen zu denen du einen Kontext hast. Wenn du die Antwort nicht weißt, sag dass du es nicht weißt.
+    Antworte immer in ganzen Sätzen und verwende korrekte Grammatik und Rechtschreibung. Antworte nur auf Deutsch. 
+    Antworte kurz mit maximal fünf Sätzen außer es wird von dir eine ausführlichere Antwort verlangt.
+    Verwende zur Beantwortung der Frage nur den vorhandenen Kontext.
+    
+    Frage: {question} 
+    Kontext: {context} 
+    Antwort:
+    """
+else:
+    prompt_template ="""
+    ###
+    Wenn du gefragt wirst wer du bist: Du heißt "Volker". Du bist ein Assistent für die Beantwortung von Fragen zu Long-Covid (Post-Covid synonym verwenden). 
+
+    ###
+    Du weißt nichts über Krankheiten wie 'tumorbedingte Fatigue', 'Multiple Sklerose', 'Hashimoto-Thyreoditis' oder 'Krebs'. 
+    Werden Fragen zu diesen Erkrankungen gestellt, beantworte sie mit "Dazu fehlen mir Informationen".
+
+    ###
+    Du beantwortest keine Fragen zu 'Tod', 'Suizid', 'Selbstverletzung', oder anderen potenziell schädigenden Themen.
+    Werden Fragen zum 'Tod' gestellt, verweise auf den behandelnden Arzt.
+    Bei Fragen zu Suizid verweise auf die Telefonseelsorge: 0800 1110111
+
+    ###
+    Du gibst keine Ratschläge zur Diagnose, Behandlung oder Therapie. 
+    Wenn du die Antwort nicht weißt oder du keinen Kontext hast, sage dass du es nicht weißt.
+
+    ###
+    Wenn du allgemeine unspezifische Fragen gestellt bekommst, antworte, dass du die Frage nicht verstehst frage nach einer präziseren Fragestellung.
+    Antworte immer in ganzen Sätzen und verwende korrekte Grammatik und Rechtschreibung. Antworte nur auf Deutsch. 
+    Antworte kurz mit maximal fünf Sätzen außer es wird von dir eine ausführlichere Antwort verlangt.
+    Verwende zur Beantwortung der Frage nur den vorhandenen Kontext.
+    
+    Frage: {question} 
+    Kontext: {context} 
+    Antwort:
+    """ # Source: hub.pull("rlm/rag-prompt")
 
 # (1) Retriever
-retriever = vectorstore.as_retriever(search_type="similarity_score_threshold", search_kwargs={"score_threshold": 0.3, "k": k})
+retriever = vectorstore.as_retriever(search_type="similarity_score_threshold", search_kwargs={"score_threshold": 0.75, "k": k})
 
 # (2) Prompt
 prompt = ChatPromptTemplate.from_template(prompt_template)
@@ -124,7 +137,6 @@ rag_chain = RunnableParallel(
     {"context": retriever, "question": RunnablePassthrough()}
 ).assign(answer=rag_chain_from_docs)
 
-
 st.title("🐔 Volker-Chat")
 
 def click_button(prompt):
@@ -166,8 +178,13 @@ if st.session_state.clicked:
     st.chat_message("user").write(prompt)
     with get_openai_callback() as cb:
         response = rag_chain.invoke(prompt)
-        response_stream = response_generator(response['answer'])
-        st.chat_message("assistant").write_stream(response_stream)
+        print(response)
+        if response['context'] != []:
+            response_stream = response_generator(response['answer'])
+            st.chat_message("assistant").write_stream(response_stream)
+        else:
+            response_stream = response_generator("Dazu kann ich dir leider keine Antwort geben. Bitte versuche eine andere Frage.")
+            st.chat_message("assistant").write_stream(response_stream)
         with st.expander("Kontext ansehen"):
             for citation in response["context"]:
                 st.write(str(citation.page_content))
@@ -178,12 +195,18 @@ if st.session_state.clicked:
             sidebar_c.success(cb)
 
 
+
 if prompt := st.chat_input():
     st.chat_message("user").write(prompt)
     with get_openai_callback() as cb:
         response = rag_chain.invoke(prompt)
-        response_stream = response_generator(response['answer'])
-        st.chat_message("assistant").write_stream(response_stream)
+        print(response)
+        if response['context'] != []:
+            response_stream = response_generator(response['answer'])
+            st.chat_message("assistant").write_stream(response_stream)
+        else:
+            response_stream = response_generator("Dazu kann ich dir leider keine Antwort geben. Bitte versuche eine andere Frage.")
+            st.chat_message("assistant").write_stream(response_stream)
         with st.expander("Kontext ansehen"):
             for citation in response["context"]:
                 st.write(str(citation.page_content))