added persist directory for ChromaDB

app.py

@@ -1,7 +1,7 @@
 import streamlit as st
 from openai import OpenAI
 import glob
-
+import pickle
 from langchain_community.vectorstores import Chroma
 from langchain_core.output_parsers import StrOutputParser
 from langchain_core.runnables import RunnablePassthrough
@@ -27,29 +27,60 @@ OPENAI_API_KEY = st.secrets["OPENAI_API_KEY"]
 #     docs.append(loader.load()[0])
 
 # Config
+
+# Default
+def_model = "gpt-3.5-turbo"
+def_temperature = 0.0
+def_k = 3
+def_chunk_size = 500
+def_chunk_overlap = 0
+directory = "./chroma_db"
+
+st. set_page_config(initial_sidebar_state="collapsed")
+
 with st.sidebar:
-    model = st.selectbox("Model name", ["gpt-3.5-turbo"], disabled=True)
-    temperature = st.number_input("Temperature", value=0.0, min_value=0.0, step=0.2, max_value=1.0, placeholder=0.0)
-    k = st.number_input("Number of documents to include", value=3, min_value=1, step=1, placeholder=3)
-    if st.toggle("Splitting", value=True):
-        chunk_size = st.number_input("Chunk size", value=500, step=250, placeholder=500) # Defines the chunks in amount of tokens in which the files are split. Also defines the amount of tokens that are feeded into the context. 
-        chunk_overlap = st.number_input("Chunk overlap", value=0, step=10, placeholder=0)
+    if st.toggle("Experimental"):
+        disabled = False
+    else:
+        disabled = True
+    model = st.selectbox("Model name", [def_model], disabled=True)
+    temperature = st.number_input("Temperature", value=def_temperature, min_value=0.0, step=0.2, max_value=1.0, placeholder=def_temperature, disabled=disabled)
+    k = st.number_input("Number of documents to include", value=def_k, min_value=1, step=1, placeholder=def_k, disabled=disabled)
+    if st.toggle("Splitting", value=True, disabled=disabled):
+        chunk_size = st.number_input("Chunk size", value=def_chunk_size, step=250, placeholder=def_chunk_size, disabled=disabled) # Defines the chunks in amount of tokens in which the files are split. Also defines the amount of tokens that are feeded into the context. 
+        chunk_overlap = st.number_input("Chunk overlap", value=def_chunk_overlap, step=10, placeholder=def_chunk_overlap, disabled=disabled)
         text_splitter = RecursiveCharacterTextSplitter(chunk_size=chunk_size, chunk_overlap=chunk_overlap)
         splits = text_splitter.split_documents(docs)
-        vectorstore = Chroma.from_documents(documents=splits, embedding=OpenAIEmbeddings())
+        vectorstore = Chroma.from_documents(documents=splits, embedding=OpenAIEmbeddings(), persist_directory=directory)
+        if chunk_size != def_chunk_size | chunk_overlap != def_chunk_overlap:
+            splits = text_splitter.split_documents(docs)
+            vectorstore = Chroma.from_documents(documents=splits, embedding=OpenAIEmbeddings())
     else:
-        vectorstore = Chroma.from_documents(documents=docs, embedding=OpenAIEmbeddings())
+        vectorstore = Chroma.from_documents(documents=docs, embedding=OpenAIEmbeddings(), persist_directory=f"{directory}/complete")
 
 
 prompt_template ="""
-Du heißt "Volker". Du bist ein Assistent für die Beantwortung von Fragen zu Long-Covid (Post-Covid synonym verwenden). 
+###
+Wenn du gefragt wirst wer du bist: Du heißt "Volker". Du bist ein Assistent für die Beantwortung von Fragen zu Long-Covid (Post-Covid synonym verwenden). 
+
+###
 Du weißt nichts über Krankheiten wie 'tumorbedingte Fatigue', 'Multiple Sklerose', 'Hashimoto-Thyreoditis' oder 'Krebs'. 
 Werden Fragen zu diesen Erkrankungen gestellt, beantworte sie mit "Dazu fehlen mir Informationen".
+
+###
+Du beantwortest keine Fragen zu 'Tod', 'Suizid', 'Selbstverletzung', oder anderen potenziell schädigenden Themen.
+Werden Fragen zum 'Tod' gestellt, verweise auf den behandelnden Arzt.
+Bei Fragen zu Suizid verweise auf die Telefonseelsorge: 0800 1110111
+
+###
 Du gibst keine Ratschläge zur Diagnose, Behandlung oder Therapie. 
 Wenn du die Antwort nicht weißt, sag einfach, dass du es nicht weißt.
+
+###
+Wenn du allgemeine unspezifische Fragen gestellt bekommst, antworte oberflächlich und frage nach einer präziseren Fragestellung.
 Antworte immer in ganzen Sätzen und verwende korrekte Grammatik und Rechtschreibung. Antworte nur auf Deutsch. 
 Antworte kurz mit maximal fünf Sätzen außer es wird von dir eine ausführlichere Antwort verlangt.
-Verwende zur Beantwortung der Frage nur den retriever Kontext.
+Verwende zur Beantwortung der Frage nur den vorhandenen Kontext.
  
 Frage: {question} 
 Kontext: {context}