Update utils.py

utils.py

@@ -84,7 +84,7 @@ ANTWORT_WEISS_NICHT = ["ich weiß nicht.", "ich weiß das nicht", "Ich habe dazu
 #################################################
 #Prompt Zusätze
 template = """\Antworte in deutsch, wenn es nicht explizit anders gefordert wird. Wenn du die Antwort nicht kennst, antworte direkt, dass du es nicht weißt.
-            Versuche nicht es zu umschreiben. Versuche nicht, die Antwort zu erfinden oder aufzumocken. Halte die Antwort kurz aber ausführlich genug und exakt."""
+            Versuche nicht es zu umschreiben. Beziehe dich in deinen Antworten ausschließlich auf die hinterkegten Dokumente. Halte die Antwort kurz aber ausführlich genug und exakt."""
 
 llm_template = "Beantworte die Frage am Ende. " + template + "Frage: {question} "
 #nur für HF für Stichwotre bei chatverlauf
@@ -234,11 +234,8 @@ def document_loading_splitting():
 ###########################################
 #Chroma DB die splits ablegen - vektorisiert...
 def document_storage_chroma(splits):
-    #OpenAi embeddings----------------------------------
-    Chroma.from_documents(documents = splits, embedding = OpenAIEmbeddings(disallowed_special = ()),  persist_directory = PATH_WORK + CHROMA_DIR)  
-
     #HF embeddings--------------------------------------
-    #Chroma.from_documents(documents = splits, embedding = HuggingFaceEmbeddings(model_name="sentence-transformers/all-mpnet-base-v2", model_kwargs={"device": "cpu"}, encode_kwargs={'normalize_embeddings': False}),  persist_directory = PATH_WORK + CHROMA_DIR)  
+    Chroma.from_documents(documents = splits, embedding = HuggingFaceEmbeddings(model_name="sentence-transformers/all-mpnet-base-v2", model_kwargs={"device": "cpu"}, encode_kwargs={'normalize_embeddings': False}),  persist_directory = PATH_WORK + CHROMA_DIR)  
     
 #Mongo DB die splits ablegen - vektorisiert...
 def document_storage_mongodb(splits):
@@ -249,12 +246,9 @@ def document_storage_mongodb(splits):
 ############################################
 #dokumente in chroma db vektorisiert ablegen können - die Db vorbereiten daüfur
 def document_retrieval_chroma(llm, prompt):  
-    #OpenAI embeddings -------------------------------
-    embeddings = OpenAIEmbeddings()
-
     #HF embeddings -----------------------------------
     #Alternative Embedding - für Vektorstore, um Ähnlichkeitsvektoren zu erzeugen - die ...InstructEmbedding ist sehr rechenaufwendig
-    #embeddings = HuggingFaceInstructEmbeddings(model_name="sentence-transformers/all-MiniLM-L6-v2", model_kwargs={"device": "cpu"})
+    embeddings = HuggingFaceInstructEmbeddings(model_name="sentence-transformers/all-MiniLM-L6-v2", model_kwargs={"device": "cpu"})
     #etwas weniger rechenaufwendig:
     #embeddings = HuggingFaceEmbeddings(model_name="sentence-transformers/all-mpnet-base-v2", model_kwargs={"device": "cpu"}, encode_kwargs={'normalize_embeddings': False})
 
@@ -266,12 +260,9 @@ def document_retrieval_chroma(llm, prompt):
 #dokumente in chroma db vektorisiert ablegen können - die Db vorbereiten daüfur
 #zweite Variante, passend zu rag_chain2 für generate_text_mit_bild- ohne llm vorher festlegen zu müssen
 def document_retrieval_chroma2(): 
-    #OpenAI embeddings -------------------------------
-    embeddings = OpenAIEmbeddings()
-
     #HF embeddings -----------------------------------
     #Alternative Embedding - für Vektorstore, um Ähnlichkeitsvektoren zu erzeugen - die ...InstructEmbedding ist sehr rechenaufwendig
-    #embeddings = HuggingFaceInstructEmbeddings(model_name="sentence-transformers/all-MiniLM-L6-v2", model_kwargs={"device": "cpu"})
+    embeddings = HuggingFaceInstructEmbeddings(model_name="sentence-transformers/all-MiniLM-L6-v2", model_kwargs={"device": "cpu"})
     #etwas weniger rechenaufwendig:
     #embeddings = HuggingFaceEmbeddings(model_name="sentence-transformers/all-mpnet-base-v2", model_kwargs={"device": "cpu"}, encode_kwargs={'normalize_embeddings': False})
     #oder einfach ohne Langchain:
@@ -283,14 +274,6 @@ def document_retrieval_chroma2():
     
     return db 
     
-###########################################
-#dokumente in mongo db vektorisiert ablegen können - die Db vorbereiten daüfür
-def document_retrieval_mongodb(llm, prompt):
-    db = MongoDBAtlasVectorSearch.from_connection_string(MONGODB_URI,
-                                                         MONGODB_DB_NAME + "." + MONGODB_COLLECTION_NAME,
-                                                         OpenAIEmbeddings(disallowed_special = ()),
-                                                         index_name = MONGODB_INDEX_NAME)
-    return db
 
 ###############################################
 #Langchain anlegen