Update utils.py

utils.py

@@ -278,62 +278,94 @@ def document_storage_chroma(splits):
     #HF embeddings--------------------------------------
     #Chroma.from_documents(documents = splits, embedding = HuggingFaceEmbeddings(model_name="sentence-transformers/all-mpnet-base-v2", model_kwargs={"device": "cpu"}, encode_kwargs={'normalize_embeddings': False}),  persist_directory = PATH_WORK + CHROMA_DIR)  
     return vectorstore, retriever
+    
+#Dokumente, die vom Retriever rausgesucht wurden auf Relevanz untersuchen
+def grade_documents_direct(state):
+    print("---CHECK RELEVANCE---")
+    # Data model
+    class grade(BaseModel):
+        """Binary score for relevance check."""
+        binary_score: str = Field(description="Relevanz Bewertung 'ja' oder 'nein'")
 
+    # LLM
+    model = ChatOpenAI(temperature=0.3, model="gpt-4-0125-preview", streaming=True)
 
-"""
-#Mongo DB die splits ablegen - vektorisiert...
-def document_storage_mongodb(splits):
-    MongoDBAtlasVectorSearch.from_documents(documents = splits,
-                                            embedding = OpenAIEmbeddings(disallowed_special = ()),
-                                            collection = MONGODB_COLLECTION,
-                                            index_name = MONGODB_INDEX_NAME)
-############################################
-#dokumente in chroma db vektorisiert ablegen können - die Db vorbereiten daüfur
-def document_retrieval_chroma(llm, prompt):  
-    #OpenAI embeddings -------------------------------
-    embeddings = OpenAIEmbeddings()
+    # Tool
+    grade_tool_oai = convert_to_openai_tool(grade)
 
-    #HF embeddings -----------------------------------
-    #Alternative Embedding - für Vektorstore, um Ähnlichkeitsvektoren zu erzeugen - die ...InstructEmbedding ist sehr rechenaufwendig
-    #embeddings = HuggingFaceInstructEmbeddings(model_name="sentence-transformers/all-MiniLM-L6-v2", model_kwargs={"device": "cpu"})
-    #etwas weniger rechenaufwendig:
-    #embeddings = HuggingFaceEmbeddings(model_name="sentence-transformers/all-mpnet-base-v2", model_kwargs={"device": "cpu"}, encode_kwargs={'normalize_embeddings': False})
+    # LLM with tool and enforce invocation
+    llm_with_tool = model.bind(
+        tools=[convert_to_openai_tool(grade_tool_oai)],
+        tool_choice={"type": "function", "function": {"name": "grade"}},
+    )
 
-    #ChromaDb um die embedings zu speichern
-    db = Chroma(embedding_function = embeddings, persist_directory = PATH_WORK + CHROMA_DIR)
-    return db
+    # Parser
+    parser_tool = PydanticToolsParser(tools=[grade])
 
-############################################
-#dokumente in chroma db vektorisiert ablegen können - die Db vorbereiten daüfur
-#zweite Variante, passend zu rag_chain2 für generate_text_mit_bild- ohne llm vorher festlegen zu müssen
-def document_retrieval_chroma2(): 
-    #OpenAI embeddings -------------------------------
-    embeddings = OpenAIEmbeddings()
-
-    #HF embeddings -----------------------------------
-    #Alternative Embedding - für Vektorstore, um Ähnlichkeitsvektoren zu erzeugen - die ...InstructEmbedding ist sehr rechenaufwendig
-    #embeddings = HuggingFaceInstructEmbeddings(model_name="sentence-transformers/all-MiniLM-L6-v2", model_kwargs={"device": "cpu"})
-    #etwas weniger rechenaufwendig:
-    #embeddings = HuggingFaceEmbeddings(model_name="sentence-transformers/all-mpnet-base-v2", model_kwargs={"device": "cpu"}, encode_kwargs={'normalize_embeddings': False})
-    #oder einfach ohne Langchain:
-    #embeddings = SentenceTransformerEmbeddings(model_name="all-MiniLM-L6-v2")
-
-    #ChromaDb um die embedings zu speichern
-    db = Chroma(embedding_function = embeddings, persist_directory = PATH_WORK + CHROMA_DIR)
-    print ("Chroma DB bereit ...................")
-    
-    return db 
-    
-###########################################
-#dokumente in mongo db vektorisiert ablegen können - die Db vorbereiten daüfür
-def document_retrieval_mongodb(llm, prompt):
-    db = MongoDBAtlasVectorSearch.from_connection_string(MONGODB_URI,
-                                                         MONGODB_DB_NAME + "." + MONGODB_COLLECTION_NAME,
-                                                         OpenAIEmbeddings(disallowed_special = ()),
-                                                         index_name = MONGODB_INDEX_NAME)
-    return db
-"""
+    # Prompt
+    prompt = PromptTemplate(
+        template="""Du bist ein Bewerter, der die Relevanz von einem erhaltenen Dokument zu einer Nutzeranfrage bewerten soll. \n
+        Hier ist das erhaltene Dokument: \n\n {context} \n\n
+        Hier ist die Nutzeranfrage: {question} \n
+        Wenn das erhaltene Dokument Keywörter oder semantische Bedeutung in Bezug auf die Nutzeranfrage hat, bewerte es als relevant. \n
+        Gib eine binäre Bewertung von 'ja' oder 'nein' Bewertung, um anzuzeigen ob das Dokuemnt relevant ist zur Nutzeranfrage oder nicht.""",
+        input_variables=["context", "question"],
+    )
 
+    # Chain
+    chain = prompt | llm_with_tool | parser_tool
+
+    # Score
+    filtered_docs = []
+    anzahl_relevant = 0
+    search = "nein"  # Default do not opt for re-questioning to supplement retrieval
+    for d in documents:
+        score = chain.invoke({"question": question, "context": d.page_content})
+        grade = score[0].binary_score
+        if grade == "ja":
+            #search = "nein"  # mind. ein relevantes Dokument -> keine Websuche nötig
+            print("---Bewertung: Dokument ist relevant---")
+            anzahl_relevant = anzahl_relevant +1
+            filtered_docs.append(d)
+        else:
+            print("---Bewertung: Dokument irrelevant---")
+            search = "ja"  # mind ein Dokument irrelevant -> Frage umformulieren
+            continue
+    #wenn mehrheit der Dokumente relevant -> generieren starten damit
+    if (anzahl_relevant>= len(documents)/2):
+        search = "nein"
+    print("second trial grade_docs:.....................")
+    print(second_trial)
+    return filtered_docs
+
+
+def transform_query_direct(query):
+    print("---TRANSFORM QUERY---")
+    state_dict = state["keys"]
+    question = state_dict["question"]
+    documents = state_dict["documents"]
+
+    # Create a prompt template with format instructions and the query
+    prompt = PromptTemplate(
+        template="""Du generierst Fragen, die optimiert sind für das Retrieval von Dokumenten. \n
+        Schaue auf den input und versuche die zugrundeliegende Absicht / Bedeutung zu bewerten. \n
+        Hier ist die ursprüngliche Frage:
+        \n ------- \n
+        {question} 
+        \n ------- \n
+        Formuliere eine verbesserte Frage: """,
+        input_variables=["question"],
+    )
+
+    # Grader
+    model = ChatOpenAI(temperature=0, model="gpt-4-0125-preview", streaming=True)
+
+    # Prompt
+    chain = prompt | model | StrOutputParser()
+    better_question = chain.invoke({"question": question})
+    second_trial="ja"
+
+    return {"keys": {"documents": documents, "question": better_question, "second_trial" : second_trial}}
 
 
 ###############################################
@@ -1120,7 +1152,7 @@ class GraphState(TypedDict):
 #Methoden, um den Graph und die Zustände umzusetzen
 ### Nodes ###
 # die Knoten des Graphen definieren, die der Reihe noch (bzw. je nach Outcome des Vorgänger Knotens) durchlaufen werden
-def retrieve(state):
+def retrieve(state, retriever):
     """
     Retrieve documents
     Args: