Update utils.py

utils.py

@@ -283,63 +283,62 @@ def document_storage_chroma(splits):
 #Dokumente, die vom Retriever rausgesucht wurden auf Relevanz untersuchen
 def grade_documents_direct(prompt, documents):
     print("---CHECK RELEVANCE---")
-    """
+    
     # Data model
     class grade(BaseModel):
         #Binary score for relevance check.
         binary_score: str = Field(description="Relevanz Bewertung 'ja' oder 'nein'")
-    """
+    
     # LLM
     model = ChatOpenAI(temperature=0.3, model="gpt-3.5-turbo-1106", streaming=True)
-    
-    xxx = """Du bist ein Bewerter, der die Relevanz von einem erhaltenen Dokument zu einer Nutzeranfrage bewerten soll. \n
+
+    """
+    xxx = Du bist ein Bewerter, der die Relevanz von einem erhaltenen Dokument zu einer Nutzeranfrage bewerten soll. \n
         Hier ist das erhaltene Dokument: \n\n {context} \n\n
         Hier ist die Nutzeranfrage: {question} \n
         Wenn das erhaltene Dokument Keywörter oder semantische Bedeutung in Bezug auf die Nutzeranfrage hat, bewerte es als relevant. \n
-        Gib eine binäre Bewertung von 'ja' oder 'nein' Bewertung, um anzuzeigen ob das Dokuemnt relevant ist zur Nutzeranfrage oder nicht."""
-    grade_prompt = PromptTemplate(input_variables = ["context", "question"], 
+        Gib eine binäre Bewertung von 'ja' oder 'nein' Bewertung, um anzuzeigen ob das Dokuemnt relevant ist zur Nutzeranfrage oder nicht.
+    #grade_prompt = PromptTemplate(input_variables = ["context", "question"], 
                                   template = xxx)   
 
     """
     # Tool
     grade_tool_oai = convert_to_openai_tool(grade)
-    
+
     # LLM with tool and enforce invocation
     llm_with_tool = model.bind(
         tools=[convert_to_openai_tool(grade_tool_oai)],
         tool_choice={"type": "function", "function": {"name": "grade"}},
     )
-    
+
     # Parser
     parser_tool = PydanticToolsParser(tools=[grade])
-    
+
     # Prompt
     prompt = PromptTemplate(
-        template="Du bist ein Bewerter, der die Relevanz von einem erhaltenen Dokument zu einer Nutzeranfrage bewerten soll. \n
+        template="""Du bist ein Bewerter, der die Relevanz von einem erhaltenen Dokument zu einer Nutzeranfrage bewerten soll. \n
         Hier ist das erhaltene Dokument: \n\n {context} \n\n
         Hier ist die Nutzeranfrage: {question} \n
         Wenn das erhaltene Dokument Keywörter oder semantische Bedeutung in Bezug auf die Nutzeranfrage hat, bewerte es als relevant. \n
-        Gib eine binäre Bewertung von 'ja' oder 'nein' Bewertung, um anzuzeigen ob das Dokuemnt relevant ist zur Nutzeranfrage oder nicht.",
+        Gib eine binäre Bewertung von 'ja' oder 'nein' Bewertung, um anzuzeigen ob das Dokuemnt relevant ist zur Nutzeranfrage oder nicht.""",
         input_variables=["context", "question"],
     )
     
     # Chain
     chain = prompt | llm_with_tool | parser_tool
-    """
+    
     # Score
     filtered_docs = []
 
-    for d in documents:
-        llm_chain = LLMChain(llm = model, prompt = grade_prompt)
-        score = llm_chain.run({"question": prompt, "context": d.page_content})
-        print("hier1..................................")
+    score = chain.invoke({"question": question, "context": d.page_content})
+    grade = score[0].binary_score
+    if grade == "ja":
+        print("---Bewertung: Dokument ist relevant---")
+        filtered_docs.append(d)
+    else:
+        print("---Bewertung: Dokument irrelevant---")
+        continue
         
-        if not score == "nein":
-            print("---Bewertung: Dokument ist relevant---")
-            filtered_docs.append(d)
-        else:
-            print("---Bewertung: Dokument irrelevant---")
-            continue
     return filtered_docs