Update utils.py

utils.py

@@ -19,6 +19,10 @@ import operator
 from typing import Annotated, Sequence, TypedDict
 import pprint
 
+from transformers import pipeline, AutoModelForSeq2SeqLM, AutoTokenizer
+from sentence_transformers import SentenceTransformer, util
+from typing import List, Dict
+
 import gradio as gr
 from pypinyin import lazy_pinyin
 import tiktoken
@@ -51,7 +55,7 @@ from langchain_core.pydantic_v1 import BaseModel, Field
 from langchain_core.runnables import RunnablePassthrough
 from langchain.text_splitter import RecursiveCharacterTextSplitter
 from chromadb.errors import InvalidDimensionException
-import io
+#import io
 #from PIL import Image, ImageDraw, ImageOps, ImageFont
 #import base64
 #from tempfile import NamedTemporaryFile
@@ -127,6 +131,18 @@ urls = [
 ]
 
 
+
+##################################################
+#Modell und Tokenizer für die Anfrage der RAG Chain 
+##################################################
+# Schritt 1: Initialisiere den Sentence-Transformer und das Generierungsmodell
+embedder_modell = SentenceTransformer('all-MiniLM-L6-v2')
+HF_MODELL = "t5-small"
+modell_rag = AutoModelForSeq2SeqLM.from_pretrained(HF_MODELL)
+tokenizer_rag = AutoTokenizer.from_pretrained(HF_MODELL)
+
+
+
 ##################################################
 #Normalisierung eines Prompts
 ##################################################
@@ -303,6 +319,7 @@ def llm_chain2(llm, prompt):
 def rag_chain(llm, prompt,  retriever):
     #Langgraph nutzen für ein wenig mehr Intelligenz beim Dokumente suchen
     relevant_docs=[]
+    most_relevant_docs=[]
     relevant_docs = retriever.get_relevant_documents(prompt)
     
     print("releant docs1......................")
@@ -313,14 +330,43 @@ def rag_chain(llm, prompt,  retriever):
         #result = llm_chain.run({"context": relevant_docs, "question": prompt})
         # Erstelle ein PromptTemplate mit Platzhaltern für Kontext und Frage
         #RAG_CHAIN_PROMPT = PromptTemplate(template="Context: {context}\n\nQuestion: {question}\n\nAnswer:")
-        
-        # Erstelle eine RunnableSequence
-        chain = RunnableSequence(steps=[RAG_CHAIN_PROMPT, llm])
-        # Verwende die Kette
-        result = chain.invoke({"context": relevant_docs, "question": prompt})     
+
+        # Inahlte Abrufen der relevanten Dokumente
+        doc_contents = [doc["content"] for doc in relevant_docs]
+
+        #Berechne die Ähnlichkeiten und finde das relevanteste Dokument
+        question_embedding = embedder_modell.encode(prompt, convert_to_tensor=True)
+        doc_embeddings = embedder_modell.encode(doc_contents, convert_to_tensor=True)
+        similarity_scores = util.pytorch_cos_sim(question_embedding, doc_embeddings)
+        most_relevant_doc_indices = similarity_scores.argsort(descending=True).squeeze().tolist()
+
+        #Erstelle eine Liste der relevantesten Dokumente
+        most_relevant_docs = [relevant_docs[i] for i in most_relevant_doc_indices]
+
+        #Kombiniere die Inhalte aller relevanten Dokumente
+        combined_content = " ".join([doc["content"] for doc in most_relevant_docs])
+
+        #Formuliere die Eingabe für das Generierungsmodell
+        input_text = f"frage: {prompt} kontext: {combined_content}"
+        inputs = tokenizer_rag(input_text, return_tensors="pt", max_length=1024, truncation=True)
+
+        #Generiere die Antwort
+        outputs = model_rag.generate(inputs['input_ids'], max_length=150, num_beams=2, early_stopping=True)
+        answer = tokenizer_rag.decode(outputs[0], skip_special_tokens=True)
+
+
+        # Erstelle das Ergebnis-Dictionary
+        result = {
+            "answer": answer,
+            "relevant_docs": most_relevant_docs
+        }
+   
     else:
         # keine relevanten Dokumente gefunden
-        result = "Keine relevanten Dokumente gefunden"
+        result = {
+            "answer": "Keine relevanten Dokumente gefunden",
+            "relevant_docs": most_relevant_docs
+        }
         
     return result