Update utils.py

utils.py

@@ -147,9 +147,9 @@ urls = [
 # Schritt 1: Initialisiere den Sentence-Transformer und das Generierungsmodell
 embedder_modell = SentenceTransformer("sentence-transformers/all-mpnet-base-v2") #'all-MiniLM-L6-v2')
 EMBEDDING_MODELL = "sentence-transformers/all-mpnet-base-v2"
-#HF_MODELL = "t5-small"
-#modell_rag = AutoModelForSeq2SeqLM.from_pretrained(HF_MODELL)
-#tokenizer_rag = AutoTokenizer.from_pretrained(HF_MODELL)
+HF_MODELL = "t5-small"
+modell_rag = AutoModelForSeq2SeqLM.from_pretrained(HF_MODELL)
+tokenizer_rag = AutoTokenizer.from_pretrained(HF_MODELL)
 
 
 
@@ -363,10 +363,21 @@ def llm_chain(llm, prompt, context):
         "llm": llm
     }
     sequence = RunnableSequence(params)
-    
     result = sequence.invoke()
     return result
 
+def query(api_llm, payload):
+	response = requests.post(api_llm, headers=HEADERS, json=payload)
+	return response.json()
+
+def llm_chain2(prompt, context):
+    full_prompt = RAG_CHAIN_PROMPT.format(context=context, question=prompt)
+    inputs = tokenizer_rag(full_prompt, return_tensors="pt", max_length=1024, truncation=True)
+    #Generiere die Antwort
+    outputs = modell_rag.generate(inputs['input_ids'], max_length=1024, num_beams=2, early_stopping=True)
+    answer = tokenizer_rag.decode(outputs[0], skip_special_tokens=True)
+    return answer
+
     
 #############################################
 #langchain nutzen, um prompt an llm zu leiten, aber vorher in der VektorDB suchen, um passende splits zum Prompt hinzuzufügen
@@ -395,31 +406,21 @@ def rag_chain(llm, prompt,  retriever):
 
         #Kombiniere die Inhalte aller relevanten Dokumente
         combined_content = " ".join([doc["content"] for doc in most_relevant_docs])
-
-        #Formuliere die Eingabe für das Generierungsmodell
-        input_text = f"frage: {prompt} kontext: {combined_content}"
         
-        """
-        inputs = tokenizer_rag(input_text, return_tensors="pt", max_length=1024, truncation=True)
 
-        #Generiere die Antwort
-        outputs = modell_rag.generate(inputs['input_ids'], max_length=150, num_beams=2, early_stopping=True)
-        answer = tokenizer_rag.decode(outputs[0], skip_special_tokens=True)
-        """
         #############################################
         #Verschiedene LLMs ausprobieren als Generierungsmodell
         #für die Zusammenfassung
         #############################################
         #1. Alternative, wenn llm direkt übergeben....................................
-        answer = llm_chain(llm, prompt, combined_content)
+        answer = llm_chain2(prompt, combined_content)
 
-        
+        #Formuliere die Eingabe für das Generierungsmodell
+        #input_text = f"frage: {prompt} kontext: {combined_content}"
         #2. Alternative, wenn mit API_URL ...........................................
         #answer =  query(llm, {"inputs": input_text,})
-
+        
         #3. Alternative: mit pipeline
-        #für text-generation: 
-        #messages = [{"role": "user", "content": input_text},]
         #für summarizatiuon
         #answer = llm(input_text,max_length=1024, min_length=150, do_sample=False)
 
@@ -438,10 +439,6 @@ def rag_chain(llm, prompt,  retriever):
     return result
 
 
-def query(api_llm, payload):
-	response = requests.post(api_llm, headers=HEADERS, json=payload)
-	return response.json()
-
 
 #############################################################
 #in einem Dictionary die wichtigen Infos zu jedem Dok zusammenstellen