Update utils.py

utils.py

@@ -20,7 +20,7 @@ from io import BytesIO
 import urllib.parse
 import tempfile
 
-from transformers import pipeline, AutoModelForSeq2SeqLM, AutoTokenizer, AutoModelForCausalLM, GPTNeoForCausalLM, GPT2Tokenizer
+from transformers import pipeline, AutoModelForSeq2SeqLM, AutoTokenizer, AutoModelForCausalLM, GPTNeoForCausalLM, GPT2Tokenizer,  DistilBertTokenizer, DistilBertForQuestionAnswering
 from sentence_transformers import SentenceTransformer, util
 from typing import List, Dict
 
@@ -152,12 +152,18 @@ EMBEDDING_MODELL = "sentence-transformers/all-mpnet-base-v2"
 
 #Modell und Tokenizer, um die Summary über die relevanten Texte zu machen
 #mögliche Modelle: "HuggingFaceH4/zephyr-7b-alpha" #"t5-small" #"meta-llama/Meta-Llama-3-8B-Instruct" #"mistralai/Mistral-7B-Instruct-v0.3" #"microsoft/Phi-3-mini-4k-instruct" #"HuggingFaceH4/zephyr-7b-alpha" 
+HF_MODELL = "distilbert-base-uncased-distilled-squad"
+modell_rag = DistilBertForQuestionAnswering.from_pretrained(HF_MODELL)
+tokenizer_rag = DistilBertTokenizer.from_pretrained(HF_MODELL)
+qa_pipeline = pipeline("question-answering", model=modell_rag, tokenizer=tokenizer_rag)
+
+
+"""
 HF_MODELL ="EleutherAI/gpt-neo-2.7B"
 modell_rag = GPTNeoForCausalLM.from_pretrained(HF_MODELL)
 tokenizer_rag = GPT2Tokenizer.from_pretrained(HF_MODELL)
 tokenizer_rag.pad_token = tokenizer_rag.eos_token
 
-"""
 HF_MODELL = "microsoft/Phi-3-mini-4k-instruct"
 # Laden des Modells und Tokenizers
 modell_rag = AutoModelForCausalLM.from_pretrained(HF_MODELL)
@@ -438,7 +444,7 @@ def rag_chain(llm, prompt,  retriever):
         #für die Zusammenfassung
         #############################################
         #1. Alternative, wenn llm direkt übergeben....................................
-        answer = llm_chain2(prompt, combined_content)
+        #answer = llm_chain2(prompt, combined_content)
 
         #Formuliere die Eingabe für das Generierungsmodell
         #input_text = f"frage: {prompt} kontext: {combined_content}"
@@ -448,6 +454,8 @@ def rag_chain(llm, prompt,  retriever):
         #3. Alternative: mit pipeline
         #für summarizatiuon
         #answer = llm(input_text,max_length=1024, min_length=150, do_sample=False)
+        result = qa_pipeline(question=prompt, context=combined_content)
+        answer=result['answer']
 
         # Erstelle das Ergebnis-Dictionary
         result = {