Update app.py

app.py

@@ -21,10 +21,11 @@ os.environ["HUGGINGFACEHUB_API_TOKEN"] = os.getenv("HF_READ")
 # Initialisierung des Sentence-BERT Modells für die Embeddings
 embedding_model = SentenceTransformer('all-MiniLM-L6-v2')
 
-# Initialisierung von Tokenizer und RAG Modell mit Token
-tokenizer = RagTokenizer.from_pretrained("facebook/rag-sequence-nq", token=hf_token)
-retriever = RagRetriever.from_pretrained("facebook/rag-sequence-nq", token=hf_token, use_dummy_dataset=True)
-model = RagSequenceForGeneration.from_pretrained("facebook/rag-sequence-nq", token=hf_token)
+# Initialisierung des Q&A-Modells
+qa_pipeline = pipeline("question-answering", model="distilbert-base-cased-distilled-squad", tokenizer="distilbert-base-cased-distilled-squad", token=hf_token)
+
+# Erstellung eines HuggingFacePipeline LLM Modells
+llm = HuggingFacePipeline(pipeline=qa_pipeline)
 
 # Verbindung zur Chroma DB und Laden der Dokumente
 chroma_db = Chroma(embedding=embedding_model, persist_directory = PATH_WORK + CHROMA_DIR)
@@ -66,9 +67,9 @@ def get_rag_response(question):
     links = [doc.get('url', 'No URL available') for doc in docs]
 
     # Generieren der Antwort
-    prompt_template = PromptTemplate(input_variables=["context", "question"], template="{context}\n\n{question}")
-    prompt = prompt_template(context=" ".join(passages), question=question)
-    answer = llm(prompt)
+    context = " ".join(passages)
+    qa_input = {"question": question, "context": context}
+    answer = qa_pipeline(qa_input)['answer']
     
     # Zusammenstellen der Ausgabe
     response = {
@@ -79,6 +80,7 @@ def get_rag_response(question):
     return response
 
 
+
 	
 	
 # Funktion, die für den Chatbot genutzt wird