Update app.py

app.py

@@ -6,16 +6,20 @@ from langchain_community.vectorstores import FAISS
 from langchain.chains import RetrievalQA
 from langchain.llms.base import LLM
 from transformers import pipeline
+from pydantic import PrivateAttr
 
 # Wrapper-Klasse für das deutsche GPT-2 Modell
 class GermanGPT2(LLM):
-    def __init__(self, max_new_tokens=128, temperature=0.7):
-        self.pipeline = pipeline("text-generation", model="dbmdz/german-gpt2")
+    _pipeline: any = PrivateAttr()  # privates Attribut, um die Pipeline zu speichern
+
+    def __init__(self, max_new_tokens=128, temperature=0.7, **kwargs):
+        super().__init__(**kwargs)
         self.max_new_tokens = max_new_tokens
         self.temperature = temperature
+        self._pipeline = pipeline("text-generation", model="dbmdz/german-gpt2")
 
     def _call(self, prompt, stop=None):
-        result = self.pipeline(prompt, max_length=self.max_new_tokens, do_sample=True, temperature=self.temperature)
+        result = self._pipeline(prompt, max_length=self.max_new_tokens, do_sample=True, temperature=self.temperature)
         return result[0]["generated_text"]
 
     @property
@@ -26,7 +30,7 @@ class GermanGPT2(LLM):
     def _llm_type(self):
         return "custom_german_gpt2"
 
-# Lade und verarbeite das PDF beim Start
+# PDF wird beim Start automatisch geladen und verarbeitet
 loader = PyPDFLoader("TrendingMedia_ChatbotBasis_FINAL.pdf")
 documents = loader.load()
 splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=100)