Update app.py

app.py

@@ -7,10 +7,10 @@ from langchain.chains import RetrievalQA
 from langchain.llms.base import LLM
 from transformers import pipeline
 
-# LeoLM-Wrapper-Klasse, die das LeoLM-Modell über die Transformers-Pipeline nutzt
-class LeoLM(LLM):
-    def __init__(self, max_new_tokens=512, temperature=0.5):
-        self.pipeline = pipeline("text-generation", model="LeoLM/leo-mistral-hessianai-7b")
+# Wrapper-Klasse für das deutsche GPT-2 Modell
+class GermanGPT2(LLM):
+    def __init__(self, max_new_tokens=128, temperature=0.7):
+        self.pipeline = pipeline("text-generation", model="dbmdz/german-gpt2")
         self.max_new_tokens = max_new_tokens
         self.temperature = temperature
 
@@ -20,13 +20,13 @@ class LeoLM(LLM):
 
     @property
     def _identifying_params(self):
-        return {"model": "LeoLM/leo-mistral-hessianai-7b"}
+        return {"model": "dbmdz/german-gpt2"}
     
     @property
     def _llm_type(self):
-        return "custom_leolm"
+        return "custom_german_gpt2"
 
-# PDF wird beim Start automatisch geladen und verarbeitet
+# Lade und verarbeite das PDF beim Start
 loader = PyPDFLoader("TrendingMedia_ChatbotBasis_FINAL.pdf")
 documents = loader.load()
 splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=100)
@@ -35,8 +35,8 @@ embeddings = HuggingFaceEmbeddings(model_name="sentence-transformers/all-MiniLM-
 db = FAISS.from_documents(texts, embeddings)
 retriever = db.as_retriever(search_kwargs={"k": 2})
 
-# Verwende den neuen LeoLM Wrapper als LLM
-llm = LeoLM(max_new_tokens=512, temperature=0.5)
+# Verwende den neuen GermanGPT2-Wrapper als LLM
+llm = GermanGPT2(max_new_tokens=128, temperature=0.7)
 
 qa_chain = RetrievalQA.from_chain_type(llm=llm, chain_type="stuff", retriever=retriever)