Update app.py

app.py

@@ -1,13 +1,28 @@
-
 import gradio as gr
-from langchain.document_loaders import PyPDFLoader
+from langchain_community.document_loaders import PyPDFLoader
 from langchain.text_splitter import CharacterTextSplitter
-from langchain.embeddings import HuggingFaceEmbeddings
-from langchain.vectorstores import FAISS
+from langchain_community.embeddings import HuggingFaceEmbeddings
+from langchain_community.vectorstores import FAISS
 from langchain.chains import RetrievalQA
-from langchain.llms import CTransformers
+from langchain.llms.base import LLM  # Basis-Klasse, um ein LLM-Wrapper zu erstellen
+from transformers import pipeline
+
+# Erstelle einen Wrapper für das LeoLM Modell
+class LeoLM(LLM):
+    def __init__(self, max_new_tokens=512, temperature=0.5):
+        self.pipeline = pipeline("text-generation", model="LeoLM/leo-mistral-hessianai-7b")
+        self.max_new_tokens = max_new_tokens
+        self.temperature = temperature
+
+    def _call(self, prompt, stop=None):
+        result = self.pipeline(prompt, max_length=self.max_new_tokens, do_sample=True, temperature=self.temperature)
+        return result[0]["generated_text"]
 
-# Lade und verarbeite das PDF beim Start
+    @property
+    def _identifying_params(self):
+        return {"model": "LeoLM/leo-mistral-hessianai-7b"}
+
+# PDF wird beim Start automatisch geladen
 loader = PyPDFLoader("TrendingMedia_ChatbotBasis_FINAL.pdf")
 documents = loader.load()
 splitter = CharacterTextSplitter(chunk_size=1000, chunk_overlap=100)
@@ -15,15 +30,12 @@ texts = splitter.split_documents(documents)
 embeddings = HuggingFaceEmbeddings(model_name="sentence-transformers/all-MiniLM-L6-v2")
 db = FAISS.from_documents(texts, embeddings)
 retriever = db.as_retriever(search_kwargs={"k": 2})
-llm = CTransformers(
-    model="TheBloke/TinyLlama-1.1B-Chat-v1.0-GGUF",
-    model_file="tinyllama-1.1b-chat-v1.0.Q4_K_M.gguf",
-    config={'max_new_tokens': 512, 'temperature': 0.5}
-)
+
+# Verwende den neuen LeoLM Wrapper als LLM
+llm = LeoLM(max_new_tokens=512, temperature=0.5)
 
 qa_chain = RetrievalQA.from_chain_type(llm=llm, chain_type="stuff", retriever=retriever)
 
-# Frage-Antwort-Logik
 def ask_question(user_input):
     if user_input.lower() in ["start", "hallo", "hi", "hey"]:
         return "👋 Willkommen bei Trending Media! Wie kann ich dir behilflich sein?"
@@ -44,7 +56,6 @@ def ask_question(user_input):
 
     return response
 
-# Gradio UI
 with gr.Blocks() as demo:
     gr.Markdown("## 🤖 TrendingBot\nWillkommen bei Trending Media! Stelle mir deine Frage.")
     user_input = gr.Textbox(label="Deine Frage", placeholder="Frag mich etwas über unsere Lösungen...")