Update app.py

app.py

@@ -1,10 +1,12 @@
 import os
 import gradio as gr
-from langchain.vectorstores import Chroma
+from langchain-community.vectorstores import Chroma
 from transformers import pipeline
 from sentence_transformers import SentenceTransformer
-from langchain import LLMChain, PromptTemplate
-from langchain.llms import HuggingFacePipeline
+import langchain.chains.LLMChain
+import langchain_core.prompts.PromptTemplate
+from langchain_huggingface import HuggingFacePipeline
+ 
 
 #Konstanten
 ANTI_BOT_PW = os.getenv("CORRECT_VALIDATE")
@@ -18,45 +20,22 @@ CHROMA_EXCEL = './chroma/kkg/excel'
 hf_token = os.getenv("HF_READ")
 os.environ["HUGGINGFACEHUB_API_TOKEN"] = os.getenv("HF_READ")
 
-# Initialisierung des Sentence-BERT Modells für die Embeddings
-embedding_model = SentenceTransformer('all-MiniLM-L6-v2')
+###############################################
+#globale Variablen
+##############################################
+#nur bei ersten Anfrage splitten der Dokumente - um die Vektordatenbank entsprechend zu füllen
+#splittet = False
+#DB für Vektorstore
+vektordatenbank = None
+retriever = None
 
-# Initialisierung des Q&A-Modells
-qa_pipeline = pipeline("question-answering", model="distilbert-base-cased-distilled-squad", tokenizer="distilbert-base-cased-distilled-squad", token=hf_token)
-
-# Erstellung eines HuggingFacePipeline LLM Modells
-llm = HuggingFacePipeline(pipeline=qa_pipeline)
-
-# Verbindung zur Chroma DB und Laden der Dokumente
-chroma_db = Chroma(embedding=embedding_model, persist_directory = PATH_WORK + CHROMA_DIR)
-
-# Erstellung eines HuggingFacePipeline LLM Modells
-llm_pipeline = pipeline("text2text-generation", model=model, tokenizer=tokenizer, retriever=retriever)
-llm = HuggingFacePipeline(pipeline=llm_pipeline)
-
-
-# Erstellen eines eigenen Retrievers mit Chroma DB und Embeddings
-#retriever = chroma_db.as_retriever()
-
-# Erstellung der RAG-Kette mit dem benutzerdefinierten Retriever
-#rag_chain = RagChain(model=model, retriever=retriever, tokenizer=tokenizer, vectorstore=chroma_db)
 #############################################
+# Allgemeine Konstanten
+#Filepath zu temp Folder (temp) mit File von ausgewähltem chatverlauf
+file_path_download = ""
 
 
-def document_retrieval_chroma2(): 
-    #HF embeddings -----------------------------------
-    #Alternative Embedding - für Vektorstore, um Ähnlichkeitsvektoren zu erzeugen - die ...InstructEmbedding ist sehr rechenaufwendig
-    embeddings = HuggingFaceInstructEmbeddings(model_name="sentence-transformers/all-MiniLM-L6-v2", model_kwargs={"device": "cpu"})
-    #etwas weniger rechenaufwendig:
-    #embeddings = HuggingFaceEmbeddings(model_name="sentence-transformers/all-mpnet-base-v2", model_kwargs={"device": "cpu"}, encode_kwargs={'normalize_embeddings': False})
-    #oder einfach ohne Langchain:
-    #embeddings = SentenceTransformerEmbeddings(model_name="all-MiniLM-L6-v2")
 
-    #ChromaDb um die embedings zu speichern
-    db = Chroma(embedding_function = embeddings, persist_directory = PATH_WORK + CHROMA_DIR)
-    print ("Chroma DB bereit ...................")
-    
-    return db 
 	
 	
 	
@@ -82,19 +61,60 @@ def get_rag_response(question):
 
 
 	
-	
-# Funktion, die für den Chatbot genutzt wird
-def chatbot_response(user_input, chat_history=[]):
-    response = get_rag_response(user_input)
-    answer = response['answer']
-    documents = response['documents']
-    
-    doc_links = "\n\n".join([f"Link: {doc['link']}\nPassage: {doc['passage']}" for doc in documents])
+#Eingaben der GUI verarbeiten	
+def generate_auswahl(prompt_in, file, file_history, chatbot, history, top_p=0.6, temperature=0.5, max_new_tokens=4048, max_context_length_tokens=2048, repetition_penalty=1.3,top_k=5,  validate=False):
+    global vektordatenbank, retriever
+
+    #nur wenn man sich validiert hat, kann die Anwendung los legen
+    if (validate and not prompt_in == "" and not prompt_in == None):
+        # Vektorstore initialisieren
+        #falls schon ein File hochgeladen wurde, ist es in history_file gespeichert - falls ein neues File hochgeladen wurde, wird es anschließend neu gesetzt
+        neu_file = file_history
+        
+        #prompt normalisieren bevor er an die KIs geht
+        prompt = normalise_prompt(prompt_in)
+        
+        #muss nur einmal ausgeführt werden... 
+        if vektordatenbank == None:
+            print("db neu aufbauen!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!1")
+            splits = document_loading_splitting()
+            vektordatenbank, retriever = document_storage_chroma(splits)
+
+        #kein Bild hochgeladen -> auf Text antworten...
+        status = "Antwort der KI ..."
+        if (file == None and file_history == None):
+            result, status = generate_text(prompt, chatbot, history,vektordatenbank, top_p=0.6, temperature=0.5, max_new_tokens=4048, max_context_length_tokens=2048, repetition_penalty=1.3, top_k=3)
+            history = history + [[prompt, result]]
+        else:
+            #Es wurde ein File neu angehängt -> das hochladen und dann Prompt bearbeiten
+            #das history_fiel muss neu gesetzt werden
+            if (file != None):
+                # file_history wird neu gesetzt in der Rückgabe dieser Funktion...
+                neu_file = file
     
-    bot_response = f"{answer}\n\nRelevant Documents:\n{doc_links}"
+            #File hochladen in Chroma und dann Antwort generieren
+            result = generate_text_zu_doc(neu_file, prompt, k, rag_option, chatbot, history, vektordatenbank)
     
-    chat_history.append((user_input, bot_response))
-    return chat_history, chat_history
+            #die history erweitern - abhängig davon, ob gerade ein file hochgeladen wurde oder nicht
+            if (file != None):    
+                history = history + [[(file,), None],[prompt, result]]
+            else:
+                history = history + [[prompt, result]]
+                    
+        chatbot[-1][1] = ""
+        for character in result:
+            chatbot[-1][1] += character
+            time.sleep(0.03)
+            yield chatbot, history, None, neu_file, status
+            if shared_state.interrupted:
+                shared_state.recover()
+                try:
+                    yield chatbot, history, None, neu_file, "Stop: Success"
+                except:
+                    pass
+    else: #noch nicht validiert, oder kein Prompt
+        return chatbot, history, None, file_history, "Erst validieren oder einen Prompt eingeben!"
+            
 	
 	
 #############################