Update app.py

app.py

@@ -54,10 +54,16 @@ CHROMA_DIR  = "/chroma/kkg"
 CHROMA_PDF = './chroma/kkg/pdf'
 CHROMA_WORD = './chroma/kkg/word'
 CHROMA_EXCEL = './chroma/kkg/excel'
-#HuggingFace Model name--------------------------------
-MODEL_NAME_HF  = 'all-MiniLM-L6-v2' #"t5-small" #"meta-llama/Meta-Llama-3-8B-Instruct" #"mistralai/Mistral-7B-Instruct-v0.3" #"microsoft/Phi-3-mini-4k-instruct" #"HuggingFaceH4/zephyr-7b-alpha" 
 
-#HuggingFace Reop ID--------------------------------
+###########################################
+# Alternativen, um HF Modelle in der rAG Chain einzusetzen
+###########################################
+#######################################
+#1. Alternative: HuggingFace Model name--------------------------------
+MODEL_NAME_HF  = "t5-small" #"meta-llama/Meta-Llama-3-8B-Instruct" #"mistralai/Mistral-7B-Instruct-v0.3" #"microsoft/Phi-3-mini-4k-instruct" #"HuggingFaceH4/zephyr-7b-alpha" 
+
+############################################
+#2. Alternative_ HuggingFace Reop ID--------------------------------
 #repo_id = "meta-llama/Llama-2-13b-chat-hf"   
 repo_id = "HuggingFaceH4/zephyr-7b-alpha"   #das Modell ist echt gut!!! Vom MIT
 #repo_id = "TheBloke/Yi-34B-Chat-GGUF"
@@ -75,8 +81,8 @@ repo_id = "HuggingFaceH4/zephyr-7b-alpha"   #das Modell ist echt gut!!! Vom MIT
 #repo_id  = "mistralai/Mixtral-8x7B-Instruct-v0.1"
 #repo_id = "abacusai/Smaug-72B-v0.1"
 
-####################################
-#HF API - URL
+###########################################
+#3. Alternative: HF API - URL
 API_URL = "https://api-inference.huggingface.co/models/Falconsai/text_summarization"
 
 
@@ -217,16 +223,17 @@ def generate_text (prompt, chatbot, history, vektordatenbank, retriever, top_p=0
         print("HF Anfrage.......................")
         #zusätzliche Dokumenten Splits aus DB zum Prompt hinzufügen (aus VektorDB - Chroma oder Mongo DB)
         print("LLM aufrufen mit RAG: .....................................................")
+        
         ##############################################
         #Verschiedene Alternativen als llm übergeben an die rag-chain
         #############################################
         #0. Alternative - repo ID
-        #Alternativ, wenn repro_id gegeben:
-        # Verwenden Sie die InferenceApi von huggingface_hub
+        # Verwenden Sie die Inference Api von huggingface_hub
         #llm = InferenceApi(repo_id, token=hf_token)
         #result = rag_chain(llm, history_text_und_prompt, retriever)
 
-        #1.Alternative mit Inference API
+        ##############################################
+        #1.Alternative mit Inference API ung HF EndPoint
         # Erstelle eine HuggingFaceEndPoints-Instanz mit den entsprechenden Endpunkt-Parametern
         """
         llm = HuggingFaceEndpoint(
@@ -240,15 +247,17 @@ def generate_text (prompt, chatbot, history, vektordatenbank, retriever, top_p=0
         )
         result = rag_chain(llm, history_text_und_prompt, retriever)
         """
-        
+
+        #############################################
         #2. Alternative: mit API_URL
-        #result = rag_chain(API_URL, history_text_und_prompt, retriever)
+        result = rag_chain(API_URL, history_text_und_prompt, retriever)
 
+        #############################################
         #3.te Alternative für pipeline
         # Erstelle eine Pipeline mit den gewünschten Parametern
         #llm = pipeline("text-generation", model=MODEL_NAME_HF, config={"temperature": 0.5, "max_length": 1024, "num_return_sequences": 1, "top_k": top_k, "top_p": top_p, "repetition_penalty": repetition_penalty}, trust_remote_code=True)
-        llm = pipeline("summarization", model=MODEL_NAME_HF, trust_remote_code=True)
-        result = rag_chain(llm, history_text_und_prompt, retriever)
+        #llm = pipeline("summarization", model=MODEL_NAME_HF, trust_remote_code=True)
+        #result = rag_chain(llm, history_text_und_prompt, retriever)
            
     except Exception as e:
         raise gr.Error(e)