Update app.py

app.py

@@ -37,6 +37,16 @@ from beschreibungen import *
 #Konstanten
 #Validieren des PW
 ANTI_BOT_PW = os.getenv("VALIDATE_PW")
+
+###############################
+#HF Authentifizierung
+HUGGINGFACEHUB_API_TOKEN = os.getenv("HF_READ")
+os.environ["HUGGINGFACEHUB_API_TOKEN"] = HUGGINGFACEHUB_API_TOKEN
+HEADERS = {"Authorization": f"Bearer {HUGGINGFACEHUB_API_TOKEN}"}
+# Hugging Face Token direkt im Code setzen
+hf_token = os.getenv("HF_READ")
+
+
 #max Anzahl der zurückgelieferten Dokumente
 ANZAHL_DOCS = 5
 PATH_WORK = "."
@@ -49,11 +59,11 @@ MODEL_NAME_HF  = "HuggingFaceH4/zephyr-7b-alpha" #"mistralai/Mixtral-8x7B-Instru
 
 #HuggingFace Reop ID--------------------------------
 #repo_id = "meta-llama/Llama-2-13b-chat-hf"   
-#repo_id = "HuggingFaceH4/zephyr-7b-alpha"   #das Modell ist echt gut!!! Vom MIT
+repo_id = "HuggingFaceH4/zephyr-7b-alpha"   #das Modell ist echt gut!!! Vom MIT
 #repo_id = "TheBloke/Yi-34B-Chat-GGUF"
 #repo_id = "meta-llama/Llama-2-70b-chat-hf"    
 #repo_id = "tiiuae/falcon-40b"  
-repo_id = "Vicuna-33b"
+#repo_id = "Vicuna-33b"
 #repo_id = "alexkueck/ChatBotLI2Klein"
 #repo_id = "mistralai/Mistral-7B-v0.1"
 #repo_id = "internlm/internlm-chat-7b"
@@ -65,9 +75,12 @@ repo_id = "Vicuna-33b"
 #repo_id  = "mistralai/Mixtral-8x7B-Instruct-v0.1"
 #repo_id = "abacusai/Smaug-72B-v0.1"
 
-# Hugging Face Token direkt im Code setzen
-hf_token = os.getenv("HF_READ")
-os.environ["HUGGINGFACEHUB_API_TOKEN"] = os.getenv("HF_READ")
+####################################
+#HF API - URL
+API_URL = "https://api-inference.huggingface.co/models/Falconsai/text_summarization"
+
+
+
 
 ###############################################
 #globale Variablen
@@ -186,7 +199,6 @@ def reset_textbox():
 
 
 
-
 ####################################################
 #aus einem Text-Prompt die Antwort von KI bekommen
 def generate_text (prompt, chatbot, history, vektordatenbank, retriever, top_p=0.6, temperature=0.2, max_new_tokens=4048, max_context_length_tokens=2048, repetition_penalty=1.3, top_k=35):
@@ -215,6 +227,7 @@ def generate_text (prompt, chatbot, history, vektordatenbank, retriever, top_p=0
             repetition_penalty=repetition_penalty
         )
         """
+        
         #######################################################
         #Alternativ, wenn repro_id gegeben:
         # Verwenden Sie die InferenceApi von huggingface_hub
@@ -227,7 +240,8 @@ def generate_text (prompt, chatbot, history, vektordatenbank, retriever, top_p=0
         #zusätzliche Dokumenten Splits aus DB zum Prompt hinzufügen (aus VektorDB - Chroma oder Mongo DB)
         print("LLM aufrufen mit RAG: ...........")
         #result = rag_chain(history_text_und_prompt, vektordatenbank, ANZAHL_DOCS)
-        result = rag_chain(llm, history_text_und_prompt, retriever)
+        #result = rag_chain(llm, history_text_und_prompt, retriever)
+        result = rag_chain2(history_text_und_prompt, retriever)
            
     except Exception as e:
         raise gr.Error(e)