Update app.py

app.py

@@ -294,7 +294,7 @@ def create_assistant_suche(prompt):
 #########################################################
 #Funktion wird direkt aufgerufen aus der GUI - von hier muss auch die Rückmeldung kommen....
 #man kann einen Text-Prompt eingeben (mit oder ohne RAG), dazu ein Image hochladen, ein Bild zu einem reinen textprompt erzeugen lassen
-def generate_auswahl(prompt_in, file, file_history, chatbot, history, rag_option, model_option, openai_api_key, k=3, top_p=0.6, temperature=0.5, max_new_tokens=4048, max_context_length_tokens=2048, repetition_penalty=1.3,top_k=35):
+def generate_auswahl(prompt_in, file, file_history, chatbot, history, rag_option, model_option, openai_api_key, k=3, top_p=0.6, temperature=0.5, max_new_tokens=4048, max_context_length_tokens=2048, repetition_penalty=1.3,top_k=35, websuche="Aus"):
         global splittet, db
         #wenn RAG angeschaltet - Vektorstore initialisieren
         #aber nur, wenn es noch nicht geshehen ist (splittet = False)
@@ -318,7 +318,7 @@ def generate_auswahl(prompt_in, file, file_history, chatbot, history, rag_option
         #kein Bild hochgeladen -> auf Text antworten...
         status = "Antwort der KI ..."
         if (file == None and file_history == None):
-            result, status = generate_text(prompt, chatbot, history, rag_option, model_option, openai_api_key, db, k=3, top_p=0.6, temperature=0.5, max_new_tokens=4048, max_context_length_tokens=2048, repetition_penalty=1.3, top_k=35)
+            result, status = generate_text(prompt, chatbot, history, rag_option, model_option, openai_api_key, db, k=3, top_p=0.6, temperature=0.5, max_new_tokens=4048, max_context_length_tokens=2048, repetition_penalty=1.3, top_k=35, websuche="Aus")
             history = history + [[prompt, result]]
         else:
             #Es wurde ein File neu angehängt -> wenn prompt dazu, das Bild analysieren
@@ -422,7 +422,7 @@ def generate_text_zu_doc(file, prompt, k, rag_option, chatbot, history, db):
 ####################################################
 #aus einem Text-Prompt die Antwort von KI bekommen
 #mit oder ohne RAG möglich
-def generate_text (prompt, chatbot, history, rag_option, model_option, openai_api_key, db, k=3, top_p=0.6, temperature=0.5, max_new_tokens=4048, max_context_length_tokens=2048, repetition_penalty=1.3, top_k=35):
+def generate_text (prompt, chatbot, history, rag_option, model_option, openai_api_key, db, k=3, top_p=0.6, temperature=0.5, max_new_tokens=4048, max_context_length_tokens=2048, repetition_penalty=1.3, top_k=35, websuche="Aus"):
     global splittet
     hugchat=False
     suche_im_Netz="Antwort der KI ..."
@@ -444,68 +444,77 @@ def generate_text (prompt, chatbot, history, rag_option, model_option, openai_ap
     #history_text_und_prompt = generate_prompt_with_history_langchain(prompt, history)
     
     try:
-        ###########################
-        #LLM auswählen (OpenAI oder HF)
-        ###########################
-        if (model_option == "OpenAI"):
-            #Anfrage an OpenAI ----------------------------
-            print("OpenAI Anfrage.......................")
-            llm = ChatOpenAI(model_name = MODEL_NAME,  openai_api_key = openai_api_key, temperature=temperature)#, top_p = top_p) 
-            #Prompt an history anhängen und einen Text daraus machen
-            if (rag_option == "An"):
+        if (websuche="Aus"):
+            ###########################
+            #LLM auswählen (OpenAI oder HF)
+            ###########################
+            if (model_option == "OpenAI"):
+                #Anfrage an OpenAI ----------------------------
+                print("OpenAI Anfrage.......................")
+                llm = ChatOpenAI(model_name = MODEL_NAME,  openai_api_key = openai_api_key, temperature=temperature)#, top_p = top_p) 
+                #Prompt an history anhängen und einen Text daraus machen
+                if (rag_option == "An"):
+                    history_text_und_prompt = generate_prompt_with_history(prompt, history) 
+                else:
+                    history_text_und_prompt = generate_prompt_with_history_openai(prompt, history) 
+            else:
+                #oder an Hugging Face --------------------------
+                print("HF Anfrage.......................")
+                model_kwargs={"temperature": 0.5, "max_length": 512, "num_return_sequences": 1, "top_k": top_k, "top_p": top_p, "repetition_penalty": repetition_penalty}
+                #llm = HuggingFaceHub(repo_id=repo_id, model_kwargs=model_kwargs) 
+                #llm = HuggingFaceChain(model=MODEL_NAME_HF, model_kwargs={"temperature": 0.5, "max_length": 128}) 
+                #llm = HuggingFaceHub(url_??? = "https://wdgsjd6zf201mufn.us-east-1.aws.endpoints.huggingface.cloud", model_kwargs={"temperature": 0.5, "max_length": 64}) 
+                #llm = HuggingFaceTextGenInference( inference_server_url="http://localhost:8010/", max_new_tokens=max_new_tokens,top_k=10,top_p=top_p,typical_p=0.95,temperature=temperature,repetition_penalty=repetition_penalty,)
+                #llm via HuggingChat
+                llm = hugchat.ChatBot(cookies=cookies.get_dict())
+                hugchat=True   #da dieses Model in llm_chain bzw reag_chain anderes verarbeitet wird
+                
+                print("HF")
+                #Prompt an history anhängen und einen Text daraus machen
                 history_text_und_prompt = generate_prompt_with_history(prompt, history) 
+        
+            #zusätzliche Dokumenten Splits aus DB zum Prompt hinzufügen (aus VektorDB - Chroma oder Mongo DB)
+            if (rag_option == "An"):
+                print("LLM aufrufen mit RAG: ...........")
+                result = rag_chain(llm, history_text_und_prompt, db)  #für hugchat noch kein rag möglich...
             else:
-                history_text_und_prompt = generate_prompt_with_history_openai(prompt, history) 
-        else:
-            #oder an Hugging Face --------------------------
-            print("HF Anfrage.......................")
-            model_kwargs={"temperature": 0.5, "max_length": 512, "num_return_sequences": 1, "top_k": top_k, "top_p": top_p, "repetition_penalty": repetition_penalty}
-            #llm = HuggingFaceHub(repo_id=repo_id, model_kwargs=model_kwargs) 
-            #llm = HuggingFaceChain(model=MODEL_NAME_HF, model_kwargs={"temperature": 0.5, "max_length": 128}) 
-            #llm = HuggingFaceHub(url_??? = "https://wdgsjd6zf201mufn.us-east-1.aws.endpoints.huggingface.cloud", model_kwargs={"temperature": 0.5, "max_length": 64}) 
-            #llm = HuggingFaceTextGenInference( inference_server_url="http://localhost:8010/", max_new_tokens=max_new_tokens,top_k=10,top_p=top_p,typical_p=0.95,temperature=temperature,repetition_penalty=repetition_penalty,)
-            #llm via HuggingChat
-            llm = hugchat.ChatBot(cookies=cookies.get_dict())
-            hugchat=True   #da dieses Model in llm_chain bzw reag_chain anderes verarbeitet wird
-            
-            print("HF")
+                #splittet = False
+                print("LLM aufrufen ohne RAG: ...........")
+                resulti = llm_chain(llm, history_text_und_prompt, hugchat)
+                result = resulti.strip()
+                """
+                #Alternativ mit API_URL - aber das model braucht 93 B Space!!!
+                    data = {"inputs": prompt, "options": {"max_new_tokens": max_new_tokens},}
+                    response = requests.post(API_URL_TEXT, headers=HEADERS, json=data)
+                    result = response.json()
+                    print("responseresult.............................")
+                    print(result)
+                    chatbot_response = result[0]['generated_text']
+                    print("anzahl tokens gesamt antwort:------------------")
+                    print (len(chatbot_response.split()))
+                    chatbot_message = chatbot_response[len(prompt):].strip()
+                    print("history/chatbot_rsponse:--------------------------------")
+                    print(history)
+                    print(chatbot_message) 
+                    result = chatbot_message
+                """
+        else: #Websuche ist An
+            print("Suche im Netz: ...........")
+            suche_im_Netz="Antwort aus dem Internet ..."
             #Prompt an history anhängen und einen Text daraus machen
             history_text_und_prompt = generate_prompt_with_history(prompt, history) 
-    
-        #zusätzliche Dokumenten Splits aus DB zum Prompt hinzufügen (aus VektorDB - Chroma oder Mongo DB)
-        if (rag_option == "An"):
-            print("LLM aufrufen mit RAG: ...........")
-            result = rag_chain(llm, history_text_und_prompt, db)  #für hugchat noch kein rag möglich...
-        else:
-            #splittet = False
-            print("LLM aufrufen ohne RAG: ...........")
-            resulti = llm_chain(llm, history_text_und_prompt, hugchat)
-            result = resulti.strip()
-            """
-            #Alternativ mit API_URL - aber das model braucht 93 B Space!!!
-                data = {"inputs": prompt, "options": {"max_new_tokens": max_new_tokens},}
-                response = requests.post(API_URL_TEXT, headers=HEADERS, json=data)
-                result = response.json()
-                print("responseresult.............................")
-                print(result)
-                chatbot_response = result[0]['generated_text']
-                print("anzahl tokens gesamt antwort:------------------")
-                print (len(chatbot_response.split()))
-                chatbot_message = chatbot_response[len(prompt):].strip()
-                print("history/chatbot_rsponse:--------------------------------")
-                print(history)
-                print(chatbot_message) 
-                result = chatbot_message
-            """
+            #mit tavily: 
+            #result = create_assistant_suche(history_text_und_prompt)
+            #mit hugchat
+            result = create_assistant_suche_hf(history_text_und_prompt)
                 
-                
-
+        """
         #Wenn keine Antwort möglich "Ich weiß es nicht" etc., dann versuchen mit Suche im Internet.
         if (result == None or is_response_similar(result)):
             print("Suche im Netz: ...........")
             suche_im_Netz="Antwort aus dem Internet ..."
             result = create_assistant_suche(prompt)
-        
+        """
     except Exception as e:
         raise gr.Error(e)
 
@@ -673,7 +682,7 @@ with gr.Blocks(css=custom_css(), theme=themeAlex) as demo:
                     with gr.Column(min_width=70, scale=1):
                         cancelBtn = gr.Button("Stop")
                 with gr.Row():
-                        #file_display = gr.File(visible=False)
+                        websuche = gr.Radio(["Aus", "An"], label="Web-Suche", value = "Aus")
                         image_display = gr.Image( visible=False)
                         upload = gr.UploadButton("📁", file_types=["image", "pdf", "docx", "pptx", "xlsx"], scale = 10)
                         emptyBtn = gr.ClearButton([user_input, chatbot, history, attached_file, attached_file_history, image_display], value="🧹 Neue Session", scale=10)  
@@ -832,7 +841,8 @@ with gr.Blocks(css=custom_css(), theme=themeAlex) as demo:
             max_length_tokens,
             max_context_length_tokens,
             repetition_penalty,
-            top_k
+            top_k,
+            websuche
         ],
         outputs=[chatbot, history, attached_file, attached_file_history, status_display], 
         show_progress=True,