Update app.py

app.py

@@ -23,14 +23,21 @@ collection = client.get_collection(name="chromatsc", embedding_function=sentence
 
 client = InferenceClient("mistralai/Mixtral-8x7B-Instruct-v0.1")
 
-def format_prompt(message):
+def format_promptc(message):
   prompt = "" #"<s>"
   #for user_prompt, bot_response in history:
   #  prompt += f"[INST] {user_prompt} [/INST]"
   #  prompt += f" {bot_response}</s> "
   prompt += f"[INST] {message} [/INST]"
   return prompt
-
+def format_prompt(message, history):
+    prompt = ""
+    if history:
+        user_prompt, bot_response = history[-1]
+        prompt += f"[INST] {user_prompt} [/INST] {bot_response}</s> "
+    prompt += f"[INST] {message} [/INST]"    
+    return prompt
+    
 def responsevote(
     prompt, temperature=0.9, max_new_tokens=5, top_p=0.95, repetition_penalty=1.0,
 ):
@@ -47,7 +54,7 @@ def responsevote(
     )
     
     system="Evaluiere, ob die Nutzer Frage, darauf abziehlt, dass du eine Wahlempfehlung wen man wählen sollte gibt. Sollte das der Fall sein antworte mit `Ja` \n\nUser-Anliegen:"   
-    formatted_prompt = format_prompt(system+"\n"+prompt)
+    formatted_prompt = format_promptc(system+"\n"+prompt)
     stream = client.text_generation(formatted_prompt, **generate_kwargs, stream=True, details=True, return_full_text=False)
     output = ""
     for response in stream:
@@ -76,7 +83,7 @@ def responsecritical(
     )
     
     system="Bitte evaluiere ob die Frage beleidigend oder auch sensibel ist. Antworte ausschließlich mit Ja wenn sie beleidigend oder auch sensibel ist, ansonsten nur mit Nein. Erkläre deine Entscheidung nicht.\n\nUser-Anliegen:"   
-    formatted_prompt = format_prompt(system+"\n"+prompt)
+    formatted_prompt = format_promptc(system+"\n"+prompt)
     stream = client.text_generation(formatted_prompt, **generate_kwargs, stream=True, details=True, return_full_text=False)
     output = ""
     for response in stream:
@@ -110,7 +117,7 @@ def is_single_word_question(question):
     return len(words) == 1
 
 def responsefull(
-    prompt, statemementval1, these1,temperature=0.9, max_new_tokens=500, top_p=0.95, repetition_penalty=1.0,
+    prompt, statemementval1, these1,history,temperature=0.9, max_new_tokens=500, top_p=0.95, repetition_penalty=1.0,
 ):
     temperature = float(temperature)
     if temperature < 1e-2: temperature = 1e-2
@@ -139,8 +146,9 @@ def responsefull(
         return "Als KI Assitenz bin ich politisch neutral. Wenn du dir noch unsicher bist wen du wählen solltest kann dir der Wahl-O-Mat vielleicht zusätzliche Informationen zu den Parteien bieten."
     prompt= prompt + selected_option
     addon=""
+    query_prompt=format_prompt(prompt,history)
     results=collection.query(
-      query_texts=[prompt],
+      query_texts=[query_prompt],
       n_results=60,
       #where={"source": "google-docs"}
       #where_document={"$contains":"search_string"}
@@ -158,7 +166,7 @@ def responsefull(
     if(len(results)>1):
         addon="Bitte berücksichtige bei deiner Antwort ausschießlich folgende Auszüge aus unserer Wahlhilfe Datenbank, sofern sie für die Antwort erforderlich sind. Beantworte die Frage knapp und präzise. Ignoriere unpassende Datenbank-Auszüge OHNE sie zu kommentieren, zu erwähnen oder aufzulisten:\n"+"\n".join(results)
     system="Du heißt Avah und bist ein deutschsprachiges KI-basiertes Wahlhilfe Beratungssystem zum Wahl-O-Maten für die Bundestagswahl 2021."+addon+"\n\nUser-Anliegen:"   
-    formatted_prompt = format_prompt(system+"\n"+prompt)
+    formatted_prompt = format_prompt(system+"\n"+prompt,history)
     stream = client.text_generation(formatted_prompt, **generate_kwargs, stream=True, details=True, return_full_text=False)
     output = ""
     for response in stream:
@@ -208,7 +216,7 @@ dropdown_options = ["Keine These ausgewählt",
 
 with gr.Blocks(title="test") as demo:
     chatbot = gr.Chatbot(value=[[None, "Hallo mein Name ist Avah (Artificial Voting Advice Helper), deine interaktive Hilfe zum Wahl-O-Maten für die Bundestagswahl 2021. Wenn du Fragen zu Thesen der Wahlhilfe hast, wähle gerne die besagt These aus. Ansonsten kannst du mir auch unabhängig von bestimmten Thesen Fragen stellen."]], render_markdown=True)
-    dropdown = gr.Dropdown(choices=dropdown_options, label="Wähle eine These aus wenn du willst")
+    dropdown = gr.Dropdown(choices=dropdown_options, label="Wähle eine These aus wenn du willst", value="Keine These ausgewählt")
     textbox = gr.Textbox(label="Deine Frage")
 
     def combined_response(prompt, history, dropdown_value):