Update run.py

run.py

@@ -59,7 +59,7 @@ def format_prompt0(message, history):
 def format_prompt(message, history, system=None, RAGAddon=None, system2=None, zeichenlimit=None,historylimit=4, removeHTML=False):
   if zeichenlimit is None: zeichenlimit=1000000000 # :-)
   startOfString="<s>"  #<s> [INST] U1 [/INST] A1</s> [INST] U2 [/INST] A2</s>
-  template0=" [INST]{system}\n[/INST]</s>"  
+  template0=" [INST] {system} [/INST]</s>"  
   template1=" [INST] {message} [/INST]"
   template2=" {response}</s>"
   prompt = ""
@@ -217,6 +217,7 @@ def multimodalResponse(message, history, dropdown, hfToken, request: gr.Request)
   print(str(client.list_collections()))
   x=collection.get(include=[])["ids"]  
   context=collection.query(query_texts=[query], n_results=1)
+  context=["<context "+str(i)+"> "+str(c)+"</context "+str(i)+">" for i,c in enumerate(context["documents"][0])]
   gr.Info("Kontext:\n"+str(context))    
   generate_kwargs = dict(
         temperature=float(0.9),
@@ -226,9 +227,9 @@ def multimodalResponse(message, history, dropdown, hfToken, request: gr.Request)
         do_sample=True,
         seed=42,
   )
-  system="Mit Blick auf das folgende Gespräch und den relevanten Kontext, antworte auf die aktuelle Frage des Nutzers."+\
-  "Antworte ausschließlich auf Basis der Informationen im Kontext.\n\nKontext:"+\
-  str(context)
+  system="Mit Blick auf das folgende Gespräch und den relevanten Kontext, antworte auf die aktuelle Frage des Nutzers. "+\
+  "Antworte ausschließlich auf Basis der Informationen im Kontext.\n\nKontext:\n\n"+\
+  str("\n\n".join(context))
   #"Given the following conversation, relevant context, and a follow up question, "+\
   #"reply with an answer to the current question the user is asking. "+\
   #"Return only your response to the question given the above information "+\