fixed response

app.py

@@ -477,7 +477,32 @@ class BSIChatbot:
     def launchGr(self):
         gr.Interface.from_pipeline(self.llmpipeline).launch()
 
+    def queryRemoteLLM(self, systemPrompt, query):
+        chat_completion = self.llm_client.chat.completions.create(
+            messages=[{"role": "system", "content": systemRole},
+                      {"role": "user", "content": "Step-Back Frage, die neu gestellt werden soll: " + query}],
+            model=self.llm_remote_model,
+        )
+        return Answer
+
+    def stepBackPrompt(self, query):
+        systemPrompt = """
+        Sie sind ein Experte für den IT-Grundschutz des BSI. 
+        Ihre Aufgabe ist es, eine Frage neu zu formulieren und sie in eine
+        Rückfrage umzuformulieren, die nach einem Grundkonzept der Begrifflichkeit fragt. 
+
+        Hier sind ein paar Beispiele:
+        Ursprüngliche Frage: Welche Bausteine werden auf einen Webserver angewendet?
+        Stepback-Frage: Wie werden Bausteine im IT-Grundschutz angewendet?
+
+        Ursprüngliche Frage: Wer war der Ehemann von Anna Karina von 1968 bis 1974?
+        Stepback-Frage: Wer waren die Ehegatten von Anna Karina?
 
+        Ursprüngliche Frage: Welche Inhalte enthält der Standard 200-1?
+        Stepback Frage: Welche Standards gibt es im IT-Grundschutz?
+        """
+        stepBackQuery = queryRemoteLLM(systemPrompt, query)
+        return stepBackQuery
 
 if __name__ == '__main__':
     #RAW_KNOWLEDGE_BASE = []
@@ -551,9 +576,10 @@ if __name__ == '__main__':
                 #    token = f"\n{token}"
                 #if re.match(r"^[1-9]\.",token.choices[0].delta.content):
                 #    token = f"\n{token}"
-                if token.choices != None:
-                    history[-1]['content'] += token.choices[0].delta.content
-                    yield history, image_gallery
+                if token.choices and len(token.choices) > 0:
+                    if token.choices[0].delta.content != "":
+                        history[-1]['content'] += token.choices[0].delta.content
+                        yield history, image_gallery
             end = time.time()
             print("End2End Query took", end - start, "seconds!")