Update app.py

app.py

@@ -30,23 +30,32 @@ def predict(text,
             temperature,
             max_length_tokens,
             max_context_length_tokens,):
+    global model, tokenizer, device
+
+    #wenn eingabe leer - nix tun
     if text=="":
-        yield chatbotGr,history,"Empty context."
+        yield history,"Empty context."
         return 
+
+    #wenn Model nicht gefunden -> Fehler
     try:
         model
     except:
-        yield [[text,"No Model Found"]],[],"No Model Found"
+        yield [],"No Model Found"
         return
 
+    #Prompt generieren -> mit Kontext bezogen auch auf vorhergehende Eingaben in dem chat
     inputs = generate_prompt_with_history(text,history,tokenizer,max_length=max_context_length_tokens)
     if inputs is None:
-        yield chatbotGr,history,"Input too long."
+        yield history,"Input too long."
         return 
     else:
         prompt,inputs=inputs
         begin_length = len(prompt)
-        
+
+    #####################################################################################################
+    #ist glaube ich unnötig, da ich mit Pipeline arbeiten -> mal schauen, ich behalte es noch...            
+    """
     input_ids = inputs["input_ids"][:,-max_context_length_tokens:].to(device)
     torch.cuda.empty_cache()
 
@@ -78,8 +87,18 @@ def predict(text,
         yield a,b,"Generate: Success"
     except:
         pass
+    """
+    ##########################################################################
+    #Prompt ist erzeugt, nun mit pipeline eine Antwort von der KI bekommen!
+    pipe = pipeline("text-generation", model=model, tokenizer=tokenizer, device=0)
+    bot_message = pipe(prompt)
 
+    #chatbot - history erweitern und an chatbotGr zurückschicken
+    history = history.append((text, bot_message))
+    return history, "Erfolg!"
 
+
+#neuen Chat beginnen
 def reset_chat():
     #id_new = chatbot.new_conversation()
     #chatbot.change_conversation(id_new)
@@ -162,15 +181,14 @@ with gr.Blocks(theme=small_and_beautiful_theme) as demo:
     predict_args = dict(
         fn=predict,
         inputs=[
-            user_question,
-            chatbotGr,
+            user_input,
             history,
             top_p,
             temperature,
             max_length_tokens,
             max_context_length_tokens,
         ],
-        outputs=[chatbotGr, history, status_display],
+        outputs=[chatbotGr, status_display],
         show_progress=True,
     )