Update main.py

main.py

@@ -36,8 +36,13 @@ def generate(prompt, history, temperature=0.2, max_new_tokens=30000, top_p=0.95,
     stream = client.text_generation(formatted_prompt, **generate_kwargs, stream=True, details=True, return_full_text=False)
     output = ""
 
+    # Accumula l'output in una lista invece di restituirlo ad ogni iterazione
+    output_list = []
     for response in stream:
-        output += response.token.text
-        yield output
-    return output
+        output_list.append(response.token.text)
+
+    # Unisci tutti i pezzi dell'output generato
+    generated_text = "".join(output_list)
+    return generated_text  # Restituisci l'intera sequenza generata
+