Update main.py

main.py

@@ -18,6 +18,10 @@ def read_root(input):
     generated_response = next(generate(input, history))  # Ottieni la risposta generata
     return {"response": generated_response}  # Restituisci la risposta generata come JSON
 
+@app.get("/")
+def read_general():
+    return {"response": "Benvenuto. Per maggiori info vai a /docs"}  # Restituisci la risposta generata come JSON
+
 def generate(prompt, history, temperature=0.2, max_new_tokens=30000, top_p=0.95, repetition_penalty=1.0):
     temperature = float(temperature)
     if temperature < 1e-2:
@@ -35,7 +39,9 @@ def generate(prompt, history, temperature=0.2, max_new_tokens=30000, top_p=0.95,
     formatted_prompt = format_prompt(prompt, history)
     stream = client.text_generation(formatted_prompt, **generate_kwargs, stream=True, details=True, return_full_text=False)
 
-    # Ottieni l'output completo usando next() sull'iteratore
-    generated_output = next(stream).token.text
+    # Accumula l'output in una lista
+    output_list = []
+    for response in stream:
+        output_list.append(response.token.text)
 
-    return generated_output  # Restituisci l'intera sequenza generata 
+    return iter(output_list)  # Restituisci la lista come un iteratore