Update app.py

app.py

@@ -1,4 +1,3 @@
-
 import gradio as gr
 from transformers import AutoModelForCausalLM, AutoTokenizer
 
@@ -14,8 +13,25 @@ def generate_text(input_text):
     response_text = tokenizer.decode(output[0], skip_special_tokens=True)
     return response_text
 
-# Interface Gradio
-interface = gr.Interface(fn=generate_text, inputs="text", outputs="text", title="GPTQ Chatbot")
+# Interface Gradio avec gestion de file d'attente et de la concurrence
+with gr.Blocks() as demo:
+    gr.Markdown("# GPTQ Chatbot")
+    
+    # Entrée utilisateur
+    input_text = gr.Textbox(label="Votre message")
+    
+    # Sortie du chatbot
+    output_text = gr.Textbox(label="Réponse du chatbot")
+    
+    # Bouton pour générer la réponse
+    generate_btn = gr.Button("Générer une réponse")
+    
+    # Gestion de la file d'attente : limitation à 5 requêtes simultanées
+    generate_btn.click(fn=generate_text, inputs=input_text, outputs=output_text, concurrency_count=5)
+    
+    # File d'attente générale, avec une limite de 5 requêtes simultanées
+    demo.queue(concurrency_count=5)
 
 # Lancer l'application Gradio
-interface.launch()
+demo.launch()
+