Update app.py

app.py

@@ -64,40 +64,24 @@ def get_conv_names():
     with lock:
         return list(conversations.keys())
 
-# Format de prompt Alpaca OPTIMISÉ
-def build_alpaca_prompt(instruction, input_text="", output_text=""):
-    """Format Alpaca optimisé pour la vitesse"""
-    if input_text:
-        return f"### Instruction:\n{instruction}\n\n### Input:\n{input_text}\n\n### Response:\n{output_text}"
-    else:
-        return f"### Instruction:\n{instruction}\n\n### Response:\n{output_text}"
-
+# FORMAT ULTRA-MINIMALISTE POUR MAXIMUM DE VITESSE
 def build_conversation_prompt(history, new_message):
-    """Prompt optimisé pour la vitesse avec format Alpaca léger"""
-    
-    # System prompt seulement au début (plus court)
-    system_prompt = "Tu es Alisia, assistante IA compétente. Réponds en français de façon concise."
+    """Format ultra-optimisé pour la vitesse maximale"""
     
-    # Construire l'historique de façon optimisée
-    conversation_parts = []
-    
-    # Ajouter l'historique seulement s'il y en a
-    if history:
-        for user_msg, assistant_msg in history:
-            conv_part = build_alpaca_prompt(user_msg, "", assistant_msg)
-            conversation_parts.append(conv_part)
+    # System prompt très court, seulement au début
+    if not history:
+        prompt = "Tu es Alisia, assistante IA. Réponds en français.\n\n"
+    else:
+        prompt = ""
     
-    # Ajouter le nouveau message
-    current_prompt = build_alpaca_prompt(new_message, "", "")
+    # Historique formaté de façon minimaliste
+    for i, (user_msg, assistant_msg) in enumerate(history):
+        prompt += f"Q: {user_msg}\nA: {assistant_msg}\n\n"
     
-    # Combiner tout le prompt
-    full_prompt = f"{system_prompt}\n\n" if not history else ""
-    full_prompt += "\n\n".join(conversation_parts)
-    if conversation_parts:
-        full_prompt += "\n\n"
-    full_prompt += current_prompt
+    # Nouveau message
+    prompt += f"Q: {new_message}\nA:"
     
-    return full_prompt
+    return prompt
 
 def send_message_stream(user_message, displayed_history, current_chat_name):
     global stop_generation
@@ -115,29 +99,31 @@ def send_message_stream(user_message, displayed_history, current_chat_name):
     local_hist.append((str(user_message), ""))
     yield local_hist, ""
 
-    # Construction OPTIMISÉE du prompt
+    # Construction ULTRA-RAPIDE du prompt
     formatted_prompt = build_conversation_prompt(local_hist[:-1], str(user_message))
     partial = ""
     
-    # PARAMÈTRES DE RÉACTIVITÉ ULTRA-RAPIDE
+    # PARAMÈTRES DE RÉACTIVITÉ MAXIMALE
     last_update = time.time()
     token_count = 0
-    min_tokens = 1      # Minimum réduit pour plus de réactivité
-    max_delay = 0.08    # Réduit à 80ms pour plus de vitesse
+    min_tokens = 1      # Mise à jour après chaque token
+    max_delay = 0.05    # Seulement 50ms entre les updates!
 
     try:
-        # Paramètres de génération OPTIMISÉS
+        # Paramètres de génération ULTRA-OPTIMISÉS
         stream = llm.create_completion(
             prompt=formatted_prompt,
             stream=True,
-            max_tokens=768,  # Réduit pour plus de vitesse
+            max_tokens=512,   # Réduit au maximum pour la vitesse
             temperature=0.7,
-            top_p=0.85,      # Légèrement réduit
-            repeat_penalty=1.15,  # Augmenté pour éviter la répétition
-            stop=["### Instruction:", "### Response:", "\n\n", "<|endoftext|>", "###"],
-            top_k=40         # Ajouté pour la vitesse
+            top_p=0.9,
+            repeat_penalty=1.1,
+            stop=["Q:", "A:", "\n\n", "<|endoftext|>", "###", "Instruction:", "Response:"],
+            top_k=40,
+            min_p=0.05        # Ajouté pour la vitesse
         )
 
+        buffer = ""
         for chunk in stream:
             if stop_generation.is_set():
                 break
@@ -145,27 +131,34 @@ def send_message_stream(user_message, displayed_history, current_chat_name):
             if "choices" in chunk and chunk["choices"]:
                 token = chunk["choices"][0].get("text", "")
                 if token:
-                    partial += token
+                    buffer += token
                     token_count += 1
                     
-                    # STRATÉGIE ULTRA-RAPIDE
+                    # STRATÉGIE ULTRA-RAPIDE - mise à jour immédiate
+                    current_time = time.time()
+                    time_since_update = current_time - last_update
+                    
                     should_update = (
                         token_count >= min_tokens or 
-                        time.time() - last_update > max_delay or
-                        token in [".", "!", "?", "\n"]
+                        time_since_update >= max_delay or
+                        token in ["\n", ".", "!", "?", ","]
                     )
                     
-                    if should_update:
-                        cleaned = clean_output(partial)
-                        local_hist[-1] = (str(user_message), cleaned)
-                        yield local_hist, ""
-                        last_update = time.time()
+                    if should_update and buffer.strip():
+                        cleaned = clean_output(buffer)
+                        if cleaned:  # Only update if we have meaningful content
+                            current_response = local_hist[-1][1] + cleaned
+                            local_hist[-1] = (str(user_message), current_response)
+                            yield local_hist, ""
+                            buffer = ""  # Clear buffer after updating
+                        last_update = current_time
                         token_count = 0
 
-        # DERNIER FLUSH - Garantit que tout est affiché
-        if partial:
-            cleaned = clean_output(partial)
-            local_hist[-1] = (str(user_message), cleaned)
+        # Final update with any remaining content
+        if buffer.strip():
+            cleaned = clean_output(buffer)
+            current_response = local_hist[-1][1] + cleaned
+            local_hist[-1] = (str(user_message), current_response)
             yield local_hist, ""
 
     except Exception as e:
@@ -389,7 +382,7 @@ with gr.Blocks(css=css, title="Alisia Chat - Ultra Rapide", theme=gr.themes.Soft
         menu_btn = gr.Button("☰", elem_classes="hamburger")
         gr.Markdown("### 💬 Alisia <span class='alisia-badge'>AI Assistant</span>", elem_id="title")
         gr.HTML("<div style='flex:1'></div>")
-        gr.Markdown("<small style='color:#94a3b8'>llama.cpp optimisé</small>")
+        gr.Markdown("<small style='color:#94a3b8'>Mode Turbo Activé</small>")
 
     with gr.Row():
         with gr.Column(scale=1, visible=True, elem_id="leftcol") as left_column:
@@ -410,12 +403,12 @@ with gr.Blocks(css=css, title="Alisia Chat - Ultra Rapide", theme=gr.themes.Soft
                     "🗑️ Effacer chat",
                     elem_classes="clear-btn"
                 )
-                gr.Markdown("## 🚀 Mode Ultra-Rapide", elem_classes="conversation-header")
+                gr.Markdown("## 🚀 Mode Turbo", elem_classes="conversation-header")
                 gr.Markdown("""
                 <div style="color: #94a3b8; font-size: 14px;">
-                ✅ Streaming hybride<br>
-                ✅ Réactivité 80ms<br>
-                ✅ Format Alpaca optimisé
+                ✅ Format minimaliste<br>
+                ✅ Réactivité 50ms<br>
+                ✅ Optimisation max
                 </div>
                 """, elem_classes="conversation-subheader")
 
@@ -515,9 +508,9 @@ with gr.Blocks(css=css, title="Alisia Chat - Ultra Rapide", theme=gr.themes.Soft
 # LANCEMENT
 # -------------------------
 if __name__ == "__main__":
-    print("🚀 Lancement de l'interface ULTRA-RAPIDE...")
-    print("⏱️  Mode streaming optimisé (80ms)")
-    print("🎯 Format Alpaca accéléré")
+    print("🚀 Lancement du mode TURBO...")
+    print("⏱️  Réactivité maximale (50ms)")
+    print("🎯 Format ultra-minimaliste")
     demo.launch(
         share=True,
         server_name="0.0.0.0",