Update app.py (#2)

- Update app.py (165564616650f1f6ed61dc26d3277e9a4e965acf)

app.py

@@ -15,6 +15,9 @@ llm_model = None
 # TODO: have a list of repo/filename pairs
 # TODO: Derive the Dropdown list and default from it. First entry is default.
 
+# --- Modell-Downloads ---
+# Beachte: Beim ersten Ausführen werden diese Modelle heruntergeladen und im Ordner ./models gespeichert.
+
 hf_hub_download(
     repo_id="unsloth/Llama-3.2-1B-Instruct-GGUF",
     filename = "Llama-3.2-1B-Instruct-UD-Q2_K_XL.gguf",
@@ -40,6 +43,8 @@ hf_hub_download(
     filename="UD-Q3_K_XL/GLM-4.5-Air-UD-Q3_K_XL-00002-of-00002.gguf",
     local_dir = "./models"
 )
+
+# --- CSS Styling ---
 css = """
 .bubble-wrap {
     padding-top: calc(var(--spacing-xl) * 3) !important;
@@ -91,6 +96,7 @@ css = """
 }
 """
 
+# --- Hilfsfunktion für den Message Formatter Typ ---
 def get_messages_formatter_type(model_name):
     print(f"getting type for model: {model_name}")
     if "Llama" in model_name:
@@ -101,9 +107,9 @@ def get_messages_formatter_type(model_name):
         return MessagesFormatterType.CHATML
     else:
         print("formatter type not found, trying default")
-        # raise ValueError(f"Unsupported model: {model_name}")
         return MessagesFormatterType.CHATML
 
+# --- Haupt-Antwortfunktion für ChatInterface ---
 @spaces.GPU(duration=45)
 def respond(
     message,
@@ -121,6 +127,7 @@ def respond(
     
     chat_template = get_messages_formatter_type(model)
     
+    # Llama-Modell initialisieren oder wechseln, falls nötig
     if llm is None or llm_model != model:
         llm = Llama(
             model_path=f"models/{model}",
@@ -140,6 +147,7 @@ def respond(
         debug_output=True
     )
     
+    # Sampling-Einstellungen setzen
     settings = provider.get_provider_default_settings()
     settings.temperature = temperature
     settings.top_k = top_k
@@ -148,6 +156,7 @@ def respond(
     settings.repeat_penalty = repeat_penalty
     settings.stream = True
 
+    # Chat-Verlauf vorbereiten
     messages = BasicChatHistory()
 
     for msn in history:
@@ -162,6 +171,7 @@ def respond(
         messages.add_message(user)
         messages.add_message(assistant)
     
+    # Antwort streamen
     stream = agent.get_chat_response(
         message,
         llm_sampling_settings=settings,
@@ -175,6 +185,7 @@ def respond(
         outputs += output
         yield outputs
 
+# --- HTML Platzhalter für den Chatbot ---
 PLACEHOLDER = """
 <div class="message-bubble-border" style="display:flex; max-width: 600px; border-radius: 6px; border-width: 1px; border-color: #e5e7eb; box-shadow: 0 4px 6px rgba(0, 0, 0, 0.1); backdrop-filter: blur(10px);">
     <div style="padding: .5rem 1.5rem;display: flex;flex-direction: column;justify-content: space-evenly;">
@@ -200,8 +211,9 @@ PLACEHOLDER = """
 </div>
 """
 
-# Definiere die Komponenten für die zusätzlichen Eingaben
-# Diese müssen als Liste in 'additional_inputs' übergeben werden
+# --- Zusätzliche Eingabekomponenten erstellen (Gradio V4+) ---
+
+# Komponente 1: Model Dropdown
 model_dropdown = gr.Dropdown([
     'granite-4.0-h-tiny-UD-Q3_K_XL.gguf',
     'Llama-3.2-1B-Instruct-UD-Q2_K_XL.gguf',
@@ -212,9 +224,16 @@ model_dropdown = gr.Dropdown([
     label="Model"
 )
 
+# Komponente 2: System Message
 system_textbox = gr.Textbox(value="You are a deep thinking AI, you may use extremely long chains of thought to deeply consider the problem and deliberate with yourself via systematic reasoning processes to help come to a correct solution prior to answering. You should enclose your thoughts and internal monologue inside <think> </think> tags, and then provide your solution or response to the problem.", label="System message")
+
+# Komponente 3: Max Tokens
 max_tokens_slider = gr.Slider(minimum=1, maximum=4096, value=2048, step=1, label="Max tokens")
+
+# Komponente 4: Temperature
 temperature_slider = gr.Slider(minimum=0.1, maximum=4.0, value=0.7, step=0.1, label="Temperature")
+
+# Komponente 5: Top-p
 top_p_slider = gr.Slider(
     minimum=0.1,
     maximum=1.0,
@@ -222,6 +241,8 @@ top_p_slider = gr.Slider(
     step=0.05,
     label="Top-p",
 )
+
+# Komponente 6: Top-k
 top_k_slider = gr.Slider(
     minimum=0,
     maximum=100,
@@ -229,6 +250,8 @@ top_k_slider = gr.Slider(
     step=1,
     label="Top-k",
 )
+
+# Komponente 7: Repetition penalty
 repeat_penalty_slider = gr.Slider(
     minimum=0.0,
     maximum=2.0,
@@ -238,9 +261,10 @@ repeat_penalty_slider = gr.Slider(
 )
 
 
+# --- Gradio Chat Interface Definition ---
 demo = gr.ChatInterface(
     respond,
-    # Übergabe der Komponenten als Liste
+    # Zusätzliche Komponenten als Liste übergeben
     additional_inputs=[
         model_dropdown,
         system_textbox,
@@ -250,6 +274,7 @@ demo = gr.ChatInterface(
         top_k_slider,
         repeat_penalty_slider
     ],
+    # Theme und CSS
     theme=gr.themes.Soft(primary_hue="violet", secondary_hue="violet", neutral_hue="gray",font=[gr.themes.GoogleFont("Exo"), "ui-sans-serif", "system-ui", "sans-serif"]).set(
         body_background_fill_dark="#16141c",
         block_background_fill_dark="#16141c",
@@ -264,17 +289,17 @@ demo = gr.ChatInterface(
         code_background_fill_dark="#292733",
     ),
     css=css,
-    retry_btn="Retry",
-    undo_btn="Undo",
-    clear_btn="Clear",
-    submit_btn="Send",
+    # HINWEIS: Schaltflächenparameter wurden von *_btn zu *_label geändert (Gradio V4+ Fix)
+    retry_label="Retry",
+    undo_label="Undo",
+    clear_label="Clear",
+    submit_label="Send",
     description="Llama-cpp-agent: Chat multi llm selection",
-    # Die Platzhalter-Anzeige für den Chatbot wird jetzt direkt über 'chatbot_placeholder' oder 
-    # über die 'placeholder' Eigenschaft des ChatInterfaces (wie hier) gesetzt, 
-    # nicht mehr durch ein gr.Chatbot Objekt.
+    # Platzhalter für den Chatbot (gr.Chatbot-Objekt wird in V4+ nicht mehr direkt übergeben)
     placeholder=PLACEHOLDER, 
-    # Der Parameter chatbot wird nicht mehr verwendet
 )
 
+# --- App starten ---
 if __name__ == "__main__":
+    # gr.ChatInterface erfordert Gradio v4+
     demo.launch()