Update app.py

app.py

@@ -33,11 +33,11 @@ hf_hub_download(
     filename="UD-Q3_K_XL/GLM-4.5-Air-UD-Q3_K_XL-00001-of-00002.gguf",
     local_dir = "./models"
 )
-#hf_hub_download(
-#    repo_id="unsloth/GLM-4.5-Air-GGUF",
-#    filename="UD-Q3_K_XL/GLM-4.5-Air-UD-Q3_K_XL-00002-of-00002.gguf",
-#    local_dir = "./models"
-#)
+hf_hub_download(
+    repo_id="unsloth/GLM-4.5-Air-GGUF",
+    filename="UD-Q3_K_XL/GLM-4.5-Air-UD-Q3_K_XL-00002-of-00002.gguf",
+    local_dir = "./models"
+)
 
 # --- CSS Styling ---
 css = """
@@ -122,7 +122,6 @@ def respond(
     
     chat_template = get_messages_formatter_type(model)
     
-    # Llama-Modell initialisieren oder wechseln, falls nötig
     if llm is None or llm_model != model:
         llm = Llama(
             model_path=f"models/{model}",
@@ -154,15 +153,13 @@ def respond(
     # Chat-Verlauf vorbereiten
     messages = BasicChatHistory()
 
-    # KORREKTUR: Iteriere über die Gradio-Dictionaries und konvertiere sie
     for msn in history:
-        # Sicherstellen, dass die Rolle korrekt konvertiert wird
         if msn.get('role') == 'user':
             role = Roles.user
         elif msn.get('role') == 'assistant':
             role = Roles.assistant
         else:
-             continue # Überspringe unerwartete Rollen
+             continue
              
         message_dict = {
             'role': role,
@@ -170,7 +167,6 @@ def respond(
         }
         messages.add_message(message_dict)
     
-    # Antwort streamen
     stream = agent.get_chat_response(
         message,
         llm_sampling_settings=settings,
@@ -209,10 +205,7 @@ PLACEHOLDER = """
     </div>
 </div>
 """
-# --- Die Variable 'placeholder_html' ist nicht mehr notwendig und wird entfernt ---
-
 
-# --- Zusätzliche Eingabekomponenten erstellen ---
 model_dropdown = gr.Dropdown([
     'granite-4.0-h-tiny-UD-Q3_K_XL.gguf',
     'Llama-3.2-1B-Instruct-UD-Q2_K_XL.gguf',
@@ -247,13 +240,10 @@ repeat_penalty_slider = gr.Slider(
     label="Repetition penalty",
 )
 
-
 # --- Gradio Chat Interface Definition (Fix implementiert) ---
 demo = gr.ChatInterface(
     respond,
     type="messages",
-    # FIX: Verwende den HTML-String (PLACEHOLDER) direkt und setze label=False, 
-    # damit Gradio es korrekt rendert.
     chatbot=gr.Chatbot(placeholder=PLACEHOLDER, height=450, type="messages", label=False), 
     additional_inputs=[
         model_dropdown,