add compression step

app.py

@@ -17,19 +17,60 @@ except Exception as e:
     print(f"Fehler beim Laden des Modells: {e}")
     pipe = None
     
+@spaces.GPU
+def compress_context(context_text, compression_prompt):
+    """
+    Komprimiert den gegebenen Kontext mit GPT-OSS basierend auf dem Komprimierungs-Prompt.
+    """
+    if not pipe:
+        return "Modell konnte nicht geladen werden. Bitte überprüfen Sie die Hardware-Konfiguration oder das Modell-Repository."
+    
+    if not context_text.strip():
+        return ""
+    
+    # Komprimierungs-Prompt mit Kontext kombinieren
+    full_prompt = f"{compression_prompt}\n\nKontext zu komprimieren:\n{context_text}\n\nKomprimierte Version:"
+    
+    # Komprimierung generieren
+    outputs = pipe(
+        full_prompt,
+        max_new_tokens=200,  # Mehr Tokens für Komprimierung
+        do_sample=True,
+        temperature=0.3,  # Niedrigere Temperatur für konsistentere Komprimierung
+        top_k=50,
+        top_p=0.95,
+        pad_token_id=pipe.tokenizer.eos_token_id
+    )
+    
+    # Extrahieren der komprimierten Version
+    response = outputs[0]["generated_text"]
+    
+    # Nur die komprimierte Version extrahieren
+    if "Komprimierte Version:" in response:
+        compressed = response.split("Komprimierte Version:")[-1].strip()
+    else:
+        compressed = response.strip()
+    
+    return compressed
+
 @spaces.GPU 
-def chat_with_llm(message, history, system_prompt_text):
+def chat_with_llm(message, history, system_prompt_text, compressed_context):
     """
-    Verarbeitet die Benutzernachricht, fügt den Chat-Verlauf und den System-Prompt hinzu und 
+    Verarbeitet die Benutzernachricht, fügt den Chat-Verlauf, System-Prompt und komprimierten Kontext hinzu und 
     generiert eine Antwort vom LLM.
     """
     if not pipe:
         return "Modell konnte nicht geladen werden. Bitte überprüfen Sie die Hardware-Konfiguration oder das Modell-Repository."
 
-    # Den System-Prompt und den vorherigen Chat-Verlauf kombinieren
+    # Den System-Prompt, komprimierten Kontext und den vorherigen Chat-Verlauf kombinieren
     full_prompt = f"{system_prompt_text}\n\n"
-    for human, assistant in history:
-        full_prompt += f"Benutzer: {human}\nAssistent: {assistant}\n"
+    if compressed_context and compressed_context.strip():
+        full_prompt += f"Kontext: {compressed_context}\n\n"
+    for msg in history:
+        if msg['role'] == 'user':
+            full_prompt += f"Benutzer: {msg['content']}\n"
+        elif msg['role'] == 'assistant':
+            full_prompt += f"Assistent: {msg['content']}\n"
 
     # Die aktuelle Nachricht hinzufügen
     full_prompt += f"Benutzer: {message}\nAssistent: "
@@ -60,23 +101,82 @@ def chat_with_llm(message, history, system_prompt_text):
 
 # Definition der Gradio-UI mit Blocks
 with gr.Blocks(theme=gr.themes.Soft()) as demo:
-    gr.Markdown("# GPT-OSS Chat mit Prompt-Engineering")
-    gr.Markdown("Geben Sie unten einen Prompt-Kontext ein, um das Verhalten des LLM zu steuern. Schreiben Sie dann Ihre Nachricht in das Chat-Feld.")
-
-    # Eingabefeld für den System-Prompt
-    system_prompt_input = gr.Textbox(
-        label="Prompt-Kontext (Optional)",
-        placeholder="z. B. 'Sie sind ein Experte für das Schreiben von Gedichten.'",
-        lines=3
-    )
+    gr.Markdown("# GPT-OSS Context Compression Chat")
+    gr.Markdown("**Schritt 1:** Geben Sie Ihren Kontext ein und lassen Sie ihn komprimieren. **Schritt 2:** Chatten Sie mit dem komprimierten Kontext.")
     
-    # Die Chat-Oberfläche, die unsere Funktion verwendet
-    chat_interface = gr.ChatInterface(
-        fn=chat_with_llm,
-        chatbot=gr.Chatbot(height=500),
-        additional_inputs=[system_prompt_input],
-        type='messages'
-    )
+    # State für komprimierten Kontext
+    compressed_context_state = gr.State("")
+    
+    with gr.Tab("1. Kontext Komprimierung"):
+        gr.Markdown("### Kontext eingeben und komprimieren")
+        
+        # Eingabefeld für den ursprünglichen Kontext
+        context_input = gr.Textbox(
+            label="Kontext zum Komprimieren",
+            placeholder="Geben Sie hier Ihren langen Kontext ein (z.B. Dokument, Artikel, etc.)...",
+            lines=10,
+            max_lines=20
+        )
+        
+        # Komprimierungs-Prompt (von dir definiert)
+        compression_prompt_input = gr.Textbox(
+            label="Komprimierungs-Prompt",
+            value="Fasse den folgenden Text präzise und strukturiert zusammen. Behalte alle wichtigen Informationen, Fakten und Details bei, aber entferne Redundanzen und unwichtige Füllwörter. Die Zusammenfassung soll als Kontext für weitere Gespräche dienen.",
+            lines=4
+        )
+        
+        compress_btn = gr.Button("Kontext komprimieren", variant="primary")
+        
+        # Ausgabe der Komprimierung
+        compressed_output = gr.Textbox(
+            label="Komprimierter Kontext",
+            lines=6,
+            interactive=False
+        )
+        
+        # Komprimierungs-Event
+        compress_btn.click(
+            fn=compress_context,
+            inputs=[context_input, compression_prompt_input],
+            outputs=[compressed_output]
+        ).then(
+            fn=lambda x: x,  # Kopiere komprimierten Kontext in State
+            inputs=[compressed_output],
+            outputs=[compressed_context_state]
+        )
+    
+    with gr.Tab("2. Chat mit Kontext"):
+        gr.Markdown("### Chat mit dem komprimierten Kontext")
+        
+        # Anzeige des aktuellen komprimierten Kontexts
+        current_context_display = gr.Textbox(
+            label="Aktueller komprimierter Kontext",
+            lines=4,
+            interactive=False,
+            value="Noch kein Kontext komprimiert. Wechseln Sie zu Tab 1."
+        )
+        
+        # System-Prompt für Chat
+        system_prompt_input = gr.Textbox(
+            label="System-Prompt (Optional)",
+            placeholder="z. B. 'Sie sind ein hilfsreicher Assistent.'",
+            lines=2
+        )
+        
+        # Chat-Interface
+        chat_interface = gr.ChatInterface(
+            fn=chat_with_llm,
+            chatbot=gr.Chatbot(height=400),
+            additional_inputs=[system_prompt_input, compressed_context_state],
+            type='messages'
+        )
+        
+        # Update der Kontext-Anzeige wenn sich der State ändert
+        compressed_context_state.change(
+            fn=lambda x: x if x else "Noch kein Kontext komprimiert. Wechseln Sie zu Tab 1.",
+            inputs=[compressed_context_state],
+            outputs=[current_context_display]
+        )
 
 if __name__ == "__main__":
     demo.launch()

test.py

@@ -28,8 +28,11 @@ def chat_with_llm(message, history, system_prompt_text):
 
     # Den System-Prompt und den vorherigen Chat-Verlauf kombinieren
     full_prompt = f"{system_prompt_text}\n\n"
-    for human, assistant in history:
-        full_prompt += f"Benutzer: {human}\nAssistent: {assistant}\n"
+    for msg in history:
+        if msg['role'] == 'user':
+            full_prompt += f"Benutzer: {msg['content']}\n"
+        elif msg['role'] == 'assistant':
+            full_prompt += f"Assistent: {msg['content']}\n"
 
     # Die aktuelle Nachricht hinzufügen
     full_prompt += f"Benutzer: {message}\nAssistent: "