Update app.py

app.py

@@ -2,27 +2,18 @@ import gradio as gr
 from llama_cpp import Llama
 
 # --- 1. MODELL LADEN ---
-# Wir laden das Modell global, damit es nicht bei jeder Nachricht neu geladen werden muss.
 llm = Llama.from_pretrained(
     repo_id="simonper/Llama-3.2-1B-bnb-4bit_finetome-100k_gguf_3epochs_4bit",
     filename="Llama-3.2-1B.Q4_K_M.gguf",
-    n_ctx=2048,      # Kontext-Fenstergröße
-    n_threads=2,     # Anzahl CPU Threads
+    n_ctx=2048,
+    n_threads=2, # Optimiert für Hugging Face CPU Basic Tier
 )
 
 # --- 2. HELPER: PROMPT BAUEN ---
 def build_prompt(system_message: str, history: list[dict], user_message: str) -> str:
-    """
-    Wandelt die Chat-Historie (Liste von Dicts) in einen einzelnen String um,
-    den das Llama-Modell verstehen kann.
-    """
     lines = []
-
-    # System-Nachricht am Anfang
     if system_message:
         lines.append(f"System: {system_message}\n")
-
-    # Chat-Historie
     for turn in history:
         role = turn["role"]
         content = turn["content"]
@@ -30,64 +21,92 @@ def build_prompt(system_message: str, history: list[dict], user_message: str) ->
             lines.append(f"User: {content}")
         elif role == "assistant":
             lines.append(f"Assistant: {content}")
-
-    # Aktuelle User-Nachricht
     lines.append(f"User: {user_message}")
     lines.append("Assistant:")
-
     return "\n".join(lines)
 
-
 # --- 3. RESPOND FUNKTION ---
 def respond(
     message,
     history: list[dict[str, str]],
-    system_message,
+    system_message_dummy,
     max_tokens,
     temperature,
     top_p,
+    repetition_penalty,  # <--- NEUER PARAMETER
+    style_mode,
 ):
-    # Den Prompt zusammenbauen
-    prompt = build_prompt(system_message, history, message)
+    
+    # --- A. Style Logik ---
+    base_instruction = (
+        "Du bist ein hilfreicher Assistent zur Textumformulierung. "
+        "Gib die folgende Eingabe des Nutzers inhaltlich identisch zurück, ändere nur die Formulierungen."
+    )
+    
+    context = ""
+    if style_mode == "Professionelle E-Mail":
+        context = "Formuliere die Eingabe extrem höflich und professionell (Business-Deutsch)."
+    elif style_mode == "Gen-Z / Jugendsprache":
+        context = "Formuliere die Eingabe in Jugendsprache (nutze Wörter wie 'cringe', 'wild', 'sus', Emojis)."
+    elif style_mode == "Shakespeare":
+        context = "Formuliere die Eingabe in altmodischem, poetischem Deutsch."
+    elif style_mode == "Passiv-Aggressiv":
+        context = "Formuliere die Eingabe höflich, aber unterschwellig passiv-aggressiv."
+    elif style_mode == "Lustig/Ironisch":
+        context = "Formuliere die Eingabe lustig und ironisch."
+    else:
+        context = "Antworte ganz normal."
+
+    final_system = f"{base_instruction} {context} Verändere nicht die Bedeutung."
 
-    # Das Modell aufrufen
+    # --- B. Prompt bauen ---
+    prompt = build_prompt(final_system, history, message)
+
+    # --- C. Modell aufrufen ---
     output = llm(
         prompt,
         max_tokens=int(max_tokens),
         temperature=float(temperature),
         top_p=float(top_p),
-        stop=["User:", "System:"], # Verhindert, dass das Modell für den User weiterschreibt
+        repeat_penalty=float(repetition_penalty), # <--- HIER WIRD ER GENUTZT
+        stop=["User:", "System:"],
         echo=False
     )
 
-    # Antwort extrahieren
     reply = output["choices"][0]["text"].strip()
     return reply
 
 
-# --- 4. GRADIO UI ---
+# --- 4. GUI SETUP ---
 chatbot = gr.ChatInterface(
     respond,
     type="messages",
     additional_inputs=[
-        gr.Textbox(value="You are a friendly Chatbot.", label="System message"),
-        gr.Slider(minimum=1, maximum=2048, value=512, step=1, label="Max new tokens"),
-        gr.Slider(minimum=0.1, maximum=4.0, value=0.7, step=0.1, label="Temperature"),
-        gr.Slider(
-            minimum=0.1,
-            maximum=1.0,
-            value=0.95,
-            step=0.05,
-            label="Top-p (nucleus sampling)",
-        ),
+        gr.Textbox(value="", label="System Prompt (Hidden)", visible=False),
+        
+        # Bestehende Slider
+        gr.Slider(minimum=1, maximum=2048, value=512, label="Max Tokens"),
+        gr.Slider(minimum=0.1, maximum=4.0, value=0.7, label="Temperature"),
+        gr.Slider(minimum=0.1, maximum=1.0, value=0.95, label="Top-p"),
+        
+        # NEUER SLIDER
+        # Standard 1.0 = Keine Strafe. 1.2 ist meist ein guter Wert für Llama.
+        gr.Slider(minimum=1.0, maximum=2.0, value=1.2, step=0.05, label="Repetition Penalty"),
+        
+        # Style Dropdown
+        gr.Dropdown(
+            choices=["Normal", "Professionelle E-Mail", "Gen-Z / Jugendsprache", "Shakespeare", "Passiv-Aggressiv", "Lustig/Ironisch"],
+            value="Normal",
+            label="Wähle den Stil / Tonfall"
+        )
     ],
 )
 
 with gr.Blocks() as demo:
+    gr.Markdown("# 🎭 Der Text-Wandler")
     with gr.Sidebar():
         gr.LoginButton()
     chatbot.render()
 
-
 if __name__ == "__main__":
     demo.launch()