Update app.py

app.py

@@ -1,139 +1,151 @@
 import gradio as gr
-from huggingface_hub import InferenceClient
+from llama_cpp import Llama
 
-# --- CONFIGURATION ---
-# We use the Instruct version of the 1B model as it follows rules best
-MODEL_ID = "meta-llama/Llama-3.2-1B-Instruct"
+# --- 1. SETUP & DATEN ---
 
-# --- THE RIDDLES (DATABASE) ---
-# Each riddle has a public 'scenario' and a hidden 'solution'.
+# Das lokale Modell laden (dein angegebener Pfad)
+llm = Llama.from_pretrained(
+    repo_id="simonper/Llama-3.2-1B-bnb-4bit_finetome-100k_gguf_4bit",
+    filename="Llama-3.2-1B.Q4_K_M.gguf",
+    n_ctx=4096,      # Context window
+    n_threads=8,     # CPU threads (anpassbar)
+    n_gpu_layers=0,  # 0 für CPU, höher setzen wenn du GPU hast
+)
+
+# Die Datenbank der Rätsel (Szenario = Öffentlich, Lösung = Versteckt)
 RIDDLES = {
-    "The Dead Man": {
-        "scenario": "A man lies dead in a field. Next to him is an unopened package. There are no footprints around him. How did he die?",
-        "solution": "The man jumped from a plane. The package was his parachute, which failed to open."
+    "Der tote Mann": {
+        "scenario": "Ein Mann liegt tot auf einer Wiese. Neben ihm liegt ein ungeöffnetes Paket. Es sind keine Fußspuren zu sehen. Wie ist er gestorben?",
+        "solution": "Der Mann ist aus einem Flugzeug gesprungen. Das Paket war sein Fallschirm, der sich nicht geöffnet hat."
     },
-    "The Barman": {
-        "scenario": "A man walks into a bar and asks for a glass of water. The barman pulls out a gun and points it at him. The man says 'Thank you' and walks out. Why?",
-        "solution": "The man had the hiccups. The barman used the gun to scare him, curing the hiccups. The man was thankful."
+    "Der Barman": {
+        "scenario": "Ein Mann geht in eine Bar und bestellt ein Glas Wasser. Der Barkeeper zieht eine Waffe und richtet sie auf ihn. Der Mann sagt 'Danke' und geht. Warum?",
+        "solution": "Der Mann hatte Schluckauf. Der Schreck durch die Waffe hat ihn geheilt, weshalb er dankbar war."
     },
-    "The Cabin": {
-        "scenario": "Two men are in a cabin in the woods. One is dead. The cabin did not burn down, but the dead man is charred. How happened?",
-        "solution": "The cabin is the cabin of a crashed airplane. The man died in the crash/fire."
+    "Die Hütte": {
+        "scenario": "Zwei Männer sind in einer Hütte im Wald. Einer ist tot. Die Hütte ist nicht abgebrannt, aber der tote Mann ist verkohlt. Was ist passiert?",
+        "solution": "Die Hütte ist die Kabine eines abgestürzten Flugzeugs. Der Mann starb beim Absturzfeuer."
     },
-    "The Suitcase": {
-        "scenario": "A woman opens her suitcase and finds a dead man inside. She is not arrested or afraid. Why?",
-        "solution": "The 'suitcase' is actually a coffin. The woman is attending a funeral."
+    "Der Koffer": {
+        "scenario": "Eine Frau öffnet ihren Koffer und findet einen toten Mann darin. Sie wird nicht verhaftet und hat keine Angst. Warum?",
+        "solution": "Der 'Koffer' ist eigentlich ein Sarg. Die Frau ist auf einer Beerdigung."
     }
 }
 
+# --- 2. HELPER FUNCTIONS ---
+
+def build_prompt(system_message: str, history: list[dict], user_message: str) -> str:
+    """
+    Konstruiert den Prompt für das Llama Modell.
+    Da wir Llama-3 nutzen, ist ein Format wichtig, das System-Instruktionen klar trennt.
+    """
+    lines = []
+
+    # System Prompt Injection
+    if system_message:
+        lines.append(f"System: {system_message}\n")
+
+    # History aufbauen
+    for turn in history:
+        role = turn["role"]
+        content = turn["content"]
+        if role == "user":
+            lines.append(f"User: {content}")
+        elif role == "assistant":
+            lines.append(f"Assistant: {content}")
+
+    # Aktuelle Nachricht
+    lines.append(f"User: {user_message}")
+    lines.append("Assistant:")
+
+    return "\n".join(lines)
+
+
 def respond(
     message,
     history: list[dict[str, str]],
-    system_message, # We will ignore the user input for this and build our own
+    system_message_dummy, # Wir ignorieren den Input vom Slider und bauen unseren eigenen
     max_tokens,
     temperature,
     top_p,
-    hf_token: gr.OAuthToken,
-    selected_riddle, # The dropdown input
+    selected_riddle, # Das kommt vom Dropdown
 ):
-    """
-    This function handles the game logic. It injects the hidden solution 
-    into the system prompt based on the user's selection.
-    """
-    client = InferenceClient(token=hf_token.token, model=MODEL_ID)
-
-    # 1. Get the current riddle data
+    # 1. Das aktuelle Rätsel laden
     current_game = RIDDLES[selected_riddle]
     
-    # 2. Construct the Strict Game Master Prompt
-    # This is where the "Context Learning" happens. We teach the model the rules in-context.
+    # 2. Den "Game Master" System Prompt bauen (Hier passiert das Context Learning)
+    # Wir injizieren die Lösung direkt in den Kontext des Modells
     game_master_prompt = (
-        f"You are the Game Master of a lateral thinking puzzle. "
-        f"CURRENT PUZZLE SCENARIO: '{current_game['scenario']}' "
-        f"HIDDEN SOLUTION (User does not know this!): '{current_game['solution']}' "
-        f"\n\n"
-        f"RULES FOR YOU:"
-        f"1. The user will ask questions to figure out the solution."
-        f"2. You must analyze their question against the HIDDEN SOLUTION."
-        f"3. Answer ONLY with 'Yes', 'No', or 'Irrelevant'. "
-        f"4. If the user guesses the solution correctly, say 'CORRECT! You solved it: [Explain solution]'."
-        f"5. Do NOT give hints. Do NOT explain your 'Yes/No' answers."
+        f"Du bist der Spielleiter eines Laterale-Denk-Rätsels (Black Stories). "
+        f"AKTUELLES SZENARIO: '{current_game['scenario']}' "
+        f"VERSTECKTE LÖSUNG (Der User kennt diese NICHT!): '{current_game['solution']}' "
+        f"\nREGELN FÜR DICH:\n"
+        f"1. Analysiere die Frage des Users logisch in Bezug auf die versteckte Lösung.\n"
+        f"2. Antworte AUSSCHLIESSLICH mit: 'Ja', 'Nein', oder 'Irrelevant'.\n"
+        f"3. Wenn der User die Lösung errät, sage: 'KORREKT! Du hast es gelöst: [Erklärung]'.\n"
+        f"4. Gib KEINE Hinweise."
     )
 
-    # 3. Build message history
-    messages = [{"role": "system", "content": game_master_prompt}]
-    messages.extend(history)
-    messages.append({"role": "user", "content": message})
+    # 3. Prompt zusammenbauen
+    prompt = build_prompt(game_master_prompt, history, message)
 
-    response = ""
+    # 4. Llama.cpp aufrufen
+    output = llm(
+        prompt,
+        max_tokens=int(max_tokens),
+        temperature=float(temperature),
+        top_p=float(top_p),
+        stop=["User:", "System:"],
+        echo=False # Wichtig: Den Prompt nicht wiederholen
+    )
 
-    # 4. Stream the response
-    for message in client.chat_completion(
-        messages,
-        max_tokens=max_tokens,
-        stream=True,
-        temperature=temperature, # Low temp = more strict adherence to Yes/No
-        top_p=top_p,
-    ):
-        choices = message.choices
-        token = ""
-        if len(choices) and choices[0].delta.content:
-            token = choices[0].delta.content
+    reply = output["choices"][0]["text"].strip()
+    return reply
 
-        response += token
-        yield response
 
+# --- 3. UI AUFBAU (GRADIO BLOCKS) ---
 
-# --- UI SETUP ---
-# We use Blocks to add the Dropdown menu cleanly above the chat
 with gr.Blocks(theme=gr.themes.Soft()) as demo:
-    
-    # Header
-    gr.Markdown("# 🕵️ The Yes/No Detective")
+    gr.Markdown("# 🕵️ Der Ja/Nein Detektiv (Llama GGUF Edition)")
     gr.Markdown(
-        "**Instructions:** I am thinking of a strange situation. "
-        "Ask me questions to figure out the truth! I can only answer **Yes**, **No**, or **Irrelevant**."
+        "**Anleitung:** Ich denke an eine seltsame Situation. "
+        "Stelle mir Ja/Nein-Fragen, um herauszufinden, was passiert ist!"
     )
 
+    # Das Dropdown Menü für die Rätsel-Auswahl
     with gr.Row():
-        # The Dropdown to select the "Level"
         riddle_select = gr.Dropdown(
             choices=list(RIDDLES.keys()), 
-            value="The Dead Man", 
-            label="Select a Mystery Case", 
+            value="Der tote Mann", 
+            label="Wähle einen Fall", 
             interactive=True
         )
     
-    # Display the current scenario description dynamically
+    # Textfeld, das das Szenario anzeigt
     scenario_display = gr.Textbox(
-        label="The Scenario (Clue)", 
-        value=RIDDLES["The Dead Man"]["scenario"],
+        label="Das Szenario (Dein Hinweis)", 
+        value=RIDDLES["Der tote Mann"]["scenario"],
         interactive=False 
     )
 
-    # Function to update the text box when dropdown changes
+    # Logik: Wenn Dropdown geändert wird, Textbox aktualisieren
     def update_scenario(choice):
         return RIDDLES[choice]["scenario"]
     
     riddle_select.change(fn=update_scenario, inputs=riddle_select, outputs=scenario_display)
 
-    # The Chat Interface
-    # Note: We hide the system message input because we hardcode it in the function
+    # Chat Interface
     chatbot = gr.ChatInterface(
         respond,
         type="messages",
         additional_inputs=[
-            gr.Textbox(value="Game Master", visible=False), # Hidden system prompt placeholder
-            gr.Slider(minimum=1, maximum=512, value=100, step=1, label="Max tokens", visible=False),
-            gr.Slider(minimum=0.1, maximum=2.0, value=0.2, step=0.1, label="Temperature"), # Low temp for precision
-            gr.Slider(minimum=0.1, maximum=1.0, value=0.9, step=0.05, label="Top-p"),
-            riddle_select # Pass the selected riddle to the function
+            gr.Textbox(value="", visible=False), # Dummy für System Message (wir nutzen den generierten)
+            gr.Slider(minimum=1, maximum=512, value=100, step=1, label="Max new tokens"),
+            gr.Slider(minimum=0.1, maximum=2.0, value=0.2, step=0.1, label="Temperature (Niedrig für Logik)"),
+            gr.Slider(minimum=0.1, maximum=1.0, value=0.95, step=0.05, label="Top-p"),
+            riddle_select # Das ausgewählte Rätsel wird an die respond-Funktion übergeben
         ],
     )
-    
-    # Sidebar for login
-    with gr.Sidebar():
-        gr.LoginButton()
 
 if __name__ == "__main__":
     demo.launch()