Update app.py

app.py

@@ -5,10 +5,7 @@ import sys
 musl_path = "/home/user/app/libc.musl-x86_64.so.1"
 if not os.path.exists(musl_path):
     print("Configurazione libreria musl in corso...")
-    # Crea un collegamento alla libreria di sistema appena scaricata
     os.system(f"ln -s /usr/lib/x86_64-linux-musl/libc.so {musl_path}")
-    
-    # Riavvia istantaneamente l'app forzando la lettura della nuova cartella
     env = os.environ.copy()
     env["LD_LIBRARY_PATH"] = "/home/user/app:" + env.get("LD_LIBRARY_PATH", "")
     os.execve(sys.executable, [sys.executable] + sys.argv, env)
@@ -18,54 +15,102 @@ import gradio as gr
 from huggingface_hub import hf_hub_download
 from llama_cpp import Llama
 
-# 1. Definisci il modello e scaricalo
-REPO_ID = "FPll/limba-mentor-llama3-gguf"
+REPO_ID = "FPII/limba-mentor-llama3-gguf"
 FILENAME = "Meta-Llama-3.1-8B.Q4_K_M.gguf"
 
 # Scarica il file GGUF nella cache della Space
-model_path = hf_hub_download(repo_id=REPO_ID, filename=FILENAME)
+model_path = hf_hub_download(
+    repo_id=REPO_ID, 
+    filename=FILENAME, 
+    token=os.environ.get("HF_TOKEN")
+)
 
-# 2. Inizializza Llama
-# Impostiamo i thread a 2 per sfruttare al meglio le 2 vCPU del Free Tier
+# Inizializza Llama (su CPU Free Tier)
 llm = Llama(
     model_path=model_path,
-    n_ctx=2048,      # Finestra di contesto (aumentala se serve, ma consumerà più RAM)
+    n_ctx=2048,      
     n_threads=2,
     verbose=False
 )
 
-# 3. Definisci la funzione che gestisce la chat e lo streaming
 def respond(message, history):
-    # Costruiamo il prompt nel formato corretto per Llama 3
-    messages = [{"role": "system", "content": "Sei un assistente utile e competente."}]
+    # 1. IL SALVAVITA: Emette un segnale vuoto per impedire a Gradio di andare in crash (StopAsyncIteration)
+    partial_message = ""
+    yield partial_message 
     
-    for user_msg, bot_msg in history:
-        messages.append({"role": "user", "content": user_msg})
-        messages.append({"role": "assistant", "content": bot_msg})
+    try:
+        # Estrazione sicura del testo nel caso Gradio invii un dizionario
+        msg_text = message.get("text", "") if isinstance(message, dict) else str(message)
         
-    messages.append({"role": "user", "content": message})
+        system_instruction = (
+            "Sei Limba 2.0, creato da Francesco Palladino. Sei un modello di linguaggio che parla sardo (LSC) e italiano.\n"
+            "REGOLE DA RISPETTARE:\n"
+            "1. Se l'utente chiede una traduzione in sardo o in italiano, esegui la traduzione senza aggiungere altro.\n"
+            "2. Se l'utente chiede una formula o se nella risposta scrivi formule, usa il formato LaTeX racchiuso tra doppi simboli di dollaro ($$) su una riga separata, esempio: $$E=mc^2$$.\n"
+            "3. Se l'utente ti saluta (es. 'Ciao', 'Buongiorno'), rispondi esclusivamente con: 'Salude! So Limba 2.0, comente ti potzo agiudare?' e fermati.\n"
+            "4. Se l'utente fa una richiesta su un argomento specifico, rispondi alla richiesta in modo completo e accurato.\n"
+        )
 
-    # Avvia la generazione con streaming
-    response = llm.create_chat_completion(
-        messages=messages,
-        max_tokens=512,
-        stream=True
-    )
+        few_shot = (
+            "<|start_header_id|>user<|end_header_id|>\n\nDimmi tre colori in sardo.<|eot_id|>"
+            "<|start_header_id|>assistant<|end_header_id|>\n\nEcco sos colores:\n\n"
+            "- Ruju\n"
+            "- Birde\n"
+            "- Blu<|eot_id|>"
+            "<|start_header_id|>user<|end_header_id|>\n\nConfronta oro e argento.<|eot_id|>"
+            "<|start_header_id|>assistant<|end_header_id|>\n\nEcco sa tabella:\n\n"
+            "| Metallu | Simbolu | n. Atòmicu |\n"
+            "| :--- | :--- | :--- |\n"
+            "| Oro | Au | 79 |\n"
+            "| Prata | Ag | 47 |<|eot_id|>"
+        )
 
-    partial_message = ""
-    for chunk in response:
-        if "content" in chunk["choices"][0]["delta"]:
-            partial_message += chunk["choices"][0]["delta"]["content"]
-            yield partial_message
+        # 2. GESTIONE UNIVERSALE HISTORY (Funziona con tutte le versioni di Gradio)
+        history_text = ""
+        for item in history:
+            if isinstance(item, dict):
+                # Formato nuovo di Gradio
+                role = item.get("role", "user")
+                content = item.get("content", "")
+                history_text += f"<|start_header_id|>{role}<|end_header_id|>\n\n{content}<|eot_id|>"
+            else:
+                # Formato classico a tuple
+                user_msg, bot_msg = item
+                history_text += f"<|start_header_id|>user<|end_header_id|>\n\n{user_msg}<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n{bot_msg}<|eot_id|>"
+
+        # Assemblaggio del Prompt
+        prompt = f"<|begin_of_text|><|start_header_id|>system<|end_header_id|>\n\n{system_instruction}<|eot_id|>{few_shot}{history_text}<|start_header_id|>user<|end_header_id|>\n\n{msg_text}<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n"
+
+        # 3. GENERAZIONE CON PARAMETRI OTTIMIZZATI PER GLI ELENCHI
+        response = llm(
+            prompt,
+            max_tokens=512,
+            stop=["<|eot_id|>", "<|start_header_id|>", "<|end_header_id|>"],
+            stream=True,
+            temperature=0.1,
+            top_p=0.9,
+            repeat_penalty=1.15  
+        )
+        
+        for chunk in response:
+            if "choices" in chunk and len(chunk["choices"]) > 0:
+                text = chunk["choices"][0].get("text", "")
+                if text:
+                    partial_message += text
+                    yield partial_message
+                    
+    # Scudo Anti-Crash: se c'è un errore te lo stampa in chat invece di far crollare la pagina
+    except Exception as e:
+        yield f"🚨 Errore Python interno: {str(e)}"
 
-# 4. Costruisci l'interfaccia visiva
-# IMPORTANTE: Cambia "logo.png" con il nome esatto del file che hai caricato
+# 4. INTERFACCIA VISIVA
 demo = gr.ChatInterface(
     respond,
-    title="Limba Mentor Chat",
-    description="Il tuo assistente virtuale basato su Llama 3.1",
+    title="Limba 2.0 - S'assistente IA tuo chi faeddat sardu",
+    description="Ajò! So Limba 2.0, s'assistente tuo pro s'informatica, sa matematica e s'iscentzia. Faeddo sardu e italianu.",
+    examples=["Iscrie unu script in Python pro lèghere unu file CSV.", "Ispiegami su teorema de Pitagora.", "Traduci in sardo: L'algoritmo di machine learning sta analizzando i dati."],
     chatbot=gr.Chatbot(
-        avatar_images=[None, "logo.png"], # [Avatar utente, Avatar Bot]
+        avatar_images=[None, "logo.png"], 
         height=500
     )
 )