Update app.py

app.py

@@ -3,38 +3,52 @@ from huggingface_hub import hf_hub_download
 from llama_cpp import Llama
 import os
 
-# 1. Recupero e pulizia del Token
+# 1. Recupero Token
 token = os.getenv("HF_TOKEN")
 if token:
     token = token.strip()
 
-print(f"⏬ Scaricamento del modello Limba...")
-
-# Scarichiamo il modello
+# Scaricamento modello
 model_path = hf_hub_download(
     repo_id="FPll/Limba-1.0",
     filename="Meta-Llama-3.1-8B.Q4_K_M.gguf",
     token=token
 )
 
-print("✅ Modello caricato! Accendo i motori...")
-
-# 2. Inizializzazione del modello (Ottimizzato per 4 thread)
-llm = Llama(model_path=model_path, n_ctx=2048, n_threads=4)
+# 2. Inizializzazione (n_threads=8 per spingere sulla CPU)
+llm = Llama(model_path=model_path, n_ctx=1024, n_threads=8)
 
 def respond(message, history):
-    # Formato prompt per Llama 3.1
-    prompt = f"<|begin_of_text|><|start_header_id|>user<|end_header_id|>\n\n{message}<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n"
+    # Istruzione di sistema per l'identità
+    system_message = "Ses Limba 1.0, un'IA creada pro su Litzeu Scientificu Enrico Fermi de Nugoro pro su Progettu Margherita. Chistiona in sardu o italianu de STEM."
+    
+    # Formattazione prompt con memoria della conversazione (history)
+    prompt = f"<|begin_of_text|><|start_header_id|>system<|end_header_id|>\n\n{system_message}<|eot_id|>"
+    for user_msg, assistant_msg in history:
+        prompt += f"<|start_header_id|>user<|end_header_id|>\n\n{user_msg}<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n{assistant_msg}<|eot_id|>"
+    prompt += f"<|start_header_id|>user<|end_header_id|>\n\n{message}<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n"
+    
+    # GENERAZIONE IN STREAMING
+    output = llm.create_completion(
+        prompt,
+        max_tokens=512,
+        stop=["<|eot_id|>"],
+        stream=True # Attiviamo il flusso continuo
+    )
     
-    response = llm(prompt, max_tokens=512, stop=["<|eot_id|>"], echo=False)
-    return response["choices"][0]["text"].strip()
+    token_str = ""
+    for chunk in output:
+        delta = chunk["choices"][0]["text"]
+        token_str += delta
+        yield token_str # Invia la parola al browser appena è pronta
 
-# 3. Interfaccia Chat (Ho rimosso 'theme' che dava errore)
+# 3. Interfaccia Gradio
 demo = gr.ChatInterface(
     respond,
-    title="Limba 1.0 - Progetto Margherita",
+    title="🚀 Limba 1.0 - Progetto Margherita",
     description="Su primu protòtipu de IA pro s'iscola sarda. Parla-mi in sardu o de fìsica e matemàtica!",
-    examples=["Iscrie sa fòrmula de s'energia tzinetica", "Chie est istadu Enricu Fermi?", "A ite zerbit sa derivata?"]
+    examples=["Iscrie sa fòrmula de s'energia tzinetica", "Chie est istadu Enricu Fermi?", "A ite zerbit sa derivata?"],
+    type="messages"
 )
 
 if __name__ == "__main__":