Create app.py

app.py

@@ -0,0 +1,37 @@
+import gradio as gr
+from huggingface_hub import hf_hub_download
+from llama_cpp import Llama
+import os
+
+# 1. Scarichiamo il modello dal tuo repository
+# Se hai salvato il token nei "Secrets" della Space, lo legge in automatico
+token = os.getenv("HF_TOKEN") 
+
+print("⏬ Scaricamento del modello Limba...")
+model_path = hf_hub_download(
+    repo_id="FPll/Limba-1.0",
+    filename="Meta-Llama-3.1-8B.Q4_K_M.gguf",
+    token=token
+)
+
+# 2. Inizializziamo il modello
+llm = Llama(model_path=model_path, n_ctx=2048, n_threads=4)
+
+def respond(message, history):
+    # Formattiamo il prompt per Llama 3.1
+    prompt = f"<|begin_of_text|><|start_header_id|>user<|end_header_id|>\n\n{message}<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n"
+    
+    response = llm(prompt, max_tokens=512, stop=["<|eot_id|>"], echo=False)
+    return response["choices"][0]["text"].strip()
+
+# 3. Interfaccia Gradio (Il vestito del Chatbot)
+demo = gr.ChatInterface(
+    respond,
+    title="Limba 1.0 - Progetto Margherita",
+    description="Su primu protòtipu de IA pro s'iscola sarda. Parla-mi in sardu o de fìsica e matemàtica!",
+    examples=["Iscrie sa fòrmula de s'energia tzinetica", "Chie est istadu Enricu Fermi?", "A ite zerbit sa derivata?"],
+    theme="soft"
+)
+
+if __name__ == "__main__":
+    demo.launch(server_name="0.0.0.0", server_port=7860)