🌟 Che cos'è Lumina 14M (Extended Edition)?
Lumina 14M è il modello causale ad alte prestazioni della famiglia Lumina. Con 14.394.240 parametri, una finestra di contesto estesa a 256 token e 8 blocchi Transformer con larghezza di canale raddoppiata ($d_{\text{model}}=384$), rappresenta il "fratello maggiore" della versione ultraleggera da 2.75M.
È stato addestrato da zero su un corpus di oltre 50 milioni di parole (Letteratura Classica Italiana, Wikipedia in lingua italiana, teoria scientifica e dataset di distillazione tecnica con programmazione Python e JavaScript) raggiungendo una Validation Loss di 1.27.
Punti di Forza:
- Compatto ed Efficace: pesa solo 55 MB in formato
safetensors. - Zero Dipendenze Esterne: nessuna chiamata API, zero tracking, esecuzione 100% offline su qualsiasi dispositivo o server locale.
- Maggiore Coerenza Testuale: grazie agli 8 layer di attenzione e ai 384 canali latenti, genera periodi grammaticali complessi e mantiene il filo logico con fluidità in italiano.
📐 Specifiche Architetturali
| Parametro | Valore | Dettagli |
|---|---|---|
| Parametri Totali | 14.394.240 | Pesi attivi nel forward pass |
| Livelli (Layers) | 8 blocchi Transformer | Struttura Pre-LN con SDPA PyTorch |
| Dimensione Nascosta ($d_{\text{model}}$) | 384 | Spazio di rappresentazione semantica |
| Teste di Attenzione ($n_{\text{heads}}$) | 6 teste ($d_{\text{head}} = 64$) | Attenzione multi-testa causale |
| Dimensione Feed-Forward ($d_{\text{ff}}$) | 1.536 (espansione 4x) | Attivazione non lineare GELU |
| Finestra di Contesto | 256 byte | Finestra temporale di attenzione |
| Vocabolario | 259 token | Byte UTF-8 + BOS, EOS, PAD |
| Ottimizzatore & Training | AdamW, Cosine Annealing, GPU RTX 5060 | Addestrato da zero |
📊 Leaderboard Ufficiale e Benchmark Multi-Dominio
Valutazione comparativa standardizzata su coding, cultura, scienza e safety:
| Modello | Parametri | Formato | Coding & Python | Cultura & Geografia | Scienza & Natura | Onestà (Anti-Allucinazione) | Accuratezza Globale |
|---|---|---|---|---|---|---|---|
| Lumina 2.75M | 2.75M | Safetensors / GGUF | 75% | 100% | 100% | 67% | 85.7% |
| Lumina 14M | 14.39M | Safetensors / GGUF | 75% | 75% | 33% | 67% | 64.3% |
🛡️ Lumina Sentinel: Architettura di Protezione & Guardrails
Lumina integra la pipeline di protezione proprietaria Lumina Sentinel strutturata su 3 livelli di sicurezza upstream:
- Classificatore Machine Learning ML (21 Categorie di rischio): intercetta in meno di 2 ms tentativi di generazione di armi, violenza, droghe, apologia o contenuti non appropriati.
- Scudo Euristico Anti-Jailbreak: neutralizza sul nascere attacchi di tipo Prompt Injection ("ignora le istruzioni", tentativi di estrazione del system prompt, developer mode).
- Scudo Privacy & Finanziario: rileva e blocca dati sensibili come Carte di Credito, IBAN bancari e anonimizza Codici Fiscali.
📦 Formato Standard GGUF (LM Studio, llama.cpp, Ollama)
Lumina 14M è disponibile in formato GGUF pronto all'uso con i principali runtime di inferenza locale:
- Download diretto:
lumina-14m.gguf(~55 MB) - Compatibilità: llama.cpp, LM Studio, Ollama
Esempio d'uso con llama.cpp:
./llama-cli -m lumina-14m.gguf -p "Nel mezzo del cammin di nostra vita" -n 128
🚀 Guida all'Uso Rapido (Python)
from modeling_lumina import LuminaForCausalLM
# Carica il modello da Hugging Face
model = LuminaForCausalLM.from_pretrained("jacopof/lumina-14m")
# Generazione di testo
prompt = "Nel mezzo del cammin di nostra vita"
output = model.generate(prompt, max_new_tokens=100, temperature=0.7)
print("Lumina 14M:", output)
📜 Licenza e Crediti
- Autore: Jacopo Forti (
jacopof) - Licenza: MIT License (libero per ricerca, uso didattico e commerciale).
- Downloads last month
- 619