| --- |
| license: openrail |
| authors: |
| - Egomnia S.p.A. |
| language: |
| - it |
| tags: |
| - llm |
| - italian |
| - gpt |
| - onnx |
| - text-generation |
| - int8 |
| - swiGLU |
| - gqa |
| - enterprise |
| - lightweight |
| library_name: onnxruntime |
| pipeline_tag: text-generation |
| datasets: |
| - custom-mixture |
| --- |
| |
| # 🇮🇹 Emma-4 (ONNX) |
|
|
| ## Overview |
|
|
| **Emma-4** è un Large Language Model decoder-only sperimentale sviluppato da **Egomnia S.p.A.**, ottimizzato per lingua italiana e progettato per applicazioni leggere e piccole automazioni. |
|
|
| Sito ufficiale: https://emma.egomnia.com |
|
|
| Il modello è progettato per essere: |
| - efficiente |
| - veloce in inference |
| - utilizzabile su infrastrutture leggere o locali |
| - adatto a micro-imprese e workflow automatizzati |
|
|
| Non è progettato per ragionamento avanzato o uso critico. |
|
|
| ## Architettura |
|
|
| - Tipo: GPT decoder-only |
| - Transformer blocks: 24 |
| - Hidden size: 1.024 |
| - Attention heads: 16 query + 4 KV (GQA 4:1) |
| - Head dimension: 64 |
| - Feed-forward dimension: 2.752 (SwiGLU, ff_mult 8/3) |
| - Activation function: SwiGLU |
| - Normalization: RMSNorm |
| - Positional encoding: RoPE (theta 10.000) |
| - Dropout: 0.0 |
| - Embeddings: tied (token embedding = lm_head) |
|
|
| ## Contesto e vocabolario |
|
|
| - Context length: 2.048 token |
| - Vocabulary size: 50.000 token |
| - Tokenizer: SentencePiece BPE con byte fallback |
|
|
| ## Dataset di training |
|
|
| - Enciclopedico: 43,55% |
| - Codice: 23,65% |
| - Generalista: 20,71% |
| - Libri: 8,53% |
| - Colloquiale: 2,03% |
| - Politico: 1,54% |
|
|
| ## Alignment |
|
|
| - Supervised Fine-Tuning (SFT) |
| - Direct Preference Optimization (DPO): disabilitato |
|
|
| ## Export e ottimizzazione |
|
|
| - Framework originale: PyTorch |
| - Export: ONNX |
| - Opset: 18 |
| - Quantizzazione: INT8 |
| - Peso modello ONNX: 1,48 GB |
| - Peso quantizzato INT8: ~55 MB |
|
|
| ## Intended Use |
|
|
| Emma-4 è progettato per: |
|
|
| - NLP generalista in italiano |
|
|
| ## Utilizzo non consigliato |
|
|
| - ragionamento complesso multi-step |
| - applicazioni medicali, legali o finanziarie critiche |
| - sistemi ad alta affidabilità |
| - analisi scientifica avanzata |
|
|
| ## Focus prestazionale |
|
|
| Il modello è ottimizzato per: |
|
|
| - inference veloce |
| - riduzione dei costi computazionali |
| - utilizzo enterprise leggero |
| - deployment su CPU o ambienti limitati |
|
|
| ## Limitazioni |
|
|
| - capacità limitata su reasoning complesso |
| - possibili allucinazioni |
| - sensibilità a prompt lunghi o ambigui |
| - contesto limitato a 2.048 token |
|
|
|
|
| ## Licenza |
|
|
| Distribuito sotto licenza **OpenRAIL-M**, con eventuali vincoli derivati dalle licenze dei dataset utilizzati. |
| Questa licenza consente l’uso, la modifica e la distribuzione del modello anche in ambito commerciale, imponendo tuttavia restrizioni sull’utilizzo in scenari potenzialmente dannosi, illegali o non etici, secondo i principi di Responsible AI e nel rispetto delle eventuali restrizioni derivanti dalle licenze dei dataset utilizzati. |
| Si richiede esprezzamente di citare **Egomnia S.p.A.** come autore del modello in caso di utilizzo di quest'ultimo per prodotti, servizi, pubblicazioni o documentazione tecnica. |
|
|
| ## Autore |
|
|
| Egomnia S.p.A. |
|
|
| ## Sito ufficiale |
|
|
| https://emma.egomnia.com |
|
|
| ## Manifesto di Emma — LLM italiano per la sovranità tecnologica |
|
|
| Per la sovranità tecnologica italiana |
|
|
| Noi crediamo che l’intelligenza artificiale non sia soltanto una tecnologia, ma un’infrastruttura critica per il futuro economico, culturale e democratico di una nazione. |
|
|
| Per troppo tempo, i modelli linguistici che plasmano informazione, lavoro e conoscenza sono stati sviluppati altrove, secondo logiche, valori e priorità non sempre allineate con il contesto italiano ed europeo. |
|
|
| I nostri modelli nascono per cambiare questo paradigma. |
| Non è solo il lancio di un nuovo modello, ma una presa di posizione chiara: rilanciare un ecosistema italiano dell’intelligenza artificiale, capace di essere autonomo, competitivo e coerente con le esigenze del nostro Paese. |
|
|
| La famiglia dei LLM "Emma" è anche il risultato di un lavoro costruito nel tempo. Il modello è stato addestrato utilizzando, in parte, dataset proprietari realizzati e custoditi per anni, mai ceduti a terzi. Un patrimonio informativo unico, che siamo convinti possa diventare nel tempo il nostro vero elemento distintivo rispetto ai grandi attori globali. |
|
|
| Oggi non abbiamo la presunzione di competere con i nomi che guidano il settore: Emma rappresenta un primo passo, concreto ma ancora iniziale, all'interno di un percorso di crescita e innovazione che intendiamo sviluppare negli anni a venire. |
|
|
| Questa non è solo innovazione tecnologica. |
| È una scelta di indipendenza. |
| È una visione industriale. |
|
|
| È il nostro contributo. |
|
|
| Dedicato a mia figlia, Emma. |
|
|
| Matteo Achilli |
| Fondatore di Egomnia |
|
|
| ## Note |
|
|
| Italian Light GPT: Emma-4 è un modello leggero, valido per piccoli chatbot aziendali e per automazioni leggere di supporto ai processi per micro imprese italiane. |
|
|
| --- |
|
|
| ## Inference (ONNX Runtime) |
|
|
| ```python |
| import onnxruntime as ort |
| |
| session = ort.InferenceSession("model.onnx") |
| |
| outputs = session.run( |
| None, |
| { |
| "input_ids": input_ids, |
| "attention_mask": attention_mask |
| } |
| ) |
