---
license: openrail
authors:
  - Egomnia S.p.A.
language:
  - it
tags:
  - llm
  - italian
  - gpt
  - onnx
  - text-generation
  - enterprise
  - swiGLU
  - gqa
  - int8
library_name: onnxruntime
pipeline_tag: text-generation
datasets:
  - custom-mixture
---

# 🇮🇹 Emma-5 (ONNX)

## Overview

**Emma-5** è un "mini" Large Language Model decoder-only sperimentale sviluppato da **Egomnia S.p.A.**, progettato per lingua italiana.

Sito ufficiale: https://emma.egomnia.com

Il modello è pensato per:
- comprensione contestuale moderata
- generazione di contenuti di media-piccola complessità

Non è progettato per applicazioni safety-critical o reasoning avanzato multi-step.

## Architettura

- Tipo: GPT decoder-only
- Transformer blocks: 28
- Hidden size: 1.280
- Attention heads: 16 query + 4 KV (GQA 4:1)
- Head dimension: 80
- Feed-forward dimension: 3.456 (SwiGLU, ff_mult 8/3)
- Activation function: SwiGLU
- Normalization: RMSNorm
- Positional encoding: RoPE (theta 10.000)
- Dropout: 0.0
- Embeddings: tied (token embedding = lm_head)

## Contesto e vocabolario

- Context length: 2.048 token
- Vocabulary size: 50.000 token
- Tokenizer: SentencePiece BPE con byte fallback

## Dataset di training

- Codice: 40,48%
- Generalista: 39,46%
- Enciclopedico: 15,68%
- Libri: 3,07%
- Colloquiale: 0,73%
- Politico: 0,55%

## Training pipeline

- Pretraining: 200.000 step
- Fine-tuning: SFT (3 epoche)
- DPO: disabilitato
- Corpus pretraining: 54,36 GB raw (~10,8 miliardi token)

## Export e ottimizzazione

- Framework originale: PyTorch
- Export: ONNX
- Opset: 18
- Quantizzazione: INT8
- Peso modello ONNX: 2,46 GB (FP32)
- Peso quantizzato INT8: ~560 MB

## Uso non previsto

- applicazioni mediche, legali o finanziarie critiche
- sistemi ad alta affidabilità o mission critical
- reasoning complesso multi-step
- ricerca scientifica avanzata senza supervisione

## Focus prestazionale

Il modello è ottimizzato per:

- equilibrio tra qualità e latenza
- inference su CPU/GPU entry-level
- contesti leggeri

## Limitazioni

- capacità di reasoning ancora limitata rispetto a modelli di grandi dimensioni
- possibile generazione di contenuti imprecisi o incompleti
- sensibilità a prompt ambigui o molto lunghi
- contesto limitato a 2.048 token

## Licenza

Distribuito sotto licenza **OpenRAIL-M**, con eventuali vincoli derivati dalle licenze dei dataset utilizzati.
Questa licenza consente l’uso, la modifica e la distribuzione del modello anche in ambito commerciale, imponendo tuttavia restrizioni sull’utilizzo in scenari potenzialmente dannosi, illegali o non etici, secondo i principi di Responsible AI e nel rispetto delle eventuali restrizioni derivanti dalle licenze dei dataset utilizzati.
Si richiede esprezzamente di citare **Egomnia S.p.A.** come autore del modello in caso di utilizzo di quest'ultimo per prodotti, servizi, pubblicazioni o documentazione tecnica.

## Autore

Egomnia S.p.A.

## Sito ufficiale

https://emma.egomnia.com

---

## Inference (ONNX Runtime)

```python
import onnxruntime as ort

session = onnxruntime.InferenceSession("model.onnx")

outputs = session.run(
    None,
    {
        "input_ids": input_ids,
        "attention_mask": attention_mask
    }
)