reupload

.gitattributes

@@ -3,6 +3,7 @@
 *.bin filter=lfs diff=lfs merge=lfs -text
 *.bz2 filter=lfs diff=lfs merge=lfs -text
 *.ckpt filter=lfs diff=lfs merge=lfs -text
+*.data filter=lfs diff=lfs merge=lfs -text
 *.ftz filter=lfs diff=lfs merge=lfs -text
 *.gz filter=lfs diff=lfs merge=lfs -text
 *.h5 filter=lfs diff=lfs merge=lfs -text
@@ -33,3 +34,4 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
 *.zip filter=lfs diff=lfs merge=lfs -text
 *.zst filter=lfs diff=lfs merge=lfs -text
 *tfevents* filter=lfs diff=lfs merge=lfs -text
+emma5.onnx.data filter=lfs diff=lfs merge=lfs -text

README.md

@@ -1,3 +1,178 @@
 ---
-license: creativeml-openrail-m
+license: openrail
+authors:
+  - Egomnia S.p.A.
+language:
+  - it
+tags:
+  - llm
+  - italian
+  - gpt
+  - onnx
+  - text-generation
+  - enterprise
+  - swiGLU
+  - gqa
+  - int8
+library_name: onnxruntime
+pipeline_tag: text-generation
+datasets:
+  - custom-mixture
 ---
+
+# 🇮🇹 Emma-5 (ONNX)
+
+## Preamble
+
+This model has been reuploaded for archiving purposes.
+I'm not affiliated in anyway with Egomnia and its guy.
+Unmodified readme below.
+
+## Overview
+
+**Emma-5** è un Large Language Model decoder-only sperimentale sviluppato da **Egomnia S.p.A.**, progettato per lingua italiana.
+
+Sito ufficiale: https://emma.egomnia.com
+
+Il modello è pensato per:
+- comprensione contestuale moderata
+- generazione di contenuti di media complessità
+
+Non è progettato per applicazioni safety-critical o reasoning avanzato multi-step.
+
+## Architettura
+
+- Tipo: GPT decoder-only
+- Transformer blocks: 28
+- Hidden size: 1.280
+- Attention heads: 16 query + 4 KV (GQA 4:1)
+- Head dimension: 80
+- Feed-forward dimension: 3.456 (SwiGLU, ff_mult 8/3)
+- Activation function: SwiGLU
+- Normalization: RMSNorm
+- Positional encoding: RoPE (theta 10.000)
+- Dropout: 0.0
+- Embeddings: tied (token embedding = lm_head)
+
+## Contesto e vocabolario
+
+- Context length: 2.048 token
+- Vocabulary size: 50.000 token
+- Tokenizer: SentencePiece BPE con byte fallback
+
+## Dataset di training
+
+- Codice: 40,48%
+- Generalista: 39,46%
+- Enciclopedico: 15,68%
+- Libri: 3,07%
+- Colloquiale: 0,73%
+- Politico: 0,55%
+
+## Training pipeline
+
+- Pretraining: 200.000 step
+- Fine-tuning: SFT (3 epoche)
+- DPO: disabilitato
+- Corpus pretraining: 54,36 GB raw (~10,8 miliardi token)
+
+## Export e ottimizzazione
+
+- Framework originale: PyTorch
+- Export: ONNX
+- Opset: 18
+- Quantizzazione: INT8
+- Peso modello ONNX: 2,46 GB (FP32)
+- Peso quantizzato INT8: ~560 MB
+
+## Uso previsto
+
+Emma-5 è progettato per:
+
+- piccoli chatbot aziendali per PMI
+- piccole automazioni
+- generazione contenuti moderatamente complessi
+
+## Uso non previsto
+
+- applicazioni mediche, legali o finanziarie critiche
+- sistemi ad alta affidabilità o mission critical
+- reasoning complesso multi-step
+- ricerca scientifica avanzata senza supervisione
+
+## Focus prestazionale
+
+Il modello è ottimizzato per:
+
+- equilibrio tra qualità e latenza
+- inference su CPU/GPU entry-level
+- contesti leggeri
+- generazione coerente su testi strutturati
+
+## Limitazioni
+
+- capacità di reasoning ancora limitata rispetto a modelli di grandi dimensioni
+- possibile generazione di contenuti imprecisi o incompleti
+- sensibilità a prompt ambigui o molto lunghi
+- contesto limitato a 2.048 token
+
+## Licenza
+
+Distribuito sotto licenza **OpenRAIL-M**, con eventuali vincoli derivati dalle licenze dei dataset utilizzati.
+Questa licenza consente l’uso, la modifica e la distribuzione del modello anche in ambito commerciale, imponendo tuttavia restrizioni sull’utilizzo in scenari potenzialmente dannosi, illegali o non etici, secondo i principi di Responsible AI e nel rispetto delle eventuali restrizioni derivanti dalle licenze dei dataset utilizzati.
+Si richiede esprezzamente di citare **Egomnia S.p.A.** come autore del modello in caso di utilizzo di quest'ultimo per prodotti, servizi, pubblicazioni o documentazione tecnica.
+
+## Autore
+
+Egomnia S.p.A.
+
+## Sito ufficiale
+
+https://emma.egomnia.com
+
+## Manifesto di Emma — LLM italiano per la sovranità tecnologica
+
+Per la sovranità tecnologica italiana
+
+Noi crediamo che l’intelligenza artificiale non sia soltanto una tecnologia, ma un’infrastruttura critica per il futuro economico, culturale e democratico di una nazione.
+
+Per troppo tempo, i modelli linguistici che plasmano informazione, lavoro e conoscenza sono stati sviluppati altrove, secondo logiche, valori e priorità non sempre allineate con il contesto italiano ed europeo.
+
+I nostri modelli nascono per cambiare questo paradigma.
+Non è solo il lancio di un nuovo modello, ma una presa di posizione chiara: rilanciare un ecosistema italiano dell’intelligenza artificiale, capace di essere autonomo, competitivo e coerente con le esigenze del nostro Paese.
+
+La famiglia dei LLM "Emma" è anche il risultato di un lavoro costruito nel tempo. Il modello è stato addestrato utilizzando, in parte, dataset proprietari realizzati e custoditi per anni, mai ceduti a terzi. Un patrimonio informativo unico, che siamo convinti possa diventare nel tempo il nostro vero elemento distintivo rispetto ai grandi attori globali.
+
+Oggi non abbiamo la presunzione di competere con i nomi che guidano il settore: Emma rappresenta un primo passo, concreto ma ancora iniziale, all'interno di un percorso di crescita e innovazione che intendiamo sviluppare negli anni a venire.
+
+Questa non è solo innovazione tecnologica.
+È una scelta di indipendenza.
+È una visione industriale.
+
+È il nostro contributo.
+
+Dedicato a mia figlia, Emma.
+
+Matteo Achilli  
+Fondatore di Egomnia
+
+## Note
+
+Italian GPT: Emma-5 rappresenta un modello di nuova generazione della famiglia Emma, bilanciando efficienza e capacità generativa per applicazioni enterprise leggere nel contesto italiano.
+
+---
+
+## Inference (ONNX Runtime)
+
+```python
+import onnxruntime as ort
+
+session = onnxruntime.InferenceSession("model.onnx")
+
+outputs = session.run(
+    None,
+    {
+        "input_ids": input_ids,
+        "attention_mask": attention_mask
+    }
+)

README.txt

@@ -0,0 +1,11 @@
+MODELLO EMMA-5 — Egomnia S.p.A.
+Parametri trainabili: ~550.4M
+Architettura: decoder-only Transformer + GQA (n_head=16, n_kv_head=4) + RMSNorm + RoPE(theta=10000.0) + SwiGLU + tied embeddings.
+Context length: 2048.
+Tokenizer: SentencePiece BPE byte_fallback, vocab 50000.
+Limite VRAM PyTorch per processo: 14.00 GB.
+Pipeline: pretrain (200000 step) → SFT (3 epoche). DPO disabilitato.
+Export: ONNX opset 18 (path attention 'math', portabile) in formato fp32 con External Data Format consolidato in 'emma5.onnx.data'. Per caricarlo: onnx.load('emma5.onnx') con emma5.onnx.data nella stessa cartella.
+Provenance: emma5_full_config.json contiene la configurazione esatta.
+Corpus pretraining: 54.36 GB raw → ~10.8B token.
+Licence: OpenRAIL-M License

bpe.model

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:54c131b4c26707f9b3186a8698d3ba33d7aefd98002a068a0557d5f3a74d3e7c
+size 1060753

config.json

@@ -0,0 +1,20 @@
+{
+  "model_name": "emma-5",
+  "model_type": "gpt",
+  "architecture": "decoder-only-transformer-gqa",
+  "vocab_size": 50000,
+  "hidden_size": 1280,
+  "num_hidden_layers": 28,
+  "num_attention_heads": 16,
+  "num_kv_heads": 4,
+  "intermediate_size": 3456,
+  "context_length": 2048,
+  "rope_theta": 10000.0,
+  "norm_type": "rmsnorm",
+  "activation": "swiglu",
+  "tokenizer": "sentencepiece",
+  "tied_embeddings": true,
+  "alignment": "SFT",
+  "gpu_memory_limit_gb": 14.0,
+  "onnx_opset": 18
+}

emma5.onnx

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:3db26acd094b47c7aaf57414dba73d8c6dcd2b2e888694b344342c3964e6b75d
+size 1361508

emma5.onnx.data

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:d54a34a1ea19a6f1490d7c4bc5addb9005c5cda720d7a44fc3d5d47a8c49f57d
+size 2457400320

emma5_full_config.json

@@ -0,0 +1,59 @@
+{
+  "data_root": "/data/emma5_lite",
+  "raw_pretrain_path": "pretraining.txt",
+  "finetune_path": "finetuning_prompt_response.json",
+  "rlhf_path": "rlhf.json",
+  "use_dpo": false,
+  "gpu_memory_limit_gb": 14.0,
+  "vocab_size": 50000,
+  "spm_input_sentence_size": 5000000,
+  "spm_max_sentence_length": 8192,
+  "tokens_dtype": "uint16",
+  "n_embd": 1280,
+  "n_layer": 28,
+  "n_head": 16,
+  "n_kv_head": 4,
+  "ff_mult": 2.6666666666666665,
+  "block_size": 2048,
+  "rope_theta": 10000.0,
+  "dropout": 0.0,
+  "use_flash_attn": true,
+  "pt_micro_batch": 4,
+  "pt_grad_accum": 32,
+  "pt_max_steps": 200000,
+  "pt_lr": 0.0004,
+  "pt_min_lr": 4e-05,
+  "pt_warmup_steps": 4000,
+  "pt_weight_decay": 0.1,
+  "pt_betas": [
+    0.9,
+    0.95
+  ],
+  "pt_grad_clip": 1.0,
+  "pt_eval_interval": 500,
+  "pt_eval_iters": 100,
+  "pt_log_interval": 50,
+  "pt_ckpt_interval": 2000,
+  "pt_grad_checkpoint": true,
+  "sft_micro_batch": 1,
+  "sft_grad_accum": 64,
+  "sft_epochs": 3,
+  "sft_lr": 1.2e-05,
+  "sft_warmup_steps": 150,
+  "sft_weight_decay": 0.0,
+  "sft_grad_clip": 1.0,
+  "sft_log_interval": 25,
+  "sft_use_8bit_optimizer": true,
+  "sft_dynamic_padding": true,
+  "dpo_micro_batch": 2,
+  "dpo_grad_accum": 8,
+  "dpo_epochs": 4,
+  "dpo_steps": 4000,
+  "dpo_lr": 7e-06,
+  "dpo_beta": 0.1,
+  "dpo_warmup_steps": 100,
+  "dpo_grad_clip": 1.0,
+  "dpo_log_interval": 25,
+  "onnx_opset": 18,
+  "seed": 1337
+}

tokenizer.model

@@ -0,0 +1 @@
+bpe.model

tokenizer_config.json

@@ -0,0 +1,8 @@
+{
+  "tokenizer_type": "sentencepiece",
+  "model_file": "bpe.model",
+  "pad_id": 0,
+  "unk_id": 1,
+  "bos_id": 2,
+  "eos_id": 3
+}