---
license: apache-2.0
language:
- it
- en
base_model:
- Mattimax/DATA-AI_Chat_3_360M-Intruct
tags:
- text-generation-inference
---

# Mattimax/DATA-AI_Chat_3_360M-11M-Intruct

**⚠️ Sperimentale — Use at your own risk**


**⚠️ATTENZIONE - MODELLO SPERIMENTALE - DANGER - EXPERIMENTAL MODEL⚠️**

---

## 📌 Panoramica

`DATA-AI_Chat_3_360M-11M-Intruct` è un modello **sperimentale** di linguaggio autoregressivo sviluppato da **M.INC. (Mattimax)**. È il **primo modello al mondo** da **360 milioni di parametri** in grado di gestire una **finestra di contesto di 11 milioni di token**, una soglia finora mai raggiunta a questo livello di scala.

Il modello è progettato per compiti di *instruction-following* in italiano e inglese, ma non è stato ancora sottoposto a un processo di validazione esaustivo. L'utilizzo è consigliato solo in ambienti di ricerca e sviluppo.

---

## 🚧 Stato del progetto

- **Tipo:** LLM per instruction-following
- **Parametri:** 360M
- **Contesto massimo:** 11,000,000 token (sperimentale)
- **Tecniche avanzate:** LongRoPE + interpolazione dinamica, scalatura posizionale adattiva (parzialmente documentata)
- **Precisione:** fp16
- **Architettura:** compatibile con LLaMA-like transformer

⚠️ Il modello **non è stato testato estensivamente** su dataset pubblici o benchmark ufficiali. Il suo comportamento su sequenze molto lunghe è ancora oggetto di studio.

---

## 🔬 Tecnologie implementate

Per raggiungere un contesto così esteso, sono state adottate e adattate **tecniche innovative** in ambito di posizionamento rotatorio e interpolazione dinamica, tra cui:

- **LongRoPE personalizzato** con frequenze inverse non lineari.
- **Interpolazione dinamica** del contesto posizionale (simile a YaRN).
- **Scalatura adattiva** in funzione della lunghezza della sequenza, con transizioni fluide tra soglie.

---

## 🧪 Esempio di utilizzo (avanzato)

```python
from transformers import AutoTokenizer, AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained("Mattimax/DATA-AI_Chat_3_360M-11M-Intruct", torch_dtype=torch.float16)
tokenizer = AutoTokenizer.from_pretrained("Mattimax/DATA-AI_Chat_3_360M-11M-Intruct")

prompt = "Scrivi una storia originale di 10 milioni di token su un'intelligenza artificiale senziente..."
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens=1000)
print(tokenizer.decode(outputs[0]))
```

---

## 🏷️ Licenza

Rilasciato a scopo **sperimentale** da **M.INC.**. L’uso commerciale e la redistribuzione non autorizzata del modello o delle sue tecnologie sottostanti non è consentito.

---

## 📢 Contatti

Creato da: [Mattimax](https://huggingface.co/Mattimax)  
Organizzazione: **M.INC.**  
Per richieste, studi collaborativi o licensing contattare via HuggingFace.

---

## ⚠️ Disclaimer

**Modello RWKV con finestra di contesto teorica da 11 milioni di token. In fase sperimentale: stiamo verificando la reale efficienza e compatibilità con input di questa lunghezza.**

Questo modello è fornito **così com'è**, senza garanzie di funzionamento. Potrebbe produrre risultati inaspettati, incompleti o non coerenti. L'uso in ambito medico, legale o critico è **fortemente sconsigliato**.