|
|
--- |
|
|
license: apache-2.0 |
|
|
language: |
|
|
- it |
|
|
- en |
|
|
base_model: |
|
|
- Mattimax/DATA-AI_Chat_3_360M-Intruct |
|
|
tags: |
|
|
- text-generation-inference |
|
|
--- |
|
|
|
|
|
# Mattimax/DATA-AI_Chat_3_360M-11M-Intruct |
|
|
|
|
|
**⚠️ Sperimentale — Use at your own risk** |
|
|
|
|
|
|
|
|
**⚠️ATTENZIONE - MODELLO SPERIMENTALE - DANGER - EXPERIMENTAL MODEL⚠️** |
|
|
|
|
|
--- |
|
|
|
|
|
## 📌 Panoramica |
|
|
|
|
|
`DATA-AI_Chat_3_360M-11M-Intruct` è un modello **sperimentale** di linguaggio autoregressivo sviluppato da **M.INC. (Mattimax)**. È il **primo modello al mondo** da **360 milioni di parametri** in grado di gestire una **finestra di contesto di 11 milioni di token**, una soglia finora mai raggiunta a questo livello di scala. |
|
|
|
|
|
Il modello è progettato per compiti di *instruction-following* in italiano e inglese, ma non è stato ancora sottoposto a un processo di validazione esaustivo. L'utilizzo è consigliato solo in ambienti di ricerca e sviluppo. |
|
|
|
|
|
--- |
|
|
|
|
|
## 🚧 Stato del progetto |
|
|
|
|
|
- **Tipo:** LLM per instruction-following |
|
|
- **Parametri:** 360M |
|
|
- **Contesto massimo:** 11,000,000 token (sperimentale) |
|
|
- **Tecniche avanzate:** LongRoPE + interpolazione dinamica, scalatura posizionale adattiva (parzialmente documentata) |
|
|
- **Precisione:** fp16 |
|
|
- **Architettura:** compatibile con LLaMA-like transformer |
|
|
|
|
|
⚠️ Il modello **non è stato testato estensivamente** su dataset pubblici o benchmark ufficiali. Il suo comportamento su sequenze molto lunghe è ancora oggetto di studio. |
|
|
|
|
|
--- |
|
|
|
|
|
## 🔬 Tecnologie implementate |
|
|
|
|
|
Per raggiungere un contesto così esteso, sono state adottate e adattate **tecniche innovative** in ambito di posizionamento rotatorio e interpolazione dinamica, tra cui: |
|
|
|
|
|
- **LongRoPE personalizzato** con frequenze inverse non lineari. |
|
|
- **Interpolazione dinamica** del contesto posizionale (simile a YaRN). |
|
|
- **Scalatura adattiva** in funzione della lunghezza della sequenza, con transizioni fluide tra soglie. |
|
|
|
|
|
--- |
|
|
|
|
|
## 🧪 Esempio di utilizzo (avanzato) |
|
|
|
|
|
```python |
|
|
from transformers import AutoTokenizer, AutoModelForCausalLM |
|
|
|
|
|
model = AutoModelForCausalLM.from_pretrained("Mattimax/DATA-AI_Chat_3_360M-11M-Intruct", torch_dtype=torch.float16) |
|
|
tokenizer = AutoTokenizer.from_pretrained("Mattimax/DATA-AI_Chat_3_360M-11M-Intruct") |
|
|
|
|
|
prompt = "Scrivi una storia originale di 10 milioni di token su un'intelligenza artificiale senziente..." |
|
|
inputs = tokenizer(prompt, return_tensors="pt").to("cuda") |
|
|
outputs = model.generate(**inputs, max_new_tokens=1000) |
|
|
print(tokenizer.decode(outputs[0])) |
|
|
``` |
|
|
|
|
|
--- |
|
|
|
|
|
## 🏷️ Licenza |
|
|
|
|
|
Rilasciato a scopo **sperimentale** da **M.INC.**. L’uso commerciale e la redistribuzione non autorizzata del modello o delle sue tecnologie sottostanti non è consentito. |
|
|
|
|
|
--- |
|
|
|
|
|
## 📢 Contatti |
|
|
|
|
|
Creato da: [Mattimax](https://huggingface.co/Mattimax) |
|
|
Organizzazione: **M.INC.** |
|
|
Per richieste, studi collaborativi o licensing contattare via HuggingFace. |
|
|
|
|
|
--- |
|
|
|
|
|
## ⚠️ Disclaimer |
|
|
|
|
|
**Modello RWKV con finestra di contesto teorica da 11 milioni di token. In fase sperimentale: stiamo verificando la reale efficienza e compatibilità con input di questa lunghezza.** |
|
|
|
|
|
Questo modello è fornito **così com'è**, senza garanzie di funzionamento. Potrebbe produrre risultati inaspettati, incompleti o non coerenti. L'uso in ambito medico, legale o critico è **fortemente sconsigliato**. |
