File size: 3,271 Bytes
0cf2214 31387ba 0cf2214 3fdce05 bc405ee |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 |
---
license: apache-2.0
language:
- it
- en
base_model:
- Mattimax/DATA-AI_Chat_3_360M-Intruct
tags:
- text-generation-inference
---
# Mattimax/DATA-AI_Chat_3_360M-11M-Intruct
**⚠️ Sperimentale — Use at your own risk**
**⚠️ATTENZIONE - MODELLO SPERIMENTALE - DANGER - EXPERIMENTAL MODEL⚠️**
---
## 📌 Panoramica
`DATA-AI_Chat_3_360M-11M-Intruct` è un modello **sperimentale** di linguaggio autoregressivo sviluppato da **M.INC. (Mattimax)**. È il **primo modello al mondo** da **360 milioni di parametri** in grado di gestire una **finestra di contesto di 11 milioni di token**, una soglia finora mai raggiunta a questo livello di scala.
Il modello è progettato per compiti di *instruction-following* in italiano e inglese, ma non è stato ancora sottoposto a un processo di validazione esaustivo. L'utilizzo è consigliato solo in ambienti di ricerca e sviluppo.
---
## 🚧 Stato del progetto
- **Tipo:** LLM per instruction-following
- **Parametri:** 360M
- **Contesto massimo:** 11,000,000 token (sperimentale)
- **Tecniche avanzate:** LongRoPE + interpolazione dinamica, scalatura posizionale adattiva (parzialmente documentata)
- **Precisione:** fp16
- **Architettura:** compatibile con LLaMA-like transformer
⚠️ Il modello **non è stato testato estensivamente** su dataset pubblici o benchmark ufficiali. Il suo comportamento su sequenze molto lunghe è ancora oggetto di studio.
---
## 🔬 Tecnologie implementate
Per raggiungere un contesto così esteso, sono state adottate e adattate **tecniche innovative** in ambito di posizionamento rotatorio e interpolazione dinamica, tra cui:
- **LongRoPE personalizzato** con frequenze inverse non lineari.
- **Interpolazione dinamica** del contesto posizionale (simile a YaRN).
- **Scalatura adattiva** in funzione della lunghezza della sequenza, con transizioni fluide tra soglie.
---
## 🧪 Esempio di utilizzo (avanzato)
```python
from transformers import AutoTokenizer, AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained("Mattimax/DATA-AI_Chat_3_360M-11M-Intruct", torch_dtype=torch.float16)
tokenizer = AutoTokenizer.from_pretrained("Mattimax/DATA-AI_Chat_3_360M-11M-Intruct")
prompt = "Scrivi una storia originale di 10 milioni di token su un'intelligenza artificiale senziente..."
inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
outputs = model.generate(**inputs, max_new_tokens=1000)
print(tokenizer.decode(outputs[0]))
```
---
## 🏷️ Licenza
Rilasciato a scopo **sperimentale** da **M.INC.**. L’uso commerciale e la redistribuzione non autorizzata del modello o delle sue tecnologie sottostanti non è consentito.
---
## 📢 Contatti
Creato da: [Mattimax](https://huggingface.co/Mattimax)
Organizzazione: **M.INC.**
Per richieste, studi collaborativi o licensing contattare via HuggingFace.
---
## ⚠️ Disclaimer
**Modello RWKV con finestra di contesto teorica da 11 milioni di token. In fase sperimentale: stiamo verificando la reale efficienza e compatibilità con input di questa lunghezza.**
Questo modello è fornito **così com'è**, senza garanzie di funzionamento. Potrebbe produrre risultati inaspettati, incompleti o non coerenti. L'uso in ambito medico, legale o critico è **fortemente sconsigliato**. |