Mattimax commited on
Commit
0cf2214
·
verified ·
1 Parent(s): 71248a0

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +83 -3
README.md CHANGED
@@ -1,3 +1,83 @@
1
- ---
2
- license: apache-2.0
3
- ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: apache-2.0
3
+ language:
4
+ - it
5
+ - en
6
+ base_model:
7
+ - Mattimax/DATA-AI_Chat_3_360M-Intruct
8
+ tags:
9
+ - text-generation-inference
10
+ ---
11
+
12
+ # Mattimax/DATA-AI_Chat_3_360M-11M-Intruct
13
+
14
+ **⚠️ Sperimentale — Use at your own risk**
15
+
16
+ ---
17
+
18
+ ## 📌 Panoramica
19
+
20
+ `DATA-AI_Chat_3_360M-11M-Intruct` è un modello **sperimentale** di linguaggio autoregressivo sviluppato da **M.INC. (Mattimax)**. È il **primo modello al mondo** da **360 milioni di parametri** in grado di gestire una **finestra di contesto di 11 milioni di token**, una soglia finora mai raggiunta a questo livello di scala.
21
+
22
+ Il modello è progettato per compiti di *instruction-following* in italiano e inglese, ma non è stato ancora sottoposto a un processo di validazione esaustivo. L'utilizzo è consigliato solo in ambienti di ricerca e sviluppo.
23
+
24
+ ---
25
+
26
+ ## 🚧 Stato del progetto
27
+
28
+ - **Tipo:** LLM per instruction-following
29
+ - **Parametri:** 360M
30
+ - **Contesto massimo:** 11,000,000 token (sperimentale)
31
+ - **Tecniche avanzate:** LongRoPE + interpolazione dinamica, scalatura posizionale adattiva (parzialmente documentata)
32
+ - **Precisione:** fp16
33
+ - **Architettura:** compatibile con LLaMA-like transformer
34
+
35
+ ⚠️ Il modello **non è stato testato estensivamente** su dataset pubblici o benchmark ufficiali. Il suo comportamento su sequenze molto lunghe è ancora oggetto di studio.
36
+
37
+ ---
38
+
39
+ ## 🔬 Tecnologie implementate
40
+
41
+ Per raggiungere un contesto così esteso, sono state adottate e adattate **tecniche innovative** in ambito di posizionamento rotatorio e interpolazione dinamica, tra cui:
42
+
43
+ - **LongRoPE personalizzato** con frequenze inverse non lineari.
44
+ - **Interpolazione dinamica** del contesto posizionale (simile a YaRN).
45
+ - **Scalatura adattiva** in funzione della lunghezza della sequenza, con transizioni fluide tra soglie.
46
+
47
+ ---
48
+
49
+ ## 🧪 Esempio di utilizzo (avanzato)
50
+
51
+ ```python
52
+ from transformers import AutoTokenizer, AutoModelForCausalLM
53
+
54
+ model = AutoModelForCausalLM.from_pretrained("Mattimax/DATA-AI_Chat_3_360M-11M-Intruct", torch_dtype=torch.float16)
55
+ tokenizer = AutoTokenizer.from_pretrained("Mattimax/DATA-AI_Chat_3_360M-11M-Intruct")
56
+
57
+ prompt = "Scrivi una storia originale di 10 milioni di token su un'intelligenza artificiale senziente..."
58
+ inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
59
+ outputs = model.generate(**inputs, max_new_tokens=1000)
60
+ print(tokenizer.decode(outputs[0]))
61
+ ```
62
+
63
+ ---
64
+
65
+ ## 🏷️ Licenza
66
+
67
+ Rilasciato a scopo **sperimentale** da **M.INC.**. L’uso commerciale e la redistribuzione non autorizzata del modello o delle sue tecnologie sottostanti non è consentito.
68
+
69
+ ---
70
+
71
+ ## 📢 Contatti
72
+
73
+ Creato da: [Mattimax](https://huggingface.co/Mattimax)
74
+ Organizzazione: **M.INC.**
75
+ Per richieste, studi collaborativi o licensing contattare via HuggingFace.
76
+
77
+ ---
78
+
79
+ ## ⚠️ Disclaimer
80
+
81
+ Questo modello è fornito **così com'è**, senza garanzie di funzionamento. Potrebbe produrre risultati inaspettati, incompleti o non coerenti. L'uso in ambito medico, legale o critico è **fortemente sconsigliato**.
82
+
83
+ ```