Mattimax commited on
Commit
02b7845
·
verified ·
1 Parent(s): a5a2325

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +70 -3
README.md CHANGED
@@ -1,3 +1,70 @@
1
- ---
2
- license: gpl-3.0
3
- ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: gpl-3.0
3
+ datasets:
4
+ - Mattimax/Little_ITA_60k
5
+ language:
6
+ - it
7
+ library_name: transformers
8
+ tags:
9
+ - DAC
10
+ - data-ai
11
+ - DATA-AI
12
+ ---
13
+
14
+ # PicoDAC
15
+
16
+ **Tag:** `it`, `chatbot`, `transformer`, `small-model`, `experimental`
17
+
18
+ ## Informazioni sul modello
19
+
20
+ **Nome modello:** PicoDAC
21
+ **Autore:** [Mattimax](https://huggingface.co/Mattimax)
22
+ **Organizzazione:** [M.INC](https://huggingface.co/MINC01)
23
+ **Licenza:** GPL-3.0
24
+
25
+ **Descrizione:**
26
+ PicoDAC è un modello di linguaggio compatto progettato per chat in lingua italiana. Basato su una architettura Transformer leggera, è ottimizzato per essere rapido e facilmente distribuibile. Questo modello è un **esperimento** ed è ancora in fase di sviluppo, quindi le prestazioni possono essere limitate rispetto a modelli più grandi e sofisticati.
27
+
28
+ **Dataset di addestramento:**
29
+ Il modello è stato addestrato sul dataset [Little_ITA_60k](https://huggingface.co/datasets/Mattimax/Little_ITA_60k), contenente conversazioni brevi in italiano.
30
+
31
+ **Obiettivo:**
32
+ Fornire un prototipo di chatbot italiano leggero, utile per test, sperimentazioni e applicazioni dove la dimensione del modello e la velocità sono prioritarie rispetto alla qualità generativa.
33
+
34
+ ---
35
+
36
+ ## Caratteristiche tecniche
37
+
38
+ - Architettura: Transformer autoregressivo compatto
39
+ - Dimensione del vocabolario: 1.920 token
40
+ - Lunghezza massima del contesto: 64 token
41
+ - Numero di strati (layers): 6
42
+ - Numero di teste di attenzione: 6
43
+ - Dimensione embedding: 240
44
+ - Quantizzazione: int8 per la maggior parte dei pesi, con embedding e layernorm ottimizzati a bit più alti
45
+
46
+ ---
47
+
48
+ ## Avvertenze e limitazioni
49
+
50
+ - Questo modello è **ancora sperimentale**: può generare risposte incoerenti o incomplete.
51
+ - Non è addestrato per conversazioni sensibili o contenuti critici.
52
+ - Performance su testi lunghi o conversazioni complesse sono limitate a causa della breve lunghezza del contesto e della piccola dimensione del modello.
53
+
54
+ ---
55
+
56
+ ## Uso previsto
57
+
58
+ - Chatbot sperimentali in italiano
59
+ - Applicazioni leggere dove la dimensione del modello è critica
60
+ - Prototipazione e testing di modelli di dialogo
61
+
62
+ **Nota:** consigliato l’uso con input brevi e contesti semplici.
63
+
64
+ ---
65
+
66
+ ## Riferimenti
67
+
68
+ - Dataset: [Little_ITA_60k](https://huggingface.co/datasets/Mattimax/Little_ITA_60k)
69
+ - Autore: [Mattimax](https://huggingface.co/Mattimax)
70
+ - Organizzazione: [M.INC](https://huggingface.co/MINC01)