Mattimax commited on
Commit
a76e286
·
verified ·
1 Parent(s): 1559083

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +70 -23
README.md CHANGED
@@ -17,54 +17,101 @@ tags:
17
 
18
  ## Informazioni sul modello
19
 
20
- **Nome modello:** PicoDAC
21
- **Autore:** [Mattimax](https://huggingface.co/Mattimax)
22
- **Organizzazione:** [M.INC](https://huggingface.co/MINC01)
23
- **Licenza:** GPL-3.0
24
 
25
- **Descrizione:**
26
  PicoDAC è un modello di linguaggio compatto progettato per chat in lingua italiana. Basato su una architettura Transformer leggera, è ottimizzato per essere rapido e facilmente distribuibile. Questo modello è un **esperimento** ed è ancora in fase di sviluppo, quindi le prestazioni possono essere limitate rispetto a modelli più grandi e sofisticati.
27
 
28
- **Dataset di addestramento:**
29
  Il modello è stato addestrato sul dataset [Little_ITA_60k](https://huggingface.co/datasets/Mattimax/Little_ITA_60k), contenente conversazioni brevi in italiano.
30
 
31
- **Obiettivo:**
32
  Fornire un prototipo di chatbot italiano leggero, utile per test, sperimentazioni e applicazioni dove la dimensione del modello e la velocità sono prioritarie rispetto alla qualità generativa.
33
 
34
  ---
35
 
36
  ## Caratteristiche tecniche
37
 
38
- - Architettura: Transformer autoregressivo compatto
39
- - Dimensione del vocabolario: 1.920 token
40
- - Lunghezza massima del contesto: 64 token
41
- - Numero di strati (layers): 6
42
- - Numero di teste di attenzione: 6
43
- - Dimensione embedding: 240
44
- - Quantizzazione: int8 per la maggior parte dei pesi, con embedding e layernorm ottimizzati a bit più alti
45
 
46
  ---
47
 
48
  ## Avvertenze e limitazioni
49
 
50
- - Questo modello è **ancora sperimentale**: può generare risposte incoerenti o incomplete.
51
- - Non è addestrato per conversazioni sensibili o contenuti critici.
52
- - Performance su testi lunghi o conversazioni complesse sono limitate a causa della breve lunghezza del contesto e della piccola dimensione del modello.
53
 
54
  ---
55
 
56
  ## Uso previsto
57
 
58
- - Chatbot sperimentali in italiano
59
- - Applicazioni leggere dove la dimensione del modello è critica
60
- - Prototipazione e testing di modelli di dialogo
61
 
62
  **Nota:** consigliato l’uso con input brevi e contesti semplici.
63
 
64
  ---
65
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
66
  ## Riferimenti
67
 
68
- - Dataset: [Little_ITA_60k](https://huggingface.co/datasets/Mattimax/Little_ITA_60k)
69
- - Autore: [Mattimax](https://huggingface.co/Mattimax)
70
- - Organizzazione: [M.INC](https://huggingface.co/MINC01)
 
17
 
18
  ## Informazioni sul modello
19
 
20
+ **Nome modello:** PicoDAC
21
+ **Autore:** [Mattimax](https://huggingface.co/Mattimax)
22
+ **Organizzazione:** [M.INC](https://huggingface.co/MINC01)
23
+ **Licenza:** GPL-3.0
24
 
25
+ **Descrizione:**
26
  PicoDAC è un modello di linguaggio compatto progettato per chat in lingua italiana. Basato su una architettura Transformer leggera, è ottimizzato per essere rapido e facilmente distribuibile. Questo modello è un **esperimento** ed è ancora in fase di sviluppo, quindi le prestazioni possono essere limitate rispetto a modelli più grandi e sofisticati.
27
 
28
+ **Dataset di addestramento:**
29
  Il modello è stato addestrato sul dataset [Little_ITA_60k](https://huggingface.co/datasets/Mattimax/Little_ITA_60k), contenente conversazioni brevi in italiano.
30
 
31
+ **Obiettivo:**
32
  Fornire un prototipo di chatbot italiano leggero, utile per test, sperimentazioni e applicazioni dove la dimensione del modello e la velocità sono prioritarie rispetto alla qualità generativa.
33
 
34
  ---
35
 
36
  ## Caratteristiche tecniche
37
 
38
+ * Architettura: Transformer autoregressivo compatto
39
+ * Dimensione del vocabolario: 1.920 token
40
+ * Lunghezza massima del contesto: 64 token
41
+ * Numero di strati (layers): 6
42
+ * Numero di teste di attenzione: 6
43
+ * Dimensione embedding: 240
44
+ * Quantizzazione: int8 per la maggior parte dei pesi, con embedding e layernorm ottimizzati a bit più alti
45
 
46
  ---
47
 
48
  ## Avvertenze e limitazioni
49
 
50
+ * Questo modello è **ancora sperimentale**: può generare risposte incoerenti o incomplete.
51
+ * Non è addestrato per conversazioni sensibili o contenuti critici.
52
+ * Performance su testi lunghi o conversazioni complesse sono limitate a causa della breve lunghezza del contesto e della piccola dimensione del modello.
53
 
54
  ---
55
 
56
  ## Uso previsto
57
 
58
+ * Chatbot sperimentali in italiano
59
+ * Applicazioni leggere dove la dimensione del modello è critica
60
+ * Prototipazione e testing di modelli di dialogo
61
 
62
  **Nota:** consigliato l’uso con input brevi e contesti semplici.
63
 
64
  ---
65
 
66
+ ## Installazione
67
+
68
+ ```bash
69
+ pip install transformers torch
70
+ ```
71
+
72
+ ---
73
+
74
+ ## Esempio di utilizzo in Python
75
+
76
+ ```python
77
+ from transformers import AutoModelForCausalLM, AutoTokenizer
78
+ import torch
79
+
80
+ # Carica modello e tokenizer
81
+ model_name = "Mattimax/PicoDAC"
82
+ tokenizer = AutoTokenizer.from_pretrained(model_name)
83
+ model = AutoModelForCausalLM.from_pretrained(model_name)
84
+
85
+ # Input di esempio
86
+ input_text = "Ciao, come va?"
87
+ inputs = tokenizer(input_text, return_tensors="pt")
88
+
89
+ # Generazione
90
+ with torch.no_grad():
91
+ outputs = model.generate(**inputs, max_length=64, do_sample=True, temperature=0.8)
92
+
93
+ # Decodifica
94
+ response = tokenizer.decode(outputs[0], skip_special_tokens=True)
95
+ print(response)
96
+ ```
97
+
98
+ **Suggerimenti pratici:**
99
+
100
+ * Usa `max_length` basso per mantenere la coerenza delle risposte.
101
+ * Temperature intorno a 0.7–1.0 favoriscono generazioni più creative.
102
+ * Evita input troppo lunghi (oltre 64 token), perché il modello può perdere il contesto precedente.
103
+
104
+ ---
105
+
106
+ ## Integrazione consigliata
107
+
108
+ * **Applicazioni mobile**: dimensione ridotta e quantizzazione riducono il consumo di RAM e storage.
109
+ * **Sperimentazione NLP**: utile per test di prompt, fine-tuning leggero o per costruire dataset sintetici.
110
+
111
+ ---
112
+
113
  ## Riferimenti
114
 
115
+ * Dataset: [Little_ITA_60k](https://huggingface.co/datasets/Mattimax/Little_ITA_60k)
116
+ * Autore: [Mattimax](https://huggingface.co/Mattimax)
117
+ * Organizzazione: [M.INC](https://huggingface.co/MINC01)