--- license: mit base_model: - Mattimax/DACMini-IT language: - it library_name: transformers tags: - DAC - DATA-AI - data-ai - quantized - gguf - Q8 - lightweight datasets: - Mattimax/DATA-AI_Conversation_ITA --- [![HuggingFace](https://img.shields.io/badge/HuggingFace-Mattimax-brightgreen)](https://huggingface.co/Mattimax) [![M.INC](https://img.shields.io/badge/M.INC-Labs-blue)](https://huggingface.co/MINC01) # Mattimax/DACMini-IT-Q8_0 ![Logo di DACMini](https://huggingface.co/Mattimax/DACMini/resolve/main/DACMini_Logo/DACMini_Logo.png) * **Autore:** [Mattimax](https://huggingface.co/Mattimax) * **Organizzazione:** [M.INC](https://huggingface.co/MINC01) * **Licenza:** MIT * **Modello base:** [Mattimax/DACMini-IT](https://huggingface.co/Mattimax/DACMini-IT) --- ## Descrizione **DACMini-IT-Q8_0** è la **versione quantizzata in Q8_0** del modello [**Mattimax/DACMini-IT**](https://huggingface.co/Mattimax/DACMini-IT), ottimizzata per l’esecuzione **più efficiente e leggera** su CPU e GPU con supporto limitato alla memoria. Questa versione mantiene la qualità linguistica e conversazionale del modello originale, riducendo drasticamente il peso e il consumo di RAM grazie alla **quantizzazione a 8 bit (Q8_0)**. La quantizzazione è stata realizzata per l’uso con **llama.cpp**, **text-generation-webui**, e altri framework compatibili con il formato **GGUF**. --- ## Caratteristiche tecniche | Proprietà | Valore | |------------|--------| | **Base model** | Mattimax/DACMini-IT | | **Architettura** | GPT-2 Small (italian adaptation) | | **Parametri effettivi** | ~109M | | **Formato** | GGUF | | **Quantizzazione** | Q8_0 | | **Precisione numerica** | 8-bit | | **Contesto massimo** | 512 token | | **Dimensione del file** | ~420 MB | | **Vocabolario** | ~50.000 token | --- ## Cos’è la quantizzazione Q8_0 Il formato **Q8_0** (int8 a precisione fissa) rappresenta un compromesso ideale tra **efficienza computazionale e qualità del modello**. Riduce le dimensioni del file e l’uso di memoria **senza una perdita significativa di performance** nel dialogo e nella comprensione linguistica. - Ogni parametro è compresso in 8 bit. - Mantiene una precisione quasi identica al modello FP16. - Ideale per inferenza su CPU (Intel, AMD) o GPU di fascia media (es. GTX, RTX, Tesla). --- ## Obiettivi * Esecuzione **offline o embedded** di chatbot in lingua italiana. * Supporto per **applicazioni su macchine a risorse limitate**. * Esperimenti NLP e inferenza rapida in ambiente desktop o server. --- ## Uso consigliato ### 1. Inference con `llama.cpp` ```bash ./main -m DACMini-IT-Q8_0.gguf -p "Ciao, come stai oggi?" -n 150 ```` ### 2. Inference con `text-generation-webui` 1. Copia il file `.gguf` nella cartella `models/`. 2. Seleziona il modello da interfaccia grafica. 3. Imposta temperatura, top_p e lunghezza di output a piacere. 4. Avvia la chat. --- ## Prestazioni stimate | Dispositivo | RAM richiesta | Tempo di risposta medio (token/s) | | -------------------------- | ------------- | --------------------------------- | | CPU Intel i7-3770 | ~1.5 GB | ~20 token/s | | GPU GTX 970 | ~1.2 GB VRAM | ~40 token/s | | CPU moderni (Ryzen 5 5600) | ~1.0 GB | ~60 token/s | *(valori indicativi, possono variare in base al contesto e al sistema operativo)* --- ## Limitazioni * Alcune lievi imprecisioni nelle risposte rispetto alla versione FP16. * Non adatto a compiti di reasoning o traduzione complessa. * Ottimizzato per dialoghi e generazione di testo naturale in italiano. --- ## Riferimenti * Modello originale: [Mattimax/DACMini-IT](https://huggingface.co/Mattimax/DACMini-IT) * Dataset di addestramento: [Mattimax/DATA-AI_Conversation_ITA](https://huggingface.co/datasets/Mattimax/DATA-AI_Conversation_ITA) * Organizzazione: [M.INC](https://huggingface.co/MINC01) * Collezione: [Little_DAC Collection](https://huggingface.co/collections/Mattimax/little-dac-collection-68e11d19a5949d08e672b312) --- ## Citazione Se utilizzi **Mattimax/DACMini-IT-Q8_0** in un progetto o pubblicazione, cita il modello originale: ```bibtex @misc{mattimax2025dacminiitq8, title = {{Mattimax/DACMini-IT-Q8_0}: versione quantizzata del modello DACMini-IT}, author = {Mattimax}, howpublished = {\url{https://huggingface.co/Mattimax/DACMini-IT-Q8_0}}, year = {2025}, note = {Versione quantizzata (Q8_0) basata su Mattimax/DACMini-IT. Licenza MIT.} } ``` --- **© 2025 Mattimax / M.INC Labs** — Modello open source rilasciato sotto licenza **MIT**. Ottimizzato per un’intelligenza artificiale accessibile, leggera e tutta italiana.