Instructions to use Nick06888/Infortun-IA with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use Nick06888/Infortun-IA with llama-cpp-python:

# !pip install llama-cpp-python

from llama_cpp import Llama

llm = Llama.from_pretrained(
	repo_id="Nick06888/Infortun-IA",
	filename="gguf/InfortunAI-8B.Q4_K_M.gguf",
)

llm.create_chat_completion(
	messages = [
		{
			"role": "user",
			"content": "What is the capital of France?"
		}
	]
)

Notebooks
Google Colab
Kaggle
Local Apps

llama.cpp

How to use Nick06888/Infortun-IA with llama.cpp:

Install from brew

brew install llama.cpp
# Start a local OpenAI-compatible server with a web UI:
llama-server -hf Nick06888/Infortun-IA:Q4_K_M
# Run inference directly in the terminal:
llama-cli -hf Nick06888/Infortun-IA:Q4_K_M

Install from WinGet (Windows)

winget install llama.cpp
# Start a local OpenAI-compatible server with a web UI:
llama-server -hf Nick06888/Infortun-IA:Q4_K_M
# Run inference directly in the terminal:
llama-cli -hf Nick06888/Infortun-IA:Q4_K_M

Use pre-built binary

# Download pre-built binary from:
# https://github.com/ggerganov/llama.cpp/releases
# Start a local OpenAI-compatible server with a web UI:
./llama-server -hf Nick06888/Infortun-IA:Q4_K_M
# Run inference directly in the terminal:
./llama-cli -hf Nick06888/Infortun-IA:Q4_K_M

Build from source code

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
cmake -B build
cmake --build build -j --target llama-server llama-cli
# Start a local OpenAI-compatible server with a web UI:
./build/bin/llama-server -hf Nick06888/Infortun-IA:Q4_K_M
# Run inference directly in the terminal:
./build/bin/llama-cli -hf Nick06888/Infortun-IA:Q4_K_M

Use Docker

docker model run hf.co/Nick06888/Infortun-IA:Q4_K_M

LM Studio
Jan

vLLM

How to use Nick06888/Infortun-IA with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "Nick06888/Infortun-IA"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "Nick06888/Infortun-IA",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/Nick06888/Infortun-IA:Q4_K_M

Ollama
How to use Nick06888/Infortun-IA with Ollama:
```
ollama run hf.co/Nick06888/Infortun-IA:Q4_K_M
```

Unsloth Studio new

How to use Nick06888/Infortun-IA with Unsloth Studio:

Install Unsloth Studio (macOS, Linux, WSL)

curl -fsSL https://unsloth.ai/install.sh | sh
# Run unsloth studio
unsloth studio -H 0.0.0.0 -p 8888
# Then open http://localhost:8888 in your browser
# Search for Nick06888/Infortun-IA to start chatting

Install Unsloth Studio (Windows)

irm https://unsloth.ai/install.ps1 | iex
# Run unsloth studio
unsloth studio -H 0.0.0.0 -p 8888
# Then open http://localhost:8888 in your browser
# Search for Nick06888/Infortun-IA to start chatting

Using HuggingFace Spaces for Unsloth

# No setup required
# Open https://huggingface.co/spaces/unsloth/studio in your browser
# Search for Nick06888/Infortun-IA to start chatting

Pi new

How to use Nick06888/Infortun-IA with Pi:

Start the llama.cpp server

# Install llama.cpp:
brew install llama.cpp
# Start a local OpenAI-compatible server:
llama-server -hf Nick06888/Infortun-IA:Q4_K_M

Configure the model in Pi

# Install Pi:
npm install -g @mariozechner/pi-coding-agent
# Add to ~/.pi/agent/models.json:
{
  "providers": {
    "llama-cpp": {
      "baseUrl": "http://localhost:8080/v1",
      "api": "openai-completions",
      "apiKey": "none",
      "models": [
        {
          "id": "Nick06888/Infortun-IA:Q4_K_M"
        }
      ]
    }
  }
}

Run Pi

# Start Pi in your project directory:
pi

Hermes Agent new

How to use Nick06888/Infortun-IA with Hermes Agent:

Start the llama.cpp server

# Install llama.cpp:
brew install llama.cpp
# Start a local OpenAI-compatible server:
llama-server -hf Nick06888/Infortun-IA:Q4_K_M

Configure Hermes

# Install Hermes:
curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash
hermes setup
# Point Hermes at the local server:
hermes config set model.provider custom
hermes config set model.base_url http://127.0.0.1:8080/v1
hermes config set model.default Nick06888/Infortun-IA:Q4_K_M

Run Hermes

hermes

Docker Model Runner
How to use Nick06888/Infortun-IA with Docker Model Runner:
```
docker model run hf.co/Nick06888/Infortun-IA:Q4_K_M
```

Lemonade

How to use Nick06888/Infortun-IA with Lemonade:

Pull the model

# Download Lemonade from https://lemonade-server.ai/
lemonade pull Nick06888/Infortun-IA:Q4_K_M

Run and chat with the model

lemonade run user.Infortun-IA-Q4_K_M

List all available models

lemonade list

Infortun-IA

Modello LLM fine-tuned per la prevenzione degli infortuni sul lavoro in Italia.

Basato su Meta-Llama-3.1-8B-Instruct, addestrato su un dataset di oltre 10.000 casi reali di infortuni lavorativi italiani per fornire consulenza specializzata sulla sicurezza nei luoghi di lavoro.

Cosa fa

Dato un scenario di infortunio (tipo, settore, causa, luogo...), il modello:

Analizza la dinamica dell'incidente
Identifica le cause e le mancanze
Fornisce raccomandazioni concrete e attuabili
Fa riferimento alla normativa italiana (D.Lgs. 81/2008)

Formati disponibili

Formato	Cartella	Uso
GGUF Q4_K_M	`gguf/`	Ollama, llama.cpp, LM Studio
Safetensors	`Unsloth/`	Transformers, vLLM, ulteriore fine-tuning

Uso rapido con Ollama

# Scarica il file GGUF e il Modelfile dalla cartella gguf/
ollama create infortun-ia -f Modelfile
ollama run infortun-ia

Uso con Transformers

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("Nick06888/Infortun-IA", subfolder="Unsloth")
tokenizer = AutoTokenizer.from_pretrained("Nick06888/Infortun-IA", subfolder="Unsloth")

messages = [
    {"role": "system", "content": "Sei un consulente esperto di sicurezza sul lavoro in Italia."},
    {"role": "user", "content": "Caduta da ponteggio in un cantiere edile, operaio senza imbracatura."}
]

inputs = tokenizer.apply_chat_template(messages, return_tensors="pt")
outputs = model.generate(inputs, max_new_tokens=1024, temperature=0.7)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

Dettagli del training

Parametro	Valore
Modello base	Meta-Llama-3.1-8B-Instruct
Metodo	LoRA (rank 32) + Unsloth
Dataset	PreventiData - 10.000+ casi di infortuni lavorativi italiani
Epoche	2
Batch size effettivo	32
Learning rate	2e-4
Scheduler	Cosine
Precisione	BF16, 4-bit quantization
GPU	NVIDIA L40S

Parametri estratti dal dataset

Ogni caso di infortunio nel dataset contiene 8 parametri strutturati:

Tipo di infortunio - caduta, taglio, schiacciamento, ustione...
Causa - mancanza DPI, distrazione, guasto macchinario...
Settore - edilizia, metalmeccanico, chimico, agricoltura...
Parte del corpo - mano, schiena, occhi, piede...
Gravita - lieve, moderato, grave, mortale
DPI utilizzati - si, no, parziale + dettagli
Luogo - cantiere, officina, magazzino, campo aperto...
Azioni preventive - suggerimenti per prevenire l'infortunio

Limiti

Il modello fornisce consigli generali, non sostituisce un consulente RSPP certificato
Le risposte si basano su pattern appresi dai dati e potrebbero non coprire tutti gli scenari
Riferimenti normativi: il modello conosce il D.Lgs. 81/2008 ma potrebbe non essere aggiornato su modifiche successive

Licenza

Questo modello eredita la licenza di Meta-Llama-3.1-8B-Instruct (Llama 3.1 Community License).

Downloads last month: 8

GGUF

Model size

8B params

Architecture

llama

Hardware compatibility

4-bit

Model tree for Nick06888/Infortun-IA

Base model

meta-llama/Llama-3.1-8B

Finetuned

meta-llama/Llama-3.1-8B-Instruct

Adapter

(2206)

this model

Nick06888
/

Infortun-IA