README.md

---
license: mit
language:
- es
tags:
- cybersecurity
- seguridad-informatica
- qwen2.5
- lora
- sft
- unsloth
base_model: unsloth/qwen2.5-1.5b-bnb-4bit
pipeline_tag: text-generation
---

# MurdokLLmHack — Modelo de Ciberseguridad Fine-Tuned

Modelo fine-tuned sobre Qwen2.5-1.5B con +16,000 pares Q&A extraídos de 59 documentos técnicos de ciberseguridad.

## Uso con Ollama (recomendado)

```bash
ollama run murdokllmhack
```

## Uso con Transformers + PEFT

```python
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
import torch

base = AutoModelForCausalLM.from_pretrained(
    'unsloth/qwen2.5-1.5b-bnb-4bit',
    device_map='auto',
    torch_dtype=torch.float16
)
tokenizer = AutoTokenizer.from_pretrained('unsloth/qwen2.5-1.5b-bnb-4bit')
model = PeftModel.from_pretrained(base, 'murdok1982/MurdokLLmHack-LoRA')

prompt = '<|im_start|>system\nEres un experto en ciberseguridad.<|im_end|>\n<|im_start|>user\nQue es un firewall?<|im_end|>\n<|im_start|>assistant'
inputs = tokenizer(prompt, return_tensors='pt').to('cuda')
outputs = model.generate(**inputs, max_new_tokens=256, temperature=0.7)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
```

## Uso con GGUF (inferencia local CPU)

Descarga el GGUF y usa:

```bash
ollama create murdokllmhack -f Modelfile
ollama run murdokllmhack
```

## Detalles del Fine-Tuning

- **Base:** Qwen2.5-1.5B
- **Dataset:** 16,026 train / 1,781 validation (formato ChatML)
- **Entrenamiento:** Unsloth + LoRA (r=32), 3 epochs, T4 Colab
- **Cuantizacion:** Q8_0 (GGUF), fp16 (merge)
- **Contexto:** 131,072 tokens

## Contacto

- **Email:** gustavolobatoclara@gmail.com
- **LinkedIn:** https://www.linkedin.com/in/gustavo-lobato-clara1982/
- **Dataset:** https://huggingface.co/datasets/murdok1982/formacion-seguridad-qa