MurdokLLmHack — Modelo de Ciberseguridad Fine-Tuned
Modelo fine-tuned sobre Qwen2.5-1.5B con +16,000 pares Q&A extraídos de 59 documentos técnicos de ciberseguridad.
Uso con Ollama (recomendado)
ollama run murdokllmhack
Uso con Transformers + PEFT
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
import torch
base = AutoModelForCausalLM.from_pretrained(
'unsloth/qwen2.5-1.5b-bnb-4bit',
device_map='auto',
torch_dtype=torch.float16
)
tokenizer = AutoTokenizer.from_pretrained('unsloth/qwen2.5-1.5b-bnb-4bit')
model = PeftModel.from_pretrained(base, 'murdok1982/MurdokLLmHack-LoRA')
prompt = '<|im_start|>system\nEres un experto en ciberseguridad.<|im_end|>\n<|im_start|>user\nQue es un firewall?<|im_end|>\n<|im_start|>assistant'
inputs = tokenizer(prompt, return_tensors='pt').to('cuda')
outputs = model.generate(**inputs, max_new_tokens=256, temperature=0.7)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))
Uso con GGUF (inferencia local CPU)
Descarga el GGUF y usa:
ollama create murdokllmhack -f Modelfile
ollama run murdokllmhack
Detalles del Fine-Tuning
- Base: Qwen2.5-1.5B
- Dataset: 16,026 train / 1,781 validation (formato ChatML)
- Entrenamiento: Unsloth + LoRA (r=32), 3 epochs, T4 Colab
- Cuantizacion: Q8_0 (GGUF), fp16 (merge)
- Contexto: 131,072 tokens