qlora-ti-2025-adapter

Adapter LoRA (r = 16) para o Llama-2-7B-HF voltado a tarefas de instruction-following em português, com ênfase em temas de Tecnologia da Informação (TI) e tendências 2025.

Fine-tuning leve via QLoRA: o modelo base permanece congelado em 4-bit, apenas ~7 M parâmetros adicionais são treináveis.

---

Detalhes do Modelo

Autor	Acauan C. Ribeiro
Domínio	PT-BR, TI, perguntas gerais
Tamanho	7 B (base) + 28 MB (LoRA)
Framework	Transformers 4.41 + PEFT 0.8.2
Finetuning	QLoRA, 3 épocas, efetivo batch 8, LR 2e-4
Dados	1 000 pares instruct→answer • 500 gerados com ChatGPT o3 • 500 com Gemini 2.5 Pro (preview)

---

Como usar

!pip install bitsandbytes

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

base = "meta-llama/Llama-2-7b-hf"
adapter = "acauanrr/qlora-ti-2025-adapter"

tok = AutoTokenizer.from_pretrained(base)
model = AutoModelForCausalLM.from_pretrained(
    base,
    load_in_4bit=True,           # mesmo regime do treino
    device_map="auto"
)
model = PeftModel.from_pretrained(model, adapter)

prompt = "Explique em 3 pontos as tendências de TI para 2025."
inputs = tok(prompt, return_tensors="pt").to(model.device)
print(tok.decode(model.generate(**inputs, max_new_tokens=256)[0], skip_special_tokens=True))