🦙 Mistral-7B-LoRA (Merged) — ogaith/mistral-7b-lora-merged

Este repositório contém uma versão fundida (merged) do modelo Mistral-7B-Instruct-v0.3 com um LoRA customizado, resultando em um modelo pronto para uso, sem necessidade de carregar adaptadores externos.
O modelo está salvo em safetensors, compatível com transformers, vLLM, TGI, koboldcpp, text-generation-webui e outros runtimes.

---

🧠 Modelo Base

• Base: mistralai/Mistral-7B-Instruct-v0.3
• Licença: Apache-2.0 (uso comercial permitido)
• Parâmetros: ~7B
• Arquitetura: Transformer Decoder-only
• Tokenizer: mistral tokenizer (compatível com LLaMA)

---

🎛 Treinamento / LoRA

Este modelo foi criado aplicando um LoRA ao modelo base e depois fundindo (merge) os pesos utilizando peft.merge_and_unload().

• Formato original do LoRA: PEFT / safetensors
• Após fusão, o modelo funciona como um modelo normal — não é necessário carregar LoRA.

---

📦 Como Usar

Python (Transformers)

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_name = "ogaith/mistral-7b-lora-merged"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.float16,
    device_map="auto"
)

prompt = "Quando terminou o casamento de Virgínia Fonseca e Zé Felipe?"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
output = model.generate(**inputs, max_new_tokens=200)
print(tokenizer.decode(output[0], skip_special_tokens=True))

vLLM

vllm serve ogaith/mistral-7b-lora-merged --dtype float16

Text Generation Inference (TGI)

docker run -p 8080:80 \
    ghcr.io/huggingface/text-generation-inference:latest \
    --model-id ogaith/mistral-7b-lora-merged

---

🚀 Características e Objetivos

• Derivado de um modelo Instruct — responde melhor a prompts diretos
• Melhor coerência e estilo
• Mantém velocidade e eficiência do Mistral 7B

---

📜 Licença

• Modelo base: Apache-2.0
• Este modelo derivado: Apache-2.0

✅ Permitido para uso comercial
✅ Permitido redistribuir
⚠️ Mencione sempre a origem do modelo base (mistralai/Mistral-7B-Instruct-v0.3)

---

✨ Agradecimentos

• Mistral AI pelo modelo base
• Comunidade open-source (transformers, peft, safetensors)

---

⭐ Se este modelo te ajudou, considere deixar uma star!