Drummond-1b1-Instruct

Resumo do Modelo

O Drummond-1b1-Instruct é um modelo de linguagem focado em seguir instruções e raciocínio em Português (PT-BR). Ele é um fine-tune do modelo Tucano-1b1-Instruct, treinado especificamente para gerar cadeias de pensamento ("thinking process") antes de fornecer a resposta final.

Este modelo utiliza a arquitetura herdada do Tucano e foi otimizado para tarefas que exigem raciocínio estruturado com baixo custo computacional.

• Desenvolvido por: Corre Social
• Modelo Base: TucanoBR/Tucano-1b1-Instruct
• Idioma: Português (PT-BR)
• Tamanho do Contexto: 2048 tokens
• Licença: Apache 2.0 (Verificar modelo base)

Detalhes de Treinamento

O modelo foi treinado utilizando técnicas modernas de Supervised Fine-Tuning (SFT) focadas em eficiência e qualidade de instrução.

Tecnologias Utilizadas

O treinamento foi realizado utilizando o ecossistema Hugging Face e PyTorch:

• Biblioteca de Treino: TRL (Transformer Reinforcement Learning) versão 0.12.0.
• Otimização de Memória: bitsandbytes para otimizadores de 8-bit.
• Monitoramento: Weights & Biases (WandB).
• Hardware: Treinado em GPU com suporte a bfloat16.

Técnicas de Treinamento

1. Supervised Fine-Tuning (SFT): O modelo foi ajustado em um dataset de instruções para alinhar o comportamento de resposta.
2. Completion Only Loss: Utilizamos o DataCollatorForCompletionOnlyLM. Esta técnica é crucial: o modelo não aprende a prever a instrução do usuário, apenas a resposta e o raciocínio. Isso evita que o modelo "alucine" instruções e foca a perda (loss) apenas na geração útil.
   • Instruction Template: <instruction>
   • Response Template: <|im_start|>think
3. Special Tokens & ChatML: Foram adicionados tokens especiais (<|im_start|>, <|im_end|>) e o token de gatilho de pensamento think para estruturar o formato de Chain of Thought.
4. Otimização de Precisão:
   • Uso de BF16 (BFloat16) para estabilidade numérica durante o treino.
   • Otimizador AdamW 8-bit para reduzir o consumo de VRAM.
   • Gradient Checkpointing ativado para permitir batch sizes maiores ou modelos maiores em GPUs limitadas.

Hiperparâmetros

Parâmetro	Valor
Epochs	5
Learning Rate	1e-5
Batch Size (Efetivo)	4 (1 per device * 4 accumulation steps)
Context Window	2048 tokens
Optimizer	adamw_8bit
Precision	bf16
LRScheduler	Linear (com 10 warmup steps)

Dados de Treinamento

• Dataset: corre-social/s1_dataset_ptbr_1k_tokenized
• Tamanho: ~1.000 exemplos de alta qualidade.
• Foco: O dataset contém exemplos estruturados para estimular o modelo a "pensar" (think) antes de responder.

Como Usar

Para utilizar o modelo, é recomendável usar a formatação de prompt correta para ativar o modo de raciocínio:

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "corre-social/Drummond-1b1-Instruct"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)

# Template específico usado no treino
prompt = """<instruction>Explique como funciona a gravidade de forma simples.</instruction>
<|im_start|>think"""

inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

outputs = model.generate(
    **inputs,
    max_new_tokens=512,
    do_sample=True,
    temperature=0.7,
    top_p=0.9,
    eos_token_id=tokenizer.eos_token_id
)

response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(response)