pycoder-3b-GGUF

Versรตes quantizadas em GGUF de raporto/pycoder-3b, um fine-tuning QLoRA de Qwen/Qwen2.5-3B-Instruct para assistรชncia em programaรงรฃo Python.

Para executar com Transformers, vLLM ou continuar treinando, use o repositรณrio de pesos em bf16. Este aqui รฉ o formato de consumo: roda em llama.cpp, Ollama e LM Studio, inclusive em GPUs pequenas e em CPU.

Arquivos

Arquivo Quantizaรงรฃo Tamanho Uso recomendado
pycoder-3b-q4_k_m.gguf Q4_K_M (~4,5 bpw) ~1,9 GB Padrรฃo. Menor pegada, cabe em GPUs de 4 GB.
pycoder-3b-q6_k.gguf Q6_K (~6,1 bpw) ~2,6 GB Qualidade quase idรชntica ao original. Preferรญvel quando hรก VRAM.

Ambos foram gerados a partir do mesmo GGUF F16, convertido direto dos pesos em bf16 โ€” nenhum arquivo foi requantizado a partir de outro quantizado.

Em um modelo de 3B, a degradaรงรฃo relativa da quantizaรงรฃo tende a ser maior do que em modelos grandes. Se houver memรณria disponรญvel, o Q6_K รฉ a escolha mais segura.

Uso com Ollama

Direto do Hugging Face, sem Modelfile:

ollama pull hf.co/raporto/pycoder-3b-GGUF:Q4_K_M
ollama cp   hf.co/raporto/pycoder-3b-GGUF:Q4_K_M pycoder-3b
ollama run  pycoder-3b

Para a versรฃo de maior qualidade, troque a tag por Q6_K. Sem tag, o Ollama escolhe Q4_K_M quando o arquivo existe no repositรณrio.

Modelfile

Ao importar o .gguf manualmente, o template รฉ obrigatรณrio. Sem ele, o Ollama aplica o padrรฃo e o modelo responde fora de formato ou nรฃo interrompe a geraรงรฃo.

FROM ./pycoder-3b-q4_k_m.gguf

TEMPLATE """{{- if .System }}<|im_start|>system
{{ .System }}<|im_end|>
{{ end }}
{{- range .Messages }}<|im_start|>{{ .Role }}
{{ .Content }}<|im_end|>
{{ end }}<|im_start|>assistant
"""

SYSTEM """Vocรช รฉ um engenheiro de software sรชnior especializado em Python. Escreva cรณdigo correto, idiomรกtico e testรกvel, explique decisรตes importantes em poucas linhas e sinalize casos de borda relevantes."""

PARAMETER stop "<|im_start|>"
PARAMETER stop "<|im_end|>"
PARAMETER temperature 0.2
PARAMETER top_p 0.9
PARAMETER repeat_penalty 1.05
PARAMETER num_ctx 8192
ollama create pycoder-3b -f Modelfile

Uso com llama.cpp

llama-cli -m pycoder-3b-q4_k_m.gguf -ngl 99 -c 8192 \
  -p "Escreva uma funรงรฃo que valide um CPF." --temp 0.2

llama-server -m pycoder-3b-q4_k_m.gguf -ngl 99 -c 8192 --host 0.0.0.0 --port 8080

-ngl 99 descarrega todas as camadas na GPU. Com Q4_K_M, o modelo inteiro cabe em placas a partir de 4 GB; com Q6_K, a partir de 6 GB.

Formato de prompt

ChatML do Qwen2.5, com system prompt em portuguรชs:

<|im_start|>system
Vocรช รฉ um assistente especialista em programaรงรฃo Python.<|im_end|>
<|im_start|>user
Escreva uma funรงรฃo que...<|im_end|>
<|im_start|>assistant

Parรขmetros recomendados

Parรขmetro Valor Motivo
temperature 0.15 โ€“ 0.3 Geraรงรฃo de cรณdigo pede determinismo.
top_p 0.9
repeat_penalty 1.05 Evita loops sem penalizar repetiรงรฃo legรญtima em cรณdigo.
num_ctx 8192 Comporta um arquivo mรฉdio mais a conversa.
num_predict 1024 Implementaรงรฃo acompanhada de testes.

Treinamento

QLoRA em 4 bits sobre Qwen/Qwen2.5-3B-Instruct, com adapters LoRA em todas as projeรงรตes de atenรงรฃo e MLP, perda calculada apenas sobre os tokens de resposta e sequence packing em blocos de 1024 tokens.

{
  "model": "Qwen/Qwen2.5-3B-Instruct",
  "dataset": "iamtarun/python_code_instructions_18k_alpaca",
  "dtype": "torch.bfloat16",
  "packing": true,
  "train_samples": 3431,
  "train_tokens": 3124347,
  "effective_batch": 16,
  "steps": 215,
  "train_loss": 0.48165738638057265,
  "eval_loss": 0.47419440746307373,
  "perplexity": 1.6067193148929226,
  "lora": {
    "r": 16,
    "alpha": 32,
    "dropout": 0.05
  }
}

train_samples conta blocos empacotados, nรฃo exemplos: o dataset de 18.612 exemplos foi percorrido integralmente em 1 รฉpoca. A perplexidade รฉ medida apenas sobre tokens de resposta e nรฃo รฉ comparรกvel ร  de modelos de propรณsito geral.

Detalhes completos no repositรณrio de pesos.

Idiomas

Treinado com system prompt e instruรงรตes em portuguรชs, sobre um dataset de cรณdigo em inglรชs. Responde bem em portuguรชs e inglรชs. O espanhol รฉ herdado da capacidade multilรญngue do Qwen2.5 e nรฃo foi alvo do ajuste, portanto nรฃo tem garantia de consistรชncia de formato.

Limitaรงรตes

Modelo de 3B parรขmetros treinado em ~18k exemplos de instruรงรฃo. Serve como assistente de cรณdigo do dia a dia, nรฃo como fonte autoritativa: valide o cรณdigo gerado antes de executar em produรงรฃo.

Alรฉm das limitaรงรตes do modelo original:

  • Perda por quantizaรงรฃo. Estes arquivos nรฃo sรฃo numericamente idรชnticos aos pesos em bf16. Avalie a variante escolhida antes de adotรก-la, em vez de assumir paridade com o repositรณrio de origem.
  • Alucinaรงรฃo de API. Pode inventar parรขmetros ou mรฉtodos de bibliotecas de terceiros.
  • Contexto e raciocรญnio longos. Refatoraรงรตes amplas e cadeias longas de raciocรญnio estรฃo acima do que essa faixa de tamanho entrega de forma confiรกvel.
  • Seguranรงa. O cรณdigo gerado nรฃo passa por anรกlise de seguranรงa. Revise antes de executar, especialmente se manipular arquivos, rede ou entrada nรฃo confiรกvel.
  • Escopo. Ajustado para Python. Outras linguagens funcionam apenas na medida do modelo base.

Licenรงa

Apache 2.0, herdada do modelo base Qwen2.5-3B-Instruct.

Crรฉditos

Downloads last month
20
GGUF
Model size
3B params
Architecture
qwen2
Hardware compatibility
Log In to add your hardware

4-bit

16-bit

Inference Providers NEW
This model isn't deployed by any Inference Provider. ๐Ÿ™‹ Ask for provider support

Model tree for raporto/pycoder-3b-GGUF

Base model

Qwen/Qwen2.5-3B
Quantized
(1)
this model

Dataset used to train raporto/pycoder-3b-GGUF