RiosWesley/gemma-3-270M-Model-Router

Rango Router BR - Gemma 3 270M (GGUF)

Rango Router BR é um modelo Tiny LLM (baseado no Gemma 3 270M) finetunado para atuar como um classificador de intenções (router) extremamente rápido e leve para sistemas de atendimento de delivery no Brasil.

Este modelo foi treinado e convertido para o formato GGUF usando Unsloth.

Funcionalidade

O modelo lê a mensagem do usuário (que pode conter gírias, abreviações e linguagem informal brasileira) e classifica a intenção em um formato JSON.

Intenções Suportadas (Output):

O modelo retorna um JSON com uma das três chaves:

1. INFO_FLOW: O usuário quer informações (cardápio, horário, endereço, pix).
2. ORDER_FLOW: O usuário quer fazer, alterar ou confirmar um pedido.
3. HUMAN_HANDOFF: O usuário está irritado, teve problemas ou pediu um humano.

Configurações de Inferência Recomendadas

Para garantir a melhor consistência no formato JSON e precisão na classificação, recomendamos os seguintes parâmetros:

Parâmetro	Valor	Motivo
Temperature	0.6	Equilíbrio ideal para este modelo de 270M não "alucinar" o JSON, mas entender variações linguísticas.
Top P	0.95	Nucleus sampling padrão para evitar respostas de baixa probabilidade.
Top K	64	Limita o vocabulário de escolha, ajudando a manter o foco nas tags JSON.

Como rodar

1. Ollama (Recomendado)

Crie um arquivo chamado Modelfile com o seguinte conteúdo (as configurações já estão incluídas):

FROM ./gemma-3-270m-it.Q8_0.gguf

# Template de chat padrão do Gemma 3
TEMPLATE "<start_of_turn>user\n{{ .Prompt }}<end_of_turn>\n<start_of_turn>model\n"

# Parâmetros recomendados para o Router
PARAMETER temperature 0.6
PARAMETER top_p 0.95
PARAMETER top_k 64
PARAMETER stop "<end_of_turn>"

Depois crie e rode o modelo:

ollama create rango-router -f Modelfile
ollama run rango-router "Manda o cardápio aí chefia"

2. Llama.cpp (CLI)

Ao rodar via linha de comando, passe as flags correspondentes:

llama-cli --hf RiosWesley/gemma-3-270m-router-br-gguf \
  --temp 0.6 \
  --top-p 0.95 \
  --top-k 64 \
  -p "<start_of_turn>user\nO motoboy sumiu, cadê meu lanche?<end_of_turn>\n<start_of_turn>model"

3. Python (Llama-cpp-python)

from llama_cpp import Llama

llm = Llama(
    model_path="./gemma-3-270m-it.Q8_0.gguf",
    n_ctx=2048
)

output = llm(
    "<start_of_turn>user\nQuero pedir uma pizza meia a meia\n<end_of_turn>\n<start_of_turn>model",
    max_tokens=128,
    temperature=0.6,
    top_p=0.95,
    top_k=64,
    stop=["<end_of_turn>"]
)

print(output['choices'][0]['text'])

Arquivos Disponíveis

• gemma-3-270m-it.Q8_0.gguf: Versão quantizada em 8-bit (Recomendada).

Dados de Treinamento

O modelo foi treinado no dataset RiosWesley/rango-router-BR, contendo frases coloquiais do português brasileiro focadas em contextos de alimentação e restaurantes.

---

Model finetuned using Unsloth. ```