S5-nano-FP8

Versão FP8 do S5-nano: 5,7 GB em vez de 8,7 GB.

• Os pesos das camadas lineares estão em FP8 (E4M3), com uma escala para cada bloco de 128×128.
• As ativações são quantizadas dinamicamente durante a inferência.
• Embeddings, encoder de visão e algumas projeções pequenas ficam em BF16.
• A camada de MTP está incluída.

É recomendado para GPUs com suporte nativo a FP8 (Ada, Hopper e Blackwell).

Servir com vLLM

vllm serve maritaca-ai/S5-nano-FP8 \
  --max-model-len 262144 \
  --reasoning-parser qwen3 \
  --enable-auto-tool-choice --tool-call-parser qwen3_coder

O servidor sobe em http://localhost:8000/v1, compatível com a API da OpenAI. Flags opcionais:

• --speculative-config '{"method":"mtp","num_speculative_tokens":3}' liga a decodificação especulativa com a camada de MTP;
• --language-model-only deixa o encoder de visão de fora e libera memória para o KV cache;
• --max-model-len 32768 reduz o contexto em GPUs com menos memória.

Parâmetros de geração recomendados

Parâmetro	Think	Instant
enable_thinking	true (padrão)	false
temperature	1.0	0.7
top_p	0.95	0.8
top_k	20	20
min_p	0.0	0.0
presence_penalty	1.5	1.5
repetition_penalty	1.0	1.0
max_tokens	32.768	32.768

O modo é escolhido em cada requisição com chat_template_kwargs, então o mesmo servidor atende os dois. Envie os parâmetros em toda requisição: o generation_config.json traz os valores do modo Think, mas não o presence_penalty.

Requisição

curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "maritaca-ai/S5-nano-FP8",
    "messages": [
      {"role": "user", "content": "Explique por que o céu é azul."}
    ],
    "temperature": 1.0,
    "top_p": 0.95,
    "top_k": 20,
    "min_p": 0.0,
    "presence_penalty": 1.5,
    "max_tokens": 32768
  }'

O raciocínio vem em choices[0].message.reasoning e a resposta final em choices[0].message.content. Para o modo Instant, use os parâmetros da coluna Instant e acrescente "chat_template_kwargs": {"enable_thinking": false}.

Exemplos com a biblioteca da OpenAI e com conversas de vários turnos estão no card do S5-nano.