Instructions to use kamoo-ai/kamoo-one-135m-instruct with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use kamoo-ai/kamoo-one-135m-instruct with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="kamoo-ai/kamoo-one-135m-instruct", device_map="auto")
messages = [
    {"role": "user", "content": "Who are you?"},
]
pipe(messages)

# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("kamoo-ai/kamoo-one-135m-instruct")
model = AutoModelForCausalLM.from_pretrained("kamoo-ai/kamoo-one-135m-instruct", device_map="auto")
messages = [
    {"role": "user", "content": "Who are you?"},
]
inputs = tokenizer.apply_chat_template(
	messages,
	add_generation_prompt=True,
	tokenize=True,
	return_dict=True,
	return_tensors="pt",
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=40)
print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:]))

Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use kamoo-ai/kamoo-one-135m-instruct with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "kamoo-ai/kamoo-one-135m-instruct"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "kamoo-ai/kamoo-one-135m-instruct",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/kamoo-ai/kamoo-one-135m-instruct

SGLang

How to use kamoo-ai/kamoo-one-135m-instruct with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "kamoo-ai/kamoo-one-135m-instruct" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "kamoo-ai/kamoo-one-135m-instruct",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "kamoo-ai/kamoo-one-135m-instruct" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "kamoo-ai/kamoo-one-135m-instruct",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Docker Model Runner
How to use kamoo-ai/kamoo-one-135m-instruct with Docker Model Runner:
```
docker model run hf.co/kamoo-ai/kamoo-one-135m-instruct
```

kamoo-one-135m-instruct

De instruct-variant van kamoo-one-135m: volgt Nederlandse instructies, antwoordt in ChatML en stopt netjes na zijn antwoord.

Volledige fine-tune (assistant-only loss) van het basismodel op 22.636 Nederlandse instructievoorbeelden over negen taaktypes: instructies volgen, kort vraag-antwoord, herschrijven naar B1, samenvatten, meerbeurten-chat, JSON-extractie, gegrond vraag-antwoord, weigeren bij onzekerheid/privacy, en classificeren/routeren. De tokenizer is uitgebreid met ChatML-tokens (vocab 32.832); <|im_end|> is het stopteken.

Gebruik

vllm serve kamoo-ai/kamoo-one-135m-instruct --max-model-len 1024

from transformers import pipeline
pipe = pipeline("text-generation", model="kamoo-ai/kamoo-one-135m-instruct")
out = pipe([
    {"role": "system", "content": "Je bent Kamoo, een behulpzame Nederlandstalige AI-assistent. Antwoord helder, feitelijk en beknopt."},
    {"role": "user", "content": "Herschrijf naar eenvoudig Nederlands: De aanvraag wordt buiten behandeling gesteld."},
], max_new_tokens=80)

Geef altijd een systeemprompt mee die de taak stuurt; zonder systeemprompt kan het model in de verkeerde taakmodus schieten.

Trainingsdetails

Basis: kamoo-one-135m (v0.8-corpus, 7,3 mld Nederlandse tokens; zie de model card van het basismodel voor de volledige datastamboom).
SFT: 2 epochs over 2,9M tokens, assistant-only loss, lr 5e-5.
SFT-data: kamoo-sft v0.3-everyday, 22.636 synthetische, getemplate Nederlandse voorbeelden (geen klant- of persoonsdata).

Grenzen, eerlijk

Alles wat voor het basismodel geldt (geen betrouwbare parametrische feiten, alleen Nederlands, 1.024 context), plus specifiek voor deze versie:

Vorm is sterker dan trouw. Het model houdt zich goed aan formats (JSON-schema's, B1-register, beknopt antwoorden) maar kan bij extractie waarden invullen die niet letterlijk in de invoer staan. Controleer extractie-output tegen de bron; gebruik het niet ongecontroleerd voor gegevensinvoer.
De SFT-data is volledig synthetisch/getemplated (v0.3); een versie met meer gegronde en diverse voorbeelden is in ontwikkeling.

English summary

Instruction-tuned variant of the from-scratch Dutch 135M model kamoo-one-135m. ChatML format, stops correctly, strong at format-following (JSON, register rewriting, summarizing); extraction faithfulness is a known limitation of the v0.3 templated SFT data. Apache-2.0. Built by kamoo.

kamoo · kamoo.nl · platform.kamoo.nl

Downloads last month: 332

Safetensors

Model size

0.1B params

Tensor type

BF16

Model tree for kamoo-ai/kamoo-one-135m-instruct

Base model

kamoo-ai/kamoo-one-135m

Finetuned

(1)

this model