Instructions to use mayflowergmbh/Josev-9B with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use mayflowergmbh/Josev-9B with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("image-text-to-text", model="mayflowergmbh/Josev-9B")
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/p-blog/candy.JPG"},
            {"type": "text", "text": "What animal is on the candy?"}
        ]
    },
]
pipe(text=messages)

# pip install -U transformers accelerate
# Load model directly
from transformers import AutoProcessor, AutoModelForMultimodalLM

processor = AutoProcessor.from_pretrained("mayflowergmbh/Josev-9B")
model = AutoModelForMultimodalLM.from_pretrained("mayflowergmbh/Josev-9B", device_map="auto")
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/p-blog/candy.JPG"},
            {"type": "text", "text": "What animal is on the candy?"}
        ]
    },
]
inputs = processor.apply_chat_template(
	messages,
	add_generation_prompt=True,
	tokenize=True,
	return_dict=True,
	return_tensors="pt",
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=256)
print(processor.decode(outputs[0][inputs["input_ids"].shape[-1]:]))

Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use mayflowergmbh/Josev-9B with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "mayflowergmbh/Josev-9B"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "mayflowergmbh/Josev-9B",
		"messages": [
			{
				"role": "user",
				"content": [
					{
						"type": "text",
						"text": "Describe this image in one sentence."
					},
					{
						"type": "image_url",
						"image_url": {
							"url": "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg"
						}
					}
				]
			}
		]
	}'

Use Docker

docker model run hf.co/mayflowergmbh/Josev-9B

SGLang

How to use mayflowergmbh/Josev-9B with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "mayflowergmbh/Josev-9B" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "mayflowergmbh/Josev-9B",
		"messages": [
			{
				"role": "user",
				"content": [
					{
						"type": "text",
						"text": "Describe this image in one sentence."
					},
					{
						"type": "image_url",
						"image_url": {
							"url": "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg"
						}
					}
				]
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "mayflowergmbh/Josev-9B" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "mayflowergmbh/Josev-9B",
		"messages": [
			{
				"role": "user",
				"content": [
					{
						"type": "text",
						"text": "Describe this image in one sentence."
					},
					{
						"type": "image_url",
						"image_url": {
							"url": "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg"
						}
					}
				]
			}
		]
	}'

Unsloth Desktop
Docker Model Runner
How to use mayflowergmbh/Josev-9B with Docker Model Runner:
```
docker model run hf.co/mayflowergmbh/Josev-9B
```
Browse Quantizations to use this model in llama.cpp, Ollama, LM Studio, or any compatible app.

Josev-9B

Josev-9B ist der größte Bruder von Josev-4B und Josev-2B: ein Entscheidungsmodell, das Deutsch gelernt hat. Trainiert auf johannhartmann/decisions-de (Version 2): 90 Aufgabenquellen, rund 168.000 Fälle, alles auf Deutsch. Josev liest einen Zustand, beantwortet typisierte Fragen und liefert zu jeder Antwortoption eine kalibrierte Wahrscheinlichkeit. Mehr Parameter, gleich viele Antwortoptionen.

GGUF-Dateien für llama.cpp und Ollama liegen in mayflowergmbh/Josev-9B-GGUF.

Was ist ein Decision Model?

Ein Decision Model ist im Herzen ein Klassifikator, dessen Klassen nicht bei der Geburt feststehen, sondern mit jedem Request kommen. Es schreibt keinen Text, sondern gibt eine Verteilung zurück: ein Forward-Pass, "output_tokens": 0.

Das Protokoll ist die System-One-/Jev-API /v1/systemone: ein state (Text, JSON, auf Wunsch Bilder) und questions in drei Typen.

Typ	Was	Antwort
`noul`	Ja/Nein-Aussage	`noul`: P(wahr)
`choice`	eine aus N Optionen (Keys frei wählbar)	`choice`, `probabilities`
`score`	geordnete Skala	erwarteter `score`, `probabilities` pro Stufe

Technisch ist Josev-9B Qwen/Qwen3.5-9B (über unsloth/Qwen3.5-9B) mit einem neuen Clef-Joint-Schema-Head, der alle Optionen aller Fragen gemeinsam bewertet, trainiert in Unsloth Studio. Das Repo-Layout entspricht Cloudflares Clef-Releases (Cloudflare/clef-flash), inklusive des unveränderten joint_schema_model.py. Josev lädt mit plain transformers, Unsloth ist nicht nötig.

Veröffentlicht von Mayflower GmbH. Nicht verbandelt mit Cloudflare, Qwen oder Unsloth.

Benutzung

import sys

from huggingface_hub import snapshot_download

path = snapshot_download("mayflowergmbh/Josev-9B")
sys.path.insert(0, path)
from joint_schema_model import load_release_model, systemone

model, processor = load_release_model(path, device="cuda")


def josev(state, questions):
    return systemone(model, processor, {"model": "josev-9b", "state": state, "questions": questions})["answers"]


josev(
    {"nachricht": "Meine neue Karte ist immer noch nicht da, dabei habe ich sie vor zwei Wochen bestellt."},
    {"intent": {"type": "choice", "instructions": "Welches Anliegen hat der Bankkunde?",
                "criteria": {"card_arrival": "Karte noch nicht angekommen",
                             "lost_or_stolen_card": "Karte verloren oder gestohlen",
                             "card_not_working": "Karte funktioniert nicht"}}},
)

Die Option-Keys sind frei wählbar, die Beschreibungen erklären sie. Ein neues Label braucht kein Retraining, nur eine Zeile mehr in criteria. Weitere Beispiele mit echten Ausgaben stehen auf der Model-Card von Josev-4B; die Requests funktionieren unverändert mit Josev-9B.

Mit Unsloth oder llama.cpp

Unsloth: FastDecisionModel.from_pretrained("mayflowergmbh/Josev-9B") wendet zusätzlich die Temperaturen pro Fragetyp aus unsloth_decision_config.json an (choice 1,15, score 0,91, noul 0,78). Cloudflares Loader ignoriert die Datei; die globale Temperatur (1,08) ist bereits in die Head-Gewichte eingebacken.
llama.cpp / Ollama: mayflowergmbh/Josev-9B-GGUF (BF16, Q8_0, Q6_K, Q4_K_M), llama-server mit /v1/systemone.

Wie gut entscheidet Josev-9B?

Noch nicht vermessen. Die Zahlen auf der decisions-de-Validation werden hier nachgetragen.

Wie Josev-9B gebaut wurde


Basis	`unsloth/Qwen3.5-9B`, nach dem Training mit dem Head in bf16 gemergt
Head	neuer Clef-Joint-Schema-Head (Breite 1024, 2 Routing- + 4 Decoder-Layer, 16 Heads)
Daten	`johannhartmann/decisions-de` Version 2 (Commit `f0758d3c`), Config `all`, Split `train` (180.327 Zeilen)
Ablauf	1 Epoche, 1.127 Steps (rechnerisch rund 160 Fälle pro Step)
Kalibrierung	Temperaturen pro Fragetyp, von Unsloth Studio nach dem Training gefittet
Hardware	1 × RTX PRO 6000 Blackwell (Colab G4)

Lizenz

Die Gewichte stehen wie das Basismodell unter Apache-2.0 (LICENSE). joint_schema_model.py ist Cloudflares Apache-2.0-Referenzcode, unverändert.

Die Trainingsdaten behalten die Lizenzen ihrer Quellen (CC-BY, CC-BY-SA, MIT, Apache-2.0 u. a.; siehe Dataset-Card). Darin stecken maschinell übersetzte Moderationsdaten, Josev hat also auch anstößige Inhalte gesehen.

Downloads last month: 23

Safetensors

Model size

9B params

Tensor type

BF16

Model tree for mayflowergmbh/Josev-9B

Base model

Qwen/Qwen3.5-9B-Base

Finetuned

Qwen/Qwen3.5-9B

Finetuned

(1148)

this model

Quantizations

2 models

mayflowergmbh
/

Josev-9B