Instructions to use sebelsn/lora-mistral-7b-style-de with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use sebelsn/lora-mistral-7b-style-de with PEFT:

from peft import PeftModel
from transformers import AutoModelForCausalLM

base_model = AutoModelForCausalLM.from_pretrained("/opt/models/mistralai/Mistral-7B-Instruct-v0.3")
model = PeftModel.from_pretrained(base_model, "sebelsn/lora-mistral-7b-style-de")

Transformers

How to use sebelsn/lora-mistral-7b-style-de with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="sebelsn/lora-mistral-7b-style-de")

# Load model directly
from transformers import AutoModel
model = AutoModel.from_pretrained("sebelsn/lora-mistral-7b-style-de", dtype="auto")

Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use sebelsn/lora-mistral-7b-style-de with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "sebelsn/lora-mistral-7b-style-de"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "sebelsn/lora-mistral-7b-style-de",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker

docker model run hf.co/sebelsn/lora-mistral-7b-style-de

SGLang

How to use sebelsn/lora-mistral-7b-style-de with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "sebelsn/lora-mistral-7b-style-de" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "sebelsn/lora-mistral-7b-style-de",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "sebelsn/lora-mistral-7b-style-de" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "sebelsn/lora-mistral-7b-style-de",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Docker Model Runner
How to use sebelsn/lora-mistral-7b-style-de with Docker Model Runner:
```
docker model run hf.co/sebelsn/lora-mistral-7b-style-de
```

Model Card: DE LoRA (Mistral-7B)

Model Summary

Ein LoRA-Adapter für Mistral-7B-Instruct-v0.3, trainiert auf einem handkurierten deutschsprachigen Datensatz. Ziel ist keine Leistungssteigerung oder Wissensvermittlung, sondern eine stilistische Verschiebung im Antwortverhalten:

Weniger Ratschläge, Aufzählungen und abschließende Erklärungen
Kürzere, kohärentere Antworten ohne Wiederholungen
Natürlicheres Deutsch mit weniger Übersetzungsstrukturen

Kassandra sagt weniger als sie könnte – und trifft damit öfter als Mistral:7B mit allem was es hat.

Zuweilen erinnert Kassandra an Marvin: Warum ist der Himmel blau? — Weil er dich nicht sehen will.

Model Details

Model Description

Dieser Adapter wurde auf Basis von Mistral-7B-Instruct-v0.3 trainiert. Das Training erfolgte mit einem kleinen, handkurierten deutschsprachigen Datensatz aus Dialogen und Single-Turn Q&A-Paaren. Charakteristisch für den Datensatz ist, dass Antworten:

keine Ratschläge erzwingen
keine Listen produzieren wenn sie nicht gefragt sind
stattdessen fragen, einordnen oder kurz beschreiben

Das Training verwendet LoRA mit r=2 auf Query- und Value-Projektionen (Q/V). Dieser minimale Ansatz verschiebt den Stil ohne das Basismodell grundlegend zu verändern.

Developed by: Sebastian Elsner
Model type: LoRA Adapter (PEFT)
Language(s): German
License: MIT
Finetuned from: mistralai/Mistral-7B-Instruct-v0.3
Dataset: sebelsn/style-adjustment-dataset_de

Uses

Direct Use

Stilistisch angepasster Assistent für deutschsprachige Gespräche
Qualitativer Vergleich von Antwortverhalten (Base ↔ Adapter)
Referenzpunkt für weitere Trainingswellen
Einsatz als dialogischer Assistent ohne Abschlusszwang

Out-of-Scope Use

Dieses Modell ist nicht geeignet für:

Wissensabfragen oder Faktenlernen
Benchmarking oder Leistungsmetriken
Sicherheitskritische, rechtliche oder medizinische Anwendungen

Quantization Notes (Important)

Dieser Adapter reagiert empfindlich auf Quantisierung.

FP8 (online / dynamic) → bevorzugt: kompaktere Antworten, weniger Wiederholungen
bf16 → mehr Nuancen, aber höhere Varianz
Offline quantisierte Modelle (z. B. GGUF) wurden nicht explizit getestet

Der Adapter wurde nicht quantization-aware trainiert, sondern auf Stabilität in FP8 hin beobachtet und nachgeschärft.

Warmup

Nach dem Start von vLLM ist die erste Inferenz nicht deterministisch. Das Modell benötigt ein einmaliges Warmup nach dem Laden. Ab der zweiten Inferenz sind die Ergebnisse stabil und reproduzierbar. Ein geeigneter Warmup-Prompt ist eine kreative Aufgabe, zum Beispiel:

Erzähle mir eine Geschichte von...(was auch immer sie möchten)

Für Inferenz mit vLLM siehe INFERENCE.md.

Bias, Risks, and Limitations

Grammatikfehler im Deutschen bleiben architekturbedingt bestehen
Formelles Register in Begrüßungen noch nicht vollständig eliminiert
Offene Antworten können als ausweichend missverstanden werden
Faktenwissen stammt aus Mistral – Fehler im Basismodell bleiben erhalten

Final Note

Dieser Adapter wurde nicht darauf trainiert, mehr zu wissen, sondern weniger vorwegzunehmen. Alles, was er sagt, war bereits im Base-Modell enthalten.

Downloads last month: -

Model tree for sebelsn/lora-mistral-7b-style-de

Base model

mistralai/Mistral-7B-v0.3

Finetuned

mistralai/Mistral-7B-Instruct-v0.3

Adapter

(912)

this model