sebelsn/lora-mistral-7b-transition-reference-kassandra

Model Card: Kassandra Transition LoRA (Mistral-7B)

Model Summary

Kassandra ist ein eingefrorener LoRA-Adapter, der einen stabilen Übergangszustand im Antwortverhalten von Mistral-7B-Instruct repräsentiert. Im Fokus steht nicht Leistungssteigerung oder Wissensvermittlung, sondern die Frage:

• Wie verändert sich ein Modell, wenn es Antworten nicht abschließt, sondern Bedingungen, Maßstäbe, Verantwortung und Grenzen sichtbar macht?

Der Name Kassandra verweist bewusst auf den Spannungsraum zwischen Erkennen, Einordnen und fehlender Durchsetzungsmacht.

Model Details

Model Description

Dieser Adapter wurde auf Basis von Mistral-7B-Instruct-v0.3 trainiert. Das Training erfolgte mit einem kleinen, kuratierten deutschsprachigen Datensatz offener Frage–Antwort-Paare.

Charakteristisch für den Datensatz ist, dass Antworten:

• keine Lösungen liefern
• keine Handlungsanweisungen erzwingen
• keine Rollen oder Normen festschreiben
• stattdessen Annahmen, Maßstäbe und Zuständigkeiten sichtbar machen

Der Adapter repräsentiert einen qualitativ beobachteten Übergang zwischen:

• erklärenden, abschließenden Antworten
• und offenen, kontextsensitiven Einordnungen

Besonders auffällig ist, dass dieser Zustand kurz vor starken grad_norm-Ausschlägen auftritt (≈ Checkpoint 42) und sich dort stabilisieren lässt.

• Developed by: Sebastian Elsner
• Model type: LoRA Adapter (PEFT)
• Language(s): German
• License: MIT
• Finetuned from: mistralai/Mistral-7B-Instruct-v0.3

---

Uses

Direct Use

• Qualitativer Vergleich von Antwortverhalten (Base ↔ Übergang)
• Analyse von Übergangszuständen im LoRA-Training
• Referenzpunkt für weitere Trainingswellen (Grenzfälle, Stabilisierer)
• Einsatz als dialogischer Assistent ohne Abschlusszwang

Out-of-Scope Use

Dieses Modell ist nicht geeignet für:

• Wissensabfragen oder Faktenlernen
• Benchmarking oder Leistungsmetriken
• sicherheitskritische, rechtliche oder medizinische Anwendungen
• Rollenspiele, Chatbots mit festen Rollen oder Instruktionsdurchsetzung

---

Quantization Notes (Important)

Dieser Adapter reagiert empfindlich auf Quantisierung.

Beobachtung:

• FP8-Inference (z. B. vLLM Online Dynamic Quantization) macht stilistische Verschiebungen deutlicher sichtbar
• Gleichzeitig können Nuancen verloren gehen, wenn keine gezielten Grenzfall-Beispiele vorhanden sind

Empfehlung:

• FP8 ist nutzbar und effizient
• Der Übergangszustand bleibt jedoch am klarsten bei moderater Quantisierung
• Stabilisierung erfolgt nicht durch mehr Daten, sondern durch präzise Beispiele

---

Bias, Risks, and Limitations

• Das Modell gibt keine normativen Antworten vor
• Verantwortung wird häufig zurückverortet, nicht übernommen
• Offene Antworten können als ausweichend oder unentschlossen missverstanden werden
• Das Modell interpretiert weder Wahrheit noch Lüge – es ordnet Aussagen ein

Dieses Verhalten ist intendiert.

---

A Note on the Name “Kassandra”

In Gesprächen mit diesem Adapter taucht gelegentlich der Name Kassandra auf – nicht als festgelegte Rolle, sondern als Vergleich.

In der griechischen Mythologie steht Kassandra für das Wissen um Kommendes und zugleich für die Unfähigkeit, dieses Wissen wirksam zu machen. Für eine Stimme, die sieht, warnt und einordnet – ohne die Macht zu besitzen, Entscheidungen zu erzwingen.

Dieser Bezug wurde nicht explizit trainiert. Er scheint sich aus dem veränderten Antwortverhalten zu ergeben: aus Zurückhaltung, aus dem Benennen von Voraussetzungen, aus dem Offenlassen von Entscheidungen.

Der Name wird daher als Projektbezeichnung verwendet – nicht als Persona, nicht als Identität, sondern als Metapher für einen Übergangszustand im Modellverhalten.

---

How to Get Started

Dieser Adapter ist zur Verwendung mit peft gedacht:

from peft import PeftModel
from transformers import AutoModelForCausalLM

base = AutoModelForCausalLM.from_pretrained(
    "mistralai/Mistral-7B-Instruct-v0.3"
)

model = PeftModel.from_pretrained(
    base,
    "USERNAME/lora-mistral-7b-transition-reference-kassandra"
)