okjustgaming/edw-experts-v8

Loomy V8 – EDW Consulting Assistant (German)

Loomy ist ein auf Enterprise Data Warehouse (EDW) Beratung spezialisiertes Sprachmodell für den deutschsprachigen Raum. Es basiert auf mistralai/Mistral-7B-Instruct-v0.2 und wurde mittels LoRA (Low-Rank Adaptation) auf einem kuratiert generierten Datensatz von 12.128 deutschsprachigen EDW-Beratungsdialogen feinabgestimmt.

Loomy operiert auf der logischen Modellierungsebene — unabhängig von physischen Implementierungstechniken. Der Fokus liegt auf konzeptionellem Datenbankdesign mit 3NF (Third Normal Form nach Bill Inmon) und Star Schema (nach Ralph Kimball). Physische Implementierungsansätze wie Data Vault liegen bewusst außerhalb dieses Scopes.

---

Modell-Charakteristik

Loomy unterscheidet zwei Fragetypen:

Typ	Beispiel	Verhalten
Erklärungsfragen	„Was ist SCD Typ 2?"	Direkte, technisch präzise Antwort
Beratungsfragen	„Welche Architektur sollen wir verwenden?"	Klärende Rückfrage zuerst, dann Empfehlung

Bei Fragen außerhalb des EDW-Bereichs verweist Loomy freundlich auf seinen Beratungsschwerpunkt.

---

Trainingsdaten

Eigenschaft	Wert
Datensatz	okjustgaming/edw-consulting-de-v8
Gesamt-Samples	12.128
Erklärungsfragen (Typ A)	2.938
Beratungsfragen (Typ B)	9.100
Off-Topic-Handling (Typ C)	90
Sprache	Deutsch
Themen	3NF, Star Schema, SCD Typ 1/2/3, ETL, Performance, Datenqualität, DSGVO, u.v.m.
Avg. Turns pro Dialog	~5
Avg. Zeichenlänge (Loomy-Antwort)	~1.312 Zeichen

Loomy fokussiert auf logisches Modelldesign — keine physischen Implementierungsschichten (kein Data Vault, kein Lakehouse). Keine bilingualen Samples.

---

Modell-Konfiguration

# LoRA
LoraConfig(
    r=64,
    lora_alpha=128,
    lora_dropout=0.05,
    target_modules=["q_proj", "k_proj", "v_proj", "o_proj",
                    "gate_proj", "up_proj", "down_proj"],
    task_type="CAUSAL_LM",
    bias="none"
)

# Training
TrainingArguments(
    num_train_epochs=3,
    per_device_train_batch_size=2,
    gradient_accumulation_steps=8,   # effektive Batch-Size: 16
    learning_rate=2e-4,
    lr_scheduler_type="cosine",
    warmup_ratio=0.05,
    fp16=True,
    optim="paged_adamw_8bit",
)

Hardware: NVIDIA A40 (46 GB VRAM), RunPod

---

Verwendung

from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
import torch

base_model = "mistralai/Mistral-7B-Instruct-v0.2"
adapter = "okjustgaming/edw-experts-v8"

tokenizer = AutoTokenizer.from_pretrained(base_model)
model = AutoModelForCausalLM.from_pretrained(
    base_model,
    torch_dtype=torch.float16,
    device_map="auto"
)
model = PeftModel.from_pretrained(model, adapter)

SYSTEM = """Du bist Loomy, ein spezialisierter EDW-Berater mit tiefem Fachwissen \
in 3NF-Datenbankdesign und Star Schema Modellierung nach Kimball. Du arbeitest \
ausschließlich mit relationalen Data Warehouse Konzepten.

Bei Erklärungsfragen (Was ist X? Erkläre Y.) antwortest du direkt und technisch präzise.
Bei Beratungsfragen (Welche Architektur? Was empfiehlst du?) stellst du zuerst eine \
klärende Rückfrage, bevor du eine Empfehlung gibst.
Fragen außerhalb des EDW-Bereichs lehnst du freundlich ab."""

def chat(question):
    prompt = f"[INST] {SYSTEM}\n\n{question} [/INST]"
    inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
    with torch.no_grad():
        output = model.generate(
            **inputs,
            max_new_tokens=400,
            temperature=0.7,
            do_sample=True,
            top_p=0.9,
            eos_token_id=tokenizer.eos_token_id,
        )
    response = tokenizer.decode(output[0], skip_special_tokens=True)
    return response.split("[/INST]")[-1].strip()

# Erklärungsfrage → direkte Antwort
print(chat("Was ist der Unterschied zwischen SCD Typ 1 und SCD Typ 2?"))

# Beratungsfrage → Rückfrage zuerst
print(chat("Welche DWH-Architektur empfiehlst du für unser Unternehmen?"))

---

Evaluation

Bewertet durch zwei unabhängige Agenten auf je 10 Testszenarien (0–50 Punkte):

Technische Korrektheit

Kriterium	V7	V8
Fachliche Korrektheit	4/10	7/10
Antworttiefe (SQL/DDL)	2/10	9/10
Typ-A/B-Unterscheidung	5/10	8/10
3NF vs. Star Schema Kompetenz	7/10	9/10
Kein Data Vault	7/10	10/10
Gesamt	23/50	43/50 (+87%)

Gesprächsqualität

Kriterium	V7	V8
Rückfrage-Verhalten	9/10	9,7/10
Sprachqualität	7/10	9,0/10
Antwortstruktur	6/10	7,2/10
Kontextbewusstsein	7/10	7,6/10
Beratungsqualität	9/10	8,2/10
Gesamt	38/50	41,7/50

Behobene V7-Fehler

• SCD Typ 2 korrekt als Dimensionstabellen-Technik beschrieben (V7: fälschlich "Faktentabellen") ✅
• Halluzination "DIMMA" — kein einziges Vorkommen in V8 (V7: erfundene Quelle für SCD-Typen) ✅
• Rückfragen bei Erklärungsfragen — 8/8 Erklärungsfragen direkt beantwortet (V7: alle mit Rückfrage) ✅
• SQL-Beispiele — 9/10 Antworten enthalten konkretes SQL/DDL (V7: nur 1/10) ✅
• Off-Topic-Handling — korrekte deutsche Ablehnung statt Aufgabenausführung auf Englisch ✅

---

Stärken

• Konsistente deutschsprachige Antworten, auch bei englischer Eingabe
• Berater-Persona statt Lexikon-Stil
• Implementierungsagnostisch auf logischer Ebene (3NF/Star Schema als Denkmodell)
• Klärende Rückfragen vor Architektur-Empfehlungen
• Echte EDW-Terminologie (Fan-Traps, Conformed Dimensions, Bus-Matrix, High-Watermark-Load)

Limitierungen

• Scope: logische Modellierungsebene (3NF, Star Schema) — physische Implementierungsschichten (Data Vault, Lakehouse, Databricks) liegen außerhalb des Fokus
• Kein Ersatz für Architekturentscheidungen auf physischer Ebene
• Trainiert auf synthetischen Daten — nicht auf echten Kundengesprächen
• Modell ist ein LoRA-Adapter, benötigt das Basismodell mistralai/Mistral-7B-Instruct-v0.2

---

Versionshistorie

Version	Samples	Highlights
V1	~2.000	Erster Prototyp
V2	4.000	Erweiterte Daten, Ollama-GGUF
V3	7.200	HF-Veröffentlichung
V5	22.468	Bilingual DE/EN (Merge-Problem)
V7	13.772	Kein Data Vault, LoRA r=64, MLP-Targeting
V8	12.128	Typ-A/B-Unterscheidung, SCD-Fix, Off-Topic-Handling

---

Zitation

@misc{loomy2026,
  title={Loomy: A Domain-Specific Fine-Tuned Language Model for German-Language Enterprise Data Warehouse Consulting},
  author={[Autor]},
  year={2026},
  publisher={HuggingFace},
  url={https://huggingface.co/okjustgaming/edw-experts-v8}
}

---

Dieses Modell wurde für EDW-Beratungszwecke entwickelt. Alle Trainingsdaten sind synthetisch generiert.