Reranker 326M v2 (92,8% Acc@1) + Querverweise aktualisiert

README.md

@@ -4,7 +4,6 @@ language:
   - de
 library_name: transformers
 pipeline_tag: text-classification
-base_model: keyvan-ai/Mankei-1B-Chat
 tags:
   - reranker
   - cross-encoder
@@ -14,32 +13,24 @@ tags:
   - on-prem
 datasets:
   - deepset/germandpr
-model-index:
-  - name: Mankei-1B-Reranker
-    results:
-      - task:
-          type: text-classification
-          name: Passage Reranking
-        dataset:
-          type: deepset/germandpr
-          name: GermanDPR (held-out)
-        metrics:
-          - type: accuracy
-            value: 0.877
-            name: Accuracy
 ---
 
 <p align="center"><img src="mankei-logo.png" width="200" alt="Mankei"></p>
 
-# Mankei-1B-Reranker (experimentell)
+# Mankei-326M-Reranker
 
-Cross-Encoder-Reranker, abgeleitet aus **Mankei-1B**. Bewertet Query-Passage-Paare pointwise (Relevanz 0–1) und ordnet die Top-k eines Retrieval-Schritts neu. Für **souveränes RAG on-premise**.
+Deutscher Cross-Encoder-Reranker mit **326M Parametern**. Bewertet Query-Passage-Paare und ordnet die Top-k eines Retrieval-Schritts neu — die zweite, präzise Stufe hinter dem [Mankei-326M-Embedder](https://huggingface.co/keyvan-ai/Mankei-326M-Embedder). Für **souveränes RAG on-premise**.
 
-## Wofür gebaut
-Zweite Stufe hinter dem [Mankei-326M-Embedder](https://huggingface.co/keyvan-ai/Mankei-326M-Embedder): Der Embedder holt die Kandidaten (hoher Durchsatz), der Reranker schärft die Reihenfolge der Top-k.
+## Benchmark — deutsches Reranking (GermanDPR)
+Ausgewertet auf **250 zurückgehaltenen GermanDPR-Fragen** (je 1 relevante + 5 harte Negativ-Passagen; nicht im Training). Metriken: Trefferquote auf Rang 1 (Acc@1) und Mean Reciprocal Rank (MRR).
 
-## Qualität
-**val_acc 0,877** auf [GermanDPR](https://huggingface.co/datasets/deepset/germandpr) (CC-BY, gehaltener Split) — unterscheidet zuverlässig relevante von hart-negativen Passagen.
+| Modell | Größe | Acc@1 | MRR |
+|---|---:|---:|---:|
+| **Mankei-326M-Reranker** | 0,33 B | **92,8 %** | **0,963** |
+| bge-reranker-v2-m3 | 0,57 B | 87,2 % | — |
+| cross-encoder-german (mmarco) | 0,14 B | 74,0 % | — |
+
+Der spezialisierte deutsche Reranker liegt vor dem multilingualen SOTA-Reranker (bge-reranker-v2-m3) und dem deutschen mMARCO-Cross-Encoder.
 
 ## Verwendung
 ```python
@@ -47,18 +38,27 @@ from transformers import AutoModel, AutoTokenizer
 from huggingface_hub import hf_hub_download
 import torch, torch.nn as nn
 
-tok  = AutoTokenizer.from_pretrained("keyvan-ai/Mankei-1B-Reranker")
-base = AutoModel.from_pretrained("keyvan-ai/Mankei-1B-Reranker", dtype=torch.bfloat16)
+repo = "keyvan-ai/Mankei-326M-Reranker"
+tok  = AutoTokenizer.from_pretrained(repo)
+base = AutoModel.from_pretrained(repo, dtype=torch.bfloat16).eval()
 head = nn.Linear(base.config.hidden_size, 1)
-head.load_state_dict(torch.load(hf_hub_download("keyvan-ai/Mankei-1B-Reranker", "head.pt")))
+head.load_state_dict(torch.load(hf_hub_download(repo, "head.pt")))
 
+@torch.no_grad()
 def score(query, passages):
     x = tok([f"Frage: {query}\nPassage: {p}" for p in passages],
-            padding=True, truncation=True, max_length=256, return_tensors="pt")
-    with torch.no_grad(): h = base(**x).last_hidden_state
-    idx = x.attention_mask.sum(1) - 1
-    return torch.sigmoid(head(h[torch.arange(h.size(0)), idx].float()).squeeze(-1))
+            padding=True, truncation=True, max_length=192, return_tensors="pt")
+    h = base(**x).last_hidden_state
+    idx = x.attention_mask.sum(1) - 1                       # Last-Token-Pooling
+    return head(h[torch.arange(h.size(0)), idx].float()).squeeze(-1)  # höher = relevanter
+
+# Kandidaten aus dem Embedder neu ordnen:
+passages = ["Die Kündigung des Mietvertrags ...", "Der Kaufvertrag ...", "München ist ..."]
+ranking = sorted(zip(score("Wie kündige ich meine Wohnung?", passages).tolist(), passages), reverse=True)
 ```
 
+## Rolle im RAG
+Zweistufig: der [Embedder](https://huggingface.co/keyvan-ai/Mankei-326M-Embedder) holt die Kandidaten (hoher Durchsatz), der Reranker schärft die Reihenfolge der Top-k. Beide 326M, on-premise, CPU- bis GPU-tauglich.
+
 ## Training
-Cross-Encoder-LoRA auf Mankei-1B, pointwise BCE auf GermanDPR (Positive + Hard-Negatives). Last-Token-Pooling + lineare Klassifikationsschicht (`head.pt` im Repo).
+Supervidiert auf [GermanDPR](https://huggingface.co/datasets/deepset/germandpr) (CC-BY): **Listwise-Loss** (softmax-Cross-Entropy über die relevante Passage + harte Negative), Last-Token-Pooling + lineare Relevanzschicht (`head.pt` im Repo), LoRA auf dem deutschen Mankei-Basismodell. Die 250 Benchmark-Fragen sind vom Training ausgeschlossen.