model card (home)

README.md

@@ -0,0 +1,61 @@
+---
+tags:
+- dialogue
+- task-oriented-dialogue
+- turn-embeddings
+- contextual-representations
+language:
+- en
+---
+
+# TRACE — Contextual Turn Encoders *(checkpoints privados)*
+
+> **TRACE** (nombre de trabajo) es un encoder contextual de turnos para diálogo orientado a tareas:
+> un Transformer estilo BERT cuyos *tokens son turnos*, entrenado auto-supervisado **sobre los
+> embeddings congelados** de una base (`f1 → e_t → f2 → h_t`), con actualización residual
+> `h_t = LayerNorm(e_t + Δ_t)`. Paper en preparación (Fernández, Burdisso, Errecalde).
+> Código: repo privado `doctorado-unsl`, paquete `contextual-turn-embeddings`.
+
+## Convención de nombres
+
+`contextual-turn-encoder-base-{arquitectura}-{atención}-{escala}`
+
+| Campo | Valores | Significado |
+|---|---|---|
+| arquitectura | `custom` / `lite` / `deep` | pre-LN propia (6L/8H) / BERT-fiel 6L-8H (full) ó 4L (1m) / BERT-base literal 12L/12H |
+| atención | `ar` / `bidi` | causal (online, la limpia para trayectoria) / bidireccional |
+| escala | `1m` / `full` | 13 datasets ~1M turnos (válida p/ transferencia SimJoint) / 19 datasets ~2M turnos |
+| sufijo `mpnet-` / `todbert-` | — | f2 entrenado sobre otra base congelada (ablación base-agnóstica) |
+
+Cada carpeta incluye el último checkpoint, **`best/`** (mejor val) y **`trainlog.jsonl`** (registro
+completo por época: corpus, receta, curvas).
+
+## Inventario
+
+| Checkpoint | Rol |
+|---|---|
+| `…-lite-ar-full/best` ⭐ | **headline**: act(t+1) held-out 0.792 acc / 0.706 F1 |
+| `…-deep-{ar,bidi}-full` | estudio de escala (BERT-base empata a lite a esta escala de datos) |
+| `…-lite-{ar,bidi}-{1m,full}` | familia principal |
+| `…-custom-{ar,bidi}-{1m,full}` | v1 histórica (pre-LN propia) |
+| `…-{mpnet,todbert}-lite-ar-1m` | ablación cross-base |
+
+## Cargar un checkpoint
+
+```python
+from huggingface_hub import snapshot_download
+from contextual_turn_embeddings import ContextualTurnModelV2
+
+d = snapshot_download("jumafernandez/trace-checkpoints",
+                      allow_patterns="contextual-turn-encoder-base-lite-ar-full/*")
+model = ContextualTurnModelV2.from_pretrained(
+    f"{d}/contextual-turn-encoder-base-lite-ar-full/best")
+```
+
+## Resultados clave (registro en el repo de código)
+
+- **Anticipación act(t+1) held-out**: lite-AR 0.792/0.706 vs EMA 0.685/0.582, e_t 0.679/0.567 (+0.11 acc inductivo).
+- **Counterfactual**: following-acc 0.541 vs azar 0.167 (base y random-init en azar).
+- **Transferencia SimJoint (1m)**: f2 > e_t en 3 bases (+0.04–0.05 F1).
+
+*Repos privados hasta la publicación; al liberar, las cards se reescriben en inglés con el nombre final.*