Upload README.md with huggingface_hub

README.md

@@ -12,106 +12,103 @@ tags:
 
 # CarlosAGDev/ltv-lora-clf
 
-LoRA-CLF (v0.2.0) del LTV Framework. Clasifica el tipo de una afirmacion (5 categorias
+LoRA-CLF (v0.2.1) del LTV Framework. Clasifica el tipo de una afirmacion (5 categorias
 canonicas AVeriTeC) como segundo paso del pipeline de Triage.
 
-## Mejoras en v0.2.0
+## Mejoras en v0.2.1
 
-- **Dataset completo:** ~4,879 claims check-worthy (vs ~1,200 en v0.1.0), con las 5
-  categorias representadas. Dataset re-anotado 100% con prompts v2.
-- **Prompts v2 — fix de distribucion:**  reescrito con checklist ordenado
-  (Quote Verification primero, Event/Property como ultimo recurso) y ejemplos de
-  desambiguacion del paper AVeriTeC (arXiv 2305.13117). Redujo el sesgo de E/P del
-  81% (v0.1.0) al 62%.
-- **Split estratificado:** garantiza que las 5 clases aparezcan en el eval set con
-  su proporcion real (fix directo del soporte=0 en 3 clases en v0.1.0).
-
-## Categorias
-
-| Clase | Proporcion en train (aprox) |
-| :--- | :---: |
-| Event/Property Claim | 62% |
-| Numerical Claim | 27% |
-| Causal Claim | 6% |
-| Quote Verification | 3% |
-| Position Statement | 2.5% |
+- **Segundo maestro:** re-anotado con `gemini-3.5-flash` en vez de `gemini-3.1-flash-lite`.
+  Mismo pool base, mismos prompts v2, mismos hiperparametros que v0.2.0.
+- **Motivacion:** v0.2.0 tuvo precision de Position Statement = 0.12 (categoria de
+  escape ante duda con Event/Property). El maestro 3.5-flash tambien es mas selectivo
+  en Task 1 (check-worthy 45.3% vs 65.6% del lite), asi que el pool de entrada a CLF
+  es mas chico pero mas limpio (3,374 vs 4,879 check-worthy).
 
 ## Detalles del Entrenamiento
 
 | Parametro | Valor |
 | :--- | :--- |
 | **Modelo Base** | `google/gemma-4-E2B-it` |
+| **Maestro anotador** | `gemini-3.5-flash` |
 | **Max Sequence Length** | `384` |
 | **Epochs** | `1` |
 | **Batch Size (Per Device)** | `4` |
 | **Gradient Accumulation** | `4` |
 | **Learning Rate** | `2e-4` |
 | **Optimizer** | `paged_adamw_8bit` |
-| **GPU** | NVIDIA L4 (23.7 GB VRAM) |
-| **Eval set** | 488 claims, estratificado |
+| **Eval set** | 338 claims |
+| **Tiempo de evaluacion** | 35m (6.22 s/ejemplo) |
 
-## Resultados (v0.2.0)
+## Resultados (v0.2.1)
 
 ### Metricas globales
 
-| Metrica | v0.1.0 | v0.2.0 | Nota |
-| :--- | :---: | :---: | :--- |
-| **Accuracy** | 0.967 | 0.621 | v0.1.0 solo media 2 clases efectivas |
-| **F1 weighted** | 0.979 | 0.650 | idem |
-| **F1 macro** | 0.39 | **0.56** | metrica real: +44% de mejora |
-| Clases con soporte>0 en eval | 2 de 5 | **5 de 5** | fix principal |
-
-> **Nota sobre la comparacion:** las metricas de v0.1.0 son infladas — 3 de 5 clases
-> tenian soporte=0 en eval, por lo que se media sobre un problema de 2 categorias.
-> El F1 macro (que penaliza clases ausentes) es la metrica comparable: paso de 0.39 a 0.56.
+| Metrica | v0.2.0 (lite) | v0.2.1 (3.5-flash) |
+| :--- | :---: | :---: |
+| **Accuracy** | 0.621 | **0.728** |
+| **F1 macro** | 0.56 | **0.65** |
+| **F1 weighted** | 0.650 | **0.745** |
+| **JSON valido** | — | 100% (0 fallos) |
 
-### Por clase (v0.2.0, eval n=488)
+### Por clase (v0.2.1, eval n=338)
 
 | Clase | Precision | Recall | F1 | Support |
 | :--- | :---: | :---: | :---: | :---: |
-| Event/Property Claim | 0.73 | 0.77 | 0.75 | 255 |
-| Numerical Claim | 0.98 | 0.37 | 0.54 | 148 |
-| Causal Claim | 0.64 | 0.45 | 0.53 | 40 |
-| Quote Verification | 0.76 | 0.76 | **0.76** | 29 |
-| Position Statement | 0.12 | 0.75 | 0.20 | 16 |
-
-### Matriz de confusion (v0.2.0)
-
-
+| Event/Property Claim | 0.77 | 0.74 | 0.76 | 159 |
+| Numerical Claim | 0.93 | 0.81 | 0.87 | 101 |
+| Causal Claim | 0.81 | 0.39 | 0.53 | 33 |
+| Quote Verification | 0.81 | 0.59 | 0.68 | 29 |
+| Position Statement | 0.27 | 1.00 | 0.42 | 16 |
+
+### Matriz de confusion (v0.2.1)
+
+```
+                 Ev/Prop  Numerical  Causal  Quote  Position
+Ev/Prop              118          2       2      4        33
+Numerical             15         82       1      0         3
+Causal                18          1      13      0         1
+Quote                  2          3       0     17         7
+Position                0          0       0      0        16
+```
 
 ### Hallazgos principales
 
-**Positivo — Quote Verification:** F1 0.76 con 29 ejemplos de eval. En v0.1.0 tenia
-soporte=0 (0 ejemplos de entrenamiento). El prompt v2 y el dataset completo funcionaron.
-
-**Problematico — Position Statement:** precision 0.12, el modelo predijo Position 103
-veces en total pero solo 16 eran realmente Position. Actua como categoria de escape
-cuando el modelo duda: 53 claims de Event/Property y 25 de Numerical fueron
-clasificados como Position Statement.
-
-**Problematico — Numerical recall bajo (0.37):** 57 claims Numerical se clasificaron
-como Event/Property y 25 como Position. El modelo reconoce bien lo que ES Numerical
-(precision 0.98) pero le cuesta identificarlo cuando hay contexto narrativo alrededor
-del numero.
-
-## Limitaciones conocidas (v0.2.0)
-
-- **Position Statement como categoria de escape:** la precision de 0.12 indica que el
-  modelo aun no tiene una frontera clara entre "actitud/postura de actor publico"
-  (Position) y descripciones de acciones de ese mismo actor (Event/Property). Raiz
-  probable: 2.5% de Position en train = ~110 ejemplos absolutos, insuficiente para una
-  frontera robusta.
-- **Numerical recall bajo:** el modelo sabe clasificar Numerical cuando lo ve (precision
-  alta), pero pierde el 63% de los casos bajo el ruido de otros tipos.
-- **Dataset sintetico como referencia:** las etiquetas provienen de 
-  con prompts v2 — miden consistencia del adaptador con su maestro, no calidad absoluta
-  de clasificacion. Evaluacion real pendiente contra .
-
-## Mejoras propuestas para v0.3.0
-
-1. **Oversampling de Position y Numerical en train** (duplicar o triplicar) para que
-   el modelo vea mas ejemplos de las clases con peor rendimiento.
-2. **Hard negative mining para Position:** agregar ejemplos explicitos de E/P de actores
-   publicos como negativos de Position (lo que el modelo confunde hoy).
-3. **Evaluacion real:** anotar  con un modelo mas fuerte
-   (Gemini Pro / anotacion humana) y medir F1 macro sin sesgo de maestro-alumno.
+**Numerical Claim resuelto:** recall subio de 0.37 (v0.2.0) a **0.81** manteniendo
+precision alta (0.93). En v0.2.0 el modelo reconocia Numerical cuando lo veia pero
+perdia el 63% de los casos bajo ruido narrativo; con el maestro 3.5-flash esa
+confusion casi desaparecio.
+
+**Position Statement — mejora parcial:** recall subio de 0.75 a **1.00** (el modelo ya
+no deja pasar ningun Position real) y F1 casi se duplico (0.20 -> 0.42). Pero la
+precision sigue baja (0.12 -> 0.27): el modelo TODAVIA usa Position como categoria de
+escape para E/P dudosos, **a la misma tasa que en v0.2.0** (33/159 = 20.8% de los E/P
+reales, vs 53/255 = 20.8% en v0.2.0 — identico). Cambiar de maestro mejoro la cobertura
+de Position pero no resolvio la frontera E/P-vs-Position en si misma.
+
+**Regresion en Quote Verification:** recall bajo de 0.76 a **0.59** (17/29 vs 22/29
+correctos). De los 12 Quote mal clasificados, 7 se confunden con Position — una
+confusion nueva que no era prominente en v0.2.0. A vigilar en v0.2.2.
+
+**Causal se mantiene estancado:** F1 identico a v0.2.0 (0.53), con mejor precision
+(0.64 -> 0.81) pero peor recall (0.45 -> 0.39). 18 de 33 Causal reales se confunden
+con Event/Property.
+
+## Limitaciones conocidas
+
+- **La frontera E/P vs Position no se resuelve solo cambiando de maestro:** la tasa de
+  confusion (~21%) es identica en v0.2.0 y v0.2.1. Es el problema mas persistente del
+  adaptador CLF y el candidato principal para v0.2.2 (razonamiento con checklist
+  verbalizado) o para oversampling/hard-negatives en v0.3.0.
+- **Dataset sintetico como referencia:** las etiquetas provienen de `gemini-3.5-flash`
+  con prompts v2 — miden imitacion del maestro, no calidad absoluta.
+- **Eval set mas chico que v0.2.0** (338 vs 488): consecuencia de que el maestro
+  3.5-flash es mas selectivo en Task 1, reduciendo el pool de check-worthy disponible
+  para CLF. Las clases minoritarias (Position n=16, Causal n=33) siguen siendo chicas.
+
+## Proximo paso
+
+**v0.2.2** entrena sobre el mismo maestro y pool pero con razonamiento verbalizado
+(el modelo recorre el checklist Quote -> Position -> Causal -> Numerical -> E/P en un
+bloque de pensamiento antes de responder). Hipotesis directa: verbalizar el descarte
+explicito de cada categoria deberia reducir la confusion E/P-vs-Position que sobrevivio
+al cambio de maestro.