LTV LoRA Adapters
Collection
3 items • Updated • 1
How to use CarlosAGDev/ltv-lora-cw with PEFT:
from peft import PeftModel
from transformers import AutoModelForCausalLM
base_model = AutoModelForCausalLM.from_pretrained("google/gemma-4-E2B-it")
model = PeftModel.from_pretrained(base_model, "CarlosAGDev/ltv-lora-cw")LoRA-CW (v0.1.0) del LTV Framework. Este adaptador clasifica si una afirmación vale la pena ser verificada periodísticamente (check-worthy).
Entrenado sobre anotaciones sintéticas generadas por gemini-3.1-flash-lite.
google/gemma-4-E2B-it3841140.0002paged_adamw_8bitEvaluado de forma secuencial sobre el conjunto de validación (eval_ds, 301 muestras):
| Métrica | Valor |
|---|---|
| Accuracy Global | 0.565 |
| F1-Score (Check-worthy=True) | 0.643 |
[[ 52 (TN) 124 (FP) ]
[ 7 (FN) 118 (TP) ]]
precision recall f1-score support
No check-worthy 0.88 0.30 0.44 176
Check-worthy 0.49 0.94 0.64 125
accuracy 0.56 301
macro avg 0.68 0.62 0.54 301
weighted avg 0.72 0.56 0.53 301
El modelo actual presenta un Recall extremadamente alto (94%) para identificar casos check-worthy, lo que lo hace ideal como un primer filtro donde no se penaliza el falso positivo pero se busca capturar casi la totalidad de las afirmaciones verificables.