Model Card for bertweet-disaster-tweets

Clasificador binario de tweets que determina si un mensaje describe un desastre real (1) o no (0). Es un BERTweet-base afinado para la competición de Kaggle Natural Language Processing with Disaster Tweets, desarrollado como entrega del Examen Final de Procesamiento de Lenguaje Natural.

Model Details

Model Description

• Developed by: Iván Petrlik Azabache, María Teresita Maydana, Yoandra Gisela Álvarez Pérez y Rafael López Córdova
• Funded by [optional]: Proyecto académico (Examen Final de PLN), sin financiación externa
• Shared by [optional]: rafa1599
• Model type: Transformer codificador (RoBERTa/BERTweet) para clasificación de secuencias, 2 clases
• Language(s) (NLP): Inglés (en)
• License: MIT
• Finetuned from model [optional]: vinai/bertweet-base

Model Sources [optional]

• Repository: https://huggingface.co/rafa1599/bertweet-disaster-tweets
• Demo [optional]: https://huggingface.co/spaces/rafa1599/disaster-tweets

Uses

Direct Use

Clasificar tweets en inglés para distinguir los que reportan un desastre real (incendios, terremotos, inundaciones, accidentes, etc.) de los que usan vocabulario catastrófico en sentido figurado o cotidiano.

Downstream Use [optional]

Componente de filtrado o priorización en sistemas de monitoreo de emergencias y escucha social, o como línea base para afinar sobre dominios afines.

Out-of-Scope Use

No está pensado para idiomas distintos del inglés, ni como única fuente de verdad para decisiones críticas de seguridad o respuesta a emergencias sin supervisión humana.

Bias, Risks, and Limitations

El modelo se entrenó sobre un conjunto acotado de tweets etiquetados y puede heredar sesgos de ese corpus. Las menciones figuradas ("this party is fire") o el sarcasmo pueden inducir errores. La etiqueta de Kaggle contiene ruido conocido en algunos ejemplos.

Recommendations

Usar el umbral de decisión calibrado (0.62) y mantener revisión humana en cualquier flujo de respuesta a emergencias. Evaluar el desempeño sobre datos representativos del dominio real antes de desplegar.

How to Get Started with the Model

import torch
from transformers import AutoTokenizer, AutoModelForSequenceClassification

# El BPE de BERTweet no se reserializa bien; se carga el tokenizador original,
# que comparte vocabulario exacto con estos pesos afinados.
tok = AutoTokenizer.from_pretrained("vinai/bertweet-base", use_fast=False)
model = AutoModelForSequenceClassification.from_pretrained(
    "rafa1599/bertweet-disaster-tweets", num_labels=2).eval()

text = "Forest fire near La Ronge Sask. Canada"
enc = tok(text, truncation=True, max_length=96, return_tensors="pt")
with torch.no_grad():
    prob = torch.softmax(model(**enc).logits, dim=1)[0, 1].item()
print("Desastre real" if prob >= 0.62 else "No es desastre", round(prob, 3))

Training Details

Training Data

Dataset de la competición de Kaggle Natural Language Processing with Disaster Tweets (≈7.6k tweets de entrenamiento etiquetados como desastre/no desastre).

Training Procedure

Preprocessing [optional]

Normalización ligera del texto: se eliminan URLs, las menciones se reemplazan por @user, se quitan los símbolos # conservando la palabra del hashtag y se colapsan espacios.

Training Hyperparameters

• Training regime: fp32 en GPU local (NVIDIA RTX 3060)
• Modelo base: BERTweet-base · longitud máxima de secuencia: 96 tokens
• Optimización con pérdida de entropía cruzada para 2 clases
• Umbral de decisión calibrado por F1 en validación: 0.62

Evaluation

Testing Data, Factors & Metrics

Metrics

Métrica oficial de la competición: F1 sobre la clase positiva (desastre real).

Results

• F1 en validación: 0.8211 (umbral 0.62)
• F1 público en Kaggle (BERTweet solo): 0.83113

Summary

BERTweet afinado supera a las líneas base clásicas (TF-IDF + Naive Bayes) gracias al preentrenamiento específico sobre tweets, alcanzando un F1 competitivo en el conjunto público de Kaggle.

Environmental Impact

• Hardware Type: NVIDIA GeForce RTX 3060 (entrenamiento local)
• Cloud Provider: No aplica (cómputo local)

Technical Specifications [optional]

Model Architecture and Objective

BERTweet-base (arquitectura RoBERTa, ~135M parámetros) con una cabeza de clasificación de secuencias de 2 clases. Objetivo: clasificación binaria con entropía cruzada.

Compute Infrastructure

Hardware

Estación de trabajo local con GPU NVIDIA RTX 3060.

Software

PyTorch + 🤗 Transformers. Demo servida con Gradio en Hugging Face Spaces.

Citation [optional]

BibTeX:

@misc{bertweet_disaster_tweets_2026,
  title  = {BERTweet afinado para clasificación de tweets de desastres},
  author = {Petrlik Azabache, Iván and Maydana, María Teresita and
            Álvarez Pérez, Yoandra Gisela and López Córdova, Rafael},
  year   = {2026},
  note   = {Examen Final de Procesamiento de Lenguaje Natural},
  howpublished = {Hugging Face Hub: rafa1599/bertweet-disaster-tweets}
}

Modelo base: Nguyen, Vu y Nguyen (2020), BERTweet: A pre-trained language model for English Tweets.

Model Card Authors [optional]

Iván Petrlik Azabache · María Teresita Maydana · Yoandra Gisela Álvarez Pérez · Rafael López Córdova

Model Card Contact

rafa1599 en Hugging Face Hub.