Finnish-actions/SetFit-FinBERT1-A1-appreciation

SetFit with TurkuNLP/bert-base-finnish-cased-v1

This is a SetFit model that can be used for Text Classification. This SetFit model uses TurkuNLP/bert-base-finnish-cased-v1 as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

1. Fine-tuning a Sentence Transformer with contrastive learning.
2. Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

• Model Type: SetFit
• Sentence Transformer body: TurkuNLP/bert-base-finnish-cased-v1
• Classification head: a LogisticRegression instance
• Maximum Sequence Length: 512 tokens
• Number of Classes: 2 classes

Model Sources

• Repository: SetFit on GitHub
• Paper: Efficient Few-Shot Learning Without Prompts
• Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
0	'Etunimi Sukunimi herra senkun aloittaa keräyksen♥️' 'Etunimi Sukunimi venäjän syy hintojen nousu vai syytätkö sodastakin Suomen hallitusta ? 😖' 'Etunimi Sukunimi Olikhaan se virve'
1	'Etunimi Sukunimi, sama tunne jäi. Viisaita, pohdittuja sanoja.' 'Etunimi Sukunimi Minä nyt vain uskon että ammattilaiset ja suurten kansainvälisten järjestöjen kokeneet toimijat pystyvät järjestäytynempään toimintaan kuin suunnittelemattomasti, vaikkakin hyväntahtoisesti impulsiivisesti matkaan lähteneet ihmiset. Lisäksi sotatoimialueella on todellinen riski että vapaaehtoisesta satunnaisesta auttajasta tuleekin autettava. Tuskin innokkaimmatkaan vapaaehtoiset olisivat pystyneet valmistelemaan Venäjään kohdistettuja taloudellisia aseita vaikka tahtoa olisi ollut kuinka paljon. Ei kai pankkisalissakaan pelkällä suurella innolla ja halulla onnistuta. Enkä nyt todellakaan väheksy vapaaehtoisten aulista innokkuutta auttaa, vaan arvostan sitä suuresti.' 'Etunimi Sukunimi Mutta miten sen varmistaa, että rahat menevät oikeaan kohteeseen? Kaikenlaisia huijaushuhuja pyörii esim. SPR:n aiemmissa keräyksissä. Kun nyt Suomi saisi edes niitä aseita liikkeelle. Monta onnistunutta lähetystä on jo mennyt perille yksityisten ihmisten ansiosta. Mä nostan kyllä hattua! Yksikin pelastettu lapsi on vaivan arvoista. 🥲'

Evaluation

Metrics

Label	Metric
all	0.9592

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("Finnish-actions/SetFit-FinBERT1-A1-appreciation")
# Run inference
preds = model("Etunimi Sukunimi 🙋‍♀️")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	1	20.3115	213

Label	Training Sample Count
0	941
1	22

Training Hyperparameters

• batch_size: (16, 16)
• num_epochs: (4, 4)
• max_steps: -1
• sampling_strategy: oversampling
• num_iterations: 6
• body_learning_rate: (2e-05, 1e-05)
• head_learning_rate: 0.01
• loss: CosineSimilarityLoss
• distance_metric: cosine_distance
• margin: 0.25
• end_to_end: False
• use_amp: False
• warmup_proportion: 0.1
• l2_weight: 0.01
• seed: 42
• evaluation_strategy: epoch
• eval_max_steps: -1
• load_best_model_at_end: False

Framework Versions

• Python: 3.11.9
• SetFit: 1.1.3
• Sentence Transformers: 3.2.0
• Transformers: 4.44.0
• PyTorch: 2.4.0+cu124
• Datasets: 2.21.0
• Tokenizers: 0.19.1

Citation

BibTeX

@article{
}