zeroix07/indo-setfit-absa-model-polarity

SetFit Polarity Model

This is a SetFit model that can be used for Aspect Based Sentiment Analysis (ABSA). A LogisticRegression instance is used for classification. In particular, this model is in charge of classifying aspect polarities.

The model has been trained using an efficient few-shot learning technique that involves:

1. Fine-tuning a Sentence Transformer with contrastive learning.
2. Training a classification head with features from the fine-tuned Sentence Transformer.

This model was trained within the context of a larger system for ABSA, which looks like so:

1. Use a spaCy model to select possible aspect span candidates.
2. Use a SetFit model to filter these possible aspect span candidates.
3. Use this SetFit model to classify the filtered aspect span candidates.

Model Details

Model Description

• Model Type: SetFit
• Classification head: a LogisticRegression instance
• spaCy Model: id_core_news_trf
• SetFitABSA Aspect Model: zeroix07/indo-setfit-absa-model-aspect
• SetFitABSA Polarity Model: zeroix07/indo-setfit-absa-model-polarity
• Maximum Sequence Length: 8192 tokens
• Number of Classes: 3 classes

Model Sources

• Repository: SetFit on GitHub
• Paper: Efficient Few-Shot Learning Without Prompts
• Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
positif	'faktor penebusan adalah makanannya, yang berada:Agar benar-benar adil, satu-satunya faktor penebusan adalah makanannya, yang berada di atas rata-rata, tetapi tidak dapat menutupi semua kekurangan Teodora lainnya.' 'makanannya benar-benar luar biasa:makanannya benar-benar luar biasa, dengan dapur yang sangat mumpuni yang dengan bangga akan menyiapkan apa pun yang Anda ingin makan, baik itu ada di menu atau tidak.' 'biasa, dengan dapur yang sangat mumpuni:makanannya benar-benar luar biasa, dengan dapur yang sangat mumpuni yang dengan bangga akan menyiapkan apa pun yang Anda ingin makan, baik itu ada di menu atau tidak.'
netral	'itu ada di menu atau tidak.:makanannya benar-benar luar biasa, dengan dapur yang sangat mumpuni yang dengan bangga akan menyiapkan apa pun yang Anda ingin makan, baik itu ada di menu atau tidak.' 'bisa mencicipi kedua daging tersebut).:Favorit kami yang disepakati adalah orrechiete dengan sosis dan ayam (biasanya para pelayan berbaik hati membagi hidangan menjadi dua sehingga Anda bisa mencicipi kedua daging tersebut).' 'jika Anda suka pizza berkulit tipis.:Pizza adalah yang terbaik jika Anda suka pizza berkulit tipis.'
negatif	'yang masuk ke koki.:Semua uang digunakan untuk dekorasi interior, tidak ada satupun yang masuk ke koki.' 'masuk akal meskipun layanannya buruk.:Harganya masuk akal meskipun layanannya buruk.' 'mayones, lupa roti panggang kami, meninggalkan:Mereka tidak memiliki mayones, lupa roti panggang kami, meninggalkan bahan-bahan (yaitu keju dalam telur dadar), di bawah suhu panas dan daging terlalu matang sehingga hancur di piring ketika Anda menyentuhnya.'

Evaluation

Metrics

Label	Accuracy
all	0.6569

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import AbsaModel

# Download from the 🤗 Hub
model = AbsaModel.from_pretrained(
    "zeroix07/indo-setfit-absa-model-aspect",
    "zeroix07/indo-setfit-absa-model-polarity",
)
# Run inference
preds = model("The food was great, but the venue is just way too busy.")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	5	21.6519	45

Label	Training Sample Count
konflik	0
negatif	48
netral	69
positif	64

Training Hyperparameters

• batch_size: (6, 6)
• num_epochs: (1, 16)
• max_steps: -1
• sampling_strategy: oversampling
• body_learning_rate: (2e-05, 1e-05)
• head_learning_rate: 0.01
• loss: CosineSimilarityLoss
• distance_metric: cosine_distance
• margin: 0.25
• end_to_end: False
• use_amp: True
• warmup_proportion: 0.1
• seed: 42
• eval_max_steps: -1
• load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0003	1	0.2985	-
0.0139	50	0.14	-
0.0278	100	0.0913	-
0.0417	150	0.0447	-
0.0556	200	0.0932	-
0.0694	250	0.2864	-
0.0833	300	0.2556	-
0.0972	350	0.1447	-
0.1111	400	0.0084	-
0.125	450	0.003	-
0.1389	500	0.0035	-
0.1528	550	0.0074	-
0.1667	600	0.0031	-
0.1806	650	0.0014	-
0.1944	700	0.002	-
0.2083	750	0.0006	-
0.2222	800	0.0005	-
0.2361	850	0.0005	-
0.25	900	0.0005	-
0.2639	950	0.0015	-
0.2778	1000	0.0007	-
0.2917	1050	0.0006	-
0.3056	1100	0.0006	-
0.3194	1150	0.0007	-
0.3333	1200	0.0091	-
0.3472	1250	0.0004	-
0.3611	1300	0.0003	-
0.375	1350	0.0005	-
0.3889	1400	0.0006	-
0.4028	1450	0.0434	-
0.4167	1500	0.0006	-
0.4306	1550	0.0003	-
0.4444	1600	0.0005	-
0.4583	1650	0.0004	-
0.4722	1700	0.0021	-
0.4861	1750	0.0012	-
0.5	1800	0.0004	-
0.5139	1850	0.0005	-
0.5278	1900	0.0004	-
0.5417	1950	0.0003	-
0.5556	2000	0.0003	-
0.5694	2050	0.0005	-
0.5833	2100	0.0004	-
0.5972	2150	0.0004	-
0.6111	2200	0.0005	-
0.625	2250	0.0004	-
0.6389	2300	0.0005	-
0.6528	2350	0.0004	-
0.6667	2400	0.0003	-
0.6806	2450	0.0004	-
0.6944	2500	0.0007	-
0.7083	2550	0.0003	-
0.7222	2600	0.0003	-
0.7361	2650	0.101	-
0.75	2700	0.0003	-
0.7639	2750	0.0004	-
0.7778	2800	0.0004	-
0.7917	2850	0.0003	-
0.8056	2900	0.0004	-
0.8194	2950	0.0899	-
0.8333	3000	0.0003	-
0.8472	3050	0.0002	-
0.8611	3100	0.0002	-
0.875	3150	0.0003	-
0.8889	3200	0.0002	-
0.9028	3250	0.0003	-
0.9167	3300	0.0004	-
0.9306	3350	0.0003	-
0.9444	3400	0.0003	-
0.9583	3450	0.0547	-
0.9722	3500	0.0003	-
0.9861	3550	0.0004	-
1.0	3600	0.0002	-

Framework Versions

• Python: 3.10.13
• SetFit: 1.0.3
• Sentence Transformers: 2.7.0
• spaCy: 3.7.4
• Transformers: 4.36.2
• PyTorch: 2.1.2
• Datasets: 2.18.0
• Tokenizers: 0.15.2

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}