Hugging Face's logo

ebrukilic
/
bert-absa-tr-2

Text Classification
Transformers
Safetensors
Turkish
bert
absa
nlp
sentiment
turkish
text-embeddings-inference
Model card Files
xet
 Community
ebrukilic commited on
Commit
a62d445
·
verified ·
1 Parent(s): 66b6d4e

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +30 -17
README.md CHANGED
@@ -16,6 +16,8 @@ tags:
16
  - turkish
17
  ---
18
 
 
 
19
  ## Model Tanıtımı
20
 
21
  Bu model, Türkçe metinler üzerinde **Sentiment Analysis (Duygu Analizi)** yapmak için Türkçe dilindeki giyim ürünlerine ait metinlerden oluşturulan veri kümesi kullanılarak fine-tune edilmiş bir ABSA (Aspect-Based Sentiment Analysis) modelidir.
@@ -114,20 +116,31 @@ ebrukilic/tubitak_clothing_absa_v3 veri kümesi üzerinde yapılan test sonucu a
114
  - **Accuracy:** 0.726
115
  - **Macro-F1:** 0.785
116
 
117
- | Label | Precision | Recall | F1-Score | Support |
118
- |----------|-----------|--------|----------|--------|
119
- | negatif | 0.72 | 0.90 | 0.80 | 1719 |
120
- | nötr | 0.36 | 0.25 | 0.29 | 653 |
121
- | pozitif | 0.86 | 0.74 | 0.79 | 1639 |
122
- | **macro avg** | 0.64 | 0.63 | 0.63 | 4011 |
123
- | **weighted avg** | 0.72 | 0.73 | 0.71 | 4011 |
124
-
125
- #### Aspect-wise Performance
126
- | Aspect | Accuracy | Samples |
127
- |--------|----------|---------|
128
- | kumaş | 0.784 | 1161 |
129
- | beden | 0.827 | 1221 |
130
- | kalite | 0.895 | 476 |
131
- | renk | 0.869 | 497 |
132
- | kargo | 0.860 | 300 |
133
- | fiyat | 0.834 | 356 |
 
 
 
 
 
 
 
 
 
 
 
 
16
  - turkish
17
  ---
18
 
19
+ # Clothing ABSA Model (v2)
20
+
21
  ## Model Tanıtımı
22
 
23
  Bu model, Türkçe metinler üzerinde **Sentiment Analysis (Duygu Analizi)** yapmak için Türkçe dilindeki giyim ürünlerine ait metinlerden oluşturulan veri kümesi kullanılarak fine-tune edilmiş bir ABSA (Aspect-Based Sentiment Analysis) modelidir.
 
116
  - **Accuracy:** 0.726
117
  - **Macro-F1:** 0.785
118
 
119
+ ### Aspect-aware Evaluation
120
+ - Accuracy: 0.8310
121
+ - Macro-F1: 0.7850
122
+
123
+ | Label | Precision | Recall | F1-score | Support |
124
+ |---------|-----------|--------|----------|---------|
125
+ | negatif | 0.93 | 0.82 | 0.87 | 1719 |
126
+ | nötr | 0.55 | 0.64 | 0.59 | 653 |
127
+ | pozitif | 0.87 | 0.92 | 0.89 | 1639 |
128
+ | **macro avg** | 0.78 | 0.79 | 0.79 | 4011 |
129
+ | **weighted avg** | 0.84 | 0.83 | 0.83 | 4011 |
130
+
131
+ ### Text-only Evaluation
132
+ - Accuracy: 0.6457
133
+ - Macro-F1: 0.5893
134
+
135
+ | Label | Precision | Recall | F1-score | Support |
136
+ |---------|-----------|--------|----------|---------|
137
+ | negatif | 0.78 | 0.63 | 0.70 | 1719 |
138
+ | nötr | 0.27 | 0.38 | 0.32 | 653 |
139
+ | pozitif | 0.74 | 0.77 | 0.75 | 1639 |
140
+ | **macro avg** | 0.60 | 0.59 | 0.59 | 4011 |
141
+ | **weighted avg** | 0.68 | 0.65 | 0.66 | 4011 |
142
+
143
+ ### Summary
144
+ - Aspect-aware: Acc=0.831, F1=0.785
145
+ - Text-only: Acc=0.646, F1=0.589
146
+ - Aspect effect: +28.7%