Add BERTopic model
Browse files- README.md +106 -0
- config.json +16 -0
- ctfidf.safetensors +3 -0
- ctfidf_config.json +0 -0
- topic_embeddings.safetensors +3 -0
- topics.json +0 -0
README.md
ADDED
|
@@ -0,0 +1,106 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
|
| 2 |
+
---
|
| 3 |
+
tags:
|
| 4 |
+
- bertopic
|
| 5 |
+
library_name: bertopic
|
| 6 |
+
pipeline_tag: text-classification
|
| 7 |
+
---
|
| 8 |
+
|
| 9 |
+
# BERTopic_tamgaturk
|
| 10 |
+
|
| 11 |
+
This is a [BERTopic](https://github.com/MaartenGr/BERTopic) model.
|
| 12 |
+
BERTopic is a flexible and modular topic modeling framework that allows for the generation of easily interpretable topics from large datasets.
|
| 13 |
+
|
| 14 |
+
## Usage
|
| 15 |
+
|
| 16 |
+
To use this model, please install BERTopic:
|
| 17 |
+
|
| 18 |
+
```
|
| 19 |
+
pip install -U bertopic
|
| 20 |
+
```
|
| 21 |
+
|
| 22 |
+
You can use the model as follows:
|
| 23 |
+
|
| 24 |
+
```python
|
| 25 |
+
from bertopic import BERTopic
|
| 26 |
+
topic_model = BERTopic.load("sdantonio/BERTopic_tamgaturk")
|
| 27 |
+
|
| 28 |
+
topic_model.get_topic_info()
|
| 29 |
+
```
|
| 30 |
+
|
| 31 |
+
## Topic overview
|
| 32 |
+
|
| 33 |
+
* Number of topics: 37
|
| 34 |
+
* Number of training documents: 23866
|
| 35 |
+
|
| 36 |
+
<details>
|
| 37 |
+
<summary>Click here for an overview of all topics.</summary>
|
| 38 |
+
|
| 39 |
+
| Topic ID | Topic Keywords | Topic Frequency | Label |
|
| 40 |
+
|----------|----------------|-----------------|-------|
|
| 41 |
+
| -1 | yakalandı - azerbaycan - kılıc - partisi - ıktı | 10 | -1_yakalandı_azerbaycan_kılıc_partisi |
|
| 42 |
+
| 0 | kilicdaroglu - yasindaki - kılıc - iddiasi - partisi | 2408 | 0_kilicdaroglu_yasindaki_kılıc_iddiasi |
|
| 43 |
+
| 1 | alıs - kılıc - ıktı - konus - kars | 11299 | 1_alıs_kılıc_ıktı_konus |
|
| 44 |
+
| 2 | alıs - saldırdı - kılıc - abd - kars | 3538 | 2_alıs_saldırdı_kılıc_abd |
|
| 45 |
+
| 3 | alıs - yakalandı - kılıc - ıktı - tırma | 2284 | 3_alıs_yakalandı_kılıc_ıktı |
|
| 46 |
+
| 4 | alıs - kılıc - suriyeli - partisi - enflasyon | 910 | 4_alıs_kılıc_suriyeli_partisi |
|
| 47 |
+
| 5 | ıktı - sondakika - kılıc - kulis - atıs | 844 | 5_ıktı_sondakika_kılıc_kulis |
|
| 48 |
+
| 6 | saldırdı - yakalandı - alıs - adliyeye - iftinin | 570 | 6_saldırdı_yakalandı_alıs_adliyeye |
|
| 49 |
+
| 7 | diyen - kılıc - ekonomistim - partili - operasyonu | 334 | 7_diyen_kılıc_ekonomistim_partili |
|
| 50 |
+
| 8 | tarihe - siyaseti - dosyalar - alparslan - benzeri | 310 | 8_tarihe_siyaseti_dosyalar_alparslan |
|
| 51 |
+
| 9 | sorusu - diyen - dosyalar - kılıc - ıktı | 173 | 9_sorusu_diyen_dosyalar_kılıc |
|
| 52 |
+
| 10 | alıs - diyen - hakkındaki - kılıc - atır | 152 | 10_alıs_diyen_hakkındaki_kılıc |
|
| 53 |
+
| 11 | sınırlamasının - alıkoyup - karadayı - satıs - kanlıg | 149 | 11_sınırlamasının_alıkoyup_karadayı_satıs |
|
| 54 |
+
| 12 | ayrılabileceksiniz - kutluyor - alıs - muhtarı - tacizcisini | 95 | 12_ayrılabileceksiniz_kutluyor_alıs_muhtarı |
|
| 55 |
+
| 13 | alıs - kanlıg - kılıc - partili - ıktı | 84 | 13_alıs_kanlıg_kılıc_partili |
|
| 56 |
+
| 14 | isırılmamak - fırlamasın - vakfı - sorusu - izindeyiz | 83 | 14_isırılmamak_fırlamasın_vakfı_sorusu |
|
| 57 |
+
| 15 | taraftarları - dolandırılan - saldırısındaki - havalimanı - partililerin | 77 | 15_taraftarları_dolandırılan_saldırısındaki_havalimanı |
|
| 58 |
+
| 16 | hastanesinden - yatırılan - kafelerde - gidebildig - mesanesinden | 71 | 16_hastanesinden_yatırılan_kafelerde_gidebildig |
|
| 59 |
+
| 17 | narlıdere - olaydan - yetkisi - aydemir - zeydan | 70 | 17_narlıdere_olaydan_yetkisi_aydemir |
|
| 60 |
+
| 18 | partili - balıkesir - vakıf - partisi - olayına | 49 | 18_partili_balıkesir_vakıf_partisi |
|
| 61 |
+
| 19 | taksicilere - yakıldı - seferberlikte - yakılmaya - kedilere | 47 | 19_taksicilere_yakıldı_seferberlikte_yakılmaya |
|
| 62 |
+
| 20 | yayındayız - yayında - faydalıkiliseninpapazı - feodalizm - yvxite_ayuq | 46 | 20_yayındayız_yayında_faydalıkiliseninpapazı_feodalizm |
|
| 63 |
+
| 21 | suriyeli - operasyonu - subaylar - kuzeyindeki - operasyonlarında | 29 | 21_suriyeli_operasyonu_subaylar_kuzeyindeki |
|
| 64 |
+
| 22 | gerektiriyorsa - anılmayı - saldıran - atıklarla - lklerini | 26 | 22_gerektiriyorsa_anılmayı_saldıran_atıklarla |
|
| 65 |
+
| 23 | reddediyoruz - toplantıda - mecburiyetini - kazanmak - partili | 21 | 23_reddediyoruz_toplantıda_mecburiyetini_kazanmak |
|
| 66 |
+
| 24 | yarınları - ilerliyoruz - katılın - edebilmesi - okurlarıdır | 21 | 24_yarınları_ilerliyoruz_katılın_edebilmesi |
|
| 67 |
+
| 25 | havalimanını - dokunulmazlık - yasadıs - fadesinde - kabartıyorlar | 20 | 25_havalimanını_dokunulmazlık_yasadıs_fadesinde |
|
| 68 |
+
| 26 | bozdurmalarını - slamcılara - nsanlarını - asrına - cumhuriyetimizin | 19 | 26_bozdurmalarını_slamcılara_nsanlarını_asrına |
|
| 69 |
+
| 27 | tıklayarak - tamgatu - butonuna - nde - rk | 19 | 27_tıklayarak_tamgatu_butonuna_nde |
|
| 70 |
+
| 28 | satıs - mevduatlarında - artıs - birimi - korumalı | 16 | 28_satıs_mevduatlarında_artıs_birimi |
|
| 71 |
+
| 29 | kıtlık - hikayesi - bakiyesi - zarurettir - ılık | 15 | 29_kıtlık_hikayesi_bakiyesi_zarurettir |
|
| 72 |
+
| 30 | patreon - destekleyin - tamgatu - telegram - milliyetc | 15 | 30_patreon_destekleyin_tamgatu_telegram |
|
| 73 |
+
| 31 | benzine - zam - mhp - explorer - bec | 14 | 31_benzine_zam_mhp_explorer |
|
| 74 |
+
| 32 | yargılandıg - alıs - yılların - ıkarıldı - saldırdılar | 12 | 32_yargılandıg_alıs_yılların_ıkarıldı |
|
| 75 |
+
| 33 | yansıdı - sarız - depremden - japonya - yu | 12 | 33_yansıdı_sarız_depremden_japonya |
|
| 76 |
+
| 34 | arınc - kılıc - beklemeden - halkı - partisi | 12 | 34_arınc_kılıc_beklemeden_halkı |
|
| 77 |
+
| 35 | belgeseli - atırtı - rtecilerin - edemez - johnson | 12 | 35_belgeseli_atırtı_rtecilerin_edemez |
|
| 78 |
+
|
| 79 |
+
</details>
|
| 80 |
+
|
| 81 |
+
## Training hyperparameters
|
| 82 |
+
|
| 83 |
+
* calculate_probabilities: False
|
| 84 |
+
* language: None
|
| 85 |
+
* low_memory: False
|
| 86 |
+
* min_topic_size: 10
|
| 87 |
+
* n_gram_range: (1, 1)
|
| 88 |
+
* nr_topics: None
|
| 89 |
+
* seed_topic_list: None
|
| 90 |
+
* top_n_words: 10
|
| 91 |
+
* verbose: False
|
| 92 |
+
* zeroshot_min_similarity: 0.7
|
| 93 |
+
* zeroshot_topic_list: None
|
| 94 |
+
|
| 95 |
+
## Framework versions
|
| 96 |
+
|
| 97 |
+
* Numpy: 1.23.5
|
| 98 |
+
* HDBSCAN: 0.8.38.post1
|
| 99 |
+
* UMAP: 0.5.6
|
| 100 |
+
* Pandas: 2.2.2
|
| 101 |
+
* Scikit-Learn: 1.5.1
|
| 102 |
+
* Sentence-transformers: 3.0.1
|
| 103 |
+
* Transformers: 4.44.2
|
| 104 |
+
* Numba: 0.60.0
|
| 105 |
+
* Plotly: 5.24.0
|
| 106 |
+
* Python: 3.10.12
|
config.json
ADDED
|
@@ -0,0 +1,16 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
{
|
| 2 |
+
"calculate_probabilities": false,
|
| 3 |
+
"language": null,
|
| 4 |
+
"low_memory": false,
|
| 5 |
+
"min_topic_size": 10,
|
| 6 |
+
"n_gram_range": [
|
| 7 |
+
1,
|
| 8 |
+
1
|
| 9 |
+
],
|
| 10 |
+
"nr_topics": null,
|
| 11 |
+
"seed_topic_list": null,
|
| 12 |
+
"top_n_words": 10,
|
| 13 |
+
"verbose": false,
|
| 14 |
+
"zeroshot_min_similarity": 0.7,
|
| 15 |
+
"zeroshot_topic_list": null
|
| 16 |
+
}
|
ctfidf.safetensors
ADDED
|
@@ -0,0 +1,3 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
version https://git-lfs.github.com/spec/v1
|
| 2 |
+
oid sha256:4f748a5bf8e632878deb47e7158c05de2bdf8e1865859bfe34612ed8d374764f
|
| 3 |
+
size 1679124
|
ctfidf_config.json
ADDED
|
The diff for this file is too large to render.
See raw diff
|
|
|
topic_embeddings.safetensors
ADDED
|
@@ -0,0 +1,3 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
version https://git-lfs.github.com/spec/v1
|
| 2 |
+
oid sha256:876e7f291bdb2fe4d75ab924175d7bc7b12827b2c56c0850169fac3962213ca2
|
| 3 |
+
size 151640
|
topics.json
ADDED
|
The diff for this file is too large to render.
See raw diff
|
|
|