sdantonio commited on
Commit
0487fbc
·
verified ·
1 Parent(s): 9af80f2

Add BERTopic model

Browse files
README.md ADDED
@@ -0,0 +1,106 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+
2
+ ---
3
+ tags:
4
+ - bertopic
5
+ library_name: bertopic
6
+ pipeline_tag: text-classification
7
+ ---
8
+
9
+ # BERTopic_tamgaturk
10
+
11
+ This is a [BERTopic](https://github.com/MaartenGr/BERTopic) model.
12
+ BERTopic is a flexible and modular topic modeling framework that allows for the generation of easily interpretable topics from large datasets.
13
+
14
+ ## Usage
15
+
16
+ To use this model, please install BERTopic:
17
+
18
+ ```
19
+ pip install -U bertopic
20
+ ```
21
+
22
+ You can use the model as follows:
23
+
24
+ ```python
25
+ from bertopic import BERTopic
26
+ topic_model = BERTopic.load("sdantonio/BERTopic_tamgaturk")
27
+
28
+ topic_model.get_topic_info()
29
+ ```
30
+
31
+ ## Topic overview
32
+
33
+ * Number of topics: 37
34
+ * Number of training documents: 23866
35
+
36
+ <details>
37
+ <summary>Click here for an overview of all topics.</summary>
38
+
39
+ | Topic ID | Topic Keywords | Topic Frequency | Label |
40
+ |----------|----------------|-----------------|-------|
41
+ | -1 | yakalandı - azerbaycan - kılıc - partisi - ıktı | 10 | -1_yakalandı_azerbaycan_kılıc_partisi |
42
+ | 0 | kilicdaroglu - yasindaki - kılıc - iddiasi - partisi | 2408 | 0_kilicdaroglu_yasindaki_kılıc_iddiasi |
43
+ | 1 | alıs - kılıc - ıktı - konus - kars | 11299 | 1_alıs_kılıc_ıktı_konus |
44
+ | 2 | alıs - saldırdı - kılıc - abd - kars | 3538 | 2_alıs_saldırdı_kılıc_abd |
45
+ | 3 | alıs - yakalandı - kılıc - ıktı - tırma | 2284 | 3_alıs_yakalandı_kılıc_ıktı |
46
+ | 4 | alıs - kılıc - suriyeli - partisi - enflasyon | 910 | 4_alıs_kılıc_suriyeli_partisi |
47
+ | 5 | ıktı - sondakika - kılıc - kulis - atıs | 844 | 5_ıktı_sondakika_kılıc_kulis |
48
+ | 6 | saldırdı - yakalandı - alıs - adliyeye - iftinin | 570 | 6_saldırdı_yakalandı_alıs_adliyeye |
49
+ | 7 | diyen - kılıc - ekonomistim - partili - operasyonu | 334 | 7_diyen_kılıc_ekonomistim_partili |
50
+ | 8 | tarihe - siyaseti - dosyalar - alparslan - benzeri | 310 | 8_tarihe_siyaseti_dosyalar_alparslan |
51
+ | 9 | sorusu - diyen - dosyalar - kılıc - ıktı | 173 | 9_sorusu_diyen_dosyalar_kılıc |
52
+ | 10 | alıs - diyen - hakkındaki - kılıc - atır | 152 | 10_alıs_diyen_hakkındaki_kılıc |
53
+ | 11 | sınırlamasının - alıkoyup - karadayı - satıs - kanlıg | 149 | 11_sınırlamasının_alıkoyup_karadayı_satıs |
54
+ | 12 | ayrılabileceksiniz - kutluyor - alıs - muhtarı - tacizcisini | 95 | 12_ayrılabileceksiniz_kutluyor_alıs_muhtarı |
55
+ | 13 | alıs - kanlıg - kılıc - partili - ıktı | 84 | 13_alıs_kanlıg_kılıc_partili |
56
+ | 14 | isırılmamak - fırlamasın - vakfı - sorusu - izindeyiz | 83 | 14_isırılmamak_fırlamasın_vakfı_sorusu |
57
+ | 15 | taraftarları - dolandırılan - saldırısındaki - havalimanı - partililerin | 77 | 15_taraftarları_dolandırılan_saldırısındaki_havalimanı |
58
+ | 16 | hastanesinden - yatırılan - kafelerde - gidebildig - mesanesinden | 71 | 16_hastanesinden_yatırılan_kafelerde_gidebildig |
59
+ | 17 | narlıdere - olaydan - yetkisi - aydemir - zeydan | 70 | 17_narlıdere_olaydan_yetkisi_aydemir |
60
+ | 18 | partili - balıkesir - vakıf - partisi - olayına | 49 | 18_partili_balıkesir_vakıf_partisi |
61
+ | 19 | taksicilere - yakıldı - seferberlikte - yakılmaya - kedilere | 47 | 19_taksicilere_yakıldı_seferberlikte_yakılmaya |
62
+ | 20 | yayındayız - yayında - faydalıkiliseninpapazı - feodalizm - yvxite_ayuq | 46 | 20_yayındayız_yayında_faydalıkiliseninpapazı_feodalizm |
63
+ | 21 | suriyeli - operasyonu - subaylar - kuzeyindeki - operasyonlarında | 29 | 21_suriyeli_operasyonu_subaylar_kuzeyindeki |
64
+ | 22 | gerektiriyorsa - anılmayı - saldıran - atıklarla - lklerini | 26 | 22_gerektiriyorsa_anılmayı_saldıran_atıklarla |
65
+ | 23 | reddediyoruz - toplantıda - mecburiyetini - kazanmak - partili | 21 | 23_reddediyoruz_toplantıda_mecburiyetini_kazanmak |
66
+ | 24 | yarınları - ilerliyoruz - katılın - edebilmesi - okurlarıdır | 21 | 24_yarınları_ilerliyoruz_katılın_edebilmesi |
67
+ | 25 | havalimanını - dokunulmazlık - yasadıs - fadesinde - kabartıyorlar | 20 | 25_havalimanını_dokunulmazlık_yasadıs_fadesinde |
68
+ | 26 | bozdurmalarını - slamcılara - nsanlarını - asrına - cumhuriyetimizin | 19 | 26_bozdurmalarını_slamcılara_nsanlarını_asrına |
69
+ | 27 | tıklayarak - tamgatu - butonuna - nde - rk | 19 | 27_tıklayarak_tamgatu_butonuna_nde |
70
+ | 28 | satıs - mevduatlarında - artıs - birimi - korumalı | 16 | 28_satıs_mevduatlarında_artıs_birimi |
71
+ | 29 | kıtlık - hikayesi - bakiyesi - zarurettir - ılık | 15 | 29_kıtlık_hikayesi_bakiyesi_zarurettir |
72
+ | 30 | patreon - destekleyin - tamgatu - telegram - milliyetc | 15 | 30_patreon_destekleyin_tamgatu_telegram |
73
+ | 31 | benzine - zam - mhp - explorer - bec | 14 | 31_benzine_zam_mhp_explorer |
74
+ | 32 | yargılandıg - alıs - yılların - ıkarıldı - saldırdılar | 12 | 32_yargılandıg_alıs_yılların_ıkarıldı |
75
+ | 33 | yansıdı - sarız - depremden - japonya - yu | 12 | 33_yansıdı_sarız_depremden_japonya |
76
+ | 34 | arınc - kılıc - beklemeden - halkı - partisi | 12 | 34_arınc_kılıc_beklemeden_halkı |
77
+ | 35 | belgeseli - atırtı - rtecilerin - edemez - johnson | 12 | 35_belgeseli_atırtı_rtecilerin_edemez |
78
+
79
+ </details>
80
+
81
+ ## Training hyperparameters
82
+
83
+ * calculate_probabilities: False
84
+ * language: None
85
+ * low_memory: False
86
+ * min_topic_size: 10
87
+ * n_gram_range: (1, 1)
88
+ * nr_topics: None
89
+ * seed_topic_list: None
90
+ * top_n_words: 10
91
+ * verbose: False
92
+ * zeroshot_min_similarity: 0.7
93
+ * zeroshot_topic_list: None
94
+
95
+ ## Framework versions
96
+
97
+ * Numpy: 1.23.5
98
+ * HDBSCAN: 0.8.38.post1
99
+ * UMAP: 0.5.6
100
+ * Pandas: 2.2.2
101
+ * Scikit-Learn: 1.5.1
102
+ * Sentence-transformers: 3.0.1
103
+ * Transformers: 4.44.2
104
+ * Numba: 0.60.0
105
+ * Plotly: 5.24.0
106
+ * Python: 3.10.12
config.json ADDED
@@ -0,0 +1,16 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "calculate_probabilities": false,
3
+ "language": null,
4
+ "low_memory": false,
5
+ "min_topic_size": 10,
6
+ "n_gram_range": [
7
+ 1,
8
+ 1
9
+ ],
10
+ "nr_topics": null,
11
+ "seed_topic_list": null,
12
+ "top_n_words": 10,
13
+ "verbose": false,
14
+ "zeroshot_min_similarity": 0.7,
15
+ "zeroshot_topic_list": null
16
+ }
ctfidf.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:4f748a5bf8e632878deb47e7158c05de2bdf8e1865859bfe34612ed8d374764f
3
+ size 1679124
ctfidf_config.json ADDED
The diff for this file is too large to render. See raw diff
 
topic_embeddings.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:876e7f291bdb2fe4d75ab924175d7bc7b12827b2c56c0850169fac3962213ca2
3
+ size 151640
topics.json ADDED
The diff for this file is too large to render. See raw diff