AngelPanizo commited on
Commit
aefb60a
·
verified ·
1 Parent(s): 4b6eb99

Add BERTopic model

Browse files
README.md ADDED
@@ -0,0 +1,172 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+
2
+ ---
3
+ tags:
4
+ - bertopic
5
+ library_name: bertopic
6
+ pipeline_tag: text-classification
7
+ ---
8
+
9
+ # MARTINI_enrich_BERTopic_griffincomtr
10
+
11
+ This is a [BERTopic](https://github.com/MaartenGr/BERTopic) model.
12
+ BERTopic is a flexible and modular topic modeling framework that allows for the generation of easily interpretable topics from large datasets.
13
+
14
+ ## Usage
15
+
16
+ To use this model, please install BERTopic:
17
+
18
+ ```
19
+ pip install -U bertopic
20
+ ```
21
+
22
+ You can use the model as follows:
23
+
24
+ ```python
25
+ from bertopic import BERTopic
26
+ topic_model = BERTopic.load("AIDA-UPM/MARTINI_enrich_BERTopic_griffincomtr")
27
+
28
+ topic_model.get_topic_info()
29
+ ```
30
+
31
+ ## Topic overview
32
+
33
+ * Number of topics: 103
34
+ * Number of training documents: 13885
35
+
36
+ <details>
37
+ <summary>Click here for an overview of all topics.</summary>
38
+
39
+ | Topic ID | Topic Keywords | Topic Frequency | Label |
40
+ |----------|----------------|-----------------|-------|
41
+ | -1 | bakanı - mehmet - ankara - ataturk - istanbul | 20 | -1_bakanı_mehmet_ankara_ataturk |
42
+ | 0 | kılıcdaroglu - baskanlarımızın - militandır - algılarını - beyefendi | 8613 | 0_kılıcdaroglu_baskanlarımızın_militandır_algılarını |
43
+ | 1 | erdogan - politikamız - sıkıntıları - kacınılmazdır - vatanın | 290 | 1_erdogan_politikamız_sıkıntıları_kacınılmazdır |
44
+ | 2 | kızın - bırakıldı - sakarya - sanlıurfa - konya | 225 | 2_kızın_bırakıldı_sakarya_sanlıurfa |
45
+ | 3 | kızılay - sanlıurfa - milliyetcisi - iktidarımızda - sıgınmacıyı | 192 | 3_kızılay_sanlıurfa_milliyetcisi_iktidarımızda |
46
+ | 4 | diplomatların - rusya - zakharova - federasyonu - sergey | 152 | 4_diplomatların_rusya_zakharova_federasyonu |
47
+ | 5 | bankaları - doları - lirası - fed - rezervi | 139 | 5_bankaları_doları_lirası_fed |
48
+ | 6 | izmir - istanbulluların - imamoglu - sehirlerarası - acılısına | 136 | 6_izmir_istanbulluların_imamoglu_sehirlerarası |
49
+ | 7 | tsai - blinken - silahlandırıldıgını - okinawa - istikrarsızlastırıyor | 129 | 7_tsai_blinken_silahlandırıldıgını_okinawa |
50
+ | 8 | karsıtlıgımız - cıkarlarımızın - davutoglu - beyinlerimizle - partisi | 109 | 8_karsıtlıgımız_cıkarlarımızın_davutoglu_beyinlerimizle |
51
+ | 9 | ergenekon - sınırlarımızı - politikasını - vereceksiniz - parmagı | 101 | 9_ergenekon_sınırlarımızı_politikasını_vereceksiniz |
52
+ | 10 | fransa - macron - parlementosu - zemmour - havuzların | 101 | 10_fransa_macron_parlementosu_zemmour |
53
+ | 11 | sınavları - okulların - universiteleri - egitimler - zamanlı | 94 | 11_sınavları_okulların_universiteleri_egitimler |
54
+ | 12 | harekatı - kızıltepe - yaralanmıstır - teroristlerin - pkk | 92 | 12_harekatı_kızıltepe_yaralanmıstır_teroristlerin |
55
+ | 13 | zelenskiy - rusları - uzmanlarımızdan - guneyimizde - tatarlarına | 85 | 13_zelenskiy_rusları_uzmanlarımızdan_guneyimizde |
56
+ | 14 | trump - desantis - biden - demokratların - kamala | 84 | 14_trump_desantis_biden_demokratların |
57
+ | 15 | eurofighter - bombardıman - baltık - awacs - ucaklarımız | 82 | 15_eurofighter_bombardıman_baltık_awacs |
58
+ | 16 | finlandiya - nato - helsinki - kararlastırılanlar - desteklemiyor | 79 | 16_finlandiya_nato_helsinki_kararlastırılanlar |
59
+ | 17 | iraklıları - kurbanlarına - iran - turkmen - barzani | 75 | 17_iraklıları_kurbanlarına_iran_turkmen |
60
+ | 18 | israelhayomheb - netanyahu - basbakanı - siyonistim - gazetelerin | 70 | 18_israelhayomheb_netanyahu_basbakanı_siyonistim |
61
+ | 19 | arabistan - selamlaması - zayed - riyad - yemen | 70 | 19_arabistan_selamlaması_zayed_riyad |
62
+ | 20 | dokunulmazlıgının - ankara - mahkumiyet - kurtajı - cezalandırıldı | 67 | 20_dokunulmazlıgının_ankara_mahkumiyet_kurtajı |
63
+ | 21 | gazprom - doların - uygulayacaklarını - ruble - ekonomisinde | 66 | 21_gazprom_doların_uygulayacaklarını_ruble |
64
+ | 22 | nato - stoltenberg - ukrayna - bosnalıları - operasyonlarına | 63 | 22_nato_stoltenberg_ukrayna_bosnalıları |
65
+ | 23 | afganistan - karzai - burkaları - gazetelerinden - militanlarına | 63 | 23_afganistan_karzai_burkaları_gazetelerinden |
66
+ | 24 | iranlı - tahran - ruhani - imzalanmalıdır - abdullahiyan | 61 | 24_iranlı_tahran_ruhani_imzalanmalıdır |
67
+ | 25 | ısırık - ihtiyacınız - tutuklamıyorsunuz - muharrem - duracaksın | 58 | 25_ısırık_ihtiyacınız_tutuklamıyorsunuz_muharrem |
68
+ | 26 | irak - harekatında - kuzeyindeki - mehmetciklerimiz - pkk | 56 | 26_irak_harekatında_kuzeyindeki_mehmetciklerimiz |
69
+ | 27 | putinin - biden - ukrayna - akıllının - diplomasiye | 56 | 27_putinin_biden_ukrayna_akıllının |
70
+ | 28 | libyalıları - tobruk - sudanlı - abdulhamid - taktikleriyle | 56 | 28_libyalıları_tobruk_sudanlı_abdulhamid |
71
+ | 29 | israil - turkistan - kararlılıgımızı - filistinlilerin - saldırıları | 56 | 29_israil_turkistan_kararlılıgımızı_filistinlilerin |
72
+ | 30 | kılıcdaroglu - sandık - figuranmısız - akparti - 689 | 55 | 30_kılıcdaroglu_sandık_figuranmısız_akparti |
73
+ | 31 | pfizer - sinovac - koronavirusten - hekimlerimiz - asısının | 55 | 31_pfizer_sinovac_koronavirusten_hekimlerimiz |
74
+ | 32 | hamas - bombardımanlarının - roketleri - olamamamızın - guneyindeki | 54 | 32_hamas_bombardımanlarının_roketleri_olamamamızın |
75
+ | 33 | hashtagleri - twitter - sayfamızı - kullanıcısından - paylastıklarımızın | 52 | 33_hashtagleri_twitter_sayfamızı_kullanıcısından |
76
+ | 34 | bulastırılmamıs - adaleti - cumhuriyetinde - abdulhamit - anayasayı | 52 | 34_bulastırılmamıs_adaleti_cumhuriyetinde_abdulhamit |
77
+ | 35 | benzin - fiyatları - lpg - petroldeki - litresi | 50 | 35_benzin_fiyatları_lpg_petroldeki |
78
+ | 36 | muhalefetleri - sıvası - calısmasaydık - milyonun - yılbasından | 49 | 36_muhalefetleri_sıvası_calısmasaydık_milyonun |
79
+ | 37 | afganların - taliban - kayıtlarımızda - dusmanlıgın - toparlanmalı | 48 | 37_afganların_taliban_kayıtlarımızda_dusmanlıgın |
80
+ | 38 | stepanakert - haydarabat - harutyunyan - baku - hazırlanmıs | 48 | 38_stepanakert_haydarabat_harutyunyan_baku |
81
+ | 39 | sıkıntıları - hazırlıgımız - suleyman - gokbayrak - calısmalarımızı | 48 | 39_sıkıntıları_hazırlıgımız_suleyman_gokbayrak |
82
+ | 40 | kahramanlıgıyla - toplanmalarına - devlet - tellallıgıdır - gazilerimizin | 47 | 40_kahramanlıgıyla_toplanmalarına_devlet_tellallıgıdır |
83
+ | 41 | medvedev - sovyetler - yaroshenko - zuganov - yaklasımlarını | 47 | 41_medvedev_sovyetler_yaroshenko_zuganov |
84
+ | 42 | azerbaycan - huseynaliları - halklarımızın - altındaydı - uluslararasılastırma | 46 | 42_azerbaycan_huseynaliları_halklarımızın_altındaydı |
85
+ | 43 | bidenopolos - bagıslamamız - cevaplamadı - ayrımındayız - kanallarımızı | 45 | 43_bidenopolos_bagıslamamız_cevaplamadı_ayrımındayız |
86
+ | 44 | firmasıyla - muhendislerinden - tankı - motorları - havacılık | 45 | 44_firmasıyla_muhendislerinden_tankı_motorları |
87
+ | 45 | binance - borsasını - ethereum - dolarını - tokenler | 41 | 45_binance_borsasını_ethereum_dolarını |
88
+ | 46 | karantinayı - kovid - bakanlıgınca - asısında - kuraklıga | 41 | 46_karantinayı_kovid_bakanlıgınca_asısında |
89
+ | 47 | hedeflerimiz - demokrasidir - konusmalarımızı - hdp - partiyi | 41 | 47_hedeflerimiz_demokrasidir_konusmalarımızı_hdp |
90
+ | 48 | galatasaraylı - villareal - kayserispor - uefa - klopp | 41 | 48_galatasaraylı_villareal_kayserispor_uefa |
91
+ | 49 | silahıyla - atısları - saldırılmasına - kuzeydogu - teroriste | 40 | 49_silahıyla_atısları_saldırılmasına_kuzeydogu |
92
+ | 50 | kovid - cıktı - 245 - testi - salgınından | 40 | 50_kovid_cıktı_245_testi |
93
+ | 51 | dolardı - yılın - ihracatcı - sayısından - ulastık | 39 | 51_dolardı_yılın_ihracatcı_sayısından |
94
+ | 52 | tiktok - pakistanlıyı - kadınları - sarıoglu - yakalanmasının | 38 | 52_tiktok_pakistanlıyı_kadınları_sarıoglu |
95
+ | 53 | kremlin - peskov - sputnik - ortaklarımızın - dmitriy | 38 | 53_kremlin_peskov_sputnik_ortaklarımızın |
96
+ | 54 | musk - zuckerberg - yatırımcısı - gazetecilige - dunyanın | 38 | 54_musk_zuckerberg_yatırımcısı_gazetecilige |
97
+ | 55 | donetsk - luhansk - bombardımanın - mariopol - kuzeydogusunda | 37 | 55_donetsk_luhansk_bombardımanın_mariopol |
98
+ | 56 | namazını - hristiyanlıkla - kılınacagını - hassasiyetlere - imanımızla | 35 | 56_namazını_hristiyanlıkla_kılınacagını_hassasiyetlere |
99
+ | 57 | kovid - pandeminin - koronavirusle - merkezlerde - hazırlamaktır | 33 | 57_kovid_pandeminin_koronavirusle_merkezlerde |
100
+ | 58 | harekatlar - ortaklıgımız - farklılıklarımızı - kalmayacagı - teroristtir | 31 | 58_harekatlar_ortaklıgımız_farklılıklarımızı_kalmayacagı |
101
+ | 59 | kurtardıgımız - bataklıgını - cabalarımızı - tribunlerden - emperyalistleri | 31 | 59_kurtardıgımız_bataklıgını_cabalarımızı_tribunlerden |
102
+ | 60 | kılıcdaroglu - arkadaslıgım - cıkmayacagız - calısacaktır - beceriksizligidir | 30 | 60_kılıcdaroglu_arkadaslıgım_cıkmayacagız_calısacaktır |
103
+ | 61 | gazlastırma - kaynaklar - enerji - tamamlandıgında - yenilenebilir | 30 | 61_gazlastırma_kaynaklar_enerji_tamamlandıgında |
104
+ | 62 | kanadalıların - trudeau - protestolarına - basbakanlıga - kamyoncuların | 30 | 62_kanadalıların_trudeau_protestolarına_basbakanlıga |
105
+ | 63 | cavusoglu - sorumluluklarımızı - turklerimizin - provokasyonlarını - cıktıgıyla | 29 | 63_cavusoglu_sorumluluklarımızı_turklerimizin_provokasyonlarını |
106
+ | 64 | koronavirusu - omicron - varyantına - neocov - ulkelerdeniz | 29 | 64_koronavirusu_omicron_varyantına_neocov |
107
+ | 65 | kharkov - rus - tankı - belgorod - panzerfaust | 29 | 65_kharkov_rus_tankı_belgorod |
108
+ | 66 | deniz - hakkımızdır - tartısabilecegimiz - altındakilerin - adımlarından | 28 | 66_deniz_hakkımızdır_tartısabilecegimiz_altındakilerin |
109
+ | 67 | yaygınlastırıyoruz - bagısıklıgın - dagıtılacagını - calısanlarımız - asılanmasına | 28 | 67_yaygınlastırıyoruz_bagısıklıgın_dagıtılacagını_calısanlarımız |
110
+ | 68 | almanya - basbakanlıktan - farklılıklarımız - merkel - goguslerinin | 27 | 68_almanya_basbakanlıktan_farklılıklarımız_merkel |
111
+ | 69 | fiyatlar - iphone - 256gb - macbook - airpods | 27 | 69_fiyatlar_iphone_256gb_macbook |
112
+ | 70 | kıbrıs - turklerinin - taraftarıyız - siyasetimizi - askersizlestirilmesi | 26 | 70_kıbrıs_turklerinin_taraftarıyız_siyasetimizi |
113
+ | 71 | kurbanlıkların - kırmızıya - gaziantep - kazasının - fabrikasına | 26 | 71_kurbanlıkların_kırmızıya_gaziantep_kazasının |
114
+ | 72 | emirlerindeyiz - lgbtqi - transseksueller - yasallastırdınız - boyattıgı | 26 | 72_emirlerindeyiz_lgbtqi_transseksueller_yasallastırdınız |
115
+ | 73 | pakdemirli - almamızı - hektarlık - marmaris - serasında | 26 | 73_pakdemirli_almamızı_hektarlık_marmaris |
116
+ | 74 | sıcaklıgında - malatya - sakarya - canakkale - kalınlıgının | 26 | 74_sıcaklıgında_malatya_sakarya_canakkale |
117
+ | 75 | denizindeki - caydırıcılıgı - guneybatısında - komutanlıgının - uzaklastırdıgı | 26 | 75_denizindeki_caydırıcılıgı_guneybatısında_komutanlıgının |
118
+ | 76 | baglantılarımızın - mısır - cavusoglu - asılamayacak - istihbaratlarımız | 26 | 76_baglantılarımızın_mısır_cavusoglu_asılamayacak |
119
+ | 77 | tuzakların - kımıldatmıyorsunuz - dusmanlarısınız - andımızdır - dagıstanlı | 26 | 77_tuzakların_kımıldatmıyorsunuz_dusmanlarısınız_andımızdır |
120
+ | 78 | politikamızla - ortaklıgımızı - ukrayna - desteklemiyorum - diplomasiyi | 25 | 78_politikamızla_ortaklıgımızı_ukrayna_desteklemiyorum |
121
+ | 79 | fiyatlarımızı - fiyatlarını - fiyatlarımızdır - kazandırdıkları - urunlerin | 25 | 79_fiyatlarımızı_fiyatlarını_fiyatlarımızdır_kazandırdıkları |
122
+ | 80 | komisyonu - kararları - euronun - etmeyecek - uygulamasını | 25 | 80_komisyonu_kararları_euronun_etmeyecek |
123
+ | 81 | gazeteciler - sikayetlerimi - takipcilerimden - sıgınmacılarla - yuzbasıoglu | 25 | 81_gazeteciler_sikayetlerimi_takipcilerimden_sıgınmacılarla |
124
+ | 82 | fenerbahcelilerin - diyarbakırspor - galatasaray - saldırganları - kazandıgım | 25 | 82_fenerbahcelilerin_diyarbakırspor_galatasaray_saldırganları |
125
+ | 83 | istanbul - canakkale - baskanlıgım - hazırlıklarına - karaismailoglu | 24 | 83_istanbul_canakkale_baskanlıgım_hazırlıklarına |
126
+ | 84 | faturalarına - kaptırmayacagız - vatandaslarımızı - elektrikler - calısırsanız | 24 | 84_faturalarına_kaptırmayacagız_vatandaslarımızı_elektrikler |
127
+ | 85 | cumhuriyetimizin - ataturkculukten - kahramanlarımızı - mustafa - ecdadımızı | 24 | 85_cumhuriyetimizin_ataturkculukten_kahramanlarımızı_mustafa |
128
+ | 86 | ekonomilerimiz - kazanımlarımız - yatırımcıları - devletlerde - dunyamızla | 24 | 86_ekonomilerimiz_kazanımlarımız_yatırımcıları_devletlerde |
129
+ | 87 | saatleri - sınırlamasını - yaygınlastırılacak - salonları - calısabilecek | 23 | 87_saatleri_sınırlamasını_yaygınlastırılacak_salonları |
130
+ | 88 | muhafazası - politikaların - silahlanıyorsanız - provokasyonlarla - komsularımızın | 23 | 88_muhafazası_politikaların_silahlanıyorsanız_provokasyonlarla |
131
+ | 89 | basbakanlıgına - boris - brexit - birlesik - ukraini | 23 | 89_basbakanlıgına_boris_brexit_birlesik |
132
+ | 90 | karayolları - sayılacaklardır - cayyolu - avarkarfırtınası - kamyonlarla | 23 | 90_karayolları_sayılacaklardır_cayyolu_avarkarfırtınası |
133
+ | 91 | bayraktar - cıkacagını - bekleyebiliriz - seruvenimizdeki - havacılık | 23 | 91_bayraktar_cıkacagını_bekleyebiliriz_seruvenimizdeki |
134
+ | 92 | basbakanı - muttefiklerimizde - micotakis - istikrarsızlastırabilir - yunanistan | 22 | 92_basbakanı_muttefiklerimizde_micotakis_istikrarsızlastırabilir |
135
+ | 93 | suriyelilerde - fiyatlar - politikalarıyla - ekonomist - borclanıyorsanız | 22 | 93_suriyelilerde_fiyatlar_politikalarıyla_ekonomist |
136
+ | 94 | draghi - basbakanı - italyanlar - marıo - yapmalıyız | 22 | 94_draghi_basbakanı_italyanlar_marıo |
137
+ | 95 | teknolojisiyle - sanayi - muhendislerimiz - fabrikası - larımızı | 21 | 95_teknolojisiyle_sanayi_muhendislerimiz_fabrikası |
138
+ | 96 | spacex - karsılasacagımızı - gagarin - roketiyle - solunabilir | 21 | 96_spacex_karsılasacagımızı_gagarin_roketiyle |
139
+ | 97 | guterres - diplomasisi - sekreteri - sarayında - guveniyoruz | 21 | 97_guterres_diplomasisi_sekreteri_sarayında |
140
+ | 98 | bayraktar - berdyansk - moskva - radarını - uzaklastıgı | 20 | 98_bayraktar_berdyansk_moskva_radarını |
141
+ | 99 | pakistanlılar - islamabad - imran - yasandıgından - afzal | 20 | 99_pakistanlılar_islamabad_imran_yasandıgından |
142
+ | 100 | kazakistanlı - nazarbayev - tokayev - anlasılınca - bayraklar | 20 | 100_kazakistanlı_nazarbayev_tokayev_anlasılınca |
143
+ | 101 | israil - bombardımanında - merkava - roket - tanklarındaki | 20 | 101_israil_bombardımanında_merkava_roket |
144
+
145
+ </details>
146
+
147
+ ## Training hyperparameters
148
+
149
+ * calculate_probabilities: True
150
+ * language: None
151
+ * low_memory: False
152
+ * min_topic_size: 10
153
+ * n_gram_range: (1, 1)
154
+ * nr_topics: None
155
+ * seed_topic_list: None
156
+ * top_n_words: 10
157
+ * verbose: False
158
+ * zeroshot_min_similarity: 0.7
159
+ * zeroshot_topic_list: None
160
+
161
+ ## Framework versions
162
+
163
+ * Numpy: 1.26.4
164
+ * HDBSCAN: 0.8.40
165
+ * UMAP: 0.5.7
166
+ * Pandas: 2.2.3
167
+ * Scikit-Learn: 1.5.2
168
+ * Sentence-transformers: 3.3.1
169
+ * Transformers: 4.46.3
170
+ * Numba: 0.60.0
171
+ * Plotly: 5.24.1
172
+ * Python: 3.10.12
config.json ADDED
@@ -0,0 +1,16 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "calculate_probabilities": true,
3
+ "language": null,
4
+ "low_memory": false,
5
+ "min_topic_size": 10,
6
+ "n_gram_range": [
7
+ 1,
8
+ 1
9
+ ],
10
+ "nr_topics": null,
11
+ "seed_topic_list": null,
12
+ "top_n_words": 10,
13
+ "verbose": false,
14
+ "zeroshot_min_similarity": 0.7,
15
+ "zeroshot_topic_list": null
16
+ }
ctfidf.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:182c91715aa31d816c751e4520eb07a5eff22f76758a1ddf5388888969403235
3
+ size 1684440
ctfidf_config.json ADDED
The diff for this file is too large to render. See raw diff
 
topic_embeddings.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:f2b8f4806d4124010f013809e08159fdda3d445958d1a15b53ef099a0d42ae7a
3
+ size 421984
topics.json ADDED
The diff for this file is too large to render. See raw diff