AngelPanizo commited on
Commit
37fe1bf
·
verified ·
1 Parent(s): 97cf288

Add BERTopic model

Browse files
README.md ADDED
@@ -0,0 +1,165 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+
2
+ ---
3
+ tags:
4
+ - bertopic
5
+ library_name: bertopic
6
+ pipeline_tag: text-classification
7
+ ---
8
+
9
+ # MARTINI_enrich_BERTopic_OperasyonHaber
10
+
11
+ This is a [BERTopic](https://github.com/MaartenGr/BERTopic) model.
12
+ BERTopic is a flexible and modular topic modeling framework that allows for the generation of easily interpretable topics from large datasets.
13
+
14
+ ## Usage
15
+
16
+ To use this model, please install BERTopic:
17
+
18
+ ```
19
+ pip install -U bertopic
20
+ ```
21
+
22
+ You can use the model as follows:
23
+
24
+ ```python
25
+ from bertopic import BERTopic
26
+ topic_model = BERTopic.load("AIDA-UPM/MARTINI_enrich_BERTopic_OperasyonHaber")
27
+
28
+ topic_model.get_topic_info()
29
+ ```
30
+
31
+ ## Topic overview
32
+
33
+ * Number of topics: 96
34
+ * Number of training documents: 13254
35
+
36
+ <details>
37
+ <summary>Click here for an overview of all topics.</summary>
38
+
39
+ | Topic ID | Topic Keywords | Topic Frequency | Label |
40
+ |----------|----------------|-----------------|-------|
41
+ | -1 | erdogan - cumhurbaskanı - israil - silah - yakalandı | 20 | -1_erdogan_cumhurbaskanı_israil_silah |
42
+ | 0 | nusra - guneyindeki - atıslarıyla - ebubekir - sivil | 7868 | 0_nusra_guneyindeki_atıslarıyla_ebubekir |
43
+ | 1 | hayırlı - anlamadım - sevgilim - yazıcıoglu - saygı | 172 | 1_hayırlı_anlamadım_sevgilim_yazıcıoglu |
44
+ | 2 | ihtarına - gaziantep - harekat - unutmayacagız - polisi | 163 | 2_ihtarına_gaziantep_harekat_unutmayacagız |
45
+ | 3 | ankara - izmir - kaftancıoglu - merkezli - sorularını | 151 | 3_ankara_izmir_kaftancıoglu_merkezli |
46
+ | 4 | iranlı - muhafızlarına - kuzeydogusundaki - uluslararası - milislerinden | 143 | 4_iranlı_muhafızlarına_kuzeydogusundaki_uluslararası |
47
+ | 5 | diyarbakır - komutanlıgınca - operasyonlarında - kg - eroin | 132 | 5_diyarbakır_komutanlıgınca_operasyonlarında_kg |
48
+ | 6 | teroristlerin - kasabasında - bombalarıyla - arabasına - noktalarına | 126 | 6_teroristlerin_kasabasında_bombalarıyla_arabasına |
49
+ | 7 | kuzeyirak - harekatı - helikopterlerimiz - ucaklarımizın - sulaymaniye | 120 | 7_kuzeyirak_harekatı_helikopterlerimiz_ucaklarımizın |
50
+ | 8 | bagımlılıgımız - ismaildemir - fuzelerimiz - sanayi - anadolu | 119 | 8_bagımlılıgımız_ismaildemir_fuzelerimiz_sanayi |
51
+ | 9 | syriatel - birliklerimiz - katıldıklarını - subaylarla - huseyine | 116 | 9_syriatel_birliklerimiz_katıldıklarını_subaylarla |
52
+ | 10 | teroristlerden - hayrettin - catısmada - getirildi - silahlarıyla | 110 | 10_teroristlerden_hayrettin_catısmada_getirildi |
53
+ | 11 | kuzeydogusundaki - bombardımanına - atıslarıyla - halep - yakınlarındaki | 107 | 11_kuzeydogusundaki_bombardımanına_atıslarıyla_halep |
54
+ | 12 | hamas - israilli - baslangıcı - kazanmıstır - bombalamayı | 106 | 12_hamas_israilli_baslangıcı_kazanmıstır |
55
+ | 13 | basbakanı - cavusoglu - kıbrıs - imkanlarımızı - mitsotakis | 100 | 13_basbakanı_cavusoglu_kıbrıs_imkanlarımızı |
56
+ | 14 | diyarbakır - operasyonel - harekat - korucularindan - baslatıldı | 99 | 14_diyarbakır_operasyonel_harekat_korucularindan |
57
+ | 15 | makiivka - novorossiysk - ukraynalı - harkiv - tankların | 99 | 15_makiivka_novorossiysk_ukraynalı_harkiv |
58
+ | 16 | irak - kuzeyindeki - teroristi - operasyonuyla - postalandıgıni | 98 | 16_irak_kuzeyindeki_teroristi_operasyonuyla |
59
+ | 17 | libya - kaddafi - basbakanı - mısırlı - abdulhamid | 94 | 17_libya_kaddafi_basbakanı_mısırlı |
60
+ | 18 | finlandiya - basbakanı - cavusoglu - stoltenberg - etmeyeceklerini | 89 | 18_finlandiya_basbakanı_cavusoglu_stoltenberg |
61
+ | 19 | zeytindalı - harekatlarla - kalkanı - bayraktaroglu - sınırımızdaki | 87 | 19_zeytindalı_harekatlarla_kalkanı_bayraktaroglu |
62
+ | 20 | suleyman - davutoglu - dusmanlıgı - cıkamıyorlar - istanbu | 84 | 20_suleyman_davutoglu_dusmanlıgı_cıkamıyorlar |
63
+ | 21 | azerbaycanlı - ermenistan - makamları - soydaslarimizi - baslatılacagını | 84 | 21_azerbaycanlı_ermenistan_makamları_soydaslarimizi |
64
+ | 22 | kuzeybatısından - israilli - yassin - tankını - merkava | 84 | 22_kuzeybatısından_israilli_yassin_tankını |
65
+ | 23 | malatya - gaziantep - buyuksehir - kahramanmaras - hasarlı | 83 | 23_malatya_gaziantep_buyuksehir_kahramanmaras |
66
+ | 24 | kurdistan - cekilmemizi - farklılıklarımızı - sıkmayacagız - gerillarıda | 82 | 24_kurdistan_cekilmemizi_farklılıklarımızı_sıkmayacagız |
67
+ | 25 | silahı - bombası - komutanlıgınca - antitank - dragunov | 82 | 25_silahı_bombası_komutanlıgınca_antitank |
68
+ | 26 | rusafa - saldırılarıda - yanısıra - uslerinin - konvoyumuz | 77 | 26_rusafa_saldırılarıda_yanısıra_uslerinin |
69
+ | 27 | hizbullahı - israilogulları - nasrallahın - golan - yayınlayacak | 75 | 27_hizbullahı_israilogulları_nasrallahın_golan |
70
+ | 28 | kılıcdaroglu - ahmet - belediyesi - demirtas - basdanısmanı | 72 | 28_kılıcdaroglu_ahmet_belediyesi_demirtas |
71
+ | 29 | sorumlularındanterorist - operasyonuyla - mıhyeddin - suikastcısı - suleymaniye | 72 | 29_sorumlularındanterorist_operasyonuyla_mıhyeddin_suikastcısı |
72
+ | 30 | ryabkov - diplomatımızın - zakharova - luhansk - baskısına | 69 | 30_ryabkov_diplomatımızın_zakharova_luhansk |
73
+ | 31 | operasyonlarındaki - teroristinin - sıgınaklarda - silah - mehmetciklerimize | 65 | 31_operasyonlarındaki_teroristinin_sıgınaklarda_silah |
74
+ | 32 | bayraktar - selcuk - gelirlerimizin - dunyanın - havacılık | 64 | 32_bayraktar_selcuk_gelirlerimizin_dunyanın |
75
+ | 33 | teroristletin - operasyonu - korucularımızdan - katılmasın - actıgı | 62 | 33_teroristletin_operasyonu_korucularımızdan_katılmasın |
76
+ | 34 | muhafızları - khatibzadeh - abdullahiyan - fatihleri - cıkarlarımıza | 60 | 34_muhafızları_khatibzadeh_abdullahiyan_fatihleri |
77
+ | 35 | ihtiyaclarımızı - kararlılıkla - astsubaylarımızın - hukukunun - baslanmıstır | 59 | 35_ihtiyaclarımızı_kararlılıkla_astsubaylarımızın_hukukunun |
78
+ | 36 | kuzeydogusunda - teroristleri - sıgınagı - kaynaklar - sufyan | 57 | 36_kuzeydogusunda_teroristleri_sıgınagı_kaynaklar |
79
+ | 37 | irak - harekatında - kuzeyinde - cankırı - operasyonunda | 53 | 37_irak_harekatında_kuzeyinde_cankırı |
80
+ | 38 | konvoyu - kaynaklanıyordu - uluslararası - helikopterlerin - tanklarıyla | 51 | 38_konvoyu_kaynaklanıyordu_uluslararası_helikopterlerin |
81
+ | 39 | afganistanın - talibanın - kunduz - kalabalıga - faizabad | 50 | 39_afganistanın_talibanın_kunduz_kalabalıga |
82
+ | 40 | baslangıcının - helikopterimiz - hurjet - cıkarmayacagız - 2025 | 49 | 40_baslangıcının_helikopterimiz_hurjet_cıkarmayacagız |
83
+ | 41 | erdogan - calısanlarımızdan - sıgınmacılar - fiyatlarını - borcları | 49 | 41_erdogan_calısanlarımızdan_sıgınmacılar_fiyatlarını |
84
+ | 42 | afganların - taliban - cavusoglu - tavsiyelerimizi - zabihullah | 48 | 42_afganların_taliban_cavusoglu_tavsiyelerimizi |
85
+ | 43 | schumer - satabilir - senatosu - kanallarımızı - desteklemiyorum | 47 | 43_schumer_satabilir_senatosu_kanallarımızı |
86
+ | 44 | istanbul - ankara - birlikcilerini - operasyonlarda - cıkartıldı | 42 | 44_istanbul_ankara_birlikcilerini_operasyonlarda |
87
+ | 45 | pakdemirli - oymapınar - manavgat - saglayabileceksek - kucukcınar | 42 | 45_pakdemirli_oymapınar_manavgat_saglayabileceksek |
88
+ | 46 | erdogan - netanyahu - hamas - topraklarını - yazılmıstır | 41 | 46_erdogan_netanyahu_hamas_topraklarını |
89
+ | 47 | birlikleri - paylasımlara - kanalları - muhimmatından - halidiye | 41 | 47_birlikleri_paylasımlara_kanalları_muhimmatından |
90
+ | 48 | arapları - guneyindeki - birlikleri - yezidi - alqemiye | 41 | 48_arapları_guneyindeki_birlikleri_yezidi |
91
+ | 49 | diyarbakır - kayapınar - teroristlerce - hazırlıgındayken - merkezli | 41 | 49_diyarbakır_kayapınar_teroristlerce_hazırlıgındayken |
92
+ | 50 | iraklının - kurduklarını - rahatsızlıgımızı - maliki - basbakanımız | 40 | 50_iraklının_kurduklarını_rahatsızlıgımızı_maliki |
93
+ | 51 | filistinlileri - israilli - muslumanız - yakalamaları - kibbutz | 40 | 51_filistinlileri_israilli_muslumanız_yakalamaları |
94
+ | 52 | daraa - israildir - iranlı - muhafızlarına - stokladıgından | 40 | 52_daraa_israildir_iranlı_muhafızlarına |
95
+ | 53 | erdogan - basımızı - secimleriyle - cıktıgımız - dokunmayız | 39 | 53_erdogan_basımızı_secimleriyle_cıktıgımız |
96
+ | 54 | surmeyecek - harekatın - baslaması - sultanmurat - operasyonunun | 37 | 54_surmeyecek_harekatın_baslaması_sultanmurat |
97
+ | 55 | netanyahu - hamas - politikasıdır - basbakan - saldırganlıklarının | 37 | 55_netanyahu_hamas_politikasıdır_basbakan |
98
+ | 56 | silahlandırılmıs - roketimize - teknolojilerini - mutabakatımız - raytheon | 37 | 56_silahlandırılmıs_roketimize_teknolojilerini_mutabakatımız |
99
+ | 57 | basbakanı - azerbaycan - kırgızistan - karapetyan - imzalamayı | 37 | 57_basbakanı_azerbaycan_kırgızistan_karapetyan |
100
+ | 58 | karayolu - birliklerimiz - noktalarını - guneyindeki - konvoyu | 37 | 58_karayolu_birliklerimiz_noktalarını_guneyindeki |
101
+ | 59 | ırak - kuzeyindeki - yıldırım - barzani - teroristlerde | 37 | 59_ırak_kuzeyindeki_yıldırım_barzani |
102
+ | 60 | erdogan - edeceklerdir - kararlılıgımızla - anlamayacagı - dusuncemiz | 35 | 60_erdogan_edeceklerdir_kararlılıgımızla_anlamayacagı |
103
+ | 61 | irak - kuzeyindeki - silahlarını - operasyonları - mehmetciklerimiz | 35 | 61_irak_kuzeyindeki_silahlarını_operasyonları |
104
+ | 62 | irak - kurdistanı - bayraklarını - saldırganlıgında - baslatırız | 33 | 62_irak_kurdistanı_bayraklarını_saldırganlıgında |
105
+ | 63 | eurofighter - etrafımızı - rafale - radarımız - gelebilirsiniz | 31 | 63_eurofighter_etrafımızı_rafale_radarımız |
106
+ | 64 | denizasırı - kaptanların - yayınlanmıstır - nautical - degerlendirilmektedir | 31 | 64_denizasırı_kaptanların_yayınlanmıstır_nautical |
107
+ | 65 | sanlıurfa - sahısların - birliklerimiz - yunanistan - msb | 29 | 65_sanlıurfa_sahısların_birliklerimiz_yunanistan |
108
+ | 66 | komutanlıgında - baskanlıgımız - genelkurmay - karaosmanoglu - mehmetciklerle | 29 | 66_komutanlıgında_baskanlıgımız_genelkurmay_karaosmanoglu |
109
+ | 67 | karadenizdekinin - kaynaklar - sahanlıgımızdaydı - enerji - petrol | 29 | 67_karadenizdekinin_kaynaklar_sahanlıgımızdaydı_enerji |
110
+ | 68 | helikopterimizde - komutanlıgımızdaki - gaziantep - pilotumuz - sikorsky | 28 | 68_helikopterimizde_komutanlıgımızdaki_gaziantep_pilotumuz |
111
+ | 69 | pentagon - bombacısı - sıgınaklarındayken - rumsfeld - muttefiklerimizden | 28 | 69_pentagon_bombacısı_sıgınaklarındayken_rumsfeld |
112
+ | 70 | kurdurmayacagız - kuzeyiyle - terorist - gunlerini - 2015 | 28 | 70_kurdurmayacagız_kuzeyiyle_terorist_gunlerini |
113
+ | 71 | filistinlilerle - tarafsızlık - makamlarına - bombalanıp - barısının | 28 | 71_filistinlilerle_tarafsızlık_makamlarına_bombalanıp |
114
+ | 72 | kızılayı - bombaladıgını - unrwa - ambulansların - filistinli | 27 | 72_kızılayı_bombaladıgını_unrwa_ambulansların |
115
+ | 73 | kuzeydogusundaki - karargahını - malikiyah - militanın - hamzabek | 27 | 73_kuzeydogusundaki_karargahını_malikiyah_militanın |
116
+ | 74 | guneyindeki - unsurlarının - kasabasında - saygısızlık - milisleri | 27 | 74_guneyindeki_unsurlarının_kasabasında_saygısızlık |
117
+ | 75 | zelenskiy - ulkemizi - litvanya - moldova - sasıracaksınız | 27 | 75_zelenskiy_ulkemizi_litvanya_moldova |
118
+ | 76 | prigozhin - medvedev - krasnyi - lipetsk - vatanseverleri | 27 | 76_prigozhin_medvedev_krasnyi_lipetsk |
119
+ | 77 | bayraktar - mikolayiv - rus - tb2 - depolandıgı | 26 | 77_bayraktar_mikolayiv_rus_tb2 |
120
+ | 78 | adasarhanlı - getirdikleri - komutanlıgına - yakalananların - kartallarımız | 26 | 78_adasarhanlı_getirdikleri_komutanlıgına_yakalananların |
121
+ | 79 | teroristleri - karargahına - kuzeyinde - komutanlarindan - silahlarla | 26 | 79_teroristleri_karargahına_kuzeyinde_komutanlarindan |
122
+ | 80 | teroristleri - kuzeybatısı - roketleriyle - yakınında - tankımızı | 26 | 80_teroristleri_kuzeybatısı_roketleriyle_yakınında |
123
+ | 81 | bayramımızın - kahramanlarımızı - canakkale - ogretmenlerimizin - saygıyla | 26 | 81_bayramımızın_kahramanlarımızı_canakkale_ogretmenlerimizin |
124
+ | 82 | radarında - baslatılmıstı - radarın - arayıcı - pilotları | 26 | 82_radarında_baslatılmıstı_radarın_arayıcı |
125
+ | 83 | sosyal - provakosyonlar - kullanıcıları - baslatacaktır - tiktok | 25 | 83_sosyal_provakosyonlar_kullanıcıları_baslatacaktır |
126
+ | 84 | komutanlıgında - komandolarımız - harekatından - merkezi - atanmalarımızda | 25 | 84_komutanlıgında_komandolarımız_harekatından_merkezi |
127
+ | 85 | fransa - politikasında - avustralyalı - defasında - kararımızın | 24 | 85_fransa_politikasında_avustralyalı_defasında |
128
+ | 86 | kadrolarına - terorist - patlayıcılarının - talimatlarını - gorevlendirildi | 24 | 86_kadrolarına_terorist_patlayıcılarının_talimatlarını |
129
+ | 87 | yasandıgı - suriye - birliklerinin - batısında - bombardımana | 23 | 87_yasandıgı_suriye_birliklerinin_batısında |
130
+ | 88 | teroristte - yetkililerinden - kasabasında - deyrezzor - guneybatısındaki | 23 | 88_teroristte_yetkililerinden_kasabasında_deyrezzor |
131
+ | 89 | sınırında - atıslarıyla - milisleri - unsurlarını - fuzelerle | 23 | 89_sınırında_atıslarıyla_milisleri_unsurlarını |
132
+ | 90 | ukraynalıların - istihbaratı - hazırlıyor - rus - koordinasyonunda | 23 | 90_ukraynalıların_istihbaratı_hazırlıyor_rus |
133
+ | 91 | putin - rusyaya - lugansk - akrabalarımızdır - komunizasyondan | 23 | 91_putin_rusyaya_lugansk_akrabalarımızdır |
134
+ | 92 | israil - bombaları - hazırlandıgı - harekatını - sirenleri | 20 | 92_israil_bombaları_hazırlandıgı_harekatını |
135
+ | 93 | guneyindeki - rus - durbunleri - kasabasından - milisleri | 20 | 93_guneyindeki_rus_durbunleri_kasabasından |
136
+ | 94 | propagandası - malatya - mecralarında - sayfaları - barankoglu | 20 | 94_propagandası_malatya_mecralarında_sayfaları |
137
+
138
+ </details>
139
+
140
+ ## Training hyperparameters
141
+
142
+ * calculate_probabilities: True
143
+ * language: None
144
+ * low_memory: False
145
+ * min_topic_size: 10
146
+ * n_gram_range: (1, 1)
147
+ * nr_topics: None
148
+ * seed_topic_list: None
149
+ * top_n_words: 10
150
+ * verbose: False
151
+ * zeroshot_min_similarity: 0.7
152
+ * zeroshot_topic_list: None
153
+
154
+ ## Framework versions
155
+
156
+ * Numpy: 1.26.4
157
+ * HDBSCAN: 0.8.40
158
+ * UMAP: 0.5.7
159
+ * Pandas: 2.2.3
160
+ * Scikit-Learn: 1.5.2
161
+ * Sentence-transformers: 3.3.1
162
+ * Transformers: 4.46.3
163
+ * Numba: 0.60.0
164
+ * Plotly: 5.24.1
165
+ * Python: 3.10.12
config.json ADDED
@@ -0,0 +1,16 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "calculate_probabilities": true,
3
+ "language": null,
4
+ "low_memory": false,
5
+ "min_topic_size": 10,
6
+ "n_gram_range": [
7
+ 1,
8
+ 1
9
+ ],
10
+ "nr_topics": null,
11
+ "seed_topic_list": null,
12
+ "top_n_words": 10,
13
+ "verbose": false,
14
+ "zeroshot_min_similarity": 0.7,
15
+ "zeroshot_topic_list": null
16
+ }
ctfidf.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:dba7ca801c1e5ebfc8830499675da0dfd0490d5b084a4bc762b3d2c4c2b3dd32
3
+ size 1459372
ctfidf_config.json ADDED
The diff for this file is too large to render. See raw diff
 
topic_embeddings.safetensors ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:5662f8375cb96cacb46ff84f166bc6f09762a6a1bab0b3c5056862808bb3b2fe
3
+ size 393304
topics.json ADDED
The diff for this file is too large to render. See raw diff