|
|
|
|
|
--- |
|
|
tags: |
|
|
- bertopic |
|
|
library_name: bertopic |
|
|
pipeline_tag: text-classification |
|
|
--- |
|
|
|
|
|
# -BERTopic_Arab_news |
|
|
|
|
|
A modular implementation of BERTopic for topic modeling, specifically trained on `Arabic news articles`. This implementation allows for flexible component selection at each layer of the topic modeling pipeline. |
|
|
|
|
|
 |
|
|
|
|
|
|
|
|
## The core of this project is BERTopic, which is used to perform topic modeling on the processed text. The following steps are performed: |
|
|
|
|
|
#### - Topic Modeling: BERTopic is trained on the cleaned dataset to identify topics in the articles. |
|
|
#### - Fine-tuning with KeyBERT: We use KeyBERT-inspired representations to improve the clarity and interpretability of the topics. |
|
|
#### - Topic Extraction: The most frequent topics are extracted, and each document is assigned a topic. |
|
|
#### - Topic Updates: The model can be fine-tuned by updating topics with n-grams for more domain-specific phrases. |
|
|
|
|
|
|
|
|
|
|
|
## Usage |
|
|
|
|
|
To use this model, please install BERTopic: |
|
|
|
|
|
``` |
|
|
pip install -U bertopic |
|
|
``` |
|
|
|
|
|
You can use the model as follows: |
|
|
|
|
|
```python |
|
|
from bertopic import BERTopic |
|
|
topic_model = BERTopic.load("Ah7med/BERTopic_ArXiv") |
|
|
|
|
|
topic_model.get_topic_info() |
|
|
``` |
|
|
|
|
|
## Topic overview |
|
|
|
|
|
* Number of topics: 92 |
|
|
* Number of training documents: 30721 |
|
|
|
|
|
<details> |
|
|
<summary>Click here for an overview of all topics.</summary> |
|
|
|
|
|
| Topic ID | Topic Keywords | Topic Frequency | Label | |
|
|
|----------|----------------|-----------------|-------| |
|
|
| -1 | رقم مليار - السمو - السمو الملكي - رقم رقم مليار - الملكي الأمير | 53 | -1_رقم مليار_السمو_السمو الملكي_رقم رقم مليار | |
|
|
| 0 | النادي - اللاعبين - اللاعب - القدم - نادي | 9656 | 0_النادي_اللاعبين_اللاعب_القدم | |
|
|
| 1 | عدن - المقاومة - الحوثيين - اليمن - الحوثي | 2984 | 1_عدن_المقاومة_الحوثيين_اليمن | |
|
|
| 2 | التحرش - الكتاب - الشاعر - الشعر - الرواية | 1111 | 2_التحرش_الكتاب_الشاعر_الشعر | |
|
|
| 3 | يونايتد - الدوري - الموسم - مانشستر - سيتي | 898 | 3_يونايتد_الدوري_الموسم_مانشستر | |
|
|
| 4 | إيران - النووي - الإيراني - الاتفاق النووي - أوباما | 819 | 4_إيران_النووي_الإيراني_الاتفاق النووي | |
|
|
| 5 | المرورية - وإنشاء - البلدية - الأمانة - المشروعات | 756 | 5_المرورية_وإنشاء_البلدية_الأمانة | |
|
|
| 6 | بشرطة - التحقيق - القبض - مقطع - التحرش | 543 | 6_بشرطة_التحقيق_القبض_مقطع | |
|
|
| 7 | الفعاليات - المهرجان - فعاليات - مهرجان - الشعبية | 496 | 7_الفعاليات_المهرجان_فعاليات_مهرجان | |
|
|
| 8 | تركيا - التركية - داعش - الكردستاني - العمال الكردستاني | 471 | 8_تركيا_التركية_داعش_الكردستاني | |
|
|
| 9 | الهاتف - أبل - الذكية - الهواتف - ويندوز | 456 | 9_الهاتف_أبل_الذكية_الهواتف | |
|
|
| 10 | الباحثون - القلب - الجسم - الدم - الإصابة | 431 | 10_الباحثون_القلب_الجسم_الدم | |
|
|
| 11 | البلدية - الانتخابية - للانتخابات - الانتخابات - الناخبين | 391 | 11_البلدية_الانتخابية_للانتخابات_الانتخابات | |
|
|
| 12 | الإسكان - العقاري - العقارية - نزع - نزع ملكية | 360 | 12_الإسكان_العقاري_العقارية_نزع | |
|
|
| 13 | - - - - | 357 | 13____ | |
|
|
| 14 | قوات الطوارئ - الإرهابي - الشهداء - استهدف - قوات | 354 | 14_قوات الطوارئ_الإرهابي_الشهداء_استهدف | |
|
|
| 15 | الحرارة - الموج - الرياح - السطحية - غربية | 340 | 15_الحرارة_الموج_الرياح_السطحية | |
|
|
| 16 | داعش - إرهابية - الإرهابية - محكمة - تنظيم داعش | 318 | 16_داعش_إرهابية_الإرهابية_محكمة | |
|
|
| 17 | النفط - برميل - الخام - للبرميل - مليون برميل | 297 | 17_النفط_برميل_الخام_للبرميل | |
|
|
| 18 | الشهيد - العزاء - الفقيد - الشهداء - عسير | 292 | 18_الشهيد_العزاء_الفقيد_الشهداء | |
|
|
| 19 | الاحتلال - الإسرائيلية - الفلسطيني - الإسرائيلي - الفلسطينية | 291 | 19_الاحتلال_الإسرائيلية_الفلسطيني_الإسرائيلي | |
|
|
| 20 | نائب خادم - نائب خادم الحرمين - الصافي - الفيصل - قهوجي | 288 | 20_نائب خادم_نائب خادم الحرمين_الصافي_الفيصل | |
|
|
| 21 | الطلاب - موهبة - العلمية - هارفارد - جامعة هارفارد | 274 | 21_الطلاب_موهبة_العلمية_هارفارد | |
|
|
| 22 | مجلس الوزراء - العهد - الاستقبال - وزير الدفاع - جمهورية | 270 | 22_مجلس الوزراء_العهد_الاستقبال_وزير الدفاع | |
|
|
| 23 | داعش - الإرهاب - الفكر - الإرهابية - الإسلام | 266 | 23_داعش_الإرهاب_الفكر_الإرهابية | |
|
|
| 24 | القبول - الجامعة - والتسجيل - القبول والتسجيل - رقم رقمهـ | 229 | 24_القبول_الجامعة_والتسجيل_القبول والتسجيل | |
|
|
| 25 | الطفلة - المستشفى - المتوفاة - الشؤون الصحية - الصحية بمنطقة | 227 | 25_الطفلة_المستشفى_المتوفاة_الشؤون الصحية | |
|
|
| 26 | الاستقدام - العمالة - وزارة العمل - الهندسية - مكاتب | 227 | 26_الاستقدام_العمالة_وزارة العمل_الهندسية | |
|
|
| 27 | احتفل - بزواج - كريمة - والأصدقاء - تهانينا | 227 | 27_احتفل_بزواج_كريمة_والأصدقاء | |
|
|
| 28 | الفيلم - فيلم - أفلام - الأفلام - السينما | 210 | 28_الفيلم_فيلم_أفلام_الأفلام | |
|
|
| 29 | السويس - قناة السويس - القناة - السويس الجديدة - قناة السويس الجديدة | 206 | 29_السويس_قناة السويس_القناة_السويس الجديدة | |
|
|
| 30 | كلينتون - ترامب - الحزب - بوش - الجمهوري | 201 | 30_كلينتون_ترامب_الحزب_بوش | |
|
|
| 31 | سرير - رقم سرير - بسعة - بسعة رقم - العيادات | 196 | 31_سرير_رقم سرير_بسعة_بسعة رقم | |
|
|
| 32 | اليونان - اليورو - اليونانية - الأوروبي - النقد الدولي | 196 | 32_اليونان_اليورو_اليونانية_الأوروبي | |
|
|
| 33 | مطار - الطيران - المطار - للطيران - المسافرين | 195 | 33_مطار_الطيران_المطار_للطيران | |
|
|
| 34 | معايدة - التهاني - بمناسبة عيد - حفل معايدة - بمناسبة عيد الفطر | 190 | 34_معايدة_التهاني_بمناسبة عيد_حفل معايدة | |
|
|
| 35 | العبادي - الفساد - العراقي - البرلمان - رئيس الوزراء | 178 | 35_العبادي_الفساد_العراقي_البرلمان | |
|
|
| 36 | روسيا - التصفيات - كأس العالم - القرعة - كأس | 174 | 36_روسيا_التصفيات_كأس العالم_القرعة | |
|
|
| 37 | المدارس - الدراسي - العام الدراسي - مدارس - وزير التعليم | 165 | 37_المدارس_الدراسي_العام الدراسي_مدارس | |
|
|
| 38 | الطب - الجامعة - تبوك - القبول - كلية | 163 | 38_الطب_الجامعة_تبوك_القبول | |
|
|
| 39 | الحريق - حريق - الدفاع المدني - للدفاع المدني - الحادث | 162 | 39_الحريق_حريق_الدفاع المدني_للدفاع المدني | |
|
|
| 40 | حادث - الهلال الأحمر - الهلال - الحادث - الأحمر السعودي | 162 | 40_حادث_الهلال الأحمر_الهلال_الحادث | |
|
|
| 41 | الفيفا - بلاتر - فيفا - بلاتيني - الاتحاد الدولي | 161 | 41_الفيفا_بلاتر_فيفا_بلاتيني | |
|
|
| 42 | الفائدة - الدولار - الأسهم - أسعار الفائدة - الصين | 150 | 42_الفائدة_الدولار_الأسهم_أسعار الفائدة | |
|
|
| 43 | التصحيح - اليمنيين - تصحيح - تصحيح أوضاع - الجوازات | 138 | 43_التصحيح_اليمنيين_تصحيح_تصحيح أوضاع | |
|
|
| 44 | بلدية - البلدية - الغذائية - الرقابة - المطعم | 134 | 44_بلدية_البلدية_الغذائية_الرقابة | |
|
|
| 45 | النادي - سوق عكاظ - الأدبي - الثقافي - الأدبية | 133 | 45_النادي_سوق عكاظ_الأدبي_الثقافي | |
|
|
| 46 | المرضى - المنومين - المستشفى - المرضى المنومين - الهدايا | 122 | 46_المرضى_المنومين_المستشفى_المرضى المنومين | |
|
|
| 47 | المهاجرين - كاليه - مهاجر - اللاجئين - النفق | 121 | 47_المهاجرين_كاليه_مهاجر_اللاجئين | |
|
|
| 48 | للأوقية - الذهب - رقم للأوقية - رقم رقم للأوقية - بالمئة | 121 | 48_للأوقية_الذهب_رقم للأوقية_رقم رقم للأوقية | |
|
|
| 49 | أغنية - الأغنية - كلمات - الفنان - وألحان | 119 | 49_أغنية_الأغنية_كلمات_الفنان | |
|
|
| 50 | التمور - الأسعار - الاستراحات - الصيد - ريالا | 118 | 50_التمور_الأسعار_الاستراحات_الصيد | |
|
|
| 51 | رقم رقم المائة - الربع - اليورو - النمو - منطقة اليورو | 117 | 51_رقم رقم المائة_الربع_اليورو_النمو | |
|
|
| 52 | الخيرية - الأيتام - التطوعي - بسمتهم - نرسم | 113 | 52_الخيرية_الأيتام_التطوعي_بسمتهم | |
|
|
| 53 | الأسهم - أسهم رقم - أسهم شركات - للتأمين - بنسبة رقم رقم | 111 | 53_الأسهم_أسهم رقم_أسهم شركات_للتأمين | |
|
|
| 54 | الربع - صافي - أرباح - ريال - النصف الأول | 110 | 54_الربع_صافي_أرباح_ريال | |
|
|
| 55 | النار - براون - هولمز - بولاية - سينما | 107 | 55_النار_براون_هولمز_بولاية | |
|
|
| 56 | البلدين - محمد سلمان - الأمير محمد - الأمير محمد سلمان - سلمان عبدالعزيز | 107 | 56_البلدين_محمد سلمان_الأمير محمد_الأمير محمد سلمان | |
|
|
| 57 | المتنزه - القرش - بالمر - الحيوان - الحيوانات | 104 | 57_المتنزه_القرش_بالمر_الحيوان | |
|
|
| 58 | الفيضانات - الزلزال - الأمطار - باكستان - الإعصار | 102 | 58_الفيضانات_الزلزال_الأمطار_باكستان | |
|
|
| 59 | الفضاء - ناسا - الكوكب - كوكب - سطح | 101 | 59_الفضاء_ناسا_الكوكب_كوكب | |
|
|
| 60 | المقابلات - المعلمين - شؤون المعلمين - المقابلات الشخصية - المرشحين | 96 | 60_المقابلات_المعلمين_شؤون المعلمين_المقابلات الشخصية | |
|
|
| 61 | الأراضي اليمنية - اليمنية - داخل الأراضي اليمنية - داخل الأراضي - الدفاع المدني | 96 | 61_الأراضي اليمنية_اليمنية_داخل الأراضي اليمنية_داخل الأراضي | |
|
|
| 62 | المعرض - والفنون - المفتاحة - الفنانين - التشكيلي | 96 | 62_المعرض_والفنون_المفتاحة_الفنانين | |
|
|
| 63 | المعارضة - قوات النظام - السوري - المرصد - الزبداني | 94 | 63_المعارضة_قوات النظام_السوري_المرصد | |
|
|
| 64 | أشعة الشمس - أشعة - الشمس - وزارة العمل - مكتب العمل | 94 | 64_أشعة الشمس_أشعة_الشمس_وزارة العمل | |
|
|
| 65 | وأطيب التمنيات - التهاني وأطيب التمنيات - التهاني وأطيب - التمنيات - وأطيب | 93 | 65_وأطيب التمنيات_التهاني وأطيب التمنيات_التهاني وأطيب_التمنيات | |
|
|
| 66 | السيارة - جي - الكهربائية - رقمررقم - للسيارات | 92 | 66_السيارة_جي_الكهربائية_رقمررقم | |
|
|
| 67 | الحفل - الأهالي - بلدية - بعيد الفطر - الاحتفال | 90 | 67_الحفل_الأهالي_بلدية_بعيد الفطر | |
|
|
| 68 | الرمادي - الأنبار - داعش - تنظيم داعش - القوات | 88 | 68_الرمادي_الأنبار_داعش_تنظيم داعش | |
|
|
| 69 | المالكي - العراق - العراقية - نوري - نوري المالكي | 87 | 69_المالكي_العراق_العراقية_نوري | |
|
|
| 70 | سموه - أمير منطقة - استقبل - أمير منطقة الرياض - منطقة الرياض | 79 | 70_سموه_أمير منطقة_استقبل_أمير منطقة الرياض | |
|
|
| 71 | موبايلي - العملاء - خدمات الاتصالات - هيئة الاتصالات - التجمعات | 77 | 71_موبايلي_العملاء_خدمات الاتصالات_هيئة الاتصالات | |
|
|
| 72 | الفيصل - سعود الفيصل - الأمير سعود - الأمير سعود الفيصل - الدبلوماسية | 76 | 72_الفيصل_سعود الفيصل_الأمير سعود_الأمير سعود الفيصل | |
|
|
| 73 | سهم - رقم نقطة - المئة - رقم المئة - رقم رقم المائة | 74 | 73_سهم_رقم نقطة_المئة_رقم المئة | |
|
|
| 74 | طالبان - الأفغانية - حركة طالبان - أفغانستان - كابول | 73 | 74_طالبان_الأفغانية_حركة طالبان_أفغانستان | |
|
|
| 75 | الكشافة - الكشفي - الكشفية - المخيم - رسل السلام | 72 | 75_الكشافة_الكشفي_الكشفية_المخيم | |
|
|
| 76 | العسل - النحل - الباحة - المهرجان - عسل | 72 | 76_العسل_النحل_الباحة_المهرجان | |
|
|
| 77 | المسرحية - المسرحي - العرض المسرحي - مسرحية - المسرح | 71 | 77_المسرحية_المسرحي_العرض المسرحي_مسرحية | |
|
|
| 78 | تفجير - مسجد - قوات الطوارئ - عسير - صلاة الظهر | 69 | 78_تفجير_مسجد_قوات الطوارئ_عسير | |
|
|
| 79 | حرس - حرس الحدود - البحث والإنقاذ - والإنقاذ - الحدود بالمنطقة | 69 | 79_حرس_حرس الحدود_البحث والإنقاذ_والإنقاذ | |
|
|
| 80 | الطائرة - لادن - الطيران - طائرة - تحطم | 68 | 80_الطائرة_لادن_الطيران_طائرة | |
|
|
| 81 | المطعم - مطعم - لندن - الطعام - الأطباق | 66 | 81_المطعم_مطعم_لندن_الطعام | |
|
|
| 82 | الحج - حجاج الداخل - الحجاج - حجاج - وزارة الحج | 65 | 82_الحج_حجاج الداخل_الحجاج_حجاج | |
|
|
| 83 | سيناء - زويد - المصرية - العريش - الشيخ زويد | 64 | 83_سيناء_زويد_المصرية_العريش | |
|
|
| 84 | الوقود - الغاز - البنزين - الإمارات - أسعار الوقود | 64 | 84_الوقود_الغاز_البنزين_الإمارات | |
|
|
| 85 | الجمارك - تهريب - جمرك - رجال الجمارك - مخبأة | 63 | 85_الجمارك_تهريب_جمرك_رجال الجمارك | |
|
|
| 86 | المنتدى - المعارض - والمؤتمرات - المعرض - غرفة الشرقية | 63 | 86_المنتدى_المعارض_والمؤتمرات_المعرض | |
|
|
| 87 | الملا - طالبان - الملا عمر - الأفغانية - حركة طالبان | 63 | 87_الملا_طالبان_الملا عمر_الأفغانية | |
|
|
| 88 | كورونا - وزارة الصحة - الحالة الأولى - رقم حالة - والتحكم | 62 | 88_كورونا_وزارة الصحة_الحالة الأولى_رقم حالة | |
|
|
| 89 | الماليزية - الطائرة - الحطام - حطام - طائرة | 61 | 89_الماليزية_الطائرة_الحطام_حطام | |
|
|
| 90 | سوق العمل - الوظائف - التوظيف - الاستقدام - فرص العمل | 55 | 90_سوق العمل_الوظائف_التوظيف_الاستقدام | |
|
|
|
|
|
</details> |
|
|
|
|
|
## Dataset |
|
|
|
|
|
The dataset used in this project is `saudinewsnet`. It can be loaded using the following command: |
|
|
|
|
|
```python |
|
|
from datasets import load_dataset |
|
|
dataset = load_dataset("saudinewsnet") |
|
|
``` |
|
|
|
|
|
|
|
|
For more information, visit the [Hugging Face dataset page](https://huggingface.co/datasets/inparallel/saudinewsnet) |
|
|
|
|
|
## Dataset Details: |
|
|
### Name: saudinewsnet |
|
|
### Description: This dataset contains news articles in Arabic from various domains, primarily focused on Saudi news. |
|
|
Source: [Hugging Face dataset page](https://huggingface.co/datasets/inparallel/saudinewsnet) |
|
|
|
|
|
|
|
|
## Training hyperparameters |
|
|
|
|
|
* calculate_probabilities: True |
|
|
* language: None |
|
|
* low_memory: False |
|
|
* min_topic_size: 10 |
|
|
* n_gram_range: (1, 1) |
|
|
* nr_topics: None |
|
|
* seed_topic_list: None |
|
|
* top_n_words: 10 |
|
|
* verbose: True |
|
|
* zeroshot_min_similarity: 0.7 |
|
|
* zeroshot_topic_list: None |
|
|
|
|
|
## Framework versions |
|
|
|
|
|
* Numpy: 1.26.4 |
|
|
* HDBSCAN: 0.8.40 |
|
|
* UMAP: 0.5.7 |
|
|
* Pandas: 2.2.2 |
|
|
* Scikit-Learn: 1.2.2 |
|
|
* Sentence-transformers: 3.3.1 |
|
|
* Transformers: 4.47.0 |
|
|
* Numba: 0.60.0 |
|
|
* Plotly: 5.24.1 |
|
|
* Python: 3.10.12 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
# Visualization: Displays topic distribution and document-level information |
|
|
|
|
|
|
|
|
 |
