Add BERTopic model

README.md

@@ -0,0 +1,169 @@
+
+---
+tags:
+- bertopic
+library_name: bertopic
+pipeline_tag: text-classification
+---
+
+# MARTINI_enrich_BERTopic_noalavacuna
+
+This is a [BERTopic](https://github.com/MaartenGr/BERTopic) model. 
+BERTopic is a flexible and modular topic modeling framework that allows for the generation of easily interpretable topics from large datasets. 
+
+## Usage 
+
+To use this model, please install BERTopic:
+
+```
+pip install -U bertopic
+```
+
+You can use the model as follows:
+
+```python
+from bertopic import BERTopic
+topic_model = BERTopic.load("AIDA-UPM/MARTINI_enrich_BERTopic_noalavacuna")
+
+topic_model.get_topic_info()
+```
+
+## Topic overview
+
+* Number of topics: 100
+* Number of training documents: 16670
+
+<details>
+  <summary>Click here for an overview of all topics.</summary>
+  
+  | Topic ID | Topic Keywords | Topic Frequency | Label | 
+|----------|----------------|-----------------|-------| 
+| -1 | vacunados - gobierno - pandemia - espana - cualquier | 20 | -1_vacunados_gobierno_pandemia_espana | 
+| 0 | pfizer - farmaceuticas - companias - documentos - _125742_s1_m5_c4591001 | 11116 | 0_pfizer_farmaceuticas_companias_documentos | 
+| 1 | graphene - nanoparticulas - microburbujas - xfnano - magneticos | 262 | 1_graphene_nanoparticulas_microburbujas_xfnano | 
+| 2 | vacunados - negacionista - necesitamos - mascarilla - completamente | 219 | 2_vacunados_negacionista_necesitamos_mascarilla | 
+| 3 | pcr - covirus - parainfluenza - falsos - asintomaticos | 179 | 3_pcr_covirus_parainfluenza_falsos | 
+| 4 | crimea - mariupol - sputniknews - rusofobia - zakharova | 144 | 4_crimea_mariupol_sputniknews_rusofobia | 
+| 5 | 5g - radiaciones - electromagneticos - telefonos - frecuencia | 136 | 5_5g_radiaciones_electromagneticos_telefonos | 
+| 6 | vacunacion - consentimiento - abogadaderechosylibertades - obligatoria - prescribir | 113 | 6_vacunacion_consentimiento_abogadaderechosylibertades_obligatoria | 
+| 7 | sintomas - efectos - convulsiones - neuropatia - guillan | 107 | 7_sintomas_efectos_convulsiones_neuropatia | 
+| 8 | certificado - pasaporte - derechos - ciudadanos - ilegalidad | 106 | 8_certificado_pasaporte_derechos_ciudadanos | 
+| 9 | vacunaspediatria - menores - pfizer - prevenar - advirtieron | 105 | 9_vacunaspediatria_menores_pfizer_prevenar | 
+| 10 | pandemias - conspirador - soros - fundacion - seqirus | 100 | 10_pandemias_conspirador_soros_fundacion | 
+| 11 | francia - liberte - expulsados - hospitales - rejoignez | 98 | 11_francia_liberte_expulsados_hospitales | 
+| 12 | hidroxicloroquina - antiparasitico - ivermectin - remdesvir - medicamentos | 96 | 12_hidroxicloroquina_antiparasitico_ivermectin_remdesvir | 
+| 13 | ultima - draghi - templario - anticipadas - desmadre | 96 | 13_ultima_draghi_templario_anticipadas | 
+| 14 | vacunados - israelis - inmunideprimidos - lomasvistodelasemana - imbecilidad | 93 | 14_vacunados_israelis_inmunideprimidos_lomasvistodelasemana | 
+| 15 | vacunados - infectados - fauci - contagiarse - reinfeccion | 89 | 15_vacunados_infectados_fauci_contagiarse | 
+| 16 | fauci - conspiracion - infectar - laboratorio - sarsr | 87 | 16_fauci_conspiracion_infectar_laboratorio | 
+| 17 | fumigaciones - aviones - chemtrails - precipitaciones - troposfera | 86 | 17_fumigaciones_aviones_chemtrails_precipitaciones | 
+| 18 | beneficios - antioxidantes - desintoxicar - chlorella - parasitos | 85 | 18_beneficios_antioxidantes_desintoxicar_chlorella | 
+| 19 | miopericarditis - coronario - casos - inflamatorios - diagnosticados | 84 | 19_miopericarditis_coronario_casos_inflamatorios | 
+| 20 | vacunados - residencias - fallecido - coronavirus - huelva | 83 | 20_vacunados_residencias_fallecido_coronavirus | 
+| 21 | satanicos - illuminati - pedofila - ghislaine - victimas | 82 | 21_satanicos_illuminati_pedofila_ghislaine | 
+| 22 | muertes - sinovac - noviembre - complicaciones - 2021 | 80 | 22_muertes_sinovac_noviembre_complicaciones | 
+| 23 | bancos - monetario - comenzara - transacciones - xrp | 80 | 23_bancos_monetario_comenzara_transacciones | 
+| 24 | climaticos - greenpeace - medioambiental - carbono - noticias_disidentes | 77 | 24_climaticos_greenpeace_medioambiental_carbono | 
+| 25 | subiremos - buscarlos - agradeceriamos - copiarlo - youtvbe | 76 | 25_subiremos_buscarlos_agradeceriamos_copiarlo | 
+| 26 | canadienses - trudeau - convoy - libertad - arrivecan | 76 | 26_canadienses_trudeau_convoy_libertad | 
+| 27 | denuncia - nuremberg - genocidio - fraudulentos - dieselgate | 74 | 27_denuncia_nuremberg_genocidio_fraudulentos | 
+| 28 | covidvaccinevictims - died - injection - february - stroke | 71 | 28_covidvaccinevictims_died_injection_february | 
+| 29 | djokovic - monfils - tenistas - australiano - respiratorias | 68 | 29_djokovic_monfils_tenistas_australiano | 
+| 30 | melilla - inmigrantes - canarias - agresiones - algeciras | 64 | 30_melilla_inmigrantes_canarias_agresiones | 
+| 31 | globalismo - ocultaremos - objetivo - illuminati - corporaciones | 63 | 31_globalismo_ocultaremos_objetivo_illuminati | 
+| 32 | libertad - comprenderas - ignorantes - decapitamos - 1wga | 59 | 32_libertad_comprenderas_ignorantes_decapitamos | 
+| 33 | escuelas - denunciaremos - mascarilla - decreto - obligatorio | 58 | 33_escuelas_denunciaremos_mascarilla_decreto | 
+| 34 | vaxpass - implantado - nanobots - microchip - biometricos | 56 | 34_vaxpass_implantado_nanobots_microchip | 
+| 35 | mascarillas - respiracion - contaminadas - tapaoxigeno - nariz | 56 | 35_mascarillas_respiracion_contaminadas_tapaoxigeno | 
+| 36 | denunciadas - corrupcion - juez - audiencia - seguidores | 55 | 36_denunciadas_corrupcion_juez_audiencia | 
+| 37 | vacunadas - abortar - fertilidad - pfizer - intrauterina | 55 | 37_vacunadas_abortar_fertilidad_pfizer | 
+| 38 | bioweapon - biolaboratorios - lugansk - crimea - antrax | 54 | 38_bioweapon_biolaboratorios_lugansk_crimea | 
+| 39 | vacinados - hospitalizaciones - ciento - confermati - datos | 53 | 39_vacinados_hospitalizaciones_ciento_confermati | 
+| 40 | futbolistas - muertes - desfibrilador - ataques - periocarditis | 52 | 40_futbolistas_muertes_desfibrilador_ataques | 
+| 41 | noticias - puigdemont - presidencia - espana - anticorrupcion | 52 | 41_noticias_puigdemont_presidencia_espana | 
+| 42 | vaers - efectos - eudravigilance - reportados - hospitalizacion | 51 | 42_vaers_efectos_eudravigilance_reportados | 
+| 43 | presidencia - insurreccion - bannon - superpotencia - doj | 50 | 43_presidencia_insurreccion_bannon_superpotencia | 
+| 44 | thimerosal - venenosos - ingredientes - formaldehido - hexadeciltrimetilamonio | 50 | 44_thimerosal_venenosos_ingredientes_formaldehido | 
+| 45 | aviones - pilots - aerolinea - copiloto - pasajeros | 47 | 45_aviones_pilots_aerolinea_copiloto | 
+| 46 | twitter - censoras - starlink - reinstauradas - usuarios | 47 | 46_twitter_censoras_starlink_reinstauradas | 
+| 47 | virologos - hcov - sars - laboratorio - recogidas | 45 | 47_virologos_hcov_sars_laboratorio | 
+| 48 | facebook - fakebuk - thevigilantfox - verificadores - censura | 44 | 48_facebook_fakebuk_thevigilantfox_verificadores | 
+| 49 | medicos - respetos - encubrimientos - infoxicacion - agresiones | 44 | 49_medicos_respetos_encubrimientos_infoxicacion | 
+| 50 | geneticamente - infecciosas - supremo - eliminando - patentarse | 43 | 50_geneticamente_infecciosas_supremo_eliminando | 
+| 51 | vacunadas - incidencia - hospitalizadas - fallecido - noviembre | 42 | 51_vacunadas_incidencia_hospitalizadas_fallecido | 
+| 52 | hijos - castrarlos - demonios - pertenecemos - torturado | 42 | 52_hijos_castrarlos_demonios_pertenecemos | 
+| 53 | futbolista - infarto - muere - patricio - ahmet | 42 | 53_futbolista_infarto_muere_patricio | 
+| 54 | muerte - repentinitis - ciclista - baloncesto - caso | 42 | 54_muerte_repentinitis_ciclista_baloncesto | 
+| 55 | infarto - saulo - reanimarlo - fulminante - teresina | 40 | 55_infarto_saulo_reanimarlo_fulminante | 
+| 56 | monkeypox - polivacunados - varicela - diagnosticados - reconocemos | 38 | 56_monkeypox_polivacunados_varicela_diagnosticados | 
+| 57 | pandemias - constituciones - obligatorias - internacional - ghebreyesus | 38 | 57_pandemias_constituciones_obligatorias_internacional | 
+| 58 | sanitariospublicos - hipocratico - reanimarlos - silencio - morirme | 37 | 58_sanitariospublicos_hipocratico_reanimarlos_silencio | 
+| 59 | mascarillas - obligatoriedad - decreto - sabiamos - norma | 37 | 59_mascarillas_obligatoriedad_decreto_sabiamos | 
+| 60 | video_sobre_resultados_clinicos_sanguineos_post_inoculacion - inoculados - microcoagulos - embalsadores - sanguinea | 36 | 60_video_sobre_resultados_clinicos_sanguineos_post_inoculacion_inoculados_microcoagulos_embalsadores | 
+| 61 | francia - macron - sionista - guillotinarlo - elysees | 35 | 61_francia_macron_sionista_guillotinarlo | 
+| 62 | manifestacion - convocatorias - apuntamos - tenerife - sabado | 35 | 62_manifestacion_convocatorias_apuntamos_tenerife | 
+| 63 | inoculados - anafilactico - adenovirus - exosomas - desactivaran | 35 | 63_inoculados_anafilactico_adenovirus_exosomas | 
+| 64 | vacunaty - pfizer - pulsaciones - 40anos - alergia | 34 | 64_vacunaty_pfizer_pulsaciones_40anos | 
+| 65 | conspiraciones - escandalizando - mediaticamente - escribiendo - destruirte | 34 | 65_conspiraciones_escandalizando_mediaticamente_escribiendo | 
+| 66 | alienigenas - civilizaciones - oscuros - planetas - meditaciones | 34 | 66_alienigenas_civilizaciones_oscuros_planetas | 
+| 67 | bildelberg - davos - gobiernos - neoconservadurismo - inmunizarnos | 32 | 67_bildelberg_davos_gobiernos_neoconservadurismo | 
+| 68 | vaers - causadas - grafico - movimientoaurora - minusvalidas | 31 | 68_vaers_causadas_grafico_movimientoaurora | 
+| 69 | islandia - restricciones - schengen - reintroducido - paraguay | 31 | 69_islandia_restricciones_schengen_reintroducido | 
+| 70 | ratificadas - derechos - falsificacion - pcr - discriminacion | 31 | 70_ratificadas_derechos_falsificacion_pcr | 
+| 71 | diputado - steegmannaprision - votantes - vacunofilo - desautorizado | 31 | 71_diputado_steegmannaprision_votantes_vacunofilo | 
+| 72 | transhumanista - cyborgs - superordenador - neuronas - hibrido | 29 | 72_transhumanista_cyborgs_superordenador_neuronas | 
+| 73 | canibalismo - abortados - feti - celulas - pepsico | 28 | 73_canibalismo_abortados_feti_celulas | 
+| 74 | terremotos - tsunami - evacuados - huracanes - siria | 27 | 74_terremotos_tsunami_evacuados_huracanes | 
+| 75 | inmunizate - derrumbaremos - julio - bolsonaristas - segunda | 27 | 75_inmunizate_derrumbaremos_julio_bolsonaristas | 
+| 76 | europarlamentario - escandalo - covidvax - ursula - contratos | 27 | 76_europarlamentario_escandalo_covidvax_ursula | 
+| 77 | australianos - disidentes - antiplandemia - bloquearon - libertyonlinenews | 26 | 77_australianos_disidentes_antiplandemia_bloquearon | 
+| 78 | bolsonaro - gobernadores - cuiaba - inmunizador - auditorias | 25 | 78_bolsonaro_gobernadores_cuiaba_inmunizador | 
+| 79 | hospitalizaciones - incidencia - porcentaje - datos - municipios | 25 | 79_hospitalizaciones_incidencia_porcentaje_datos | 
+| 80 | gazprom - nordstream - sanciones - zelenskyi - refineria | 24 | 80_gazprom_nordstream_sanciones_zelenskyi | 
+| 81 | vacunarse - australiano - cuarentenas - queensland - sydney | 24 | 81_vacunarse_australiano_cuarentenas_queensland | 
+| 82 | afectadosporlasvacunas - saludyjusticiacordoba - victimas - unionactivavalencia22 - necesitamos | 23 | 82_afectadosporlasvacunas_saludyjusticiacordoba_victimas_unionactivavalencia22 | 
+| 83 | eternidad - silencio - corazones - ignacianos - ejercicios | 23 | 83_eternidad_silencio_corazones_ignacianos | 
+| 84 | astrazeneca - mhra - alergicas - notificadas - 242 | 23 | 84_astrazeneca_mhra_alergicas_notificadas | 
+| 85 | fallece - almeria - exjugador - rodero - desconocidas | 23 | 85_fallece_almeria_exjugador_rodero | 
+| 86 | biden - timespublico - sobrina - prosecutor - pornografica | 23 | 86_biden_timespublico_sobrina_prosecutor | 
+| 87 | microorganismos - virus - influenciadas - existiriamos - refutada | 22 | 87_microorganismos_virus_influenciadas_existiriamos | 
+| 88 | electricidad - hidroelectrica - desabastecimientos - lluvias - outages | 22 | 88_electricidad_hidroelectrica_desabastecimientos_lluvias | 
+| 89 | policias - manifestantes - subdelegacion - armados - madrid | 22 | 89_policias_manifestantes_subdelegacion_armados | 
+| 90 | estupidos - eugenista - futuro - poblacion - francia | 21 | 90_estupidos_eugenista_futuro_poblacion | 
+| 91 | telegram - notificaciones - policiasporlalibertad - descargada - censora | 21 | 91_telegram_notificaciones_policiasporlalibertad_descargada | 
+| 92 | inmunizados - mascarillas - estrategia - psicosomatico - perniciosas | 21 | 92_inmunizados_mascarillas_estrategia_psicosomatico | 
+| 93 | miguelangel_laquintacolumna - subtitulada - grupo - contribuir - universidad | 21 | 93_miguelangel_laquintacolumna_subtitulada_grupo_contribuir | 
+| 94 | mierdas - enganado - excepcionales - faltaba - arrepentirse | 20 | 94_mierdas_enganado_excepcionales_faltaba | 
+| 95 | noticias_disidentes - dormir - globalistas - ultrarrelajantes - necesitamos | 20 | 95_noticias_disidentes_dormir_globalistas_ultrarrelajantes | 
+| 96 | partitocratico - democratizar - votaciones - marxistas - cambiamos | 20 | 96_partitocratico_democratizar_votaciones_marxistas | 
+| 97 | ozonoterapia - recuperadas - olmedo - movimiento_asistencia_integral - castellon | 20 | 97_ozonoterapia_recuperadas_olmedo_movimiento_asistencia_integral | 
+| 98 | extorsionador - publicaros - eduardo - borjajimenezde - difamacion | 20 | 98_extorsionador_publicaros_eduardo_borjajimenezde |
+  
+</details>
+
+## Training hyperparameters
+
+* calculate_probabilities: True
+* language: None
+* low_memory: False
+* min_topic_size: 10
+* n_gram_range: (1, 1)
+* nr_topics: None
+* seed_topic_list: None
+* top_n_words: 10
+* verbose: False
+* zeroshot_min_similarity: 0.7
+* zeroshot_topic_list: None
+
+## Framework versions
+
+* Numpy: 1.26.4
+* HDBSCAN: 0.8.40
+* UMAP: 0.5.7
+* Pandas: 2.2.3
+* Scikit-Learn: 1.5.2
+* Sentence-transformers: 3.3.1
+* Transformers: 4.46.3
+* Numba: 0.60.0
+* Plotly: 5.24.1
+* Python: 3.10.12

config.json

@@ -0,0 +1,16 @@
+{
+  "calculate_probabilities": true,
+  "language": null,
+  "low_memory": false,
+  "min_topic_size": 10,
+  "n_gram_range": [
+    1,
+    1
+  ],
+  "nr_topics": null,
+  "seed_topic_list": null,
+  "top_n_words": 10,
+  "verbose": false,
+  "zeroshot_min_similarity": 0.7,
+  "zeroshot_topic_list": null
+}

ctfidf.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:a65eaefb5590233b6218b62cc5db5b4d85ca92a0fe0fb3c46c3aa584f2042ba2
+size 2778304

topic_embeddings.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:714c70f1bf1a977acb5dfe24f2ef148bc654ef17203d89045aaea367bb3354c0
+size 409696