Bugfix.

app.py

@@ -1,13 +1,14 @@
-import json as js
-import os
-import re
-from typing import List
-
 import fasttext
 import gradio as gr
 import joblib
+import json as js
 import omikuji
+import os
+import re
+from collections import defaultdict
 from huggingface_hub import snapshot_download
+from typing import List, Tuple, Dict
+
 from install_packages import download_model
 
 download_model('https://dl.fbaipublicfiles.com/fasttext/supervised-models/lid.176.bin', 'lid.176.bin')
@@ -24,6 +25,9 @@ lang_model = fasttext.load_model('lid.176.bin')
 with open('./id2label.json', 'r') as f:
     id2label = js.load(f)
 
+with open('topics_hierarchy.json', 'r') as f:
+    topics_hierarchy = js.load(f)
+
 
 def map_language(language: str) -> str:
     language_mapping = {'de': 'German',
@@ -70,6 +74,56 @@ def predict_topic(text: str) -> [List[str], str]:
     return results, language
 
 
+def get_row_color(type: str):
+    if 'main' in type.lower():
+        return 'background-color: darkgrey;'
+    if 'sub' in type.lower():
+        return 'background-color: lightgrey;'
+
+
+def generate_html_table(topics: List[Tuple[str, str, float]]):
+    html = '<table style="width:100%; border: 1px solid black; border-collapse: collapse;">'
+
+    html += '<tr><th>Type</th><th>Topic</th><th>Score</th></tr>'
+    for type, topic, score in topics:
+        color = get_row_color(type)
+        topic = f"<strong>{topic}</strong>" if 'main' in type.lower() else topic
+        type = f"<strong>{type}</strong>" if 'main' in type.lower() else type
+        score = f"<strong>{score}</strong>" if 'main' in type.lower() else score
+        html += f'<tr style="{color}"><td>{type}</td><td>{topic}</td><td>{score}</td></tr>'
+    html += '</table>'
+    return html
+
+
+def restructure_topics(topics: List[Tuple[str, float]]) -> List[Tuple[str, str, float]]:
+    topics = [(str(x[0]).lower(), x[1]) for x in topics]
+    topics_as_dict = {}
+    for predicted_topic, score in topics:
+        if str(predicted_topic).lower() in topics_hierarchy.keys():
+            topics_as_dict[str(predicted_topic).lower()] = []
+
+    for predicted_topic, score in topics:
+        for main_topic, sub_topics in topics_hierarchy.items():
+            if main_topic in topics_as_dict.keys() and predicted_topic != main_topic and predicted_topic in sub_topics:
+                topics_as_dict[main_topic].append(predicted_topic)
+
+    topics_restructured = []
+    for predicted_main_topic, predicted_sub_topics in topics_as_dict.items():
+        if len(predicted_sub_topics) > 0:
+            score = [t for t in topics if t[0] == predicted_main_topic][0][1]
+            topics_restructured.append(
+                ('Main Topic', predicted_main_topic, score))
+            predicted_sub_topics_with_scores = []
+            for pst in predicted_sub_topics:
+                score = [t for t in topics if t[0] == pst][0][1]
+                entry = ('Sub Topic', pst, score)
+                if entry not in predicted_sub_topics_with_scores:
+                    predicted_sub_topics_with_scores.append(entry)
+            for x in predicted_sub_topics_with_scores:
+                topics_restructured.append(x)
+    return topics_restructured
+
+
 def topic_modeling(text: str, threshold: float) -> [List[str], str]:
     # Prepare labels and scores for the plot
     sorted_topics, language = predict_topic(text)
@@ -77,6 +131,8 @@ def topic_modeling(text: str, threshold: float) -> [List[str], str]:
         sorted_topics = [t for t in sorted_topics if t[1] >= threshold]
     else:
         sorted_topics = []
+    sorted_topics = restructure_topics(sorted_topics)
+    sorted_topics = generate_html_table(sorted_topics)
     return sorted_topics, language
 
 
@@ -88,13 +144,15 @@ with gr.Blocks() as iface:
         with gr.Column():
             input_text = gr.Textbox(lines=10, placeholder="Enter a document")
             submit_button = gr.Button("Submit")
-            threshold_slider = gr.Slider(minimum=0.0, maximum=1.0, step=0.01, label="Score Threshold", value=0.0)
+            threshold_slider = gr.Slider(minimum=0.0, maximum=1.0, step=0.01, label="Score Threshold",
+                                         value=0.0)
             language_text = gr.Textbox(lines=1, placeholder="Detected language will be shown here...",
                                        interactive=False, label="Detected Language")
         with gr.Column():
-            output_data = gr.Dataframe(headers=["Label", "Score"])
+            output_data = gr.HTML()
 
-    submit_button.click(topic_modeling, inputs=[input_text, threshold_slider], outputs=[output_data, language_text])
+    submit_button.click(topic_modeling, inputs=[input_text, threshold_slider],
+                        outputs=[output_data, language_text])
 
     # Launch the app
 iface.launch(share=True)

topics_hierarchy.json

@@ -0,0 +1,273 @@
+{
+  "staatspolitik": [
+    "exekutive",
+    "politisches leben",
+    "öffentliche verwaltung",
+    "politische rechte",
+    "politisches system",
+    "demokratie",
+    "föderalismus",
+    "politische partei",
+    "bürgerrecht",
+    "verfassung",
+    "vorrechte und immunität",
+    "volksabstimmung",
+    "wahlen",
+    "staat",
+    "vergaberecht",
+    "auslandschweizer",
+    "service public"
+  ],
+  "geschichte": [
+    "geschichte schweiz",
+    "geschichte ausland"
+  ],
+  "parlament": [
+    "parlament schweiz",
+    "parlament ausland",
+    "ratsmitglied",
+    "parlamentsgeschichte",
+    "kantonales parlament"
+  ],
+  "internationale politik": [
+    "aussenpolitik : schweiz",
+    "aussenpolitik : ausland",
+    "diplomatie",
+    "internationale beziehungen",
+    "internationales abkommen",
+    "internationale politik",
+    "interventionspolitik",
+    "globalisierung",
+    "grenze",
+    "internationale organisation",
+    "internationale zusammenarbeit"
+  ],
+  "sicherheitspolitik": [
+    "armee",
+    "bewaffnung",
+    "innere sicherheit",
+    "zivilschutz und bevölkerungsschutz/zivildienst",
+    "terrorismus",
+    "sicherheitspolitik/friedenspolitik",
+    "krieg",
+    "internationaler konflikt"
+  ],
+  "europapolitik": [
+    "europapolitik",
+    "beziehung schweiz - eu",
+    "europarecht",
+    "europäische union",
+    "europarat",
+    "europäisches parlament"
+  ],
+  "recht allgemein": [
+    "verfahrensrecht",
+    "urheberrecht",
+    "rechtswissenschaft",
+    "verwaltungsrecht",
+    "beschwerderecht"
+  ],
+  "zivilrecht": [
+    "zivilrecht",
+    "zivilprozessordnung",
+    "familienrecht",
+    "kinderrechte",
+    "kindes- und erwachsenenschutzrecht",
+    "personenrecht",
+    "erbrecht",
+    "erberecht",
+    "sachenrecht",
+    "obligationenrecht",
+    "konkursrecht",
+    "vertrag"
+  ],
+  "strafrecht": [
+    "strafrecht",
+    "strafprozessordnung",
+    "straftat",
+    "korruption"
+  ],
+  "gerichtswesen": [
+    "gerichtswesen",
+    "schiedsgerichtsbarkeit"
+  ],
+  "rechte und freiheiten": [
+    "grundrechte",
+    "datenschutz",
+    "rassismus",
+    "diskriminierung"
+  ],
+  "internationales recht": [
+    "internationales humanitäres recht",
+    "internationale strafjustiz",
+    "internationales privatrecht",
+    "staatssouveränität",
+    "internationale rechtshilfe",
+    "internationales recht",
+    "menschenrechte"
+  ],
+  "wirtschaft": [
+    "wirtschaftspolitik",
+    "konsum",
+    "tourismus",
+    "wirtschaftsleben",
+    "unternehmen",
+    "wettbewerb",
+    "aussenwirtschaftspolitik",
+    "handel",
+    "privatversicherung",
+    "produktion",
+    "stiftung"
+  ],
+  "finanzwesen": [
+    "öffentliche finanzen und haushaltspolitik",
+    "öffentliche finanzen",
+    "finanzausgleich",
+    "zoll",
+    "finanzmarkt",
+    "finanzplatz"
+  ],
+  "finanzplatz": [
+    "finanzplatz",
+    "geldwäscherei",
+    "nationalbank",
+    "geld- und währungspolitik",
+    "finanzmarkt",
+    "kapital",
+    "finanzrecht"
+  ],
+  "steuer": [
+    "steuer",
+    "abgabe",
+    "steuerwettbewerb",
+    "steuerhinterziehung"
+  ],
+  "soziale fragen": [
+    "geschlechterfragen",
+    "sport",
+    "familienfragen",
+    "kinder- und jugendfragen",
+    "armut / ungleichheit",
+    "armut/ungleichheit",
+    "altersfragen",
+    "gesellschaftsfragen",
+    "gewalt",
+    "behinderung",
+    "spiel"
+  ],
+  "migration": [
+    "asylpolitik",
+    "flüchtling",
+    "ausländerpolitik",
+    "sans-papiers",
+    "migrationsbewegung"
+  ],
+  "kultur": [
+    "kultur",
+    "sprache",
+    "religionsfragen"
+  ],
+  "sozialer schutz": [
+    "sozialversicherung",
+    "invalidenversicherung",
+    "berufliche vorsorge",
+    "unfallversicherung",
+    "arbeitslosenversicherung",
+    "mutterschaftsversicherung",
+    "erwerbsersatzordnung",
+    "militärversicherung",
+    "ahv",
+    "familienzulage",
+    "sozialhilfe",
+    "sozialpolitik"
+  ],
+  "gesundheit": [
+    "gesundheit",
+    "krankenversicherung",
+    "patient/in",
+    "patient",
+    "pflege",
+    "spital",
+    "medizinalberuf",
+    "sucht",
+    "sterben und tod",
+    "gesundheitspolitik",
+    "heil- und hilfsmittel",
+    "ernährung",
+    "fortpflanzung"
+  ],
+  "raumplanung und wohnungswesen": [
+    "miet- und wohnungswesen",
+    "raumplanung",
+    "bauwesen/immobilien"
+  ],
+  "bildung": [
+    "schule",
+    "universität, hochschule, fachhochschule",
+    "universität/hochschule/fachhochschule",
+    "weiterbildung",
+    "berufsbildung",
+    "bildung"
+  ],
+  "medien und kommunikation": [
+    "presse",
+    "radio und fernsehen",
+    "internet und soziale medien",
+    "telefonie",
+    "medien",
+    "post",
+    "informatik",
+    "information",
+    "digitalisierung"
+  ],
+  "wissenschaft und forschung": [
+    "forschung",
+    "gentechnologie"
+  ],
+  "beschäftigung und arbeit": [
+    "arbeitsmarkt",
+    "gewerkschaft",
+    "arbeitslosigkeit",
+    "arbeit"
+  ],
+  "verkehr": [
+    "strassenverkehr",
+    "schienenverkehr",
+    "luftfahrt",
+    "schifffahrt",
+    "güterverkehr",
+    "öffentlicher verkehr",
+    "verkehrspolitik"
+  ],
+  "umwelt": [
+    "umweltpolitik",
+    "umweltschutz",
+    "artenvielfalt",
+    "katastrophe",
+    "klimafragen",
+    "abfall",
+    "wasser",
+    "luft",
+    "lärm",
+    "wald",
+    "berg",
+    "boden",
+    "tierschutz"
+  ],
+  "tierwelt": [
+    "tierschutz",
+    "tierversuch",
+    "jagd und fischerei"
+  ],
+  "landwirtschaft": [
+    "agrarpolitik",
+    "agrarproduktion"
+  ],
+  "energie": [
+    "erneuerbare energie",
+    "kernenergie",
+    "fossile energie",
+    "elektrizität",
+    "energiepolitik"
+  ]
+}