feat: speed up demo loading time by using the common NLP object

examples/anon.py

@@ -1,26 +1,26 @@
 from typing import Tuple, List
 
 import gradio as gr
-
+from faker import Faker
 from presidio_analyzer import AnalyzerEngine
-from presidio_analyzer.nlp_engine import NlpEngineProvider
+from presidio_analyzer.nlp_engine import SpacyNlpEngine
 from presidio_anonymizer import AnonymizerEngine
-
-from faker import Faker
 from presidio_anonymizer.entities.engine import OperatorConfig
+from spacy import Language
 
+from examples.common import NLP
 
-def process(text: str, fake_data: bool, entities: List) -> Tuple[str, List]:
-    configuration = {
-        "nlp_engine_name": "spacy",
-        "models": [{"lang_code": "hu", "model_name": "hu_core_news_trf", }],
-    }
 
-    provider = NlpEngineProvider(nlp_configuration=configuration)
-    nlp_engine = provider.create_engine()
+# noinspection PyMissingConstructor
+class HuSpaCyNlpEngine(SpacyNlpEngine):
+    def __init__(self, nlp: Language):
+        self.nlp = {"hu": nlp}
+
+
+def process(text: str, fake_data: bool, entities: List) -> Tuple[str, List]:
+    nlp_engine = HuSpaCyNlpEngine(NLP)
 
-    analyzer = AnalyzerEngine(nlp_engine=nlp_engine,
-                              supported_languages=["hu"],)
+    analyzer = AnalyzerEngine(nlp_engine=nlp_engine, supported_languages=["hu"])
 
     results = analyzer.analyze(
         text=text, entities=entities, language="hu")
@@ -42,17 +42,25 @@ def process(text: str, fake_data: bool, entities: List) -> Tuple[str, List]:
 
     anonymizer = AnonymizerEngine()
     anonymized_text = anonymizer.anonymize(
-        text=text, analyzer_results=results, operators=fake_operators) if fake_data else anonymizer.anonymize(text=text, analyzer_results=results)
+        text=text, analyzer_results=results, operators=fake_operators) if fake_data else anonymizer.anonymize(text=text,
+                                                                                                              analyzer_results=results)
 
     return anonymized_text.text, anonymized_text.items
 
 
 EXAMPLES = [
-    ["Vespucci 1450-es években született Firenzében, és 1497 és 1504 között legalább két felfedező úton vett részt – az egyiket spanyol, a másikat portugál támogatással.", False, ["PERSON", "LOCATION"]],
-    ["Elon Musk 1971-ben született a Dél-afrikai Köztársaságban, anyja Maye Musk (született: Haldeman) modell, apja Errol Musk mérnök, pilóta.", True, [
+    [
+        "Vespucci 1450-es években született Firenzében, és 1497 és 1504 között legalább két felfedező úton vett részt – az egyiket spanyol, a másikat portugál támogatással.",
+        False, ["PERSON", "LOCATION"]],
+    [
+        "Elon Musk 1971-ben született a Dél-afrikai Köztársaságban, anyja Maye Musk (született: Haldeman) modell, apja Errol Musk mérnök, pilóta.",
+        True, [
         "PERSON", "LOCATION"]],
-    ["Vespucci 1450-es években született Firenzében, és 1497 és 1504 között legalább két felfedező úton vett részt. Bárorító leveleket a vespucci@deojeda.es email-címre várt, mellette működött egy hangrögzítője is a +3903827802737 telefonszámon. Adományokat a bitcoin tárcájába (1Fsb3io3hj1jKaRCTRQ89Du88Dp7NxgEcU), bankkártyájára (5200 8282 8282 8210) és IBAN számlaszámára (ES8201289482186115378819) fogadott. Utazási blogja a https://firenze.it/vespucci címen volt elérhető. Legutóbb 1503-03-15-én publikált, ezt a 192.168.0.1 ip-címről tette meg.", True,
-     ["PERSON", "LOCATION", "EMAIL_ADDRESS", "PHONE_NUMBER", "CRYPTO", "IP_ADDRESS", "URL", "DATE_TIME", "CREDIT_CARD", "IBAN_CODE"]],
+    [
+        "Vespucci 1450-es években született Firenzében, és 1497 és 1504 között legalább két felfedező úton vett részt. Bárorító leveleket a vespucci@deojeda.es email-címre várt, mellette működött egy hangrögzítője is a +3903827802737 telefonszámon. Adományokat a bitcoin tárcájába (1Fsb3io3hj1jKaRCTRQ89Du88Dp7NxgEcU), bankkártyájára (5200 8282 8282 8210) és IBAN számlaszámára (ES8201289482186115378819) fogadott. Utazási blogja a https://firenze.it/vespucci címen volt elérhető. Legutóbb 1503-03-15-én publikált, ezt a 192.168.0.1 ip-címről tette meg.",
+        True,
+        ["PERSON", "LOCATION", "EMAIL_ADDRESS", "PHONE_NUMBER", "CRYPTO", "IP_ADDRESS", "URL", "DATE_TIME",
+         "CREDIT_CARD", "IBAN_CODE"]],
 ]
 
 demo = gr.Interface(
@@ -60,7 +68,9 @@ demo = gr.Interface(
     inputs=[gr.Textbox(value=EXAMPLES[0][0], lines=10, label="Input text", show_label=True),
             gr.Checkbox(value=EXAMPLES[0][1],
                         label="Apply de-identification", show_label=True),
-            gr.CheckboxGroup(['PERSON', 'LOCATION', 'DATE_TIME', 'IP_ADDRESS', 'URL', 'EMAIL_ADDRESS', 'PHONE_NUMBER', 'CREDIT_CARD', 'IBAN_CODE', 'CRYPTO'], label="Entities", show_label=True, value=EXAMPLES[0][2])],
+            gr.CheckboxGroup(
+                ['PERSON', 'LOCATION', 'DATE_TIME', 'IP_ADDRESS', 'URL', 'EMAIL_ADDRESS', 'PHONE_NUMBER', 'CREDIT_CARD',
+                 'IBAN_CODE', 'CRYPTO'], label="Entities", show_label=True, value=EXAMPLES[0][2])],
     outputs=[gr.Textbox(label="Anonymized text", show_label=True),
              gr.Textbox(label="Tags", show_label=True)],
     examples=EXAMPLES,