Duplicate from pacovalentino/Text2NER

Co-authored-by: Pasquale Valentino <pacovalentino@users.noreply.huggingface.co>

.gitattributes

@@ -0,0 +1,35 @@
+*.7z filter=lfs diff=lfs merge=lfs -text
+*.arrow filter=lfs diff=lfs merge=lfs -text
+*.bin filter=lfs diff=lfs merge=lfs -text
+*.bz2 filter=lfs diff=lfs merge=lfs -text
+*.ckpt filter=lfs diff=lfs merge=lfs -text
+*.ftz filter=lfs diff=lfs merge=lfs -text
+*.gz filter=lfs diff=lfs merge=lfs -text
+*.h5 filter=lfs diff=lfs merge=lfs -text
+*.joblib filter=lfs diff=lfs merge=lfs -text
+*.lfs.* filter=lfs diff=lfs merge=lfs -text
+*.mlmodel filter=lfs diff=lfs merge=lfs -text
+*.model filter=lfs diff=lfs merge=lfs -text
+*.msgpack filter=lfs diff=lfs merge=lfs -text
+*.npy filter=lfs diff=lfs merge=lfs -text
+*.npz filter=lfs diff=lfs merge=lfs -text
+*.onnx filter=lfs diff=lfs merge=lfs -text
+*.ot filter=lfs diff=lfs merge=lfs -text
+*.parquet filter=lfs diff=lfs merge=lfs -text
+*.pb filter=lfs diff=lfs merge=lfs -text
+*.pickle filter=lfs diff=lfs merge=lfs -text
+*.pkl filter=lfs diff=lfs merge=lfs -text
+*.pt filter=lfs diff=lfs merge=lfs -text
+*.pth filter=lfs diff=lfs merge=lfs -text
+*.rar filter=lfs diff=lfs merge=lfs -text
+*.safetensors filter=lfs diff=lfs merge=lfs -text
+saved_model/**/* filter=lfs diff=lfs merge=lfs -text
+*.tar.* filter=lfs diff=lfs merge=lfs -text
+*.tar filter=lfs diff=lfs merge=lfs -text
+*.tflite filter=lfs diff=lfs merge=lfs -text
+*.tgz filter=lfs diff=lfs merge=lfs -text
+*.wasm filter=lfs diff=lfs merge=lfs -text
+*.xz filter=lfs diff=lfs merge=lfs -text
+*.zip filter=lfs diff=lfs merge=lfs -text
+*.zst filter=lfs diff=lfs merge=lfs -text
+*tfevents* filter=lfs diff=lfs merge=lfs -text

README.md

@@ -0,0 +1,165 @@
+---
+license: apache-2.0
+language:
+- it
+metrics:
+- f1
+- recall
+- precision
+base_model:
+- IVN-RIN/medBIT
+pipeline_tag: text-classification
+tags:
+- DAPT
+- LoRA
+datasets:
+- pacovalentino/synth_emerg_ITA
+---
+### Modello NER per Schede Emergenziali del 118 Italiano
+Questo modello esegue Named Entity Recognition (NER) su testi in lingua italiana provenienti da schede emergenziali del servizio 118. È stato addestrato su un dataset sintetico creato per rappresentare fedelmente il linguaggio e la struttura dei documenti operativi utilizzati in contesti di emergenza sanitaria. L’obiettivo del modello è l’estrazione automatica di informazioni strutturate da testi liberi, come dati anagrafici, parametri vitali, orari e luoghi di intervento, figure professionali coinvolte e condizioni cliniche riferite.
+
+Il modello deriva da un linguaggio pre-addestrato in italiano, successivamente adattato al dominio medico-emergenziale attraverso una combinazione di Domain-Adaptive Pre-Training (DAPT) e fine-tuning con LoRA. Il DAPT ha consentito di specializzare le rappresentazioni linguistiche del modello su testi sintetici di natura emergenziale, mentre il fine-tuning con LoRA ha permesso un addestramento efficiente su un dataset annotato per il compito di riconoscimento di entità. Il risultato è un modello ottimizzato per identificare automaticamente entità nominali e numeriche rilevanti nelle schede operative del 118, includendo informazioni su pazienti, operatori, parametri clinici, codici e tempistiche operative.
+
+Il modello riconosce le seguenti 55 categorie di entità: 
+AUTISTA, AUTORITA_PRESENTE, CAUSA_TRASPORTO_NON_EFFETTUATO, CODICE_RIENTRO, CODICE_USCITA, COMUNE_RESIDENZA, CONDIZIONE_RIFERITA, COSCIENZA, CRI, CUTE, DATA_CHIAMATA, DATA_NASCITA, DECESSO, DICHIARANTE_DATI, FC_BPM, GCS_APERTURA_OCCHI, GCS_RISPOSTA_MOTORIA, GCS_RISPOSTA_VERBALE, GLICEMIA, INFERMIERE_PROFESSIONALE, LESIONE, LUOGO_INTERVENTO, LUOGO_NASCITA, MEDICINA, MEDICO, NOME_COGNOME, NUMERO_RESIDENZA, NUMERO_TELEFONO, ORA_CHIAMATA, ORA_DECESSO, ORA_IN_PRONTO_SOCCORSO, ORA_LIBERO_OPERATIVO, ORA_PARTENZA, ORA_PARTENZA_POSTO, ORA_SUL_POSTO, PARTE_CORPO, PA_MMHG, PROVINCIA_RESIDENZA, PROVVEDIMENTI_ALTRO, PROVVEDIMENTI_CIRCOLO, PROVVEDIMENTI_IMMOBILIZZAZIONE, PROVVEDIMENTI_RESPIRO, PUPILLE_REATTIVITA, PUPILLE_TIPO_DX, PUPILLE_TIPO_SX, RESPIRO, RIFIUTO, SEL, SESSO, SOCCORRITORE_1, SOCCORRITORE_2, SOCCORRITORE_3, SpO2, TEMPERATURA, VIA_RESIDENZA.
+
+Il modello è destinato a scopi di ricerca e sperimentazione nel campo dell’elaborazione del linguaggio naturale applicata al dominio medico-emergenziale. Non è adatto all’uso clinico o decisionale senza un’adeguata validazione su dati reali e revisionati da personale esperto. Le tecniche utilizzate comprendono il Domain-Adaptive Pre-Training (DAPT) e il fine-tuning LoRA su un dataset sintetico in lingua italiana. Il modello appartiene alla categoria token-classification (Named Entity Recognition) ed è ottimizzato per il contesto linguistico e operativo del sistema di emergenza sanitaria italiano.
+
+## ESEMPIO DI UTILIZZO
+
+Questo esempio mostra come caricare il modello e il tokenizer, applicare la pipeline NER a un testo di esempio e stampare le entità estratte.
+
+```python
+import torch
+from transformers import AutoTokenizer, AutoModelForTokenClassification, pipeline
+
+path_model = "./Text2NER"
+
+tokenizer = AutoTokenizer.from_pretrained(path_model)
+model = AutoModelForTokenClassification.from_pretrained(path_model)
+model.eval()
+
+ner_pipeline = pipeline(
+    "ner",
+    model=model,
+    tokenizer=tokenizer,
+    aggregation_strategy="simple",
+    device=0 if torch.cuda.is_available() else -1
+)
+
+text = """
+In Via Verdi a Parma, il paziente Mario Rossi, maschio, 58 anni, presentava dolore toracico con SpO₂ 91%, 
+PA 160/95 mmHg, FC 112 bpm; codice uscita Rosso, rientro 2, sul posto la Croce Rossa Italiana di Parma, autista Bianchi Luca, 
+medico Dott. Verdi Andrea.
+"""
+
+results = ner_pipeline(text)
+
+print(f"{'ENTITÀ':<40} | {'LABEL'}")
+print("-" * 60)
+for r in results:
+    entity = r["word"]
+    label = r["entity_group"]
+    print(f"{entity:<40} | {label}")
+```
+
+## OUTPUT ATTESO
+
+| ENTITÀ                                | LABEL              |
+|---------------------------------------|--------------------|
+| Via Verdi a Parma                     | LUOGO_INTERVENTO   |
+| Mario Rossi                           | NOME_COGNOME       |
+| maschio                               | SESSO              |
+| 58 anni                               | DATA_NASCITA       |
+| SpO₂ 91%                              | SpO2               |
+| PA 160/95 mmHg                        | PA_MMHG            |
+| FC 112 bpm                            | FC_BPM             |
+| Rosso                                 | CODICE_USCITA      |
+| 2                                     | CODICE_RIENTRO     |
+| Croce Rossa Italiana di Parma         | CRI                |
+| Bianchi Luca                          | AUTISTA            |
+| Dott. Verdi Andrea                    | MEDICO             |
+
+
+## DESCRIZIONE
+
+Il codice mostra passo passo come inizializzare il tokenizer e il modello, creare la pipeline NER con aggregazione, 
+applicarla a un testo di esempio e stampare le entità in formato tabellare chiaro. La tabella rappresenta le entità 
+automaticamente riconosciute dal modello con le rispettive label, utile per analisi strutturate delle schede emergenziali 
+del servizio 118.
+
+
+### NER Model for Italian 118 Emergency Medical Records
+
+This model performs Named Entity Recognition (NER) on Italian-language texts derived from emergency medical records of the Italian 118 service. It was trained on a synthetic dataset designed to reproduce the linguistic structure and style of operational documents used in emergency medical contexts. The model’s purpose is to automatically extract structured information from free text, such as personal data, vital signs, event times and locations, professional roles, and reported clinical conditions.
+
+The model is based on a pre-trained Italian language model, further adapted to the medical-emergency domain through a combination of Domain-Adaptive Pre-Training (DAPT) and LoRA fine-tuning. The DAPT phase allowed the model to specialize its linguistic representations on synthetic emergency-related texts, while LoRA fine-tuning enabled efficient task-specific training on a labeled dataset for entity recognition. As a result, the model can automatically identify relevant nominal and numerical entities within emergency records, including information about patients, staff, clinical parameters, operational codes, and event timing.
+
+The model recognizes the following 55 entity categories:
+AUTISTA, AUTORITA_PRESENTE, CAUSA_TRASPORTO_NON_EFFETTUATO, CODICE_RIENTRO, CODICE_USCITA, COMUNE_RESIDENZA, CONDIZIONE_RIFERITA, COSCIENZA, CRI, CUTE, DATA_CHIAMATA, DATA_NASCITA, DECESSO, DICHIARANTE_DATI, FC_BPM, GCS_APERTURA_OCCHI, GCS_RISPOSTA_MOTORIA, GCS_RISPOSTA_VERBALE, GLICEMIA, INFERMIERE_PROFESSIONALE, LESIONE, LUOGO_INTERVENTO, LUOGO_NASCITA, MEDICINA, MEDICO, NOME_COGNOME, NUMERO_RESIDENZA, NUMERO_TELEFONO, ORA_CHIAMATA, ORA_DECESSO, ORA_IN_PRONTO_SOCCORSO, ORA_LIBERO_OPERATIVO, ORA_PARTENZA, ORA_PARTENZA_POSTO, ORA_SUL_POSTO, PARTE_CORPO, PA_MMHG, PROVINCIA_RESIDENZA, PROVVEDIMENTI_ALTRO, PROVVEDIMENTI_CIRCOLO, PROVVEDIMENTI_IMMOBILIZZAZIONE, PROVVEDIMENTI_RESPIRO, PUPILLE_REATTIVITA, PUPILLE_TIPO_DX, PUPILLE_TIPO_SX, RESPIRO, RIFIUTO, SEL, SESSO, SOCCORRITORE_1, SOCCORRITORE_2, SOCCORRITORE_3, SpO2, TEMPERATURA, VIA_RESIDENZA.
+
+The model is intended for research and experimental purposes within domain-specific NLP applied to emergency medicine. It is not suitable for clinical or operational decision-making without further validation on real annotated data. The techniques used include Domain-Adaptive Pre-Training (DAPT) and LoRA fine-tuning on a synthetic Italian dataset. The model is categorized under token-classification (Named Entity Recognition) and is optimized for linguistic and contextual data typical of the Italian emergency medical system.
+
+## USAGE EXAMPLE
+
+This example shows how to load the model and tokenizer, apply the NER pipeline to a sample text, and print the extracted entities.
+
+```python
+import torch
+from transformers import AutoTokenizer, AutoModelForTokenClassification, pipeline
+
+path_model = "./Text2NER"
+
+tokenizer = AutoTokenizer.from_pretrained(path_model)
+model = AutoModelForTokenClassification.from_pretrained(path_model)
+model.eval()
+
+ner_pipeline = pipeline(
+    "ner",
+    model=model,
+    tokenizer=tokenizer,
+    aggregation_strategy="simple",
+    device=0 if torch.cuda.is_available() else -1
+)
+
+text = """
+At Via Verdi in Parma, the patient Mario Rossi, male, 58 years old, presented with chest pain and SpO₂ 91%, 
+PA 160/95 mmHg, FC 112 bpm; exit code Red, return 2, on site the Italian Red Cross of Parma, driver Bianchi Luca, 
+doctor Dr. Verdi Andrea.
+"""
+
+results = ner_pipeline(text)
+
+print(f"{'ENTITY':<40} | {'LABEL'}")
+print("-" * 60)
+for r in results:
+    entity = r["word"]
+    label = r["entity_group"]
+    print(f"{entity:<40} | {label}")
+```
+
+## EXPECTED OUTPUT
+
+| ENTITY                               | LABEL               |
+|--------------------------------------|---------------------|
+| Via Verdi a Parma                    | LUOGO_INTERVENTO    |
+| Mario Rossi                          | NOME_COGNOME        |
+| maschio                              | SESSO               |
+| 58 anni                              | DATA_NASCITA        |
+| SpO₂ 91%                             | SpO2                |
+| PA 160/95 mmHg                       | PA_MMHG             |
+| FC 112 bpm                           | FC_BPM              |
+| Rosso                                | CODICE_USCITA       |
+| 2                                    | CODICE_RIENTRO      |
+| Croce Rossa Italiana di Parma        | CRI                 |
+| Bianchi Luca                         | AUTISTA             |
+| Dott. Verdi Andrea                   | MEDICO              |
+
+
+## DESCRIPTION
+
+The code shows step by step how to initialize the tokenizer and model, create the NER pipeline with aggregation, 
+apply it to a text example, and print the entities in a clear tabular format. The table represents the entities 
+automatically recognized by the model with their corresponding labels, suitable for structured analysis of emergency 
+medical records.
+

config.json

@@ -0,0 +1,140 @@
+{
+  "architectures": [
+    "BertForTokenClassification"
+  ],
+  "attention_probs_dropout_prob": 0.1,
+  "classifier_dropout": null,
+  "hidden_act": "gelu",
+  "hidden_dropout_prob": 0.1,
+  "hidden_size": 768,
+  "id2label": {
+    "0": "O",
+    "1": "AUTISTA",
+    "10": "CUTE",
+    "11": "DATA_CHIAMATA",
+    "12": "DATA_NASCITA",
+    "13": "DECESSO",
+    "14": "DICHIARANTE_DATI",
+    "15": "FC_BPM",
+    "16": "GCS_APERTURA_OCCHI",
+    "17": "GCS_RISPOSTA_MOTORIA",
+    "18": "GCS_RISPOSTA_VERBALE",
+    "19": "GLICEMIA",
+    "2": "AUTORITA_PRESENTE",
+    "20": "INFERMIERE_PROFESSIONALE",
+    "21": "LESIONE",
+    "22": "LUOGO_INTERVENTO",
+    "23": "LUOGO_NASCITA",
+    "24": "MEDICINA",
+    "25": "MEDICO",
+    "26": "NOME_COGNOME",
+    "27": "NUMERO_RESIDENZA",
+    "28": "NUMERO_TELEFONO",
+    "29": "ORA_CHIAMATA",
+    "3": "CAUSA_TRASPORTO_NON_EFFETTUATO",
+    "30": "ORA_DECESSO",
+    "31": "ORA_IN_PRONTO_SOCCORSO",
+    "32": "ORA_LIBERO_OPERATIVO",
+    "33": "ORA_PARTENZA",
+    "34": "ORA_PARTENZA_POSTO",
+    "35": "ORA_SUL_POSTO",
+    "36": "PARTE_CORPO",
+    "37": "PA_MMHG",
+    "38": "PROVINCIA_RESIDENZA",
+    "39": "PROVVEDIMENTI_ALTRO",
+    "4": "CODICE_RIENTRO",
+    "40": "PROVVEDIMENTI_CIRCOLO",
+    "41": "PROVVEDIMENTI_IMMOBILIZZAZIONE",
+    "42": "PROVVEDIMENTI_RESPIRO",
+    "43": "PUPILLE_REATTIVITA",
+    "44": "PUPILLE_TIPO_DX",
+    "45": "PUPILLE_TIPO_SX",
+    "46": "RESPIRO",
+    "47": "RIFIUTO",
+    "48": "SEL",
+    "49": "SESSO",
+    "5": "CODICE_USCITA",
+    "50": "SOCCORRITORE_1",
+    "51": "SOCCORRITORE_2",
+    "52": "SOCCORRITORE_3",
+    "53": "SpO2",
+    "54": "TEMPERATURA",
+    "55": "VIA_RESIDENZA",
+    "6": "COMUNE_RESIDENZA",
+    "7": "CONDIZIONE_RIFERITA",
+    "8": "COSCIENZA",
+    "9": "CRI"
+  },
+  "initializer_range": 0.02,
+  "intermediate_size": 3072,
+  "label2id": {
+    "AUTISTA": 1,
+    "AUTORITA_PRESENTE": 2,
+    "CAUSA_TRASPORTO_NON_EFFETTUATO": 3,
+    "CODICE_RIENTRO": 4,
+    "CODICE_USCITA": 5,
+    "COMUNE_RESIDENZA": 6,
+    "CONDIZIONE_RIFERITA": 7,
+    "COSCIENZA": 8,
+    "CRI": 9,
+    "CUTE": 10,
+    "DATA_CHIAMATA": 11,
+    "DATA_NASCITA": 12,
+    "DECESSO": 13,
+    "DICHIARANTE_DATI": 14,
+    "FC_BPM": 15,
+    "GCS_APERTURA_OCCHI": 16,
+    "GCS_RISPOSTA_MOTORIA": 17,
+    "GCS_RISPOSTA_VERBALE": 18,
+    "GLICEMIA": 19,
+    "INFERMIERE_PROFESSIONALE": 20,
+    "LESIONE": 21,
+    "LUOGO_INTERVENTO": 22,
+    "LUOGO_NASCITA": 23,
+    "MEDICINA": 24,
+    "MEDICO": 25,
+    "NOME_COGNOME": 26,
+    "NUMERO_RESIDENZA": 27,
+    "NUMERO_TELEFONO": 28,
+    "O": 0,
+    "ORA_CHIAMATA": 29,
+    "ORA_DECESSO": 30,
+    "ORA_IN_PRONTO_SOCCORSO": 31,
+    "ORA_LIBERO_OPERATIVO": 32,
+    "ORA_PARTENZA": 33,
+    "ORA_PARTENZA_POSTO": 34,
+    "ORA_SUL_POSTO": 35,
+    "PARTE_CORPO": 36,
+    "PA_MMHG": 37,
+    "PROVINCIA_RESIDENZA": 38,
+    "PROVVEDIMENTI_ALTRO": 39,
+    "PROVVEDIMENTI_CIRCOLO": 40,
+    "PROVVEDIMENTI_IMMOBILIZZAZIONE": 41,
+    "PROVVEDIMENTI_RESPIRO": 42,
+    "PUPILLE_REATTIVITA": 43,
+    "PUPILLE_TIPO_DX": 44,
+    "PUPILLE_TIPO_SX": 45,
+    "RESPIRO": 46,
+    "RIFIUTO": 47,
+    "SEL": 48,
+    "SESSO": 49,
+    "SOCCORRITORE_1": 50,
+    "SOCCORRITORE_2": 51,
+    "SOCCORRITORE_3": 52,
+    "SpO2": 53,
+    "TEMPERATURA": 54,
+    "VIA_RESIDENZA": 55
+  },
+  "layer_norm_eps": 1e-12,
+  "max_position_embeddings": 512,
+  "model_type": "bert",
+  "num_attention_heads": 12,
+  "num_hidden_layers": 12,
+  "pad_token_id": 0,
+  "position_embedding_type": "absolute",
+  "torch_dtype": "float32",
+  "transformers_version": "4.51.3",
+  "type_vocab_size": 2,
+  "use_cache": true,
+  "vocab_size": 31102
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:9480495b4bf8a6d797ff74d92a0fdde41e36e85f115b4e262d3b2a70f2509cb1
+size 437543952

special_tokens_map.json

@@ -0,0 +1,37 @@
+{
+  "cls_token": {
+    "content": "[CLS]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "mask_token": {
+    "content": "[MASK]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "pad_token": {
+    "content": "[PAD]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "sep_token": {
+    "content": "[SEP]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "unk_token": {
+    "content": "[UNK]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  }
+}

tokenizer_config.json

@@ -0,0 +1,67 @@
+{
+  "added_tokens_decoder": {
+    "0": {
+      "content": "[PAD]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "101": {
+      "content": "[UNK]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "102": {
+      "content": "[CLS]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "103": {
+      "content": "[SEP]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "104": {
+      "content": "[MASK]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "clean_up_tokenization_spaces": false,
+  "cls_token": "[CLS]",
+  "do_basic_tokenize": true,
+  "do_lower_case": false,
+  "extra_special_tokens": {},
+  "mask_token": "[MASK]",
+  "max_len": 512,
+  "max_length": 128,
+  "model_max_length": 512,
+  "never_split": null,
+  "pad_to_multiple_of": null,
+  "pad_token": "[PAD]",
+  "pad_token_type_id": 0,
+  "padding_side": "right",
+  "sep_token": "[SEP]",
+  "stride": 0,
+  "strip_accents": null,
+  "tokenize_chinese_chars": true,
+  "tokenizer_class": "BertTokenizer",
+  "truncation": true,
+  "truncation_side": "right",
+  "truncation_strategy": "longest_first",
+  "unk_token": "[UNK]"
+}