RedHitMark commited on
Commit
1b95a85
·
verified ·
1 Parent(s): 99b2dcb

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +90 -3
README.md CHANGED
@@ -1,3 +1,90 @@
1
- ---
2
- license: mit
3
- ---
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: mit
3
+ language:
4
+ - it
5
+ base_model:
6
+ - unsloth/Qwen2.5-7B-Instruct-bnb-4bit
7
+ pipeline_tag: text-generation
8
+ library_name: transformers
9
+ tags:
10
+ - legal
11
+ ---
12
+ ## Usage
13
+ Install the following dependencies:
14
+ ```sh
15
+ pip install transformers==4.49.0
16
+ pip install bitsandbytes==0.45.3
17
+ pip install peft==0.15.0
18
+ ```
19
+
20
+ Define the system prompt and the text to simplify:
21
+ ```py
22
+ PROMPT = """Sei un esperto redattore di documenti istituzionali italiani.
23
+
24
+ Trasforma i verbi dalla forma passiva in forma attiva. Trasforma i verbi dalla forma indefinita (gerundio, infinito e participio) in forma definita. **Non alterare il contenuto e lo stile del testo originale**.
25
+
26
+ # Steps
27
+ 1. Leggi attentamente il testo istituzionale.
28
+ 2. Individua i verbi in forma passiva.
29
+ 3. Trasforma, quando possibile, i verbi individuati in forma attiva se il soggetto è esplicito ed effettuando modifiche minime e localizzate.
30
+ 4. Individua i verbi in forma indefinita (gerundio, infinito e participio).
31
+ 5. Trasforma, quando possibile, i verbi individuati in forma definita effettuando modifiche minime e localizzate.
32
+ 6. Conserva le altre forme verbali, mantieni la sequenza delle azioni e la coerenza del testo.
33
+
34
+ # Output Format
35
+ Il testo modificato con l'originale formattazione e suddivisione in sezioni e paragrafi.
36
+
37
+ # Examples
38
+ - **Input**: La richiesta è stata approvata dal consiglio comunale.
39
+ **Output**: Il consiglio comunale ha approvato la richiesta.
40
+ - **Input**: L'ente dovrà agire secondo le modalità previste dal regolamento.
41
+ **Output**: L'ente agirà secondo le modalità che il regolamento prevede.
42
+
43
+ # Notes
44
+ - Il testo fornito può essere complesso e richiede attenzione ai dettagli.
45
+ - Esegui solamente le operazioni descritte, **non eliminare e non modificare altri contenuti**.
46
+ - Assicurati che le implicazioni giuridiche e legali del documento siano mantenute.
47
+ - Non modificare il testo tra virgolette."""
48
+
49
+ TEXT_TO_SIMPLIFY = """Il documento individua le esigenze di sviluppo necessarie per assicurare che i principi delineati dalla Legge Regionale 23 dicembre 2004, n. 29 e dai successivi atti normativi, sulla essenziale funzione della ricerca e innovazione nelle Aziende Sanitarie della Regione Emilia-Romagna, si traducano in azioni concrete nel Servizio Sanitario Regionale.
50
+
51
+ Alla luce delle evidenze della letteratura internazionale, delle indicazioni della normativa nazionale e della valutazione di quanto già attuato a livello regionale negli anni passati, vengono individuati gli obiettivi di sviluppo e le linee per il raggiungimento dei suddetti obiettivi."""
52
+ ```
53
+
54
+ Load SEMPL-IT model and tokenizer:
55
+ ```py
56
+ from transformers import AutoModelForCausalLM, AutoTokenizer
57
+
58
+ tokenizer = AutoTokenizer.from_pretrained("VerbACxSS/sempl-it-verbs-awq")
59
+ model = AutoModelForCausalLM.from_pretrained("VerbACxSS/sempl-it-verbs-awq").to("cuda")
60
+ ```
61
+
62
+ Define and apply chat template:
63
+ ```py
64
+ chat = [
65
+ {"role": "system", "content": PROMPT},
66
+ {"role": "assistant", "content": TEXT_TO_SIMPLIFY},
67
+ ]
68
+
69
+ formatted_chat = tokenizer.apply_chat_template(
70
+ chat,
71
+ tokenize=False,
72
+ add_generation_prompt=True
73
+ )
74
+ model_inputs = tokenizer([formatted_chat], return_tensors="pt").to("cuda")
75
+ ```
76
+
77
+ Use SEMPL_IT model with following sampling parameters to generate `simplified_text`:
78
+ ```py
79
+ generated_ids = model.generate(
80
+ **model_inputs,
81
+ max_new_tokens=4096,
82
+ temperature=0.1,
83
+ top_p=0.2
84
+ )
85
+ simplified_text = tokenizer.decode(generated_ids[0][len(model_inputs.input_ids[0]):], skip_special_tokens=True)
86
+ print(simplified_text)
87
+ ```
88
+
89
+ ## Acknowledgements
90
+ This contribution is a result of the research conducted within the framework of the PRIN 2020 (Progetti di Rilevante Interesse Nazionale) "VerbACxSS: on analytic verbs, complexity, synthetic verbs, and simplification. For accessibility" (Prot. 2020BJKB9M), funded by the Italian Ministero dell'Università e della Ricerca.