Create README.md

README.md

@@ -0,0 +1,34 @@
+---
+language:
+- it
+pipeline_tag: fill-mask
+library_name: transformers
+widget:
+- example_title: "Esempio 1"
+  text: "Più tardi, durante la sua carriera, la gravidanza la costrinse a cancellare le sue apparizioni programmate nell'autunno del 1935. Il 29 marzo 1936 entrò in una clinica di Londra in [MASK] della nascita del suo bimbo"
+- example_title: "Esempio 2"
+  text: "Nella stagione 2017-2018 il Karlsruhe, allenato da Alois Schwartz, [MASK] il campionato di 3. Liga al 3º posto."
+- example_title: "Esempio 3"
+  text: "Conchita Supervía, nome alla nascita María de la Concepción Supervía Pascual (Barcellona, 8 dicembre 1895[1] – Londra, 30 marzo 1936), è [MASK] un mezzosoprano spagnolo molto famosa nel panorama operistico europeo e statunitense, attiva anche in campo concertistico"
+ 
+  
+---
+
+**bertina-3M** is an italian foundational model based on bert, pretrained from scratch on 30GB of italian Wikipedia articles (10M sentences). 
+
+It has 3M parameters and uses a 512 context window size.
+
+The project is still a work in progress, new versions will come with time.
+
+Use it as a foundational model to be finetuned for specific italian tasks.
+
+# Training
+
+- epochs: 4
+- lr: 4e-4
+- optim: AdamW (beta_1=0.8)
+- weight_decay: 1e-2
+
+# Eval
+
+- perplexity: 21 (it's a 11MB model!)