| | --- |
| | widget: |
| | - text: "dem har sökt upp de för att prata." |
| | example_title: "de/dem exempel 1" |
| | - text: "Jag såg de komma runt hörnet och gå i riktning mot dem byggnaderna." |
| | example_title: "de/dem exempel 2" |
| | --- |
| | |
| | ## DeFormer |
| |
|
| | DeFormer är en modell som har tränats på att skilja mellan `de` och `dem` i svenska meningar. Modellen kan testas direkt i panelerna till höger under **Hosted Inference API** genom att skriva in en mening och trycka på **Compute**. |
| |
|
| | **Instruktioner (VIKTIGT):** |
| | Använd endast de/dem med små bokstäver vid testning. I träningen av modellen gjordes alla "De" och "Dem" om till gemener. Avsluta meningen med skiljetecken (punkt, frågetecken, osv) för bäst möjliga resultat. |
| |
|
| | ## Träningsdata |
| | DeFormer har tränats på meningar från Europarlamentet och svenskspråkiga Wikimedia. Dessa hämtades från [OPUS](https://opus.nlpl.eu/). Källorna valdes ut för att de antogs ha ett korrekt språkbruk. |
| |
|
| | Endast meningar innehållandes `de` eller `dem` -- eller bägge två -- behölls i konstruktionen av träningsdataset. I tabellen nedan återfinns beskrivande statistik över antalet meningar som behölls från respektive dataset, samt frekvenser över förekomsten av `de/dem`. |
| |
|
| | | Datakälla | Meningar | # De | # Dem | De/Dem ratio | |
| | | ----------- | ----------- | ------- | ------- | ------------ | |
| | | [Europaparl sv.txt.gz](https://opus.nlpl.eu/download.php?f=Europarl/v8/mono/sv.txt.gz) | 500660 | 465977 | 54331 | 8.57x | |
| | | [JRC-Acquis raw.sv.gz](https://opus.nlpl.eu/download.php?f=JRC-Acquis/mono/JRC-Acquis.raw.sv.gz) | 417951 | 408576 | 17028 | 23.99x | |
| | | [Wikimedia sv.txt.gz](https://opus.nlpl.eu/download.php?f=wikimedia/v20210402/mono/sv.txt.gz) | 630601 | 602393 | 38852 | 15.48x | |
| | | **Total** | **1549212** | **1476946** | **110211** | **13.40x** | |
| |
|
| | Vid träningen av DeFormer introducerades slumpmässiga substitioner, där `de` eller `dem` byttes ut mot den motsatta formen. Modellen utmanades sedan att klassificera huruvida ett givet ord tillhörde ett av följande kategorier |
| |
|
| | 1. **`ord`** (alla bakgrundsord som inte är de/dem tillhör denna kategori) |
| | 2. **`DE`** |
| | 3. **`DEM`** |
| |
|
| | Innan observationerna skickades in till modellträning byttes `de` ut mot `dem` med 47 procent sannolikhet, medan `dem` byttes till `de` i 40 procent av fallen. |
| |
|
| | ## Träffsäkerhet/Accuracy |
| |
|
| | DeFormer utvärderades på ett valideringsset bestående av 31200 meningar från samma datakälla (svenska wiki + europaparlamentet + JRC) som modellen tränats på. Slumpmässiga fel introducerades för att utmana modellen. 47 procent av förekommande `de` i ursprungsmeningarna ändrades till `dem`, medan 40 procent av förekommande `dem` ändrades till `de`. Tabellen nedan visar att DeFormer är väldigt träffsäker. De få "felaktiga" prediktioner som modellen outputtar är nästan samtliga `de/dem som`-konstruktioner med bisatser. Majoriteten av dessa är egentligen inte att anse som felaktiga, eftersom [båda formerna är accepterade](https://www4.isof.se/cgi-bin/srfl/visasvar.py?sok=dem%20som&svar=79718&log_id=705355). |
| |
|
| | | | Accuracy | |
| | | ----------- | ----------- | |
| | | de | 99.9\% | |
| | | dem | 98.6\% | |
