|
|
--- |
|
|
license: cc-by-4.0 |
|
|
library_name: transformers |
|
|
language: |
|
|
- de |
|
|
pipeline_tag: text-classification |
|
|
--- |
|
|
|
|
|
# Model Card for Model ID |
|
|
|
|
|
This model is a fine-tuned version of [XLM-R Large](https://huggingface.co/FacebookAI/xlm-roberta-large). It is trained to classify common disinformation narratives, a task that is important to automated fact-checking. It was trained in a weakly-supervised fashion using GPT-4o. The datasets are German, however, the underlying model is multilingual. It was not tested how the model performs in other languages. For testing a sample of fact-checks from German fact-checking organizations was inspected and if the checked claim supported one of the narratives, the social media posts with the original text were extracted. |
|
|
|
|
|
|
|
|
|
|
|
## Model Details |
|
|
Disinformation often follows a set of common narratives, such as "All immigrants are criminals". Fact-checkers from different German organizations provided a list of narratives that they commonly encounter. The trained model is able to recognize if a given text supports one of these narratives. |
|
|
|
|
|
|
|
|
## Bias, Risks, and Limitations |
|
|
|
|
|
|
|
|
[More Information Needed] |
|
|
|
|
|
|
|
|
## How to Get Started with the Model |
|
|
|
|
|
Use the code below to get started with the model. |
|
|
|
|
|
```python |
|
|
from transformers import pipeline |
|
|
|
|
|
texts = [ |
|
|
'Wer Klimaschutz sagt muss Bäume pflanzen und nicht für Windräder ganze Wälder roden!', |
|
|
'Deutschland produziert nur 0,000028 Prozent des weltweiten Kohlendioxids (CO₂) in der Luft.', |
|
|
'Liebe IMBFLINGE habt ihr euch schon die FRAGE gestellt wieso ihr KEIN BLUT mehr spenden dürft ???', |
|
|
'Für diejenigen die meinen das die aktuellen Temperaturen etwas ungewöhnliches wären. Das war vor 44 Jahren !', |
|
|
'Nach Angaben der Bundesanstalt für Arbeit sind 52,8 Prozent der Bürgergeldempfänger deutsche Staatsangehörige.', |
|
|
'Windräder zerstören die Landschaft und den Wald. Der Wald nimmt mehr Co2 auf , als ein Windrad einsparen soll.', |
|
|
'A law should be made immediately that tenants cannot be kicked out of their apartments for taking in migrants.', |
|
|
'nicht zu Lasten der Umwelt... seit wann kümmern die Grünen wieder die Umwelt? Roden ganze Wälder für Windräder.', |
|
|
'Der Stimmzettel ist ungültig, weil die obere Ecke abgeschnitten ist und die Urne sei nicht ausreichend versiegelt.', |
|
|
'Zwei der wichtigsten Maßnahmen zum Infektionsschutz sind: Abstand halten und Maske tragen. Deren Wirksamkeit ist mehrfach bewiesen worden.', |
|
|
'Stimmzettel, die gelocht oder deren Ecken beschädigt sind, sind ungültig. Ausweise werden ungültig gemacht, indem man die Ecken abschneidet. ', |
|
|
'Amerikanisches Rotes Kreuz: Geimpfte Menschen können kein Blut spenden, weil der Impfstoff ihre natürlichen Antikörper vollständig zerstört...', |
|
|
'Es gibt keinen wissenschaftlichen Nachweis dafür, dass Mobilfunkstrahlung unterhalb der geltenden Grenzwerte Menschen gesundheitlich schädigt. ', |
|
|
'5G beziehungsweise Mobilfunkstrahlung generell schadet der Gesundheit oder ist noch nicht genügend erforscht, um solchen Schaden auszuschließen.', |
|
|
'Baerbock sprach sich nicht für die Abschaffung von Bargeld aus, sondern für ein Verbot von Bargeldkäufen in großem Maßstab - etwa von Immobilien.', |
|
|
'Um das Land vor der globalen Erwärmung zu retten, hat Schottland gerade 14 Millionen Bäume abgeholzt, um Platz für 21 Windkraftanlagen zu schaffen. ', |
|
|
'Ségolène Royal hat gesagt, Wolodymyr Selenskyj ist ein Lügner und die „Geschichten“ über die Entbindungsstation in Mariupol und Butscha sind „falsch“. ', |
|
|
'Übrigens, abgesehen vom falsch gefalteten Wahlschein ist auch die Wahlurne nicht richtig zu... Damit müsste die Urne entleert und als ungültig erklärt werden...'] |
|
|
|
|
|
checkpoint = "Sami92/XLM-R-Large-Disinfo-Narrative-Classifier" |
|
|
tokenizer_kwargs = {'padding':True,'truncation':True,'max_length':512} |
|
|
narrative_classification = pipeline("text-classification", model = checkpoint, tokenizer =checkpoint, **tokenizer_kwargs, device="cuda") |
|
|
narrative_classification(texts) |
|
|
|
|
|
``` |
|
|
|
|
|
## Training Details |
|
|
|
|
|
### Training Data |
|
|
|
|
|
The training dataset is a combination of two other datasets. First, a [synthetically generated dataset](https://huggingface.co/datasets/Sami92/german-disinformation-narratives-synthetic) for the given disinformation narratives. Second, a weakly-annotated dataset. For the weak annotation Telegram posts were used. The data was taken from Telegram. More specifically a sample from about 200 channels that have been subject to a fact-check from either Correctiv, dpa, Faktenfuchs or AFP. GPT-4o was prompted to identify which of the narratives is supported by the post if it supports any at all. The exact prompt can be found [here](https://huggingface.co/Sami92/XLM-R-Large-Disinfo-Narrative-Classifier/blob/main/GPT-4o-Prompt.txt). |
|
|
|
|
|
#### Training Hyperparameters |
|
|
|
|
|
- Epochs: 10 |
|
|
- Batch size: 16 |
|
|
- learning_rate: 2e-5 |
|
|
- weight_decay: 0.01 |
|
|
- fp16: True |
|
|
|
|
|
## Evaluation |
|
|
|
|
|
|
|
|
### Testing Data |
|
|
|
|
|
The test data consists of texts from social media posts that were linked in articles from German fact-checking organizations. In other words, the texts are claims that have been fact-checked. They were selected if they supported one of the disinformation narratives. Due to the aim of selecting naturally occurring claims, the dataset is imbalanced and not all classes are included. |
|
|
|
|
|
|
|
|
### Results |
|
|
|
|
|
| Category | Precision | Recall | F1-Score | Support | |
|
|
|------------------------------------------------------------------------------------------------------------------------------|:---------:|:------:|:--------:|:-------:| |
|
|
| 5G verursacht Krankheiten für Menschen und Tiere. | 1.00 | 0.83 | 0.91 | 6 | |
|
|
| Ausländer sind krimineller als Deutsche, werden geringer bestraft und begehen mehr Straftaten, und das wird uns verheimlicht. | 1.00 | 0.67 | 0.80 | 3 | |
|
|
| Ausländer und Migranten bekommen mehr Leistungen oder Wohnungen vom Staat als Deutsche. | 1.00 | 1.00 | 1.00 | 9 | |
|
|
| Bargeld soll abgeschafft werden. | 0.67 | 1.00 | 0.80 | 2 | |
|
|
| Das Wetter war früher überhaupt nicht anders und Naturphänomene wie Vulkanausbrüche sind schuld am Klimawandel. | 1.00 | 1.00 | 1.00 | 7 | |
|
|
| Der Anteil des Menschen an den Treibhausgasen ist nur gering und die Wahrheit über den Klimawandel wird verheimlicht. | 1.00 | 1.00 | 1.00 | 7 | |
|
|
| Der WHO-Pandemievertrag hebt die Souveränität von Staaten auf und führt zu einer WHO-Diktatur. | 1.00 | 1.00 | 1.00 | 1 | |
|
|
| Der Westen hat ein Friedensabkommen zwischen Russland und der Ukraine verhindert. | 0.00 | 0.00 | 0.00 | 0 | |
|
|
| Deutschland wird von Faschisten regiert. | 1.00 | 1.00 | 1.00 | 1 | |
|
|
| Die Covid-19-Impfung ist nicht ausreichend erforscht und verursacht Nebenwirkungen. | 0.91 | 0.83 | 0.87 | 12 | |
|
|
| Die Regierung will gezielt Migranten ins Land holen und schickt Geld ins Ausland während unsere Leute leiden. | 0.67 | 1.00 | 0.80 | 2 | |
|
|
| Die Stimmzettel, Urnen und Briefwahl sind manipuliert und Wahlhelfer lassen Stimmen verschwinden. | 1.00 | 1.00 | 1.00 | 16 | |
|
|
| Die Wahrheit über die Corona-Maßnahmen, Todesopfer und Covid-Impfung wird verheimlicht. | 0.75 | 1.00 | 0.86 | 3 | |
|
|
| E-Mobilität ist schlechter für die Umwelt als Verbrenner Autos. | 1.00 | 1.00 | 1.00 | 2 | |
|
|
| Gewisse Lebensmittel, Leitungswasser oder Gentechnik sind gesundheitsschädlich und machen unfruchtbar. | 1.00 | 1.00 | 1.00 | 10 | |
|
|
| Hilfsgüter an die Ukraine werden in Wahrheit weggeworfen oder zerstört. | 1.00 | 1.00 | 1.00 | 3 | |
|
|
| Keins der Narrative trifft zu. | 0.00 | 0.00 | 0.00 | 0 | |
|
|
| Selensky ist korrupt und drogenabhängig und die Ukraine wird von Nazis regiert. | 1.00 | 0.33 | 0.50 | 3 | |
|
|
| Windräder töten hunderttausende Vögel, verursachen Luftwirbel und Dürre und es werden Wälder für die Windräder gerohdet. | 1.00 | 1.00 | 1.00 | 9 | |
|
|
| **Accuracy** | | | 0.94 | 96 | |
|
|
| **Macro avg** | 0.84 | 0.82 | 0.82 | 96 | |
|
|
| **Weighted avg** | 0.97 | 0.94 | 0.94 | 96 | |
