---
license: mit
tags:
  - emotion-detection
  - image-classification
  - computer-vision
  - resnet
datasets:
  - custom
---

# emotion_model-thoeppner

Dieses Modell ist eine feinjustierte Version von `resnet-18` für einen benutzerdefinierten Emotionsdatensatz. Es erzielt die folgenden Ergebnisse auf der Validierungsmenge:

- **Loss**: 0.8515
- **Accuracy**: 71.60 %

## Modell Beschreibung

Das Modell basiert auf der ResNet-18 Architektur und wurde mithilfe von PyTorch auf einem Emotionsdatensatz trainiert. Ziel war es, ein robustes Klassifikationsmodell zur Erkennung von 9 Emotionen in Gesichtern zu entwickeln.

## Einsatzbereiche und Einschränkungen

**Verwendungszweck:**

- Klassifizierung von Emotionen zu Bildungs-, Analyse- oder Demonstrationszwecken
- Kann in Gradio-Anwendungen zur Emotionserkennung auf hochgeladenen Gesichtern genutzt werden

**Einschränkungen:**

- Nicht geeignet für Emotionen ausserhalb der 9 trainierten Klassen
- Erkennung kann bei schlechten Lichtverhältnissen, verdeckten Gesichtern oder untypischen Gesichtsausdrücken ungenau sein
- Modell benötigt klare, frontal aufgenommene Gesichter für optimale Ergebnisse

## Trainings- und Evaluationsdaten

Das Modell wurde auf einem privaten Emotionsdatensatz mit **64 864** Bildern in **9 Klassen** trainiert.

**Klassen:**

- happy
- sad
- angry
- surprised
- fear
- disgust
- neutral
- contempt
- unknown

**Aufteilung des Datensatzes:**

- 80 % Training
- 20 % Validierung (interner Split)

## Training der Hyperparameter

Die folgenden Hyperparameter wurden beim Training verwendet:

| Hyperparameter        | Wert           |
|-----------------------|----------------|
| Optimizer              | Adam           |
| Learning Rate          | 0.0005 (mit ReduceLROnPlateau Scheduler) |
| Batch Size             | 64             |
| Loss Function          | CrossEntropyLoss |
| Early Stopping         | nach 5 Epochen ohne Verbesserung |
| Maximale Epochen       | 6              |
| Eingabebildgröße       | 224 × 224 Pixel |

## Training Resultate

| Epoche | Train Loss | Train Accuracy | Val Loss | Val Accuracy |
|-------|------------|----------------|----------|--------------|
| 1     | 0.9685     | 65.72 %         | 0.9370   | 66.70 %      |
| 2     | 0.7705     | 72.42 %         | 1.0514   | 62.30 %      |
| 3     | 0.7409     | 73.08 %         | 1.0166   | 64.90 %      |
| 4     | 0.6329     | 77.15 %         | 0.9834   | 65.70 %      |
| 5     | 0.4704     | 83.40 %         | 0.8515   | 71.60 %      |
| 6     | 0.3543     | 87.83 %         | 0.9220   | 70.80 %      |

- **Bestes Validation Loss**: **0.8515**
- **Bestes Validation Accuracy**: **71.60 %**

---

## Vergleich mit Zero-Shot-Modell (CLIP)

Zur Einordnung der Leistung wurde das Modell mit einem Zero-Shot-Klassifikationsmodell `openai/clip-vit-base-patch32` verglichen. Beide Modelle wurden auf dem identischen Testset (5 000 Bilder) ausgewertet.

### Zero-Shot Modell:

- **Modell**: CLIP (ViT-Base, Patch-32)
- **Aufgabe**: Zero-Shot Image Classification
- **Keine Feinjustierung** – nutzt nur Text-Bild-Verständnis

### Beobachtungen:

- Das ResNet-18 Modell erzielt eine deutlich höhere Accuracy auf bekannten Emotionen und kann feine Unterschiede zwischen Emotionen besser erkennen.
- Das CLIP-Modell zeigte gute Generalisierung auf bisher unbekannte Emotionen, hatte jedoch insgesamt eine geringere Genauigkeit.

### Zero-Shot Ergebnisse:

- **Accuracy**: 10.0 %
- **Macro Avg F1-Score**: 7 %
- **Weighted Avg F1-Score**: 5 %

---

## Framework Versionen

| Bibliothek     | Version       |
|----------------|---------------|
| Transformers   | 4.52.2        |
| PyTorch        | 2.6.0+cu124   |
| Datasets       | 3.4.1         |
| Tokenizers     | 0.21.1        |
| scikit-learn   | 1.4.2         |
| Matplotlib     | 3.8.4         |
| Seaborn        | 0.13.2        |