README.md

---
language:
- en
- de
library_name: transformers
tags:
- gpt
- llm
- large language model
- mateilx
inference: false
license: apache-2.0
---

# EvaGPT-German-0.7B – MaTeLiX-AI-for-Pretraining

## Überblick

**EvaGPT-German-0.7B – MaTeLiX-AI-for-Pretraining** ist ein **leicht initialisiertes Large Language Model (LLM)**, das exklusiv für das **MaTeLiX Trainings-Dashboard** bereitgestellt wird.  
Es unterstützt **Deutsch** und **Englisch** und dient als **reine Ausgangsbasis für Pretraining-Experimente**.

> ⚠️ **WICHTIG**
> - Dieses Modell ist **nicht vortrainiert**.
> - Es wurde lediglich der **Tokenizer initialisiert**, die Modellgewichte sind nur leicht initialisiert.
> - Für jede sinnvolle Nutzung – selbst für einfache Tests – ist ein **vollständiges Pretraining zwingend erforderlich**.

**Kurzfassung:**

- **Typ:** Rolling LLM (untrainiert, nur Tokenizer und Grundinitialisierung)
- **Bibliothek:** kompatibel mit der 🤗 **Transformers**-Library  
- **Zweck:** Basis für Pretraining und experimentelle Modell-Entwicklung im MaTeLiX-Ökosystem

---

## Architektur

- **Interner Modellname:** `EvaGptForCausalLM`
- **Modelltyp:** Autoregressives Sprachmodell (Causal Language Model)
- **Implementierung:** Eigene Architektur, in `transformers` integriert über die Klasse `EvaGptForCausalLM`
- **Referenz-Repository (Code & Integration):**  
  https://github.com/MTSmash-TMP-Networks/transformers-eva-gpt

Die Architektur ist so gestaltet, dass sie sich nahtlos in das **Transformers-Ökosystem** einfügt.  
Wenn `EvaGptForCausalLM` in deiner `transformers`-Installation verfügbar ist, kannst du das Modell wie andere Causal-LM-Modelle laden und trainieren.

---

## Nutzung im MaTeLiX Trainings-Dashboard

Dieses Modell ist primär für den Einsatz im **MaTeLiX Trainings-Dashboard** vorgesehen.

**Vorgesehene Nutzung:**

- Startpunkt für **Pretraining-Experimente**
- Entwicklung und Evaluation eigener Trainingspipelines
- Demonstrations- und Lehrzwecke im MaTeLiX-Ökosystem

**Nicht vorgesehen / nicht unterstützt:**

- Direkte **produktive Nutzung** (z.B. Chatbots, Assistenzsysteme)
- Einsatz ohne vorheriges, umfangreiches Pretraining
- Off-Platform-Nutzung ohne Anpassung und eigenes Training

Alle Trainings-, Evaluations- und Feineinstellungsprozesse werden im Regelfall über das **MaTeLiX Dashboard** gesteuert.

---

## Technische Details

- **Modellarchitektur:** Eigene Entwicklung, kompatibel mit `transformers` über `EvaGptForCausalLM`
- **Modellgröße:** ca. **0,7B Parameter**
- **Unterstützte Sprachen (Ziel):**
  - Deutsch
  - Englisch
- **Status:**  
  - **Untrainiert / nur leicht initialisiert**
  - **Tokenizer:** initialisiert  
  - **Gewichte:** nicht sinnvoll vortrainiert, nur Grundinitialisierung
- **Trainingsdaten:**  
  - Derzeit **keine** (Pretraining muss durch Nutzer:innen selbst durchgeführt werden)
- **Einsatzempfehlung:**  
  - **Nicht** für produktive oder sicherheitskritische Anwendungen geeignet  
  - Nur für **Forschung, Entwicklung und interne Experimente** nach eigenem Pretraining

---

## Beispiel: Laden des Modells mit Transformers

> Hinweis: Die nachfolgenden Code-Beispiele setzen voraus,  
> dass `EvaGptForCausalLM` in deiner lokalen `transformers`-Installation verfügbar ist.  
> Die offizielle Transformers-Dokumentation selbst konnte ich nicht abrufen, aber die Standard-API ist wie üblich.

```python
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "MTSmash/EvaGPT-German-0.7B"

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id)

# Achtung: Das Modell ist NICHT vortrainiert!
# Sinnvolle Outputs sind erst nach eigenem Pretraining zu erwarten.
inputs = tokenizer("Dies ist ein Testeingabe-Text.", return_tensors="pt")
outputs = model(**inputs)
```

Für Pretraining solltest du einen eigenen Trainings-Loop (z.B. mit `Trainer`, `Accelerate`, `DeepSpeed`, FSDP etc.) aufsetzen und geeignete deutsch-/englischsprachige Korpora verwenden.

---

## Lizenz & Haftungsausschluss

- **Lizenz:** `apache-2.0`
- Das Modell ist ausschließlich für **Demonstrations-, Entwicklungs- und Trainingszwecke** vorgesehen, insbesondere im Rahmen des **MaTeLiX Trainings-Dashboards**.
- Es werden **keine Garantien** hinsichtlich:
  - Qualität der Antworten
  - Korrektheit der Ausgaben
  - Eignung für einen bestimmten Zweck
  gegeben.
- Für jede **produktive** oder **externe** Nutzung ist:
  - ein umfassendes **Pretraining**,
  - ggf. anschließendes **Finetuning**,
  - sowie eine sorgfältige **Evaluation und Sicherheitsprüfung**
  zwingend erforderlich.

Die Entwickler:innen von MaTeLiX übernehmen **keinerlei Haftung** für Schäden, die durch die Nutzung des Modells entstehen.

---

## Kontakt

Für Fragen zu:

- Nutzung im MaTeLiX Dashboard  
- Pretraining-Setups und -Pipelines  
- Integration von `EvaGptForCausalLM` in eigene Projekte  

wende dich bitte an das **MaTeLiX Support-Team**.