Instructions to use MTSmash/EvaGPT-446M-MaTeLiX-AI-for-Pretraining with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use MTSmash/EvaGPT-446M-MaTeLiX-AI-for-Pretraining with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="MTSmash/EvaGPT-446M-MaTeLiX-AI-for-Pretraining")

# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("MTSmash/EvaGPT-446M-MaTeLiX-AI-for-Pretraining")
model = AutoModelForCausalLM.from_pretrained("MTSmash/EvaGPT-446M-MaTeLiX-AI-for-Pretraining")

Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use MTSmash/EvaGPT-446M-MaTeLiX-AI-for-Pretraining with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "MTSmash/EvaGPT-446M-MaTeLiX-AI-for-Pretraining"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "MTSmash/EvaGPT-446M-MaTeLiX-AI-for-Pretraining",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker

docker model run hf.co/MTSmash/EvaGPT-446M-MaTeLiX-AI-for-Pretraining

SGLang

How to use MTSmash/EvaGPT-446M-MaTeLiX-AI-for-Pretraining with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "MTSmash/EvaGPT-446M-MaTeLiX-AI-for-Pretraining" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "MTSmash/EvaGPT-446M-MaTeLiX-AI-for-Pretraining",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "MTSmash/EvaGPT-446M-MaTeLiX-AI-for-Pretraining" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "MTSmash/EvaGPT-446M-MaTeLiX-AI-for-Pretraining",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Docker Model Runner
How to use MTSmash/EvaGPT-446M-MaTeLiX-AI-for-Pretraining with Docker Model Runner:
```
docker model run hf.co/MTSmash/EvaGPT-446M-MaTeLiX-AI-for-Pretraining
```

Model Card

Overview

EvaGPT-446M-MaTeLiX-AI-for-Pretraining ist ein untrainiertes Large Language Model (LLM), das exklusiv für das MaTeLiX Trainingsdashboard bereitgestellt wird. Das Modell unterstützt Deutsch und Englisch und dient als reine Ausgangsbasis für das Pretraining.

WICHTIG: Dieses Modell ist untrainiert! Es wurde lediglich der Tokenizer initialisiert, das Modell selbst ist komplett untrainiert (“random init”). Für jegliche sinnvolle Nutzung – auch Tests oder Experimente – ist ein vollständiges Pretraining zwingend erforderlich.

Typ: Rolling LLM (untrainiert, nur Tokenizer)
Kompatibilität: Transformers Library
Zweck: Basis für Pretraining und experimentelle Zwecke im MaTeLiX-Ökosystem

Hinweis zur Architektur

Auch wenn im Code der Name MistralForCausalLM verwendet wird, handelt es sich nicht um ein Mistral-Modell. Die Architektur wurde selbst entwickelt; der Name dient lediglich der technischen Kompatibilität mit der Hugging Face transformers-Bibliothek.

Nutzung im MaTeLiX Dashboard

Dieses Modell ist ausschließlich für die Nutzung innerhalb des MaTeLiX Trainingsdashboards bestimmt. Eine Verwendung außerhalb dieser Plattform ist nicht vorgesehen und wird nicht unterstützt.

Anwendung: Im MaTeLiX Dashboard dient dieses Modell als Ausgangspunkt für Pretraining-Experimente und Modell-Entwicklung. Alle Trainings- und Feineinstellungen werden über das Dashboard gesteuert.

Technische Details

Architektur: Eigene Entwicklung, Kompatibilität über MistralForCausalLM
Sprachen: Deutsch, Englisch
Status: Untrainiert, nur Tokenizer initialisiert
Trainingsdaten: Noch keine (Pretraining erforderlich)
Hinweis: Nicht für produktive Nutzung geeignet

Lizenz & Haftungsausschluss

Dieses Modell ist ausschließlich für Demonstrations-, Entwicklungs- und Trainingszwecke im MaTeLiX Trainingsdashboard vorgesehen. MaTeLiX übernimmt keinerlei Haftung für Modellantworten, Fehler oder unerwünschtes Verhalten. Für jede produktive oder externe Nutzung ist ein vollständiges Pretraining und ggf. weiteres Finetuning erforderlich.

Kontakt

Fragen zur Nutzung oder zum Pretraining bitte an das MaTeLiX Support-Team.

Downloads last month: 1

Safetensors

Model size

0.4B params

Tensor type

F32