Instructions to use MTSmash/EvaGPT-German-GGUF with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use MTSmash/EvaGPT-German-GGUF with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("text-generation", model="MTSmash/EvaGPT-German-GGUF") messages = [ {"role": "user", "content": "Who are you?"}, ] pipe(messages)# Load model directly from transformers import AutoModel model = AutoModel.from_pretrained("MTSmash/EvaGPT-German-GGUF", dtype="auto") - llama-cpp-python
How to use MTSmash/EvaGPT-German-GGUF with llama-cpp-python:
# !pip install llama-cpp-python from llama_cpp import Llama llm = Llama.from_pretrained( repo_id="MTSmash/EvaGPT-German-GGUF", filename="EvaGPT-German-Mistral-LlamaTok-DE-7.2B-f16-V9.1.1.gguf", )
llm.create_chat_completion( messages = [ { "role": "user", "content": "What is the capital of France?" } ] ) - Notebooks
- Google Colab
- Kaggle
- Local Apps
- llama.cpp
How to use MTSmash/EvaGPT-German-GGUF with llama.cpp:
Install from brew
brew install llama.cpp # Start a local OpenAI-compatible server with a web UI: llama-server -hf MTSmash/EvaGPT-German-GGUF:F16 # Run inference directly in the terminal: llama-cli -hf MTSmash/EvaGPT-German-GGUF:F16
Install from WinGet (Windows)
winget install llama.cpp # Start a local OpenAI-compatible server with a web UI: llama-server -hf MTSmash/EvaGPT-German-GGUF:F16 # Run inference directly in the terminal: llama-cli -hf MTSmash/EvaGPT-German-GGUF:F16
Use pre-built binary
# Download pre-built binary from: # https://github.com/ggerganov/llama.cpp/releases # Start a local OpenAI-compatible server with a web UI: ./llama-server -hf MTSmash/EvaGPT-German-GGUF:F16 # Run inference directly in the terminal: ./llama-cli -hf MTSmash/EvaGPT-German-GGUF:F16
Build from source code
git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp cmake -B build cmake --build build -j --target llama-server llama-cli # Start a local OpenAI-compatible server with a web UI: ./build/bin/llama-server -hf MTSmash/EvaGPT-German-GGUF:F16 # Run inference directly in the terminal: ./build/bin/llama-cli -hf MTSmash/EvaGPT-German-GGUF:F16
Use Docker
docker model run hf.co/MTSmash/EvaGPT-German-GGUF:F16
- LM Studio
- Jan
- vLLM
How to use MTSmash/EvaGPT-German-GGUF with vLLM:
Install from pip and serve model
# Install vLLM from pip: pip install vllm # Start the vLLM server: vllm serve "MTSmash/EvaGPT-German-GGUF" # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "MTSmash/EvaGPT-German-GGUF", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }'Use Docker
docker model run hf.co/MTSmash/EvaGPT-German-GGUF:F16
- SGLang
How to use MTSmash/EvaGPT-German-GGUF with SGLang:
Install from pip and serve model
# Install SGLang from pip: pip install sglang # Start the SGLang server: python3 -m sglang.launch_server \ --model-path "MTSmash/EvaGPT-German-GGUF" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "MTSmash/EvaGPT-German-GGUF", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }'Use Docker images
docker run --gpus all \ --shm-size 32g \ -p 30000:30000 \ -v ~/.cache/huggingface:/root/.cache/huggingface \ --env "HF_TOKEN=<secret>" \ --ipc=host \ lmsysorg/sglang:latest \ python3 -m sglang.launch_server \ --model-path "MTSmash/EvaGPT-German-GGUF" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "MTSmash/EvaGPT-German-GGUF", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }' - Ollama
How to use MTSmash/EvaGPT-German-GGUF with Ollama:
ollama run hf.co/MTSmash/EvaGPT-German-GGUF:F16
- Unsloth Studio new
How to use MTSmash/EvaGPT-German-GGUF with Unsloth Studio:
Install Unsloth Studio (macOS, Linux, WSL)
curl -fsSL https://unsloth.ai/install.sh | sh # Run unsloth studio unsloth studio -H 0.0.0.0 -p 8888 # Then open http://localhost:8888 in your browser # Search for MTSmash/EvaGPT-German-GGUF to start chatting
Install Unsloth Studio (Windows)
irm https://unsloth.ai/install.ps1 | iex # Run unsloth studio unsloth studio -H 0.0.0.0 -p 8888 # Then open http://localhost:8888 in your browser # Search for MTSmash/EvaGPT-German-GGUF to start chatting
Using HuggingFace Spaces for Unsloth
# No setup required # Open https://huggingface.co/spaces/unsloth/studio in your browser # Search for MTSmash/EvaGPT-German-GGUF to start chatting
- Docker Model Runner
How to use MTSmash/EvaGPT-German-GGUF with Docker Model Runner:
docker model run hf.co/MTSmash/EvaGPT-German-GGUF:F16
- Lemonade
How to use MTSmash/EvaGPT-German-GGUF with Lemonade:
Pull the model
# Download Lemonade from https://lemonade-server.ai/ lemonade pull MTSmash/EvaGPT-German-GGUF:F16
Run and chat with the model
lemonade run user.EvaGPT-German-GGUF-F16
List all available models
lemonade list
Neu Version Online
In der neuen Version haben wir die Ausgabelänge vergrößerten. Durch die Änderung sind ein paar Unannehmlichkeiten im ganzen Vokabular aufgefallen. Dies korrigieren wir gerade und es sollte in der Version 8.5 behoben sein.
Der System-Prompt wurde in der Ollama Config jetzt entfernt, da Ollama meistens mit externer Software betrieben wird und diese ein weiteres System Prompt erneut setzt. Das gab Unannehmlichkeiten bei der Ausgabe, daher haben wir in aus der Config entfernt. Wer aber den System-Prompt wieder einsetzten, möchte:
"""Ich bin EvaGPT, die hilfreiche KI Assistentin der TMP-SYSTEM-SERVICE GmbH'"""
Durch den neuen, erweiterten Trainingsansatz haben wir den System-Prompt in ein "EGO / Ich Gefühl" verwandelt, da die bisherigen Trainingsansätze mit Leitlinien keine wirkliche Menschlichkeit darstellen konnten.
Diese Veränderung eröffnet völlig neue Möglichkeiten. Natürlich müssen neue Charaktere noch trainiert werden und Eva muss die Verhaltensmuster lernen, um sie imitieren zu können. Im Kern jedoch ermöglicht es uns dieser Ansatz, ein "EGO / Ich Gefühl" mit dem System-Prompt zu simulieren. Dies stellt einen bedeutenden Meilenstein dar, da es das eigentliche Training des menschlichen Verhaltens simuliert und uns wertvolle Erkenntnisse über uns selbst liefert.
Komma Fehler in LLM Studio Config ist auch behoben und kann jetzt ohne Probleme genutzt werden. In der LLM Studio config ist der neue Ansatz gesetzt, der eine realistische Kommunikation bieten sollte.