Instructions to use MarinaraSpaghetti/NemoMix-Unleashed-12B with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use MarinaraSpaghetti/NemoMix-Unleashed-12B with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="MarinaraSpaghetti/NemoMix-Unleashed-12B")

# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("MarinaraSpaghetti/NemoMix-Unleashed-12B")
model = AutoModelForCausalLM.from_pretrained("MarinaraSpaghetti/NemoMix-Unleashed-12B")

Inference
Notebooks
Google Colab
Kaggle
Local Apps

vLLM

How to use MarinaraSpaghetti/NemoMix-Unleashed-12B with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "MarinaraSpaghetti/NemoMix-Unleashed-12B"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "MarinaraSpaghetti/NemoMix-Unleashed-12B",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker

docker model run hf.co/MarinaraSpaghetti/NemoMix-Unleashed-12B

SGLang

How to use MarinaraSpaghetti/NemoMix-Unleashed-12B with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "MarinaraSpaghetti/NemoMix-Unleashed-12B" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "MarinaraSpaghetti/NemoMix-Unleashed-12B",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "MarinaraSpaghetti/NemoMix-Unleashed-12B" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "MarinaraSpaghetti/NemoMix-Unleashed-12B",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Docker Model Runner
How to use MarinaraSpaghetti/NemoMix-Unleashed-12B with Docker Model Runner:
```
docker model run hf.co/MarinaraSpaghetti/NemoMix-Unleashed-12B
```

Speaks excellent Russian!

by Anonimus12345678902 - opened Nov 18, 2024

Discussion

Anonimus12345678902

Nov 18, 2024

This model is one of the best in RP and ERP in Russian! I am thrilled! Thank you!

Slaaaaaau

Nov 18, 2024

This model is one of the best in RP and ERP in Russian! I am thrilled! Thank you!

I'm not sure if you are familiar with tunes in Russian, but you should try Saiga or Vikhr then, there the tokenizer is better suited for Cyrillic, and the dictionary is expanded. Nemomix is really a great merge, but the Russian language is not better than the original model.

Anonimus12345678902

Nov 19, 2024

This model is one of the best in RP and ERP in Russian! I am thrilled! Thank you!

I'm not sure if you are familiar with tunes in Russian, but you should try Saiga or Vikhr then, there the tokenizer is better suited for Cyrillic, and the dictionary is expanded. Nemomix is really a great merge, but the Russian language is not better than the original model.

I have tried all of these models and this model is superior to all of these two models. The author doesn't seem to have realized that he accidentally created a top model for Russian-speaking users.

MarinaraSpaghetti

Owner Nov 19, 2024

This model is one of the best in RP and ERP in Russian! I am thrilled! Thank you!

I'm not sure if you are familiar with tunes in Russian, but you should try Saiga or Vikhr then, there the tokenizer is better suited for Cyrillic, and the dictionary is expanded. Nemomix is really a great merge, but the Russian language is not better than the original model.

I have tried all of these models and this model is superior to all of these two models. The author doesn't seem to have realized that he accidentally created a top model for Russian-speaking users.

Happy to read that you've been enjoying it! I only tried it in English, but now it makes me curious whether it knows Polish too. Also, *she, but don't worry about it.

abesmon

Dec 2, 2024

•

edited Dec 2, 2024

yeah, I can confirm, I run nemomix for 100+ days already for everyday use and it's really fluent in Russian. Idk how, but its really superior vikhr and saiga in every way

Vantalych

Oct 13, 2025

This model is one of the best in RP and ERP in Russian! I am thrilled! Thank you!

Вам определенно стоит попробовать модели серии Qwen3 Но оригинальные, а не дообученные на DeepSeek. Там тоже с русским языком все хорошо.

abesmon

Oct 13, 2025

This model is one of the best in RP and ERP in Russian! I am thrilled! Thank you!

Вам определенно стоит попробовать модели серии Qwen3 Но оригинальные, а не дообученные на DeepSeek. Там тоже с русским языком все хорошо.

дело не только в том как "качественно" говорит модель на русском языке, а еще и то насколько хорошо она могет в отыгрывание ролей и вообще "живо" общается. Еще ни одна opensource модель не переплюнула на русском языке по художественности Nemomix-unleashed. Все ощущаются стерильно, банально, плоско. Да, nemomix определенно не лучшая модель для логики и поддержания длинных глубоких осмысленных рассуждений, но в моменте она выдает ЛУЧШИЕ ответы

Vantalych

Oct 24, 2025

This model is one of the best in RP and ERP in Russian! I am thrilled! Thank you!

Вам определенно стоит попробовать модели серии Qwen3 Но оригинальные, а не дообученные на DeepSeek. Там тоже с русским языком все хорошо.

дело не только в том как "качественно" говорит модель на русском языке, а еще и то насколько хорошо она могет в отыгрывание ролей и вообще "живо" общается. Еще ни одна opensource модель не переплюнула на русском языке по художественности Nemomix-unleashed. Все ощущаются стерильно, банально, плоско. Да, nemomix определенно не лучшая модель для логики и поддержания длинных глубоких осмысленных рассуждений, но в моменте она выдает ЛУЧШИЕ ответы

Ну, если вы про RP, то тут надо в специализированные модели. Например Pathfinder-RP-12B-RU Это просто праздник для каких то условных настолок. Если вы про художественный руский язык, то существует еще Vikhr-Nemo-dostoevsky-saiga-12b (имхо, получше Nemomix-unleashed, хотя ей уже два года). А если вам нужно, чтобы модель банально, при отыгрывании женской роли не говорила о себе в мужском роде, то по лично моим наблюдением, как ни странно, строго придерживается половой самоидентификации только YandexGPT-5-Lite-8B-instruct. Но это уже вкусовщина. Модели-как живые люди. Идеальных нет. Каждый выбирает под себя. Мое дело посоветовать. Я ж ничего не навязываю.

Upload images, audio, and videos by dragging in the text input, pasting, or clicking here.

Tap or paste here to upload images

· Sign up or log in to comment