Instructions to use TozAI/Toz-1 with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use TozAI/Toz-1 with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="TozAI/Toz-1")
messages = [
    {"role": "user", "content": "Who are you?"},
]
pipe(messages)

# pip install -U transformers accelerate
# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("TozAI/Toz-1")
model = AutoModelForCausalLM.from_pretrained("TozAI/Toz-1", device_map="auto")
messages = [
    {"role": "user", "content": "Who are you?"},
]
inputs = tokenizer.apply_chat_template(
	messages,
	add_generation_prompt=True,
	tokenize=True,
	return_dict=True,
	return_tensors="pt",
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=256)
print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:]))

Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use TozAI/Toz-1 with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "TozAI/Toz-1"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "TozAI/Toz-1",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/TozAI/Toz-1

SGLang

How to use TozAI/Toz-1 with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "TozAI/Toz-1" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "TozAI/Toz-1",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "TozAI/Toz-1" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "TozAI/Toz-1",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Docker Model Runner
How to use TozAI/Toz-1 with Docker Model Runner:
```
docker model run hf.co/TozAI/Toz-1
```

Ahmetemiiii2 commited on 15 days ago

Commit

c32e1f7

verified ·

1 Parent(s): 120cf88

Model kartı: v2 yer tutucuları ve dataset adı düzeltildi

Browse files

<<DOLDUR>> hücreleri 'ölçülüyor' yapıldı (v2 ölçümleri sürüyor). datasets: listesindeki erişilemeyen kilicai/turkish-ft-balanced-200k, metinde anlatılan kilicai/turkish-sft-clean-v5-strict-pruned ile değiştirildi.

Files changed (1) hide show

README.md +10 -10

README.md CHANGED Viewed

@@ -7,7 +7,7 @@ pipeline_tag: text-generation
 base_model: TozAI/Toz-1-Base
 datasets:
 - TozAI/Toz-1-SFT
-- kilicai/turkish-ft-balanced-200k
 tags:
 - turkish
 - türkçe
@@ -115,9 +115,9 @@ olasılığı karşılaştırılarak ölçüldü. Karşılaştırma için ufakze
 | benchmark | şans | Töz-1 v2 | Töz-1 v1 | Töz-1-Base | ufakzeka-1-base |
 |---|---|---|---|---|---|
-| **TurBLiMP** — Türkçe dilbilgisi, 16 konu × 1.000 cümle çifti | %50 | <<DOLDUR: v2 TurBLiMP>> | %91.2 | **%93.2** | %92.0 |
-| **Turkish MMLU** — alibayram/turkish_mmlu, 6.200 sınav sorusu, 5 şık (cloze, uzunluk normalize) | %20 | <<DOLDUR: v2 cloze_norm>> | %24.1 | %25.0 | — |
-| Turkish MMLU — aynı set, şık harfi (A–E) | %20 | <<DOLDUR: v2 harf>> | %20.5 | %21.1 | — |
 * TurBLiMP'te Töz-1-Base, 13.5B tokenla eğitilmiş ufakzeka-1-base'in (151M) önünde; Töz-1 4.42B
   tokenla eğitildi. Dilbilgisi az veriyle doyan bir yetenek; dünya bilgisi gerektiren testlerde
@@ -125,7 +125,7 @@ olasılığı karşılaştırılarak ölçüldü. Karşılaştırma için ufakze
 * Turkish MMLU (KPSS, TUS, ALES vb.) 195M bir model için çok zor: sonuç şansın üstünde
   (6.200 soruda ±0.5 puan gürültü) ama düşük. Şık harfi biçimi küçük modellerde şans
   seviyesinde kalır. ufakzeka-1 bu seti bizim scriptimizle ölçülmediği için "—".
-* SFT bilgi testinde (MMLU) skoru korudu: v2'deki 9.000 sohbet örneği de modelin bilgisini bozmadı.
 ### Kendi donuk setlerimiz
@@ -134,11 +134,11 @@ Eğitimde hiç görülmeyen, modelin öğrenmesini istediğimiz davranışları
 | set | ne ölçüyor | Töz-1 v2 | Töz-1 v1 |
 |---|---|---|---|
-| matematik (305) | tek basamaklı işlemler, eğitimde olmayan soru kalıplarıyla | <<DOLDUR: v2 matematik>> | %99.7 |
-| kısıt (230) | talimat takibi (IFEval tarzı): biçim / tam doğru | <<DOLDUR: v2 kısıt biçim / tam>> | %75.2 / %40.4 |
-| tanım (90) | ham modelin bildiği ama SFT'de görmediği varlıklarda doğru kategori | <<DOLDUR: v2 tanım>> | %25.6 |
-Tek bir eğitim koşusunun rastgeleliği bu küçük setlerde ±3–4 puan oynatabiliyor.
 ## Eğitim
@@ -151,7 +151,7 @@ Tek bir eğitim koşusunun rastgeleliği bu küçük setlerde ±3–4 puan oynat
 * Donanım: Kaggle 2× Tesla T4 ve tek bir RTX 3060 Ti (8 GB)
 **SFT (v2)**
-* <<DOLDUR: toplam örnek sayısı, eğitim logundaki "toplam" satırı>> örnek, 3 epoch, lr 1e-4 (kosinüs),
   kayıp yalnızca cevap tokenlarında, tek RTX 3060 Ti
 * **Kodla üretilen veri** (v1'den): kimlik, sohbet, bilgi, takip soruları, talimat kısıtları,
   tek basamaklı matematik (v2'de 1.000 örnek azaltıldı), Vikipedi tanımları. Vikipedi tanımları

 base_model: TozAI/Toz-1-Base
 datasets:
 - TozAI/Toz-1-SFT
+- kilicai/turkish-sft-clean-v5-strict-pruned
 tags:
 - turkish
 - türkçe
 | benchmark | şans | Töz-1 v2 | Töz-1 v1 | Töz-1-Base | ufakzeka-1-base |
 |---|---|---|---|---|---|
+| **TurBLiMP** — Türkçe dilbilgisi, 16 konu × 1.000 cümle çifti | %50 | ölçülüyor | %91.2 | **%93.2** | %92.0 |
+| **Turkish MMLU** — alibayram/turkish_mmlu, 6.200 sınav sorusu, 5 şık (cloze, uzunluk normalize) | %20 | ölçülüyor | %24.1 | %25.0 | — |
+| Turkish MMLU — aynı set, şık harfi (A–E) | %20 | ölçülüyor | %20.5 | %21.1 | — |
 * TurBLiMP'te Töz-1-Base, 13.5B tokenla eğitilmiş ufakzeka-1-base'in (151M) önünde; Töz-1 4.42B
   tokenla eğitildi. Dilbilgisi az veriyle doyan bir yetenek; dünya bilgisi gerektiren testlerde
 * Turkish MMLU (KPSS, TUS, ALES vb.) 195M bir model için çok zor: sonuç şansın üstünde
   (6.200 soruda ±0.5 puan gürültü) ama düşük. Şık harfi biçimi küçük modellerde şans
   seviyesinde kalır. ufakzeka-1 bu seti bizim scriptimizle ölçülmediği için "—".
+* v1'de SFT, bilgi testindeki (MMLU) skoru büyük ölçüde korudu. v2 sütunu ölçümler bitince doldurulacak.
 ### Kendi donuk setlerimiz
 | set | ne ölçüyor | Töz-1 v2 | Töz-1 v1 |
 |---|---|---|---|
+| matematik (305) | tek basamaklı işlemler, eğitimde olmayan soru kalıplarıyla | ölçülüyor | %99.7 |
+| kısıt (230) | talimat takibi (IFEval tarzı): biçim / tam doğru | ölçülüyor | %75.2 / %40.4 |
+| tanım (90) | ham modelin bildiği ama SFT'de görmediği varlıklarda doğru kategori | ölçülüyor | %25.6 |
+Tek bir eğitim koşusunun rastgeleliği bu küçük setlerde ±3–4 puan oynatabiliyor. v2 ölçümleri sürüyor.
 ## Eğitim
 * Donanım: Kaggle 2× Tesla T4 ve tek bir RTX 3060 Ti (8 GB)
 **SFT (v2)**
+* v1 verisi (matematik 1.000 örnek azaltılmış) + ~9.000 sohbet örneği, 3 epoch, lr 1e-4 (kosinüs),
   kayıp yalnızca cevap tokenlarında, tek RTX 3060 Ti
 * **Kodla üretilen veri** (v1'den): kimlik, sohbet, bilgi, takip soruları, talimat kısıtları,
   tek basamaklı matematik (v2'de 1.000 örnek azaltıldı), Vikipedi tanımları. Vikipedi tanımları