Instructions to use webbrain-one/ling3-tr-tiny-pruned-hukuk-GGUF with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Notebooks
Google Colab
Kaggle
Local Apps Settings

How to use webbrain-one/ling3-tr-tiny-pruned-hukuk-GGUF with llama.cpp:

Install (macOS, Linux)

curl -LsSf https://llama.app/install.sh | sh
# Start a local OpenAI-compatible server with a web UI:
llama serve -hf webbrain-one/ling3-tr-tiny-pruned-hukuk-GGUF:IQ4_NL
# Run inference directly in the terminal:
llama cli -hf webbrain-one/ling3-tr-tiny-pruned-hukuk-GGUF:IQ4_NL

Install from WinGet (Windows)

winget install llama.cpp
# Start a local OpenAI-compatible server with a web UI:
llama serve -hf webbrain-one/ling3-tr-tiny-pruned-hukuk-GGUF:IQ4_NL
# Run inference directly in the terminal:
llama cli -hf webbrain-one/ling3-tr-tiny-pruned-hukuk-GGUF:IQ4_NL

Build from source code

git clone https://github.com/ggml-org/llama.cpp.git
cd llama.cpp
cmake -B build
cmake --build build -j --target llama-app
# Start a local OpenAI-compatible server with a web UI:
./build/bin/llama serve -hf webbrain-one/ling3-tr-tiny-pruned-hukuk-GGUF:IQ4_NL
# Run inference directly in the terminal:
./build/bin/llama cli -hf webbrain-one/ling3-tr-tiny-pruned-hukuk-GGUF:IQ4_NL

Use Docker

docker model run hf.co/webbrain-one/ling3-tr-tiny-pruned-hukuk-GGUF:IQ4_NL

Llama new
LM Studio
Jan
Ollama
How to use webbrain-one/ling3-tr-tiny-pruned-hukuk-GGUF with Ollama:
```
ollama run hf.co/webbrain-one/ling3-tr-tiny-pruned-hukuk-GGUF:IQ4_NL
```
Unsloth Desktop

How to use webbrain-one/ling3-tr-tiny-pruned-hukuk-GGUF with Pi:

Start the llama.cpp server

# Install llama.cpp:
brew install llama.cpp
# Start a local OpenAI-compatible server:
llama serve -hf webbrain-one/ling3-tr-tiny-pruned-hukuk-GGUF:IQ4_NL

Configure the model in Pi

# Install Pi:
npm install -g @earendil-works/pi-coding-agent
# Add to ~/.pi/agent/models.json:
{
  "providers": {
    "llama-cpp": {
      "baseUrl": "http://localhost:8080/v1",
      "api": "openai-completions",
      "apiKey": "none",
      "models": [
        {
          "id": "webbrain-one/ling3-tr-tiny-pruned-hukuk-GGUF:IQ4_NL"
        }
      ]
    }
  }
}

Run Pi

# Start Pi in your project directory:
pi

Docker Model Runner
How to use webbrain-one/ling3-tr-tiny-pruned-hukuk-GGUF with Docker Model Runner:
```
docker model run hf.co/webbrain-one/ling3-tr-tiny-pruned-hukuk-GGUF:IQ4_NL
```

Lemonade

How to use webbrain-one/ling3-tr-tiny-pruned-hukuk-GGUF with Lemonade:

Pull the model

# Download Lemonade from https://lemonade-server.ai/
lemonade pull webbrain-one/ling3-tr-tiny-pruned-hukuk-GGUF:IQ4_NL

Run and chat with the model

lemonade run user.ling3-tr-tiny-pruned-hukuk-GGUF-IQ4_NL

List all available models

lemonade list

Hermes Agent

How to use webbrain-one/ling3-tr-tiny-pruned-hukuk-GGUF with Hermes Agent:

Start the llama.cpp server

# Install llama.cpp:
brew install llama.cpp
# Start a local OpenAI-compatible server:
llama serve -hf webbrain-one/ling3-tr-tiny-pruned-hukuk-GGUF:IQ4_NL

Configure Hermes

# Install Hermes:
curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash
hermes setup
# Point Hermes at the local server:
hermes config set model.provider custom
hermes config set model.base_url http://127.0.0.1:8080/v1
hermes config set model.default webbrain-one/ling3-tr-tiny-pruned-hukuk-GGUF:IQ4_NL

Run Hermes

hermes

Atomic Chat

OpenClaw

How to use webbrain-one/ling3-tr-tiny-pruned-hukuk-GGUF with OpenClaw:

Start the llama.cpp server

# Install llama.cpp:
brew install llama.cpp
# Start a local OpenAI-compatible server:
llama serve -hf webbrain-one/ling3-tr-tiny-pruned-hukuk-GGUF:IQ4_NL

Configure OpenClaw

# Install OpenClaw:
npm install -g openclaw@latest
# Register the local server and set it as the default model:
openclaw onboard --non-interactive --mode local \
  --auth-choice custom-api-key \
  --custom-base-url http://127.0.0.1:8080/v1 \
  --custom-model-id "webbrain-one/ling3-tr-tiny-pruned-hukuk-GGUF:IQ4_NL" \
  --custom-provider-id llama-cpp \
  --custom-compatibility openai \
  --custom-text-input \
  --accept-risk \
  --skip-health

Run OpenClaw

openclaw agent --local --agent main --message "Hello from Hugging Face"

YAML Metadata Warning:empty or missing yaml metadata in repo card

Check out the documentation for more information.

license: other

license_name: proprietary-private

language:

base_model: webbrain-one/ling3-turkish-tiny-pruned

tags:

turkish
law
hukuk
ling
bailing_hybrid
pruned
gguf
imatrix
iq4_xs
iq4_nl

private: true

Ling3-TR-Tiny-Pruned-Hukuk (GGUF)

Özel Mülkiyet ve Lisans Bildirimi (Proprietary / All Rights Reserved)

LİSANS: proprietary-private (license: other)

Bu model, budanmış mimarisi (80 Experts), fine-tuning ağırlıkları, GGUF kuantalama dosyaları (IQ4_XS, IQ4_NL) ve kalibrasyon matrisi (imatrix_tr_hukuk.dat) tamamen Özel Mülkiyet (Private / Proprietary) kapsamındadır. Tüm hakları saklıdır (All Rights Reserved).

Model sahibinin (webbrain-one) yazılı ve açık izni olmaksızın bu modelin veya türevlerinin kopyalanması, dağıtılması, üçüncü kişilerle paylaşılması, ticari veya açık kaynaklı ortamlarda yeniden yayınlanması kesinlikle yasaktır.

Dosyalar

ling3-tr-tiny-pruned-hukuk-IQ4_XS.gguf (2.90 GB)
ling3-tr-tiny-pruned-hukuk-IQ4_NL.gguf (3.05 GB)
imatrix_tr_hukuk.dat (Türkçe hukuk kalibrasyonlu importance matrix)
eval_results.json

Model Özeti

Baz Model: webbrain-one/ling3-turkish-tiny-pruned (inclusionAI/Ling-3.0-tiny → Türkçe REAP budama, 128 → 80 uzman/katman, Türkçe heal)
Mimari: BailingMoeV3 — 24 katman (18 Kimi Delta Attention + 6 MLA), 80 yönlendirilen uzman (top-8) + 1 paylaşımlı uzman, 256K bağlam
Eğitim verisi: 61223 SFT örneği (eval: 800):
- Kaynak dağılımı: {"ctnkya-law-corpus articles": 2933, "mevzuattr-instruct-14k": 13869, "orioncaf-law-qa": 17826, "court-decisions-bucket": 12078, "renicames-law-chatbot (case-fixed)": 2943, "ctnkya-law-qa": 4732, "sinanelms-hukukisorular": 5831, "tkgm-esya-hukuku (dedup)": 914, "veripazari-kvkk": 97}
- webbrain-one/turkish-court-decisions-bucket (11.045.085 karar) korpusundan Yargıtay, Danıştay, UYAP Emsal,
  
  AYM bireysel başvuru ve norm denetimi kararları üzerinde metne dayalı görevler: {"ozet": 725, "hukum": 5893, "kunye": 4283, "konu": 2020, "atif": 1079}
  
  (künye çıkarma, hüküm/sonuç, dava konusu/suç/istem özeti, atıf yapılan mevzuat, yapılandırılmış özet —
  
  tüm cevaplar karar metninden deterministik olarak çıkarıldı, uydurma yok)
- Not: Gemma tarifindeki fmg19/turkish-law-dataset, anilkay/turkish-law-chatbot-qna, musabg/turkish-constitution-qa
  
  Hugging Face'ten kaldırıldığı için yerlerine sinanelms/hukukisorular, Renicames/turkish-law-chatbot ve
  
  CtnkyaABC/turkish-law-corpus (qa) kullanıldı; emregundogdu0/Ceza_Hukuku_DataSet kullanılmadı.
Dekontaminasyon: benchmark cümlelerini içeren tüm eğitim/kalibrasyon örnekleri çıkarıldı ({'sft_hukuk': 1733, 'sft_heal': 0, 'calib_prune': 15, 'ppl_legal': 20, 'imatrix_text': 25}).
Hiperparametreler: LoRA r=32, α=32, dropout 0, all-linear + uzman başına LoRA, BF16, lr 1e-4, cosine, warmup %3,

AdamW 8-bit, 1 epoch (768 adım), maks. dizi 4096, yalnızca asistan token'larında kayıp.
Kayıp: ilk 1.442 → son 1.08989 (eval 1.0629)

Benchmark (`turkhukuk/hukukbert-cloze-benchmark`, 750 soru, eğitimde yok)

| | Eğitim öncesi (budanmış+heal) | Eğitim sonrası (hukuk) |

|---|---|---|

| Cloze doğruluk | %37.6 | %50.8 |

| Cloze (uzunluk-normalize) | %38.0 | %49.3 |

| Sohbet formatı MCQ | %49.7 | %62.7 |

|---|---|---|---|---|---|---|---|---|---|

| Ling-3.0-tiny (orijinal) | 7.893B | 15.51 | 15.96 | 6.85 | 2.19 | 2.56 | %36.3 | %38.0 | %46.3 |

| Budanmış + heal | 5.287B | 13.33 | 13.23 | 5.29 | 1.96 | 2.03 | %37.6 | %38.0 | %49.7 |

| Budanmış + heal + hukuk | 5.287B | 14.33 | 8.91 | 4.76 | 2.12 | 2.31 | %50.8 | %49.3 | %62.7 |

Kalite uyarısı: Bu, token başına 1.3B aktif parametreli küçük bir modeldir. hukukbert benchmark'ında belirgin

iyileşme sağlasa da serbest metin yanıtlarında kanun maddesi, karar künyesi veya hüküm uydurabilir; çıktılar hukuki

görüş yerine geçmez ve mutlaka birincil kaynaktan doğrulanmalıdır. Düşük sıcaklıkta (≤0.6) tekrar döngüsü görülebilir;

önerilen örnekleme ayarlarını kullanın (gerekirse --repeat-penalty 1.1).

TRLawBench (97 Resmi ÖSYM Hukuk Sorusu: HMGS, İYÖS, Adli/İdari Yargı)

saidsurucu/TRLawBench üzerinde gerçekleştirilen kafa kafaya benchmark sonuçları:

Model / Sürüm	Format	Toplam Doğru	Başarı (%)	Hız (sn/soru)	Disk Boyutu	VRAM
Ling-3.0-tiny (Base Referans)	`IQ4_XS`	31 / 97	%31.96	0.133 s	4.08 GB	4.57 GB
Ling-3.0-tiny (Base Referans)	`Q4_K_M`	31 / 97	%31.96	0.772 s	4.49 GB	~5.0 GB
ling3-tr-tiny-pruned-hukuk 🇹🇷	`IQ4_XS`	30 / 97	%30.93	0.156 s 🚀	2.70 GB	3.18 GB 🚀
ling3-tr-tiny-pruned-hukuk	`IQ4_NL`	29 / 97	%29.90	0.233 s	2.84 GB	~3.3 GB

Kategori Dağılımı (`IQ4_XS`):

Adli Yargı (52 Soru): 18 / 52 (%34.62)
İdari Yargı / İYÖS (32 Soru): 11 / 32 (%34.38) (Base Ling'in %31.25'ini geçmiştir)
HMGS (10 Soru): 1 / 10 (%10.00)
Avukatlık Sınavı (3 Soru): 0 / 3 (%0.00)

Mühendislik Notu: IQ4_XS versiyonu, 4.08 GB'lık Base Ling modeline kıyasla %34 daha küçük disk (2.70 GB) ve %30 daha az VRAM (3.18 GB) harcamasına rağmen taban modelin yalnızca 1 soru gerisindedir ve İdari Yargı testinde taban modeli geride bırakmıştır.

Çalıştırma (`llama.cpp`)


# IQ4_XS

./llama-cli -m ling3-tr-tiny-pruned-hukuk-IQ4_XS.gguf -ngl 99 -c 8192 --jinja \

  --temp 1.0 --top-p 0.95 --top-k 20 \

  -sys "Sen Türk hukuku alanında uzman, profesyonel bir hukuk asistanısın. detailed thinking off"



# IQ4_NL

./llama-cli -m ling3-tr-tiny-pruned-hukuk-IQ4_NL.gguf -ngl 99 -c 8192 --jinja \

  --temp 1.0 --top-p 0.95 --top-k 20 \

  -sys "Sen Türk hukuku alanında uzman, profesyonel bir hukuk asistanısın. detailed thinking off"



# OpenAI uyumlu sunucu

./llama-server -m ling3-tr-tiny-pruned-hukuk-IQ4_XS.gguf -ngl 99 -c 8192 --jinja --port 8080

Not: Ling-3.0 için önerilen örnekleme temperature 1.0, top_p 0.95, top_k 20'dir (Gemma'daki top_k 64 yerine).

Düşünme modunu kapatmak için sistem mesajına detailed thinking off ekleyin ya da sunucuda

"chat_template_kwargs": {"enable_thinking": false} kullanın. GGUF desteği: llama.cpp bailingmoe3 mimarisi (b10472+).

GGUF perplexity (ayrılmış Türkçe hukuk metni, c=1024):


ling3-tr-tiny-pruned-hukuk-BF16.gguf: PPL = 8.4613 +/- 0.10948

ling3-tr-tiny-pruned-hukuk-IQ4_XS.gguf: PPL = 8.7959 +/- 0.11400

ling3-tr-tiny-pruned-hukuk-IQ4_NL.gguf: PPL = 8.8018 +/- 0.11411

⚠️ Teknik not — upstream nedensel maske (causal mask) hatası ve düzeltmesi

inclusionAI/Ling-3.0-tiny uzak kodunda (modeling_bailing_moe_v3.py) 6 MLA katmanı her zaman eager_attention_forward

çağırır; bu fonksiyon maskeyi yalnızca bir maske tensörü verilirse uygular. Varsayılan attn_implementation="sdpa" ile

model maskeyi _prepare_4d_causal_attention_mask_for_sdpa ile hazırlar; bu fonksiyon dolgu (padding) içermeyen girdilerde

SDPA'nın is_causal bayrağına güvenip None döndürür → MLA katmanları prefill, eğitim ve perplexity ölçümünde

gelecekteki token'ları görür (KDA katmanları etkilenmez; llama.cpp/GGUF, vLLM ve SGLang zaten nedenseldir).

Baz model reposundaki (webbrain-one/ling3-turkish-tiny-pruned) modeling_bailing_moe_v3.py düzeltilmiştir: maske verilmediğinde ve q_len > 1 iken nedensel maske

uygulanır (varsayılan sdpa ile ve eager ile birebir aynı perplexity; nedensellik testi geçti). Orijinal Ling-3.0-tiny

kodunu kullananlar için attn_implementation="eager" güvenli geçici çözümdür.
GGUF dosyaları bu hatadan etkilenmez (llama.cpp her zaman nedensel dikkat uygular); llama.cpp ile yukarıdaki PPL'ler tutarlıdır.
Eğitimde mikro-batch'lerin neredeyse tamamı dolgu içerdiğinden maske doğruydu: heal eğitiminde 509 mikro-batch'in 1'i (token'ların %0.12'si),

hukuk eğitiminde 2285 mikro-batch'in 13'i (token'ların %0.60'si) sızıntılıydı — ağırlıklar fiilen nedensel eğitildi.
Bu karttaki tüm sayılar düzeltilmiş (nedensel) kodla yeniden ölçüldü. Düzeltme öncesi yayımlanan genel/hukuk PPL

değerleri uzun, dolgusuz belgelerde sızıntı nedeniyle yapay olarak düşüktü; hukukbert cloze/MCQ ile sohbet/kod/matematik

PPL'leri etkilenmemişti (yeniden ölçümde birebir aynı çıktı). Düzeltme öncesi sonuçlar eval_results.json → causal_mask_fix altında saklıdır.

Üçüncü Taraf Bildirimi

Bu çalışma, MIT lisanslı inclusionAI/Ling-3.0-tiny modelinden türetilmiştir. MIT lisansı gereği orijinal telif ve izin bildirimi:


MIT License — Copyright (c) inclusionAI (Ling-3.0-tiny)

Permission is hereby granted, free of charge, to any person obtaining a copy of this software and associated

documentation files (the "Software"), to deal in the Software without restriction, including without limitation

the rights to use, copy, modify, merge, publish, distribute, sublicense, and/or sell copies of the Software, and to

permit persons to whom the Software is furnished to do so, subject to the following conditions:

The above copyright notice and this permission notice shall be included in all copies or substantial portions of

the Software.

THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR IMPLIED.

📊 Karşılaştırmalı Türk Hukuku Benchmark Sonuçları

Aşağıdaki tablolar, Türkiye Mahkeme Kararları Korpusu (11 Milyon Belge) ve Türk Hukuku Mevzuatı (v2) ile eğitilen modellerimizin hem resmi ÖSYM kariyer sınavları (97 Soru: Adli Yargı, İdari Yargı, HMGS, Avukatlık Sınavı) hem de 750 Soruluk Mevzuat & Emsal Karar Cloze Testi üzerindeki performansını göstermektedir:

1. Resmi ÖSYM TRLawBench Başarısı (97 Soru)

| :---: | :--- | :---: | :---: | :---: | :---: | :---: | :---: |

| 🥇 | Qwen 3.8 27B | 27B Dense (UD-Q4_K_M) | Doğrudan (Düz) | 55 / 97 | %56.70 | 0.44 s | 15.33 GB |

| 🥈 | MiniCPM-V 4.7 35B-A3B | 35B MoE (IQ4_NL A3.6B) | Doğrudan (Düz) | 51 / 97 | %52.58 | 0.26 s | 18.42 GB |

| 🥉 | Ternary-Bonsai-2-27B ⚡ | 27B Ternary (PQ2_0 2.13bpw) | Doğrudan (Düz) | 49 / 97 | %50.52 | 0.83 s | 6.71 GB |

| 4 | Gemma-4-12B-it (Base) 🌟 | 12B Dense (Q4_K_M) | Doğrudan (Düz) | 44 / 97 | %45.36 | 0.76 s | 6.63 GB |

| 5 | Qwen 3.5 9B (Base) 🚀 | 9B Dense (Q4_K_M) | Doğrudan (Düz) | 43 / 97 | %44.33 | 0.64 s | 5.29 GB |

| 6 | Gemma-4 TR-Hukuk v2 (Pruned) 🇹🇷 | 20.2B MoE (IQ4_NL A3.2B) | Doğrudan (Düz) | 38 / 97 | %39.18 | 0.23 s | 10.92 GB |

| 7 | Ling-3.0-tiny (Base) ⚡ | 7.9B MoE (Q4_K_M A1.3B) | Doğrudan (Düz) | 31 / 97 | %31.96 | 0.77 s | 4.49 GB |

| 8 | ling3-tr-tiny-pruned-hukuk 🇹🇷 | Pruned MoE (IQ4_NL) | Doğrudan (Düz) | 29 / 97 | %29.90 | 0.23 s | 2.84 GB |

| 9 | Ternary-Bonsai-2-9B ⚡ | 9B Ternary (PQ2_0 2.13bpw) | Doğrudan (Düz) | 29 / 97 | %29.90 | 0.38 s | 2.25 GB |

| 10 | Qwen 3.5 9B Fine-Tuned 🇹🇷 | 9B Dense (Native BF16 / MLX / GGUF) | Reasoning ON | 10 / 97* | %10.31 | 18.10 s | 5.35 GB |

*Not: Qwen 3.5 9B Fine-Tuned modeli 47 bin emsal karar ile eğitilmiş olup çoktan seçmeli sorularda salt şık işaretlemek yerine derin hukuki gerekçe yazma eğilimindedir (<think>). 384 token kısıtlamasında kapsamlı gerekçesini tamamlayamadan kesildiğinden nihai şık harfine varamamaktadır.

2. Türk Hukuku Mevzuat & Terminoloji Hakimiyeti (Held-out 750 Soru Cloze Testi)

Modellerin kanun maddesi tamamlama ve hukuki kavram doğruluğu (turkhukuk/hukukbert-cloze-benchmark):

| :--- | :---: | :---: | :---: |

| Qwen 3.5 9B Türkçe Hukuk 🚀 | %41.87 (314 / 750) | %47.47 (356 / 750) | +5.60 puan (+42 Soru) |

| Gemma-4 26B-A4B Pruned Hukuk v2 | %27.60 (207 / 750) | %30.40 (228 / 750) | +2.80 puan (+21 Soru) |

Downloads last month: 159

GGUF

Model size

5B params

Architecture

bailingmoe3

Hardware compatibility

4-bit

Inference Providers NEW

This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Ling3-TR-Tiny-Pruned-Hukuk (GGUF)

Özel Mülkiyet ve Lisans Bildirimi (Proprietary / All Rights Reserved)

Dosyalar

Model Özeti

Benchmark (turkhukuk/hukukbert-cloze-benchmark, 750 soru, eğitimde yok)

TRLawBench (97 Resmi ÖSYM Hukuk Sorusu: HMGS, İYÖS, Adli/İdari Yargı)

Kategori Dağılımı (IQ4_XS):

Çalıştırma (llama.cpp)

⚠️ Teknik not — upstream nedensel maske (causal mask) hatası ve düzeltmesi

Üçüncü Taraf Bildirimi

📊 Karşılaştırmalı Türk Hukuku Benchmark Sonuçları

1. Resmi ÖSYM TRLawBench Başarısı (97 Soru)

2. Türk Hukuku Mevzuat & Terminoloji Hakimiyeti (Held-out 750 Soru Cloze Testi)

Benchmark (`turkhukuk/hukukbert-cloze-benchmark`, 750 soru, eğitimde yok)

Kategori Dağılımı (`IQ4_XS`):

Çalıştırma (`llama.cpp`)