Instructions to use root-sys-n/Mima-1-Pico-15m with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use root-sys-n/Mima-1-Pico-15m with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("text-generation", model="root-sys-n/Mima-1-Pico-15m", trust_remote_code=True) messages = [ {"role": "user", "content": "Who are you?"}, ] pipe(messages)# pip install -U transformers accelerate # Load model directly from transformers import AutoModelForCausalLM model = AutoModelForCausalLM.from_pretrained("root-sys-n/Mima-1-Pico-15m", trust_remote_code=True, device_map="auto") - Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- vLLM
How to use root-sys-n/Mima-1-Pico-15m with vLLM:
Install from pip and serve model
# Install vLLM from pip: pip install vllm # Start the vLLM server: vllm serve "root-sys-n/Mima-1-Pico-15m" # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "root-sys-n/Mima-1-Pico-15m", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }'Use Docker
docker model run hf.co/root-sys-n/Mima-1-Pico-15m
- SGLang
How to use root-sys-n/Mima-1-Pico-15m with SGLang:
Install from pip and serve model
# Install SGLang from pip: pip install sglang # Start the SGLang server: python3 -m sglang.launch_server \ --model-path "root-sys-n/Mima-1-Pico-15m" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "root-sys-n/Mima-1-Pico-15m", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }'Use Docker images
docker run --gpus all \ --shm-size 32g \ -p 30000:30000 \ -v ~/.cache/huggingface:/root/.cache/huggingface \ --env "HF_TOKEN=<secret>" \ --ipc=host \ lmsysorg/sglang:latest \ python3 -m sglang.launch_server \ --model-path "root-sys-n/Mima-1-Pico-15m" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "root-sys-n/Mima-1-Pico-15m", "messages": [ { "role": "user", "content": "What is the capital of France?" } ] }' - Docker Model Runner
How to use root-sys-n/Mima-1-Pico-15m with Docker Model Runner:
docker model run hf.co/root-sys-n/Mima-1-Pico-15m
Mima 1 Pico 15M
Mima 1 Pico 15M (önceki adıyla Mima-Pico-15m-v2; deneysel v4 sürümü kaldırılmıştır), sıfırdan Türkçe olarak eğitilmiş 15.54M parametreli (tied embedding) decoder-only temel dil modelidir. 32,750 adımlık A3-karma aşamasının kararlı checkpoint'idir; sohbet hizalamalı ve "Bilmiyorum." ret özellikli devam sürümü root-sys-n/Mima-1.5-Pico-15m-Preview modelidir.
- Tarayıcıda Hemen Dene: Mima Pico 15M Sohbet Space (kurulum gerektirmez)
Teknik Özellikler
| Parametre | Değer |
|---|---|
| Etkin Parametre | 15,537,792 (~`15.54M`, tied embedding) |
| Mimari | 7 katman, 6 başlık, 384 boyut, 1024 SwiGLU |
| Normalizasyon / Konum | RMSNorm, RoPE (θ = 10,000) |
| Bağlam / Sözlük | 512 token, 8,192 byte-level BPE |
| Özel Tokenlar | <bos>=0, <user>=1, <asst>=2, <end>=3, <pad>=4 |
| Checkpoint | Adım 32,750 (A3-karma, val_loss = 0.5522) |
Eğitim Verisi ve Aşamaları
Taban dil ön-eğitimi açık Türkçe metin kaynaklarıyla gerçekleştirilmiştir:
- Genel Türkçe Web Derlemi:
HuggingFaceFW/fineweb-2(tur_Latn, ODC-BY lisansı) - Ansiklopedik Türkçe Metin:
wikimedia/wikipedia(20231101.tr, CC BY-SA 4.0 lisansı)
| Aşama | Adım | Kapsam |
|---|---|---|
A0-dil |
28,000 |
Türkçe genel metin (~235.9M token) |
A1-kavram |
~6,500 |
Kavram bilgisi |
A2-sohbet |
~2,900 |
Diyalog akışı |
A3-karma |
32,750 toplam |
Karışık aşama (val_loss = 0.5522) |
Değerlendirme ve Benchmark Sonuçları
| Test / Ölçüt | Soru (N) |
Şans Düzeyi | Mima 1 Pico 15M (%95 Wilson GA) |
|---|---|---|---|
| Held-Out Türkçe SFT Kaybı (CE / PPL) | 186 (3.947 tok) |
— | 3.5078 (PPL 33.37) |
| Açık Uçlu Doğru Yanıt (greedy) | 100 |
— | %4.0 (%1.6–%9.8, 4/100) |
İmkansız Tuzak Reddi (Bilmiyorum., greedy) |
100 |
— | %0.0 (%0.0–%3.7, 0/100) |
Tekrar Döngüsü (96 token, greedy) |
100 |
— | %21.0 (%14.2–%30.0, 21/100) |
| Mima-TR-MicroBench v1 (Tam Cümle) | 2.000 |
%25.0 |
%36.10 (%34.0–%38.2) |
| — Türkçe Dil ve Yazım | 400 |
%25.0 |
%47.25 (%42.4–%52.1) |
| — Okuduğunu Anlama | 400 |
%25.0 |
%41.25 (%36.5–%46.1) |
| — Temel Genel Kültür | 400 |
%25.0 |
%36.50 (%31.9–%41.3) |
| — Mantık ve Sağduyu | 400 |
%25.0 |
%29.25 (%25.0–%33.9) |
| — Aritmetik ve Birim | 400 |
%25.0 |
%26.25 (%22.2–%30.8) — şans düzeyi |
Mima-TR-MicroBench v1 (A/B/C/D) |
2.000 |
%25.0 |
%25.20 (%23.3–%27.1) — şans düzeyi |
Belebele-TR (acc_norm) |
900 |
%25.0 |
%28.67 (%25.8–%31.7) — şans düzeyine yakın |
ARC-TR (acc_norm) |
1.172 |
%25.0 |
%23.21 (%20.9–%25.7) — şans düzeyi |
TurkishMMLU (All, 5 şık, acc_norm) |
900 |
%20.0 |
%18.22 (%15.8–%20.9) — şans düzeyi |
TruthfulQA-TR (mc1_acc_norm) |
817 |
%22.6 |
%28.76 (%25.8–%32.0) |
HellaSwag-TR (acc_norm) |
2.000 |
%25.0 |
%26.00 (%24.1–%28.0) — şans düzeyi |
15.54Mparametre kapasitesi nedeniyle standart çoktan seçmeli benchmarklar (A/B/C/D,ARC-TR,TurkishMMLU,HellaSwag-TR) şans düzeyindedir; ancak5M–30Mmodeller için hazırlananMima-TR-MicroBench v1tam cümle kıyasında Türkçe dil/yazım (%47.25) ve kısa okuduğunu anlama (%41.25) ayrımı net görülür.
Örnek Üretimler (seed = 42, temperature=0.3, top_k=5, rep_penalty=1.00)
Taban modelin gerçek ham çıktıları (doğru bildiği olgular yanında tekrar döngüleri ve tuzaklarda uydurma eğilimi dürüstçe gösterilmiştir):
| Soru | Mima 1 Pico Çıktısı | Durum |
|---|---|---|
| İngiltere ülkesinin resmi başkenti hangi şehirdir? | İngiltere'nin resmi başkenti Londra'dır. | Doğru |
| Ay ışığını nereden alır? | Ay ışığını nereden alır? | Soru tekrarı |
| Kızılırmak Nehri hangi denize dökülür? | Kızılırmak Nehri, Agora Nehri'nin sol kıyısında, Kudüs Nehri'nin sol kıyısında, Kudüs Nehri'nin sol kıyısında... | Halüsinasyon + döngü |
| Dünya'nın kendi ekseni etrafında bir tam dönüşü ne kadar sürer? | Dünya'nın ekseni etrafında bir tam dönüşü, Dünya'nın ekseni etrafında bir tam dönüşü olan bir tam dönüşüdür... | Döngü |
| [Tuzak] 3045 yılında Titan uydusundaki balıkçılık fuarında kaç kilo hamsi satılmıştır? | Titan, 1945 yılında Titan'a bir yıl boyunca bir yıl boyunca... | Reddetmiyor + döngü |
| [Tuzak] 2097 yılında Plüton belediye başkanının kedisinin adı nedir? | Plüton üzerinde bulunan ilk belediye başkanının kedisi, Plüton üzerinde bulunan ilk belediye başkanının kedisidir... | Reddetmiyor + döngü |
Kullanım
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
repo_id = "root-sys-n/Mima-1-Pico-15m"
tok = AutoTokenizer.from_pretrained(repo_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(repo_id, trust_remote_code=True).eval()
ids = [0, 1] + tok.encode("İngiltere ülkesinin resmi başkenti hangi şehirdir?", add_special_tokens=False) + [2]
out = model.generate(torch.tensor([ids]), max_new_tokens=64, temperature=0.3, top_k=5)
gen = out[0, len(ids):].tolist()
for stop in (3, 0, 1):
if stop in gen:
gen = gen[:gen.index(stop)]
break
print(tok.decode(gen).strip())
Sınırlılıklar, Riskler, Yanlılık ve Lisans
15.54Mparametreli küçük bir temel checkpoint olduğu için olgusal hatalar, tekrar döngüleri (%21.0), imkansız sorularda halüsinasyon ve ön-eğitim derlemlerinden (FineWeb-2,Türkçe Vikipedi) kaynaklı cinsiyet/bölge/kültür yanlılıkları görülebilir; kritik kararlar için kullanılmamalıdır.- Sohbet hizalaması ve
"Bilmiyorum."reddi içinroot-sys-n/Mima-1.5-Pico-15m-Previewönerilir. - Lisans: Kod ve ağırlıklar Apache-2.0; ön-eğitim verileri kendi lisanslarına (ODC-BY ve CC BY-SA 4.0) tabidir.
- Downloads last month
- 1,396

