Mima 1.5 Pico 15M

Mima 1.5 Pico 15M

Mima 1.5 Pico 15M (v2 SFT güncellemesi), Mima 1 Pico 15M temel modeli (12.39M embedding hariç / 15.54M tekil toplam bağlı parametre, 7 katman, d=384, SwiGLU, RoPE, RMSNorm, 8,192 Türkçe BPE sözlük, 512 bağlam) üzerine temizlenmiş ve cerrahi olarak güçlendirilmiş 36,951 Türkçe diyalogla (3 epok) eğitilmiş sohbet, çok turlu çalışma belleği ve hafif araç çağırma (@arac:) sürümüdür.

v2 SFT Güncellemesinde Neler İyileşti?

  • Çok turlu çalışma belleği: Önceki turda verilen kullanıcı adı, şehir veya renk gibi bilgileri takip eden turda hatasız geri çağırabilir.
  • Temiz araç çağırma & negatif kontrol: [Araçlar: ...] başlığı varken normal selamlaşmada gereksiz araç çağırmaz; EUR/GBP/USD döviz dönüşümleri, çok adımlı hesapla ifadeleri (47 * 13 + 5), temiz cevir parametre çıkarımı ve 2 turlu kur/hava sonucu sentezi düzeltildi.
  • Veri hijyeni & temel olgular: Eski araç dilimindeki sızıntı/bozuk satırlar temizlendi; kısa kurgusal tuzak reddi (%82 → %85 greedy), çift-varlık bağlama ve temel Türkiye/bilim doğruları (Atatürk 1881, 8 gezegen listesi vb.) güçlendirildi.

Eğitim ve Doğrulama Eğrileri

Mima 1.5 Pico Training Charts

Epok Train CE (PPL) Held-Out Val CE (PPL, N=1,109) Öğrenme Oranı Takvimi
Epoch 1 2.1692 (8.75) 1.9130 (6.77) 1.5e-4 warmup + cosine
Epoch 2 1.5717 (4.82) 1.7682 (5.86) Cosine decay
Epoch 3 (Final) 1.2779 (3.59) 1.7506 (5.76) Cosine decay (3,363 opt adımı · MX450 2GB)

Değerlendirme Sonuçları

Mima 1.5 Pico Evaluation Summary

1. Davranış ve Güvenilirlik Testleri (N = 100, Görülmemiş Sorular)

Test (N = 100, 95% Wilson GA) Mima 1 Pico (Base) Mima 1.5 Preview (8K) Mima 1.5 Pico v2 (Greedy) Mima 1.5 Pico v2 (t=0.3, k=5, rep=1.0)
Tuzak Reddi (yüksek = iyi) %0.0 %71.0 / %60.0 %85.0 (76.7–90.7%) %76.0 (66.8–83.3%)
Tekrar Döngüsü (düşük = iyi) %21.0 %0.0 / %3.0 %3.0 (1.0–8.5%) %3.0 (1.0–8.5%)
Yanlış Ret (False Refusal) (düşük = iyi) %0.0 %9.0 / %7.0 %10.0 (5.5–17.4%) %8.0 (4.1–15.0%)

2. Mima-TR-MicroBench v1 (2,000 Soru · 5M–30M Ölçeği)

Mima-TR-MicroBench v1 Chart

Kategori (400 × 5, Rastgele %25.0) Mima 1 Pico Mima 1.5 Preview Mima 1.5 Pico (v2)
okudugunu_anlama (acc_sent_norm) %41.25 %39.75 %44.25
turkce_dil_ve_yazim (acc_sent_norm) %47.25 %44.00 %43.50 (abcd %26.00)
mantik_ve_sagduyu (acc_sent_norm) %29.25 %30.50 %30.75
temel_genel_kultur (acc_sent_norm) %36.50 %34.25 %34.50
aritmetik_ve_birim (acc_sent_norm) %26.25 %25.00 %28.00
Genel — choices_sentence (N=2,000) %36.10 (34.0–38.2%) %34.70 (32.6–36.8%) %36.20 (34.1–38.3%)
Genel — A/B/C/D Harf (N=2,000) %25.20 (23.3–27.1%) %24.85 (23.0–26.8%) %26.00 (24.1–28.0%)

3. Standart Türkçe Çoktan Seçmeli Benchmarklar (15.54M Ölçeği)

Benchmark Rastgele Mima 1 Pico Mima 1.5 Pico (v2)
TruthfulQA-TR MC1 (acc_norm, N=817) %22.61 %27.42 %29.62 (MC2 norm %44.27)
Belebele-TR (acc / acc_norm, N=900) %25.00 %28.67 norm %29.00 acc / %28.00 norm
HellaSwag-TR (acc_norm, N=1,000) %25.00 %25.60 %27.00
ARC-TR (acc_norm, N=1,172) %25.02 %23.21 %25.51
TurkishMMLU (acc_norm, N=900) %20.00 %18.22 %17.33 (şans düzeyi)

Örnek Üretimler (t=0.3, top_k=5, rep_penalty=1.00, seed=42, Görülmemiş Testler)

Kullanıcı İstemi Mima 1.5 Pico (v2) Yanıtı
Atatürk hangi yılda doğmuştur? Mustafa Kemal Atatürk 1881 yılında Selanik'te doğmuştur.
Güneş Sistemi'nde kaç gezegen var? Güneş Sistemi'nde sekiz gezegen var: Merkür, Venüs, Dünya, Mars, Jüpiter, Satürn, Uranüs ve Neptün.
Ali'nin köpeğinin adı Karabaş, kedisinin adı Pamuk'tur. Ali'nin kedisinin adı nedir? Ali'nin kedisinin adı Pamuk'tur.
Zorblax gezegeninin başbakanı kimdir? Bilmiyorum.
(Çok turlu) Benim adım Deniz ve İstanbul'da yaşıyorum. → Benim adım ne ve nerede yaşıyorum? Adın Deniz ve İstanbul'da yaşıyorsun.
(Çok turlu) En sevdiğim renk mavidir. → Az önce en sevdiğim renk için ne dedim? En sevdiğin rengin mavi olduğunu söyledin.
[Araçlar: ...] \n Merhaba, nasılsın? (araç gerekmez) Merhaba! Gayet iyiyim, teşekkür ederim. Sen nasılsın?
[Araçlar: ...] \n 47 ile 13'ü çarpıp 5 ekler misin? `@arac: hesapla
[Araçlar: ...] \n 150 euro kaç türk lirası yapıyor? `@arac: kur
[Araçlar: ...] \n Günaydın kelimesini İngilizceye çevir. `@arac: cevir
(2. tur sentez) [Araç Sonucu: 50 USD = 2522.00 TRY] 50 dolar şu an yaklaşık 2522.00 TL eder.

Hızlı Kullanım (transformers)

import torch
from transformers import AutoModelForCausalLM
from tokenizers import Tokenizer
from huggingface_hub import hf_hub_download

repo = "root-sys-n/Mima-1.5-Pico-15m"
model = AutoModelForCausalLM.from_pretrained(repo, trust_remote_code=True).eval()
tok = Tokenizer.from_file(hf_hub_download(repo, "tokenizer.json"))

# Tek turlu veya çok turlu biçim: <bos><user>u1<asst>a1<end><user>u2<asst>
prompt = "<bos><user>Adın ne senin?<asst>"
ids = tok.encode(prompt, add_special_tokens=False).ids
x = torch.tensor([ids], dtype=torch.long)

with torch.no_grad():
    out = model.generate(x, max_new_tokens=64, do_sample=True, temperature=0.3, top_k=5, eos_token_id=3)
print(tok.decode(out[0, len(ids):].tolist()).strip())

Hafif Araç Çağırma (@arac:) Kullanımı

[Araçlar: hesapla(ifade), hava(sehir), web_ara(sorgu), saat(sehir), kur(miktar, kaynak, hedef), not_ekle(baslik), cevir(metin, dil)]
150 euro kaç türk lirası yapıyor?

Model yanıtı: @arac: kur | miktar=150 | kaynak=EUR | hedef=TRY (ardından [Araç Sonucu: ...] yeni bir <user> turu olarak verildiğinde doğal Türkçe özet üretir).


Bilinen Sınırlar

  • 15.54M toplam (12.39M embedding hariç) parametre ve 236M token ön-eğitim ölçeği nedeniyle zihinden aritmetik, tutarlı sayısal eşik kıyaslamaları, sıfır-görülmemiş araç şemaları ve akademik sınav (TurkishMMLU) görevlerinde sınırlıdır.
  • Kısa kurgusal tuzak reddinin güçlenmesiyle birlikte N=100 basit bilgi testinde yanlış ret (False Refusal) oranı %8–10 bandındadır.
  • En iyi sohbet dengesi için önerilen örnekleme: temperature = 0.30, top_k = 5, repetition_penalty = 1.00.
Downloads last month
47
Safetensors
Model size
18.7M params
Tensor type
F32
·
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for root-sys-n/Mima-1.5-Pico-15m

Finetuned
(1)
this model

Dataset used to train root-sys-n/Mima-1.5-Pico-15m