ModernUzBERT-small: Zamonaviy Oʻzbek Tili Katta Til Modeli

ModernUzBERT-small — oʻzbek tili uchun maxsus noldan (pre-trained from scratch) oʻqitilgan, zamonaviy ModernBERT arxitekturasiga asoslangan ikki yoʻnalishli (bidirectional encoder) til modeli. Model oʻzbek tili grammatikasi, boy agglyutinativ morfologiyasi va kontekstual semantikasini chuqur tushunishga moʻljallangan.


🚀 Model Xususiyatlari

  • Arxitektura: ModernBERT (Rotary Positional Embeddings - RoPE, GeGLU aktivatsiya funksiyasi, Unpadding mexanizmi).
  • Parametrlar soni: 53.7 Million (yengil, tezkor va CPU/GPU resurslarini tejovchi).
  • Qatlamlar va oʻlcham: 6 ta Transformer qatlami, 512 yashirin oʻlcham (hidden size), 8 ta attention boshlari.
  • Kontekst uzunligi: 8,192 token (klassik BERTning 512 chegarasidan 16 barobar uzunroq kontekstni toʻliq qamrab oladi).
  • Lugʻat hajmi (Vocab): 52,032 ta oʻzbek tili uchun optimallashtirilgan Byte-Level BPE tokenlari.
  • Oʻqitish hajmi: ~560 Million dinamik niqoblangan tokenlar (MLM, 5 toʻliq epoxa).

📊 Baholash Natijalari (Evaluation Metrics)

Model oʻqitish jarayonida koʻrilmagan mustaqil test va validatsiya toʻplamlarida sinovdan oʻtkazildi:

Metrika Qiymat Izoh
Test Perplexity (PPL) 15.77 Matn bashorati aniqligi yuqori darajada
Validation Perplexity (PPL) 16.46 Modelda overfitting kuzatilmadi
MLM Top-1 Aniqlik 51.51% 52,000 ta soʻz ichidan aniq topish koʻrsatkichi
Test Loss 2.7582 Barqaror konvergensiya
Oʻquv Loss (Train) 2.5330 Dastlabki 10.925 dan 2.533 gacha pasaygan

Sifat tahlili (Zero-shot Knowledge Probing):

  • Alisher Navoiy buyuk oʻzbek[MASK]. rightarrow shoiri (48.39%), yozuvchisi (18.92%), adibi (4.36%)
  • Oʻzbekiston poytaxti[MASK].rightarrow Toshkent (39.93%)
  • Amir Temur buyuk davlat[MASK]. rightarrowarbobi (35.37%), rahbari (7.07%)
  • Samarqand — qadimiy[MASK].rightarrowshahar (38.91%)
  • Oʻzbekiston mustaqillikka[MASK].rightarrowerishdi (27.27%)
  • Bugun Toshkentda havo juda[MASK].rightarrowsovuq (36.80%), issiq (17.28%), iliq (15.38%)

💻 Foydalanish (Usage)

Modelni Hugging Face transformers kutubxonasi orqali osongina yuklab olish va ishlatish mumkin:

1. pipeline yordamida tezkor sinov (Masked LM):

Eslatma: Byte-Level BPE tokenizatsiyasida har bir toʻliq soʻz boshidagi boʻsh joy (probel) bilan birga saqlanadi. Shuning uchun niqoblangan soʻz oʻrniga [MASK] yoziladi (yoki avtomatik tozalash funksiyasi qoʻllaniladi):

import re
from transformers import pipeline

mask_filler = pipeline("fill-mask", model="Orzumurod/ModernUzBERT-small")

def predict(sentence):
    # Probel va tutuq belgilarini BPE formatiga moslashtirish
    clean = re.sub(r'\s+\[MASK\]', '[MASK]', sentence)
    clean = clean.replace("o'", "oʻ").replace("g'", "gʻ")
    return mask_filler(clean)

results = predict("Alisher Navoiy buyuk oʻzbek [MASK].")
for res in results[:3]:
    print(f"Soʻz: {res['token_str'].strip():<15} Ehtimollik: {res['score']*100:.2f}%")

2. PyTorch va AutoModel orqali matn vektorlarini (embeddings) olish:

import torch
from transformers import AutoTokenizer, AutoModel

model_id = "Orzumurod/ModernUzBERT-small"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModel.from_pretrained(model_id)

text = "Sunʼiy intellekt va tabiiy tilni qayta ishlash texnologiyalari jadal rivojlanmoqda."
inputs = tokenizer(text, return_tensors="pt")

with torch.no_grad():
    outputs = model(**inputs)
    # [batch_size, sequence_length, hidden_size]
    last_hidden_state = outputs.last_hidden_state
    # Matn sathi bo'yicha o'rtacha vektor (Mean Pooling)
    text_embedding = last_hidden_state.mean(dim=1)

print("Vektor shakli:", text_embedding.shape)

🎯 Quyi Vazifalar Uchun (Fine-Tuning)

ModernUzBERT-small quyidagi Oʻzbek tili NLP vazifalari uchun mustahkam poydevor hisoblanadi:

  • Matn klassifikatsiyasi va sentiment tahlili (Sharhlar, yangiliklar va ijtimoiy tarmoq fikrlarini tasniflash);
  • Nomlangan mohiyatlarni aniqlash (NER) (Shaxs, tashkilot va toponimlarni ajratish);
  • Savol-javob tizimlari (QA) va semantik qidiruv;
  • Semantik oʻxshashlikni baholash.

📜 Litsenziya

Model Apache-2.0 litsenziyasi ostida ochiq manba sifatida taqdim etiladi. Tijoriy va ilmiy maqsadlarda erkin foydalanish mumkin.

Downloads last month
72
Safetensors
Model size
53.7M params
Tensor type
F32
·
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Evaluation results