LocalDoc/azerbaijani_question_answering_deberta

Question Answering Model - DeBERTa v3 Base

This model is based on microsoft/mdeberta-v3-base and fine-tuned for question answering tasks.

Model Performance

• Exact Match: 91.26%
• F1 Score: 95.16%
• Training Loss: 0.4489
• Evaluation Loss: 0.0672

Usage

from transformers import AutoTokenizer, AutoModelForQuestionAnswering, pipeline

model_name = "LocalDoc/azerbaijani_question_answering_deberta"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForQuestionAnswering.from_pretrained(model_name)

# Using pipeline
qa_pipeline = pipeline("question-answering", model=model, tokenizer=tokenizer)

# Example
context = "Ey iman gətirənlər! Sələmi (borc üzərinə qoyduğunuz faizi) qat-qat artırıb yeməyin. Allahdan qorxun ki, bəlkə, nicat tapasınız! Faiz yeyənlər (qəbirlərindən), şeytan vurmuş kimsənin qalxdığı kimi qalxacaqlar. Bu ona görədir ki, onlar: “Əlbəttə, alış-veriş də faiz kimidir!” - demişdilər. Halbuki, Allah alış-verişi halal, faizi isə haram etmişdir. (Bundan sonra) kimə Rəbbindən bir nəsihət gələr və (sələmçiliyə) son qoyarsa, keçmişdə aldığı (sələmlər, faizlər) özünə qalar (bağışlanar). Onun işi (hesaba çəkilməsi) Allaha qalmışdır. Kim (yenidən sələmçiliyə) qayıdarsa, onlar cəhənnəm əhlidirlər və orada əbədi qalacaqlar. Allah faizi (faizli qazancın bərəkətini) yox edər, sədəqələri (sədəqəsi verilən malın bərəkətini) isə artırar.  Allah heç bir günahkar nankoru sevməz! Ey iman gətirənlər, Allahdan çəkinin və əgər iman gətirmişsinizsə, faizdən qalanı (alacağınızı) tərk edin (almayın)! Əgər (belə) etməsəniz, bilin ki, Allah və Peyğəmbəri tərəfindən sizə qarşı müharibə elan edilmişdir. Əgər tövbə etsəniz, sərmayəniz (mayanız) sizindir. Siz nə haqsızlıq etmiş, nə də haqsızlığa məruz qalmış olarsınız."
question = "Kim şeytan vurmuş kimsənin qalxdığı kimi qalxacaq?"
result = qa_pipeline(question=question, context=context)
print(result)

# {'score': 0.9923418760299683, 'start': 127, 'end': 141, 'answer': ' Faiz yeyənlər'}

Training Details

• Base Model: microsoft/mdeberta-v3-base
• Task: Question Answering
• Training Epochs: 10
• Batch Size: 16
• Learning Rate: 3e-5
• Training Time: 8 hours 49 minutes
• Dataset Size: 30,840 examples

Model Architecture

• Model Type: DeBERTa v3
• Parameters: ~184M
• Max Sequence Length: 512 tokens