Fikr-7B-Reasoning: Benchmark & Evaluation

Fikr

Fikr-7B-Reasoning is an Arabic reasoning model fine-tuned from Qwen/Qwen2.5-7B-Instruct using supervised fine-tuning (SFT) to enforce structured, multi-step Chain-of-Thought reasoning inside native <think>...</think> tokens.


๐Ÿ“Š Benchmark Results

Both models were evaluated on the full test split (1,319 questions) of the Arabic-GSM8K benchmark using exact numerical match via greedy decoding (temperature=0.0) on an NVIDIA A100 GPU:

Model Architecture Arabic Reasoning Format Arabic-GSM8K Accuracy Delta (ฮ”)
Qwen/Qwen2.5-7B-Instruct (Base) 7B Dense Standard CoT 72.40%[cite: 3] Baseline
Fikr-7B-Reasoning (Ours) 7B Dense <think> Native CoT 71.95%[cite: 4] -0.45%

Key Takeaways

  • Accuracy Trade-off: While the model strictly enforces the <think> tag reasoning structure, it experienced a minor -0.45% regression in raw exact-match accuracy compared to the strong Qwen 2.5 7B baseline[cite: 3, 4]. This is a common phenomenon in first-pass SFT reasoning models and typically requires a follow-up Reinforcement Learning (RL) phase (like DPO or PPO) to align the structured thoughts with correct final answers.
  • Clean Trace Separation: The fine-tuned model strictly separates intermediate logical steps inside <think>...</think> from the final parsed response[cite: 4].
  • Arabic Mathematical Fluency: The model demonstrates improved formatting stability across multi-step arithmetic, fraction reductions, and currency conversions in native Arabic phrasing.

๐Ÿ” Sample Comparison

Problem:
ุฐู‡ุจ ูƒุงูŠู„ุงุฑ ุฅู„ู‰ ุงู„ู…ุชุฌุฑ ู„ุดุฑุงุก ุฃูƒูˆุงุจ ู„ุดู‚ุฉ ุงู„ุฌุฏูŠุฏุฉ. ุชูƒู„ูุฉ ุงู„ูƒูˆุจ ุงู„ูˆุงุญุฏ 5 ุฏูˆู„ุงุฑุงุชุŒ ู„ูƒู† ูƒู„ ูƒูˆุจ ุซุงู†ูŠ ูŠูƒู„ู ูู‚ุท 60ูช ู…ู† ุงู„ุณุนุฑ. ูŠุฑูŠุฏ ูƒุงูŠู„ุงุฑ ุดุฑุงุก 16 ูƒูˆุจู‹ุง. ูƒู… ูŠุฌุจ ุฃู† ูŠุฏูุน ู…ู‚ุงุจู„ู‡ุงุŸ[cite: 3]

Fikr-7B-Reasoning (Ours)

<think>
1. ุณุนุฑ ุงู„ูƒูˆุจ ุงู„ุฃูˆู„ ู‡ูˆ 5 ุฏูˆู„ุงุฑุงุช.
2. ุณุนุฑ ุงู„ูƒูˆุจ ุงู„ุซุงู†ูŠ ู‡ูˆ 60ูช ู…ู† 5 ุฏูˆู„ุงุฑุงุชุŒ ุฃูŠ 5 * 0.60 = 3 ุฏูˆู„ุงุฑุงุช.
3. ู„ุญุณุงุจ ุงู„ุชูƒู„ูุฉ ู„ู€ 16 ูƒูˆุจู‹ุง:
   - ุงู„ูƒุคูˆุณ ุงู„ุฃูˆู„ู‰ (8 ูƒุคูˆุณ): 8 * 5 = 40 ุฏูˆู„ุงุฑู‹ุง.
   - ุงู„ูƒุคูˆุณ ุงู„ู…ุฎูุถุฉ (8 ูƒุคูˆุณ): 8 * 3 = 24 ุฏูˆู„ุงุฑู‹ุง.
   - ุงู„ุชูƒู„ูุฉ ุงู„ุฅุฌู…ุงู„ูŠุฉ: 40 + 24 = 64 ุฏูˆู„ุงุฑู‹ุง.
</think>

ู„ุฐุงุŒ ูŠุฌุจ ุนู„ู‰ ูƒุงูŠู„ุงุฑ ุฃู† ูŠุฏูุน 64 ุฏูˆู„ุงุฑู‹ุง ู…ู‚ุงุจู„ 16 ูƒูˆุจู‹ุง.

Prompt Format

To trigger full reasoning behavior, format inputs using the Qwen ChatML template with the system instruction:

prompt = """<|im_start|>system
ุฃู†ุช ู…ุณุงุนุฏ ุฑูŠุงุถูŠุงุช ุจุงุฑุน. ููƒู‘ุฑ ุฎุทูˆุฉ ุจุฎุทูˆุฉ ุฏุงุฎู„ <think> ู‚ุจู„ ุฅุนุทุงุก ุงู„ุฅุฌุงุจุฉ ุงู„ู†ู‡ุงุฆูŠุฉ.<|im_end|>
<|im_start|>user
[ุณุคุงู„ูƒ ู‡ู†ุง]<|im_end|>
<|im_start|>assistant
<think>
"""

ุฃู…ุซู„ุฉ ุนู„ู‰ ุงู„ุงุณุชุฏู„ุงู„ ูˆุงู„ู…ู†ุทู‚ (Reasoning Showcases)

ุงู„ู…ุซุงู„ ุงู„ุฃูˆู„: ู…ุณุฃู„ุฉ ุญุณุงุจูŠุฉ ู…ุชุนุฏุฏุฉ ุงู„ุฎุทูˆุงุช ุงู„ุณุคุงู„:

ุงุดุชุฑู‰ ุฃุญู…ุฏ 3 ุตู†ุงุฏูŠู‚ ู…ู† ุงู„ุชูุงุญุŒ ูŠุญุชูˆูŠ ูƒู„ ุตู†ุฏูˆู‚ ุนู„ู‰ 24 ุชูุงุญุฉ. ุฅุฐุง ุชุจุฑุน ุจู†ุตู ุงู„ุชูุงุญ ู„ู…ุณุฌุฏ ุงู„ุญูŠุŒ ูˆุจุงุน ุซู„ุซ ู…ุง ุชุจู‚ู‰ ุจุณุนุฑ 1.5 ุฑูŠุงู„ ู„ู„ุชูุงุญุฉ ุงู„ูˆุงุญุฏุฉุŒ ูƒู… ุฑูŠุงู„ุงู‹ ุฌู†ู‰ ุฃุญู…ุฏุŸ

ุงุณุชุฌุงุจุฉ ุงู„ู†ู…ูˆุฐุฌ:

<think>
ุงู„ุฎุทูˆุฉ 1: ุงุญุณุจ ุงู„ุนุฏุฏ ุงู„ุฅุฌู…ุงู„ูŠ ู„ู„ุชูุงุญ: 3 * 24 = 72 ุชูุงุญุฉ 
ุงู„ุฎุทูˆุฉ 2: ุงุญุณุจ ุนุฏุฏ ุงู„ุชูุงุญ ุงู„ู…ุจุฑุน: 72 / 2 = 36 ุชูุงุญุฉ 
ุงู„ุฎุทูˆุฉ 3: ุงุญุณุจ ุนุฏุฏ ุงู„ุชูุงุญ ุงู„ู…ุชุจู‚ูŠุฉ: 72 - 36 = 36 ุชูุงุญุฉ 
ุงู„ุฎุทูˆุฉ 4: ุงุญุณุจ ุนุฏุฏ ุงู„ุชูุงุญ ุงู„ู…ุจุงุนุฉ: 36 / 3 = 12 ุชูุงุญุฉ 
ุงู„ุฎุทูˆุฉ 5: ุงุญุณุจ ุงู„ู…ุจู„ุบ ุงู„ุฐูŠ ุชู… ุฌู…ุนู‡: 12 * 1.5 = 18 ุฑูŠุงู„ู‹ุง
</think>

18 ุฑูŠุงู„ู‹ุง

๐Ÿงฉ ุงู„ู…ุซุงู„ ุงู„ุซุงู†ูŠ: ุงุณุชู†ุชุงุฌ ูˆุชุฑุชูŠุจ ู…ู†ุทู‚ูŠ ุงู„ุณุคุงู„:

ููŠ ุณุจุงู‚ ุฌุฑูŠุŒ ุฃู†ู‡ู‰ ุฎุงู„ุฏ ุงู„ุณุจุงู‚ ู‚ุจู„ ุณุนุฏ ูˆู„ูƒู† ุจุนุฏ ููŠุตู„. ูˆุฃู†ู‡ู‰ ู…ุงุฌุฏ ุงู„ุณุจุงู‚ ู‚ุจู„ ููŠุตู„. ู…ุง ู‡ูˆ ุงู„ุชุฑุชูŠุจ ุงู„ุชู†ุงุฒู„ูŠ ู„ู„ู…ุชุณุงุจู‚ูŠู† ู…ู† ุงู„ู…ุฑูƒุฒ ุงู„ุฃูˆู„ ุฅู„ู‰ ุงู„ุฃุฎูŠุฑุŸ

ุงุณุชุฌุงุจุฉ ุงู„ู†ู…ูˆุฐุฌ:

<think>
ุงู„ุฎุทูˆุฉ 1: ุฎุงู„ุฏ ู‚ุจู„ ุณุนุฏ ูˆู„ูƒู†ู‡ ุจุนุฏ ููŠุตู„ุŒ ุฅุฐู† ููŠุตู„ > ุฎุงู„ุฏ > ุณุนุฏ. 
ุงู„ุฎุทูˆุฉ 2: ู…ุงุฌุฏ ู‚ุจู„ ููŠุตู„ุŒ ุฅุฐู† ู…ุงุฌุฏ > ููŠุตู„. 
ุงู„ุฎุทูˆุฉ 3: ุจุงู„ุชุงู„ูŠุŒ ุงู„ุชุฑุชูŠุจ ุงู„ุชู†ุงุฒู„ูŠ ู‡ูˆ: ู…ุงุฌุฏ > ููŠุตู„ > ุฎุงู„ุฏ > ุณุนุฏ.
</think>
ู…ุงุฌุฏุŒ ููŠุตู„ุŒ ุฎุงู„ุฏุŒ ุณุนุฏ

โณ ุงู„ู…ุซุงู„ ุงู„ุซุงู„ุซ: ุงู„ุฌุจุฑ ูˆู…ุณุงุฆู„ ุงู„ุฃุนู…ุงุฑ ุงู„ุณุคุงู„:

ุนู…ุฑ ุณุงุฑุฉ ุงู„ุขู† ุซู„ุงุซุฉ ุฃุถุนุงู ุนู…ุฑ ุฃุฎูŠู‡ุง ุงู„ุตุบูŠุฑ. ุจุนุฏ 5 ุณู†ูˆุงุชุŒ ุณูŠูƒูˆู† ู…ุฌู…ูˆุน ุนู…ุฑูŠู‡ู…ุง 38 ุณู†ุฉ. ูƒู… ุนู…ุฑ ุณุงุฑุฉ ุงู„ุขู†ุŸ

ุงุณุชุฌุงุจุฉ ุงู„ู†ู…ูˆุฐุฌ:

<think>
ุงู„ุฎุทูˆุฉ 1: ู„ูŠูƒู† ุนู…ุฑ ุฃุฎูŠ ุณุงุฑุฉ ุงู„ุตุบูŠุฑ ู‡ูˆ x. ุฅุฐู† ุนู…ุฑ ุณุงุฑุฉ ู‡ูŠ 3x. 
ุงู„ุฎุทูˆุฉ 2: ุจุนุฏ 5 ุณู†ูˆุงุชุŒ ุณูŠูƒูˆู† ุนู…ุฑ ุฃุฎูŠ ุณุงุฑุฉ ุงู„ุตุบูŠุฑ x + 5ุŒ ูˆุณุงุฑุฉ ุณุชูƒูˆู† 3x + 5. 
ุงู„ุฎุทูˆุฉ 3: ู…ุฌู…ูˆุน ุฃุนู…ุงุฑู‡ู…ุง ุจุนุฏ 5 ุณู†ูˆุงุช ู‡ูˆ (x + 5) + (3x + 5) = 4x + 10. 
ุงู„ุฎุทูˆุฉ 4: ู†ุนู„ู… ุฃู† 4x + 10 = 38. ุฅุฐู† 4x = 28ุŒ ูˆ x = 7. 
ุงู„ุฎุทูˆุฉ 5: ุนู…ุฑ ุณุงุฑุฉ ุงู„ุขู† ู‡ูˆ 3x = 3 * 7 = 21.
</think>

21

๐Ÿ’ฐ ุงู„ู…ุซุงู„ ุงู„ุฑุงุจุน: ุญุณุงุจ ุงู„ุฎุตูˆู…ุงุช ูˆุงู„ุถุฑุงุฆุจ ุงู„ุณุคุงู„:

ู„ุงุจุชูˆุจ ุณุนุฑู‡ ุงู„ุฃุตู„ูŠ 4000 ุฑูŠุงู„ุŒ ุนู„ูŠู‡ ุฎุตู… 20%. ุซู… ุฃุถูŠู ุนู„ูŠู‡ ุถุฑูŠุจุฉ ู‚ูŠู…ุฉ ู…ุถุงูุฉ ุจู†ุณุจุฉ 15% ุจุนุฏ ุงู„ุฎุตู…. ู…ุง ู‡ูˆ ุงู„ุณุนุฑ ุงู„ู†ู‡ุงุฆูŠ ู„ู„ุงุจุชูˆุจุŸ

ุงุณุชุฌุงุจุฉ ุงู„ู†ู…ูˆุฐุฌ:

Plaintext
<think>
ุงู„ุฎุทูˆุฉ 1: ุญุณุงุจ ู‚ูŠู…ุฉ ุงู„ุฎุตู…: 4000 * 0.20 = 800 
ุงู„ุฎุทูˆุฉ 2: ุญุณุงุจ ุงู„ุณุนุฑ ุจุนุฏ ุงู„ุฎุตู…: 4000 - 800 = 3200 
ุงู„ุฎุทูˆุฉ 3: ุญุณุงุจ ุถุฑูŠุจุฉ ุงู„ู‚ูŠู…ุฉ ุงู„ู…ุถุงูุฉ: 3200 * 0.15 = 480 
ุงู„ุฎุทูˆุฉ 4: ุญุณุงุจ ุงู„ุณุนุฑ ุงู„ู†ู‡ุงุฆูŠ: 3200 + 480 = 3680
</think>

3680 ุฑูŠุงู„

ุงู„ุณุคุงู„: ูƒู… ูŠุณุงูˆูŠ 47 ร— 36ุŸ

๐Ÿง  ุนุฑุถ ุงู„ุชููƒูŠุฑ (Show reasoning) ุงู„ุฎุทูˆุฉ 1: ุงุถุฑุจ 47 ร— 6 = 282 ุงู„ุฎุทูˆุฉ 2: ุงุถุฑุจ 47 ร— 30 = 1410 ุงู„ุฎุทูˆุฉ 3: ุฃุถู 282 + 1410 = 1692
**ุงู„ุฅุฌุงุจุฉ ุงู„ู†ู‡ุงุฆูŠุฉ:** 1692 โœ…

ุงู„ุณุคุงู„: ุนู†ุฏ ุฃุญู…ุฏ 24 ุชูุงุญุฉุŒ ุฃุนุทู‰ ู†ุตูู‡ุง ู„ุตุฏูŠู‚ู‡ ุซู… ุงุดุชุฑู‰ 10 ุชูุงุญุงุช ุฅุถุงููŠุฉ. ูƒู… ุชูุงุญุฉ ุฃุตุจุญ ุนู†ุฏู‡ุŸ

๐Ÿง  ุนุฑุถ ุงู„ุชููƒูŠุฑ (Show reasoning) ุงู„ุฎุทูˆุฉ 1: ู†ุตู 24 ุชูุงุญุฉ ู‡ูˆ 24 / 2 = 12 ุชูุงุญุฉ. ุงู„ุฎุทูˆุฉ 2: ุฃุนุทู‰ 12 ุชูุงุญุฉ ู„ุตุฏูŠู‚ุŒ ุฅุฐู† ู„ุฏูŠู‡ 24 โˆ’ 12 = 12 ุชูุงุญุฉ. ุงู„ุฎุทูˆุฉ 3: ุงุดุชุฑู‰ 10 ุชูุงุญุงุช ุฅุถุงููŠุฉุŒ ุฅุฐู† ู„ุฏูŠู‡ 12 + 10 = 22 ุชูุงุญุฉ.
**ุงู„ุฅุฌุงุจุฉ ุงู„ู†ู‡ุงุฆูŠุฉ:** 22 โœ…

ุงู„ุณุคุงู„: ู‚ุทุงุฑ ูŠุณูŠุฑ ุจุณุฑุนุฉ 80 ูƒู…/ุณุงุŒ ูƒู… ูŠุณุชุบุฑู‚ ู„ูŠู‚ุทุน 240 ูƒู…ุŸ

๐Ÿง  ุนุฑุถ ุงู„ุชููƒูŠุฑ (Show reasoning) ุงู„ุฎุทูˆุฉ 1: ุงู„ูˆู‚ุช = ุงู„ู…ุณุงูุฉ / ุงู„ุณุฑุนุฉ ุงู„ุฎุทูˆุฉ 2: ุงู„ูˆู‚ุช = 240 ูƒู… รท 80 ูƒู…/ุณุง ุงู„ุฎุทูˆุฉ 3: ุงู„ูˆู‚ุช = 3 ุณุงุนุงุช
**ุงู„ุฅุฌุงุจุฉ ุงู„ู†ู‡ุงุฆูŠุฉ:** 3 ุณุงุนุงุช โœ…

ุงู„ุณุคุงู„: ุฅุฐุง ูƒุงู† ุทุจูŠุจ ูŠุนุทูŠูƒ 3 ุญุจูˆุจ ูˆุทู„ุจ ู…ู†ูƒ ุฃุฎุฐ ุญุจุฉ ูƒู„ ู†ุตู ุณุงุนุฉุŒ ููƒู… ู…ู† ุงู„ูˆู‚ุช ุชุณุชุบุฑู‚ ุญุชู‰ ุชู†ู‡ูŠ ุงู„ุญุจูˆุจุŸ

๐Ÿง  ุนุฑุถ ุงู„ุชููƒูŠุฑ (Show reasoning) ุงู„ุฎุทูˆุฉ 1: ุฃุฎุฐ ุญุจุฉ ูƒู„ ู†ุตู ุณุงุนุฉ ูŠุนู†ูŠ ุฃุฎุฐ 3 ุญุจุงุช ููŠ 3 ร— 0.5 ุณุงุนุฉ. ุงู„ุฎุทูˆุฉ 2: ุงู„ูˆู‚ุช ุงู„ูƒู„ูŠ = 3 ร— 0.5 ุณุงุนุฉ = 1.5 ุณุงุนุฉ
**ุงู„ุฅุฌุงุจุฉ ุงู„ู†ู‡ุงุฆูŠุฉ:** 1.5 ุณุงุนุฉ โš ๏ธ *(ุณุคุงู„ ุดุงุฆุน ู„ุงุฎุชุจุงุฑ ุงู„ุชููƒูŠุฑ ุงู„ู…ู†ุทู‚ูŠ โ€” ุงู„ุฅุฌุงุจุฉ ุงู„ุตุญูŠุญุฉ ู‡ูŠ ุณุงุนุฉ ูˆุงุญุฏุฉ: ุงู„ุญุจุฉ ุงู„ุฃูˆู„ู‰ ููˆุฑุงู‹ุŒ ุงู„ุซุงู†ูŠุฉ ุจุนุฏ ู†ุตู ุณุงุนุฉุŒ ูˆุงู„ุซุงู„ุซุฉ ุจุนุฏ ุณุงุนุฉ ูƒุงู…ู„ุฉุŒ ูˆู„ูŠุณ 3 ูุชุฑุงุช ู…ุชุชุงู„ูŠุฉ)*

ุงู„ุณุคุงู„: ูƒู… ุนุฏุฏ ุงู„ุฃุดู‡ุฑ ุงู„ุชูŠ ููŠู‡ุง 28 ูŠูˆู…ุงู‹ุŸ

๐Ÿง  ุนุฑุถ ุงู„ุชููƒูŠุฑ (Show reasoning) ุงู„ุฎุทูˆุฉ 1: ูƒู„ ุดู‡ุฑ ู„ู‡ ุนู„ู‰ ุงู„ุฃู‚ู„ 28 ูŠูˆู…ู‹ุง (ูƒุงู†ูˆู† ุงู„ุฃูˆู„/ุฏูŠุณู…ุจุฑ). ุงู„ุฎุทูˆุฉ 2: ุฌู…ูŠุน ุงู„ุดู‡ูˆุฑ ุงู„ุณุชุฉ ุงู„ุฃูˆู„ู‰ ู„ู‡ุง 30 ูŠูˆู…ู‹ุง ุนู„ู‰ ุงู„ุฃู‚ู„.
**ุงู„ุฅุฌุงุจุฉ ุงู„ู†ู‡ุงุฆูŠุฉ:** 12 โœ… *(ุฅุฌุงุจุฉ ุตุญูŠุญุฉุŒ ุฑุบู… ุฃู† ุณู„ุณู„ุฉ ุงู„ุชููƒูŠุฑ ุงู„ู…ุนุฑูˆุถุฉ ุบูŠุฑ ู…ูƒุชู…ู„ุฉ/ุบูŠุฑ ุฏู‚ูŠู‚ุฉ ุชู…ุงู…ู‹ุง)*

ู…ู„ุงุญุธุงุช ุงู„ุงุฎุชุจุงุฑ (Evaluation Notes)

  • ุงู„ู†ู…ูˆุฐุฌ ุฃุธู‡ุฑ ุฃุฏุงุกู‹ ู‚ูˆูŠุงู‹ ูˆุซุงุจุชุงู‹ ููŠ ู…ุณุงุฆู„ ุงู„ุญุณุงุจ ุงู„ู…ุจุงุดุฑุฉ ูˆู…ุณุงุฆู„ ุงู„ุฎุทูˆุฉ ุงู„ูˆุงุญุฏุฉ.
  • ููŠ ุฃุณุฆู„ุฉ "ุงู„ูุฎ" ุงู„ู…ุตู…ู…ุฉ ู„ุงุฎุชุจุงุฑ ุงู„ุงุณุชุฏู„ุงู„ ุงู„ู…ู†ุทู‚ูŠ (ูˆู„ูŠุณ ุงู„ุญุณุงุจ ูู‚ุท)ุŒ ุฃุฎุทุฃ ุงู„ู†ู…ูˆุฐุฌ ููŠ ุณุคุงู„ ุงู„ุญุจูˆุจ ุงู„ุซู„ุงุซุŒ ุจูŠู†ู…ุง ุฃุฌุงุจ ุจุดูƒู„ ุตุญูŠุญ ุนู„ู‰ ุณุคุงู„ ุฃุดู‡ุฑ ุงู„ุณู†ุฉ ุฑุบู… ุชููƒูŠุฑ ุบูŠุฑ ู…ูƒุชู…ู„.
  • ุฎุทูˆุงุช <think> ุชูุธู‡ุฑ ุชููƒูŠุฑุงู‹ ุณุฑุฏูŠุงู‹ ู…ู†ุธู…ุงู‹ ุจุงู„ุนุฑุจูŠุฉ ู‚ุจู„ ุงู„ูˆุตูˆู„ ู„ู„ุฅุฌุงุจุฉ ุงู„ู†ู‡ุงุฆูŠุฉุŒ ู…ุชูˆุงูู‚ุงู‹ ู…ุน ุฃุณู„ูˆุจ ุงู„ุชุฏุฑูŠุจ (GRPO reasoning).

ุชู… ุชูˆู„ูŠุฏ ู‡ุฐุง ุงู„ู…ู„ู ู…ู† ุฌู„ุณุฉ ุงุฎุชุจุงุฑ ุชูุงุนู„ูŠุฉ ุนุจุฑ ูˆุงุฌู‡ุฉ Gradio.

Downloads last month
46
Safetensors
Model size
8B params
Tensor type
BF16
ยท
Inference Providers NEW
This model isn't deployed by any Inference Provider. ๐Ÿ™‹ Ask for provider support

Model tree for Hatim2221/Fikr-7B-Reasoning

Base model

Qwen/Qwen2.5-7B
Finetuned
(3,275)
this model
Quantizations
2 models