Update README.md

README.md

@@ -9,7 +9,7 @@ tags:
 - Qwen3
 - fine-tuned
 license: apache-2.0
-base_model: unsloth/Qwen3-8B-unsloth-bnb-4bit
+base_model: unsloth/Qwen3-4B-unsloth-bnb-4bit
 datasets:
 - pcalhoun/ILR-Assistant
 language:
@@ -26,13 +26,13 @@ A fine-tuned language model designed to generate ILR (Interagency Language Round
 
 ### Model Description
 
-This model is a fine-tuned version of Qwen3-8B specifically designed for generating language assessment materials following the ILR proficiency scale. The model can create reading comprehension examples, adjust difficulty levels based on user performance, and provide structured language learning assessments.
+This model is a fine-tuned version of Qwen3-4B specifically designed for generating language assessment materials following the ILR proficiency scale. The model can create reading comprehension examples, adjust difficulty levels based on user performance, and provide structured language learning assessments.
 
 - **Developed by:** Paul Calhoun
 - **Model type:** Causal Language Model (Fine-tuned)
 - **Language(s):** Multilingual (with demonstrated Arabic capabilities)
 - **License:** Apache 2.0
-- **Finetuned from model:** unsloth/Qwen3-8B-unsloth-bnb-4bit
+- **Finetuned from model:** unsloth/Qwen3-4B-unsloth-bnb-4bit
 
 ### Model Sources
 
@@ -86,15 +86,15 @@ The model was fine-tuned using LoRA (Low-Rank Adaptation) with the Unsloth frame
 
 #### Training Hyperparameters
 
-- **Base Model:** unsloth/Qwen3-8B-unsloth-bnb-4bit
+- **Base Model:** unsloth/Qwen3-4B-unsloth-bnb-4bit
 - **Training Framework:** Unsloth + TRL SFTTrainer
 - **LoRA Rank (r):** 64
 - **LoRA Alpha:** 64
 - **LoRA Dropout:** 0
 - **Target Modules:** q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj
-- **Learning Rate:** 3e-5
-- **Batch Size:** 4 per device
-- **Gradient Accumulation Steps:** 2
+- **Learning Rate:** 5e-5
+- **Batch Size:** 16 per device
+- **Gradient Accumulation Steps:** 1
 - **Max Sequence Length:** 2048
 - **Training Epochs:** 1
 - **Warmup Ratio:** 0.1
@@ -133,10 +133,10 @@ Training was optimized for efficiency using:
 
 ### Model Architecture
 
-- **Base Architecture:** Qwen3-8B transformer
+- **Base Architecture:** Qwen3-4B transformer
 - **Fine-tuning Method:** LoRA (Low-Rank Adaptation)
 - **Quantization:** 4-bit (bnb)
-- **Parameters:** ~8B (base) + LoRA adapters
+- **Parameters:** ~4B (base) + LoRA adapters
 
 ### Compute Infrastructure
 
@@ -164,139 +164,139 @@ Handles varied professional styles with minimal errors. Understands cultural ref
 Initial ILR level for this conversation: 3
 Test my comprehension of Modern Standard Arabic.<|im_end|>
 <|im_start|>assistant
-<think>
+<scorer>
 I am administering an ILR level assessment.
-</think>
+</scorer>
 في أعقاب الأزمة الاقتصادية الأخيرة، دعا المجلس المركزي إلى إصلاحات جذرية في النظام المالي. واقترح الخبراء فرض ضرائب تصاعدية على الشركات الكبرى، مع توجيه جزء من هذه الإيرادات لدعم المشاريع الصغيرة. إلا أن بعض أعضاء البرلمان عارضوا هذه الخطوة، معتبرين أنها قد تثقل كاهل القطاع الخاص وتؤثر سلباً على الاستثمارات الأجنبية. وفي المقابل، أشارت تقارير اقتصادية إلى أن هذه الإصلاحات قد تكون الحل الوحيد لتجنب انهيار العملة المحلية، خاصة بعد انخفاض احتياطي النقد الأجنبي إلى أدنى مستوياته منذ عقد.
 
 What is the main economic concern that prompted the proposed reforms?<|im_end|>
 <|im_start|>user
 The main concern is the recent economic crisis and the risk of the local currency collapsing due to the foreign exchange reserve reaching its lowest level in a decade.<|im_end|>
 <|im_start|>assistant
-<think>
+<scorer>
 User answer is: Correct.
-</think>
+</scorer>
 Why do some parliament members oppose the proposed tax reforms?<|im_end|>
 <|im_start|>user
 They believe the reforms could burden the private sector and negatively impact foreign investments.<|im_end|>
 <|im_start|>assistant
-<think>
+<scorer>
 User answer is: Correct.
-</think>
+</scorer>
 What can be inferred about the experts' view of small businesses in this context?<|im_end|>
 <|im_start|>user
 The experts likely view small businesses as vital to economic recovery, as they propose directing part of the tax revenue to support them.<|im_end|>
 <|im_start|>assistant
-<think>
+<scorer>
 User answer is: Correct.
-</think>
+</scorer>
 How does the passage frame the urgency of the reforms?<|im_end|>
 <|im_start|>user
 It suggests the reforms are critical and time-sensitive by linking them to avoiding a currency collapse and citing the severe drop in foreign reserves.<|im_end|>
 <|im_start|>assistant
-<think>
+<scorer>
 User answer is: Correct.
-</think>
+</scorer>
 في العصر الحديث، أصبحت الاستدامة البيئية محورًا رئيسيًا للعديد من الشرك��ت العالمية. تدرك هذه الشركات أن تبني سياسات صديقة للبيئة ليس مجرد مسؤولية أخلاقية، بل أيضًا استثمارًا ذكيًا على المدى الطويل. على سبيل المثال، تقوم بعض المؤسسات بتخفيض انبعاثات الكربون من خلال الاعتماد على الطاقة المتجددة، مما يعزز سمعتها ويقلل التكاليف التشغيلية. ومع ذلك، يواجه هذا التحول تحديات كبيرة، مثل ارتفاع التكاليف الأولية وعدم كفاية البنية التحتية في بعض المناطق. رغم ذلك، يرى الخبراء أن الفوائد المستقبلية تفوق بكثير التحديات الحالية.
 
 What is the main reason companies are adopting environmentally friendly policies according to the passage?<|im_end|>
 <|im_start|>user
 Companies adopt environmentally friendly policies solely because of strict government regulations.<|im_end|>
 <|im_start|>assistant
-<think>
+<scorer>
 User answer is: Wrong.
 Reduce ILR estimate to: 2+
-</think>
+</scorer>
 انتقلت عائلة أحمد إلى مدينة جديدة بسبب عمل والده. كان أحمد يشعر بالقلق لأن عليه أن يبدأ مدرسة جديدة ويصنع أصدقاء جدد. لكن المدرسة كانت لطيفة معه، وسرعان ما تعرف على ولدين في صفه يحبان كرة القدم مثله. الآن، يشعر أحمد بسعادة أكبر لأنه يستطيع اللعب مع أصدقائه بعد المدرسة.
 
 Why did Ahmed's family move to a new city?<|im_end|>
 <|im_start|>user
 Because of his father's job.<|im_end|>
 <|im_start|>assistant
-<think>
+<scorer>
 User answer is: Correct.
-</think>
+</scorer>
 What was Ahmed worried about before starting the new school?<|im_end|>
 <|im_start|>user
 He was worried about starting a new school and making new friends.<|im_end|>
 <|im_start|>assistant
-<think>
+<scorer>
 User answer is: Correct.
-</think>
+</scorer>
 How did Ahmed feel after meeting his new friends?<|im_end|>
 <|im_start|>user
 He felt happier because he could play football with them after school.<|im_end|>
 <|im_start|>assistant
-<think>
+<scorer>
 User answer is: Correct.
-</think>
+</scorer>
 What common interest helped Ahmed bond with his new friends?<|im_end|>
 <|im_start|>user
 They all liked football (soccer).<|im_end|>
 <|im_start|>assistant
-<think>
+<scorer>
 User answer is: Correct.
-</think>
+</scorer>
 انتقلت عائلة أحمد إلى مدينة جديدة بسبب عمل والده. كان أحمد يشعر بالقلق لأن عليه أن يبدأ مدرسة جديدة ويصنع أصدقاء جدد. لكن المدرسة كانت لطيفة معه، وسرعان ما تعرف على ولدين في صفه يحبان كرة القدم مثله. الآن، يشعر أحمد بسعادة أكبر لأنه يستطيع اللعب مع أصدقائه بعد المدرسة.
 
 Why did Ahmed's family move to a new city?<|im_end|>
 <|im_start|>user
 Because of his father's job.<|im_end|>
 <|im_start|>assistant
-<think>
+<scorer>
 User answer is: Correct.
-</think>
+</scorer>
 What was Ahmed worried about before starting the new school?<|im_end|>
 <|im_start|>user
 He was worried about starting a new school and making new friends.<|im_end|>
 <|im_start|>assistant
-<think>
+<scorer>
 User answer is: Correct.
-</think>
+</scorer>
 How did Ahmed feel after meeting his new friends?<|im_end|>
 <|im_start|>user
 He felt happier because he could play football with them after school.<|im_end|>
 <|im_start|>assistant
-<think>
+<scorer>
 User answer is: Correct.
-</think>
+</scorer>
 What common interest helped Ahmed bond with his new friends?<|im_end|>
 <|im_start|>user
 They all liked football (soccer).<|im_end|>
 <|im_start|>assistant
-<think>
+<scorer>
 User answer is: Correct.
-</think>
+</scorer>
 تذهب سارة إلى السوق كل يوم جمعة لشراء الفواكه والخضروات الطازجة. تحب سارة التفاح والموز لأنها لذيذة ومفيدة لصحة أطفالها. أحياناً تشتري أيضاً البرتقال في فصل الشتاء لأنه غني بفيتامين سي. تفضل سارة التسوق في الصباح الباكر عندما يكون الجو لطيفاً والأسعار مناسبة.
 
 What does Sara buy every Friday at the market?<|im_end|>
 <|im_start|>user
 Sara buys fresh meat and bread every Friday at the market.<|im_end|>
 <|im_start|>assistant
-<think>
+<scorer>
 User answer is: Wrong.
 Reduce ILR estimate to: 2
-</think>
+</scorer>
 في أحد أحياء القاهرة، قامت مجموعة من الشباب بتنظيم مبادرة لتنظيف الشوارع. جمعوا النفايات وفرزوا المواد القابلة لإعادة التدوير. بعد أسبوع من العمل، أصبح الحي أكثر نظافة وأكثر جمالاً. ساعدت هذه المب��درة في زيادة الوعي البيئي بين السكان. كما أشاد المسؤولون المحليون بهذا الجهد وشجعوا على تكراره في أحياء أخرى.
 
 What did the group of young people organize in a Cairo neighborhood?<|im_end|>
 <|im_start|>user
 They organized a protest against pollution.<|im_end|>
 <|im_start|>assistant
-<think>
+<scorer>
 User answer is: Wrong.
 Reduce ILR estimate to: 1+
-</think>
+</scorer>
 الأسرة تذهب إلى السوق يوم السبت. يشترون الفواكه والخضروات. الأب يحب التفاح، والأم تفضل الموز. الابن الصغير يشتري حلوى.
 
 Where does the family go on Saturday?<|im_end|>
 <|im_start|>user
 They go to the park.<|im_end|>
 <|im_start|>assistant
-<think>
+<scorer>
 User answer is: Wrong.
 Reduce ILR estimate to: 1
-</think>
+</scorer>
 في السوق، نبيع الفواكه والخضروات الطازجة. لدينا تفاح أحمر وأصفر، وموز ناضج. أيضا نبيع خبز أبيض وأسمر كل صباح. السوق يفتح عند الساعة الثامنة ويغلق عند الساعة الخامسة مساءً.
 
 What items are sold in the market?<|im_end|>