Training in progress, step 400

README.md

@@ -1,136 +1,59 @@
 ---
-language:
-- ar
-- en
-license: apache-2.0
-base_model: deepseek-ai/DeepSeek-R1-Distill-Qwen-14B
+base_model: unsloth/deepseek-r1-distill-qwen-14b-unsloth-bnb-4bit
+library_name: transformers
+model_name: Faqih-R1-14B-Islamic-AI
 tags:
-- islamic
-- arabic
-- fiqh
-- hadith
-- quran
-- reasoning
-- deepseek-r1
+- generated_from_trainer
 - unsloth
-- qwen
-pipeline_tag: text-generation
-library_name: transformers
----
-
-# 🕌 Faqih-R1-14B (فقيه): Islamic AI & Jurisprudential Reasoning Model
-
-<div align="center">
-
-[![Base Model](https://img.shields.io/badge/Base_Model-DeepSeek--R1--Distill--Qwen--14B-blue.svg)](https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-14B)
-[![License](https://img.shields.io/badge/License-Apache_2.0-green.svg)](LICENSE)
-[![Framework](https://img.shields.io/badge/Trained_with-Unsloth-red.svg)](https://github.com/unslothai/unsloth)
-[![Language](https://img.shields.io/badge/Language-Arabic_%7C_English-yellow.svg)](#)
-
-</div>
-
----
-
-## ⚠️ تنويه شرعي وبحثي هام (Important Research & Religious Disclaimer)
-
-> [!IMPORTANT]
-> **هذا النموذج هو إصدار تجريبي وبحثي قيد التطوير والتدريب النشط (Experimental Research Preview / Under Active Training).**
->
-> 1. **ليس نموذجاً معصوماً ولا مكتملاً بنسبة 100%:** لا يزال النموذج يخضع لعمليات التحسين والمواءمة ومراجعة المصادر لمنع الهلوسة وضبط الدقة الاستنباطية.
-> 2. **ليس بديلاً عن العلماء ودور الإفتاء المعتمدة:** هذا النموذج هو أداة بحثية وتقنية مساعدة للباحثين وطلبة العلم، **ولا يجوز استخدامه كمفتٍ مطلق أو إصدار فتاوى قطعية ملزمة** في النوازل والقضايا الحساسة دون الرجوع للمجامع الفقهية وهيئات كبار العلماء الرسمية (مثل هيئة كبار العلماء، دار الإفتاء المصرية، مجمع الفقه الإسلامي الدولي).
-
----
-
-## 📌 عن النموذج (Model Overview)
-
-نموذج **Faqih-R1-14B (فقيه)** هو نموذج لغوي كبير متخصص في **الاستدلال الفقهي والعلوم الإسلامية**، مبني ومدرب عبر تقنيات التفكير العميق المنظم (Chain-of-Thought Reasoning).
-
-* **النموذج التأسيسي (Base Model):** [`deepseek-ai/DeepSeek-R1-Distill-Qwen-14B`](https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-14B).
-* **المعمارية (Architecture):** معمارية Qwen 2.5 المقطرة من DeepSeek-R1 بحجم 14.8 مليار معلمة (14.8B Parameters).
-* **تقنية التدريب (Fine-Tuning Method):** Unsloth QLoRA (4-bit quantization) مع سياق استدلال موسع.
-* **البيانات التدريبية (Training Corpus):** أكثر من 60,820 مسألة فقهية واستدلالية محققة تغطي:
-  * الفقه المقارن على المذاهب الأربعة المعتمدة (الحنفي، المالكي، الشافعي، الحنبلي).
-  * تفاسير القرآن الكريم وأسباب النزول.
-  * تخريج الأحاديث النبوية ودرجات صحتها.
-  * مسائل حساب الفرائض والمواريث.
-
+- sft
+- trl
+licence: license
 ---
 
-## 🧠 آلية التفكير والاستدلال (Reasoning Process)
-
-يستخدم النموذج وسوم التفكير `<think> ... </think>` لتفكيك المسألة الشرعية قبل تقديم الحكم النهائي:
-
-```text
-المستخدم: ما حكم الجمع بين الصلاتين للمسافر في المذهب الشافعي؟
-
-النموذج:
-<think>
-1. تحليل المسألة: مسألة الجمع بين الظهر والعصر، أو المغرب والعشاء للمسافر.
-2. المذهب المطلوب: مذهب الإمام الشافعي رحمه الله.
-3. مراجعة شروط القصر والجمع في المذهب:
-   - مسافة السفر: سفر طويل مباح (أربعة بُرد / حوالي 83 كم).
-   - أنواع الجمع: يجوز جمع تقديم أو جمع تأخير.
-   - الشروط: الترتيب، نية الجمع في أولى الصلاتين، والموالاة.
-4. صياغة الجواب مع الأدلة من السنة النبوية وأمهات كتب الشافعية (المجموع للنووي، منهاج الطالبين).
-</think>
-
-يجوز للمسافر سفراً طويلاً مباحاً (مسافة 83 كم فأكثر) الجمع بين الظهر والعصر، والمغرب والعشاء، جمع تقديم أو تأخير وفق معتمد المذهب الشافعي، بالشروط الآتية:
-1. الترتيب بين الصلاتين.
-2. نية الجمع في الصلاة الأولى.
-3. الموالاة بينهما.
-...
-```
-
----
+# Model Card for Faqih-R1-14B-Islamic-AI
 
-## 💻 طريقة الاستخدام البرمجي (Quick Start)
+This model is a fine-tuned version of [unsloth/deepseek-r1-distill-qwen-14b-unsloth-bnb-4bit](https://huggingface.co/unsloth/deepseek-r1-distill-qwen-14b-unsloth-bnb-4bit).
+It has been trained using [TRL](https://github.com/huggingface/trl).
 
-### استخدام مكتبة Transformers:
+## Quick start
 
 ```python
-from transformers import AutoModelForCausalLM, AutoTokenizer
-import torch
+from transformers import pipeline
 
-model_id = "hozifa1/Faqih-R1-14B-Islamic-AI"
+question = "If you had a time machine, but could only go to the past or the future once and never return, which would you choose and why?"
+generator = pipeline("text-generation", model="hozifa1/Faqih-R1-14B-Islamic-AI", device="cuda")
+output = generator([{"role": "user", "content": question}], max_new_tokens=128, return_full_text=False)[0]
+print(output["generated_text"])
+```
 
-tokenizer = AutoTokenizer.from_pretrained(model_id)
-model = AutoModelForCausalLM.from_pretrained(
-    model_id,
-    torch_dtype=torch.bfloat16,
-    device_map="auto"
-)
+## Training procedure
 
-prompt = "ما هي أركان الصلاة المتفق عليها بين الفقهاء؟"
-messages = [
-    {"role": "user", "content": prompt}
-]
+ 
 
-inputs = tokenizer.apply_chat_template(
-    messages,
-    tokenize=True,
-    add_generation_prompt=True,
-    return_tensors="pt"
-).to("cuda")
 
-outputs = model.generate(
-    inputs,
-    max_new_tokens=1024,
-    temperature=0.6,
-    top_p=0.95
-)
+This model was trained with SFT.
 
-response = tokenizer.decode(outputs[0][inputs.shape[1]:], skip_special_tokens=True)
-print(response)
-```
+### Framework versions
 
----
+- TRL: 0.24.0
+- Transformers: 5.5.0
+- Pytorch: 2.10.0+cu128
+- Datasets: 4.3.0
+- Tokenizers: 0.22.2
 
-## 🛡️ مصفوفة القيود والحدود (Limitations & Safety)
+## Citations
 
-* **الامتناع عن القطع في المختلف فيه:** تم تدريب النموذج على عرض أقوال المذاهب بأدلتها دون تعصب لمذهب واحد.
-* **عدم الاجتهاد المطلق:** يقتصر النموذج على نقل وتلخيص واستنباط ما قرره علماء الأمة المحققون من أمهات المصادر، ولا يُنشئ أحكاماً مستحدثة خارج الإجماع المستقر.
 
----
 
-## 📜 الترخيص (License)
-هذا النموذج متاح تحت رخصة **Apache 2.0** للأغراض البحثية والتعليمية.
+Cite TRL as:
+    
+```bibtex
+@misc{vonwerra2022trl,
+	title        = {{TRL: Transformer Reinforcement Learning}},
+	author       = {Leandro von Werra and Younes Belkada and Lewis Tunstall and Edward Beeching and Tristan Thrush and Nathan Lambert and Shengyi Huang and Kashif Rasul and Quentin Gallou{\'e}dec},
+	year         = 2020,
+	journal      = {GitHub repository},
+	publisher    = {GitHub},
+	howpublished = {\url{https://github.com/huggingface/trl}}
+}
+```

adapter_config.json

@@ -0,0 +1,52 @@
+{
+  "alora_invocation_tokens": null,
+  "alpha_pattern": {},
+  "arrow_config": null,
+  "auto_mapping": {
+    "base_model_class": "Qwen2ForCausalLM",
+    "parent_library": "transformers.models.qwen2.modeling_qwen2",
+    "unsloth_fixed": true
+  },
+  "base_model_name_or_path": "unsloth/deepseek-r1-distill-qwen-14b-unsloth-bnb-4bit",
+  "bias": "none",
+  "corda_config": null,
+  "ensure_weight_tying": false,
+  "eva_config": null,
+  "exclude_modules": null,
+  "fan_in_fan_out": false,
+  "inference_mode": true,
+  "init_lora_weights": true,
+  "layer_replication": null,
+  "layers_pattern": null,
+  "layers_to_transform": null,
+  "loftq_config": {},
+  "lora_alpha": 32,
+  "lora_bias": false,
+  "lora_dropout": 0.05,
+  "lora_ga_config": null,
+  "megatron_config": null,
+  "megatron_core": "megatron.core",
+  "modules_to_save": null,
+  "peft_type": "LORA",
+  "peft_version": "0.19.1",
+  "qalora_group_size": 16,
+  "r": 16,
+  "rank_pattern": {},
+  "revision": null,
+  "target_modules": [
+    "k_proj",
+    "v_proj",
+    "q_proj",
+    "down_proj",
+    "gate_proj",
+    "o_proj",
+    "up_proj"
+  ],
+  "target_parameters": null,
+  "task_type": "CAUSAL_LM",
+  "trainable_token_indices": null,
+  "use_bdlora": null,
+  "use_dora": false,
+  "use_qalora": false,
+  "use_rslora": false
+}

adapter_model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:a6e5dbc1af183fb8a90912b87881f12fdb47774d7cc2d1816bb1e56dc825019e
+size 275341720

tokenizer.json

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:f624f8136bc57382156e7595e8ea404a66fbce12e3181b933ec2459bda3a71be
-size 11421907
+oid sha256:e20ddafc659ba90242154b55275402edeca0715e5dbb30f56815a4ce081f4893
+size 11422778

tokenizer_config.json

@@ -4,12 +4,192 @@
   "bos_token": "<｜begin▁of▁sentence｜>",
   "clean_up_tokenization_spaces": false,
   "eos_token": "<｜end▁of▁sentence｜>",
+  "from_slow": true,
   "is_local": false,
-  "legacy": true,
-  "local_files_only": false,
-  "model_max_length": 16384,
-  "pad_token": "<｜end▁of▁sentence｜>",
+  "legacy": false,
+  "model_max_length": 131072,
+  "pad_token": "<|vision_pad|>",
+  "padding_side": "right",
   "sp_model_kwargs": {},
-  "tokenizer_class": "Qwen2Tokenizer",
-  "unk_token": null
+  "tokenizer_class": "TokenizersBackend",
+  "unk_token": null,
+  "use_default_system_prompt": false,
+  "added_tokens_decoder": {
+    "151643": {
+      "content": "<｜end▁of▁sentence｜>",
+      "single_word": false,
+      "lstrip": false,
+      "rstrip": false,
+      "normalized": false,
+      "special": true
+    },
+    "151644": {
+      "content": "<｜User｜>",
+      "single_word": false,
+      "lstrip": false,
+      "rstrip": false,
+      "normalized": false,
+      "special": false
+    },
+    "151645": {
+      "content": "<｜Assistant｜>",
+      "single_word": false,
+      "lstrip": false,
+      "rstrip": false,
+      "normalized": false,
+      "special": false
+    },
+    "151646": {
+      "content": "<｜begin▁of▁sentence｜>",
+      "single_word": false,
+      "lstrip": false,
+      "rstrip": false,
+      "normalized": false,
+      "special": true
+    },
+    "151647": {
+      "content": "<|EOT|>",
+      "single_word": false,
+      "lstrip": false,
+      "rstrip": false,
+      "normalized": false,
+      "special": false
+    },
+    "151648": {
+      "content": "<think>",
+      "single_word": false,
+      "lstrip": false,
+      "rstrip": false,
+      "normalized": false,
+      "special": false
+    },
+    "151649": {
+      "content": "</think>",
+      "single_word": false,
+      "lstrip": false,
+      "rstrip": false,
+      "normalized": false,
+      "special": false
+    },
+    "151650": {
+      "content": "<|quad_start|>",
+      "single_word": false,
+      "lstrip": false,
+      "rstrip": false,
+      "normalized": false,
+      "special": true
+    },
+    "151651": {
+      "content": "<|quad_end|>",
+      "single_word": false,
+      "lstrip": false,
+      "rstrip": false,
+      "normalized": false,
+      "special": true
+    },
+    "151652": {
+      "content": "<|vision_start|>",
+      "single_word": false,
+      "lstrip": false,
+      "rstrip": false,
+      "normalized": false,
+      "special": true
+    },
+    "151653": {
+      "content": "<|vision_end|>",
+      "single_word": false,
+      "lstrip": false,
+      "rstrip": false,
+      "normalized": false,
+      "special": true
+    },
+    "151654": {
+      "content": "<|vision_pad|>",
+      "single_word": false,
+      "lstrip": false,
+      "rstrip": false,
+      "normalized": false,
+      "special": true
+    },
+    "151655": {
+      "content": "<|image_pad|>",
+      "single_word": false,
+      "lstrip": false,
+      "rstrip": false,
+      "normalized": false,
+      "special": true
+    },
+    "151656": {
+      "content": "<|video_pad|>",
+      "single_word": false,
+      "lstrip": false,
+      "rstrip": false,
+      "normalized": false,
+      "special": true
+    },
+    "151657": {
+      "content": "<tool_call>",
+      "single_word": false,
+      "lstrip": false,
+      "rstrip": false,
+      "normalized": false,
+      "special": false
+    },
+    "151658": {
+      "content": "</tool_call>",
+      "single_word": false,
+      "lstrip": false,
+      "rstrip": false,
+      "normalized": false,
+      "special": false
+    },
+    "151659": {
+      "content": "<|fim_prefix|>",
+      "single_word": false,
+      "lstrip": false,
+      "rstrip": false,
+      "normalized": false,
+      "special": false
+    },
+    "151660": {
+      "content": "<|fim_middle|>",
+      "single_word": false,
+      "lstrip": false,
+      "rstrip": false,
+      "normalized": false,
+      "special": false
+    },
+    "151661": {
+      "content": "<|fim_suffix|>",
+      "single_word": false,
+      "lstrip": false,
+      "rstrip": false,
+      "normalized": false,
+      "special": false
+    },
+    "151662": {
+      "content": "<|fim_pad|>",
+      "single_word": false,
+      "lstrip": false,
+      "rstrip": false,
+      "normalized": false,
+      "special": false
+    },
+    "151663": {
+      "content": "<|repo_name|>",
+      "single_word": false,
+      "lstrip": false,
+      "rstrip": false,
+      "normalized": false,
+      "special": false
+    },
+    "151664": {
+      "content": "<|file_sep|>",
+      "single_word": false,
+      "lstrip": false,
+      "rstrip": false,
+      "normalized": false,
+      "special": false
+    }
+  }
 }

training_args.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:2dcb9fd1efebc7c487e99696e7655a5dce1fb979ef93fc72ec06ba1e079f6ebf
+size 5777