injazsmart/thoth_text_v3

🧠 Thoth Text v3

نموذج Thoth Text v3 هو إصدار مطوّر من Qwen/Qwen2.5-7B-Instruct، تم تدريبه باستخدام أسلوب LoRA fine-tuning عبر مكتبة Axolotl، على بيانات نصية عربية تم إعدادها محليًا (غير منشورة).

---

📋 معلومات أساسية

• Base model: Qwen/Qwen2.5-7B-Instruct
• Previous adapters:
  • injazsmart/thoth_text
  • injazsmart/thoth_text_v2
• Current version: thoth_text_v3
• Framework: Axolotl + PEFT + Transformers
• Hardware: 8-bit training على GPU واحد

---

⚙️ إعدادات التدريب (config.yaml)

adapter: lora
base_model: Qwen/Qwen2.5-7B-Instruct
bf16: auto

lora_model_dir: injazsmart/thoth_text_v2

datasets:
  - path: ./data/injaz.json
    type: alpaca

sequence_len: 4096
micro_batch_size: 16
gradient_accumulation_steps: 1
num_epochs: 2
learning_rate: 0.0001
optimizer: adamw_bnb_8bit

load_in_8bit: true
lora_r: 8
lora_alpha: 16
lora_dropout: 0.05
lora_target_modules:
  - q_proj
  - v_proj
  - k_proj
  - o_proj
  - gate_proj
  - down_proj
  - up_proj

train_on_inputs: false
output_dir: ./outputs/thoth_text_v3