Update adapter rank 768

README.md

@@ -17,21 +17,22 @@ pipeline_tag: text-generation
 
   # Kumru-2B LoRA Adapter
 
-  This repository provides a **LoRA** adapter distilled from the **VNGRS Kumru-2B** model (`vngrs-ai/Kumru-2B`, 
-  the SFT/chat variant) to be applied on top of the base model `vngrs-ai/Kumru-2B-Base`.
-  The goal is to transfer Kumru's chat/instruction behavior to `Kumru-2B-Base` deployments with a lightweight file footprint.
+  Bu repo, **VNGRS Kumru-2B** modelinin (`vngrs-ai/Kumru-2B`) SFT sürümünü temel alarak,
+  `vngrs-ai/Kumru-2B-Base` modeli üzerine uygulanmak üzere çıkarılmış bir **LoRA** adaptörüdür.
+  Adapter, Kumru’nun chat/instruction davranışını `vngrs-ai/Kumru-2B-Base` tabanlı dağıtımlara
+  hafif dosya boyutuyla taşımak için oluşturulmuştur.
 
-  ## Model Summary
+  ## Model Özeti
 
-  - **Base model:** `vngrs-ai/Kumru-2B-Base`
-  - **Source (target behavior) model:** `vngrs-ai/Kumru-2B` (SFT/chat)
-  - **Technique:** Low-Rank Adaptation (LoRA)
-  - **LoRA rank / alpha:** 512 / 1024 (update these if you produce a different buidl)
-  - **Layer coverage:** All self-attention and MLP projections
-  - **Output artifacts:** PEFT-compatible `adapter_config.json` + `adapter_model.safetensor`
-  - **Licence:** Apache 2.0 (aligned with VNGRS Kumru model licensing)
+  - **Taban model:** `vngrs-ai/Kumru-2B-Base`
+  - **Kaynak (hedef) model:** `vngrs-ai/Kumru-2B` (SFT/chat)
+  - **Teknik:** Low-Rank Adaptation (LoRA)
+  - **LoRA rank / alpha:** 64 / 64 _(farklı sürüm oluşturduysanız güncelleyin)_
+  - **Katman kapsamı:** Tüm self-attention ve MLP projeksiyonları
+  - **Çıktı:** PEFT uyumlu `adapter_config.json` + `adapter_model.safetensors`
+  - **Lisans:** Apache 2.0 (VNGRS’in Kumru modelleriyle uyumlu)
 
-  ## Usage
+  ## Kullanım
 
   ```python
   from peft import PeftModel
@@ -52,20 +53,22 @@ pipeline_tag: text-generation
   outputs = model.generate(inputs, max_new_tokens=512, temperature=0.7, top_p=0.9)
   print(tokenizer.decode(outputs[0][inputs.shape[-1]:], skip_special_tokens=True))
   ```
-  > Not: This adapter must be used together with `vngrs-ai/Kumru-2B-Base`.
+  > Not: Adapter yalnızca vngrs-ai/Kumru-2B-Base ile birlikte kullanılmalıdır.
 
-  ## Extraction Process
+  ## Çıkarma Süreci
 
-  The adapter is obtained by computing the **delta** between the base and the SFT checkpoints and factorizing it with
-  **SVD** into low-rank components.
-  In this release, the measured reconstruction error is approximately **0.49**. To better preserve quality, you may 
-  increase rank/alpha and export a new version (e.g., rank 768 / alpha 1024). A lower-error build will be added as soon
-  as possible.
+  Adapter, base ve SFT checkpoint’leri arasındaki delta’nın SVD ile düşük-rank faktörlere ayrılmasıyla elde edilmiştir.
+  Bu sürümde hesaplanan rekonstrüksiyon hatası yaklaşık 0.78’dir; kaliteyi korumak için rank/alpha değerlerini artırıp
+  yeni bir sürüm çıkarabilirsiniz (ör. rank 256 / alpha 512). En kısa sürede daha düşük hatalı sürüm eklenecektir.
 
   - Script: export_kumru.py
 
-  ## Known Limitations
+  ## Bilinen Sınırlamalar
 
-  - Kumru-2B is still a ~2B-parameter model; it may struggle with very long context, rare technical terms, and complex math.
-  - With low ranks, SVD-based LoRA can be less stable than the original SFT checkpoint.
-  - Training data is based on VNGRS’s public Turkish corpus cleaning pipeline; truthfulness/hallucination issues may still occur.
+  - Kumru-2B hâlâ 2B parametreli bir modeldir; uzun bağlam, nadir teknik terimler ve matematikte hatalar görülebilir.
+  - Rank düşük olduğunda SVD tabanlı LoRA, orijinal SFT checkpoint’i kadar stabil olmayabilir.
+  - Eğitim verisi VNGRS’in kamuya açık Türkçe corpus temizleme akışına dayanmaktadır; doğruluk/hallucination problemleri
+    hâlen görülebilir.
+### Framework versions
+
+- PEFT 0.11.1

adapter_config.json

@@ -16,17 +16,17 @@
   "megatron_core": "megatron.core",
   "modules_to_save": null,
   "peft_type": "LORA",
-  "r": 512,
+  "r": 768,
   "rank_pattern": {},
   "revision": null,
   "target_modules": [
-    "up_proj",
     "q_proj",
-    "k_proj",
-    "down_proj",
     "o_proj",
     "v_proj",
-    "gate_proj"
+    "up_proj",
+    "k_proj",
+    "gate_proj",
+    "down_proj"
   ],
   "task_type": "CAUSAL_LM",
   "use_dora": false,

adapter_model.safetensors

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:2def29151c0ac887223e61f1f9aff3ecd3463f9813a35c34549d36bf92a63bb4
-size 1085310712
+oid sha256:15514500c008df738982869a0185f8f5b90757d85527a7000ab579fbe25e9cef
+size 1627948952