ceofast commited on
Commit
c2fc773
·
verified ·
1 Parent(s): c15db25

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +24 -23
README.md CHANGED
@@ -17,22 +17,22 @@ pipeline_tag: text-generation
17
 
18
  # Kumru-2B LoRA Adapter
19
 
20
- Bu repo, **VNGRS Kumru-2B** modelinin (`vngrs-ai/Kumru-2B`) SFT sürümünü temel alarak,
21
- `vngrs-ai/Kumru-2B-Base` modeli üzerine uygulanmak üzere çıkarılmış bir **LoRA** adaptörüdür.
22
- Adapter, Kumru’nun chat/instruction davranışını `vngrs-ai/Kumru-2B-Base` tabanlı dağıtımlara
23
- hafif dosya boyutuyla taşımak için oluşturulmuştur.
24
 
25
- ## Model Özeti
26
 
27
- - **Taban model:** `vngrs-ai/Kumru-2B-Base`
28
- - **Kaynak (hedef) model:** `vngrs-ai/Kumru-2B` (SFT/chat)
29
- - **Teknik:** Low-Rank Adaptation (LoRA)
30
- - **LoRA rank / alpha:** 64 / 64 _(farklı sürüm oluşturduysanız güncelleyin)_
31
- - **Katman kapsamı:** Tüm self-attention ve MLP projeksiyonları
32
- - **Çıktı:** PEFT uyumlu `adapter_config.json` + `adapter_model.safetensors`
33
- - **Lisans:** Apache 2.0 (VNGRS’in Kumru modelleriyle uyumlu)
34
 
35
- ## Kullanım
36
 
37
  ```python
38
  from peft import PeftModel
@@ -53,22 +53,23 @@ pipeline_tag: text-generation
53
  outputs = model.generate(inputs, max_new_tokens=512, temperature=0.7, top_p=0.9)
54
  print(tokenizer.decode(outputs[0][inputs.shape[-1]:], skip_special_tokens=True))
55
  ```
56
- > Not: Adapter yalnızca vngrs-ai/Kumru-2B-Base ile birlikte kullanılmalıdır.
57
 
58
- ## Çıkarma Süreci
59
 
60
- Adapter, base ve SFT checkpoint’leri arasındaki delta’nın SVD ile düşük-rank faktörlere ayrılmasıyla elde edilmiştir.
61
- Bu sürümde hesaplanan rekonstrüksiyon hatası yaklaşık 0.409’dur; kaliteyi korumak için rank/alpha değerlerini artırıp
62
- yeni bir sürüm çıkarabilirsiniz (ör. rank 1024 / alpha 2048). En kısa sürede daha düşük hatalı sürüm eklenecektir.
 
63
 
64
  - Script: export_kumru.py
65
 
66
- ## Bilinen Sınırlamalar
67
 
68
- - Kumru-2B hâlâ 2B parametreli bir modeldir; uzun bağlam, nadir teknik terimler ve matematikte hatalar görülebilir.
69
- - Rank düşük olduğunda SVD tabanlı LoRA, orijinal SFT checkpoint’i kadar stabil olmayabilir.
70
- - Eğitim verisi VNGRS’in kamuya açık Türkçe corpus temizleme akışına dayanmaktadır; doğruluk/hallucination problemleri
71
- hâlen görülebilir.
72
  ### Framework versions
73
 
74
  - PEFT 0.11.1
 
17
 
18
  # Kumru-2B LoRA Adapter
19
 
20
+ This repository provides a **LoRA** adapter distilled from the **VNGRS Kumru-2B** model (
21
+ `vngrs-ai/Kumru-2B`, the SFT/chat variant) to be applied on top of the base model
22
+ `vngrs-ai/Kumru-2B-Base`. The goal is to transfer Kumru’s chat/instruction behavior
23
+ to `Kumru-2B-Base` deployments with a lightweight file footprint.
24
 
25
+ ## Model Summary
26
 
27
+ - **Base model:** `vngrs-ai/Kumru-2B-Base`
28
+ - **Source (target behavior) model:** `vngrs-ai/Kumru-2B` (SFT/chat)
29
+ - **echnique:** Low-Rank Adaptation (LoRA)
30
+ - **LoRA rank / alpha:** 768 / 1024 _(update these if you produce a different build)_
31
+ - **Layer coverage:** All self-attention and MLP projections
32
+ - **Output artifacts:** PEFT-compatible `adapter_config.json` + `adapter_model.safetensors`
33
+ - **License:** Apache 2.0 (aligned with VNGRS Kumru model licensing)
34
 
35
+ ## Usage
36
 
37
  ```python
38
  from peft import PeftModel
 
53
  outputs = model.generate(inputs, max_new_tokens=512, temperature=0.7, top_p=0.9)
54
  print(tokenizer.decode(outputs[0][inputs.shape[-1]:], skip_special_tokens=True))
55
  ```
56
+ > Not: This adapter must be used together with `vngrs-ai/Kumru-2B-Base`.
57
 
58
+ ## Extraction Process
59
 
60
+ The adapter is obtained by computing the delta between the base and the SFT checkpoints and factorizing it with **SVD**
61
+ into low-rank components. In this release, the measured reconstruction error is approximately **0.409**. To better preserve
62
+ quality, you may increase rank/alpha and export a new version (e.g., rank **1024** / alpha **2048**). A lower-error build will
63
+ be added as soon as possible.
64
 
65
  - Script: export_kumru.py
66
 
67
+ ## Known Limitations
68
 
69
+ - Kumru-2B is still a ~2B-parameter model; it may struggle with very long context, rare technical terms, and complex math.
70
+ - With low ranks, SVD-based LoRA can be less stable than the original SFT checkpoint.
71
+ - Training data is based on VNGRS’s public Turkish corpus cleaning pipeline; truthfulness/hallucination issues may still occur.
72
+
73
  ### Framework versions
74
 
75
  - PEFT 0.11.1