Update README.md

README.md

@@ -1,3 +1,93 @@
----
-license: mit
----
+---
+language:
+  - tr
+license: apache-2.0
+library_name: peft
+base_model: vngrs-ai/Kumru-2B
+tags:
+  - lora
+  - turkish
+  - rap
+  - lyrics
+  - text-generation
+  - peft
+  - chatml
+pipeline_tag: text-generation
+---
+
+# Kumru-2B Turkish Rap LoRA — Sagopa Kajmer & Ceza
+
+Two LoRA adapters fine-tuned on **[vngrs-ai/Kumru-2B](https://huggingface.co/vngrs-ai/Kumru-2B)** (2B param, Turkish LLM) for generating rap lyrics in the styles of **Sagopa Kajmer** and **Ceza**.
+
+## Models
+
+| | Sagopa Kajmer | Ceza |
+|---|---|---|
+| **Base Model** | vngrs-ai/Kumru-2B | vngrs-ai/Kumru-2B |
+| **LoRA Rank** | 16 | 8 |
+| **LoRA Alpha** | 32 | 16 |
+| **Dropout** | 0.05 | 0.3 |
+| **Target Modules** | q/k/v/o_proj, gate/up/down_proj | q/k/v/o_proj, gate/up/down_proj |
+| **Style** | Melankolik, meditativ, felsefi metaforlar | Hızlı flow, sert punchline, agresif enerji |
+| **Folder** | `SagoWeights/` | `CezaWeights/` |
+
+## Training
+
+- **Method:** SFT with PEFT/LoRA
+- **Base Model:** [vngrs-ai/Kumru-2B](https://huggingface.co/vngrs-ai/Kumru-2B) — 2B parameter Turkish causal LM
+- **Data:** ~120 Sagopa Kajmer lyrics + ~100 Ceza lyrics, manually curated and cleaned
+- **Format:** ChatML (`<|im_start|>user` / `<|im_end|>`)
+- **Framework:** Transformers + PEFT 0.18.1
+- **Hardware:** Single T4 GPU (Colab)
+
+## Usage
+
+```python
+import torch
+from transformers import AutoModelForCausalLM, AutoTokenizer
+from peft import PeftModel
+
+# Load base
+tokenizer = AutoTokenizer.from_pretrained("vngrs-ai/Kumru-2B")
+base_model = AutoModelForCausalLM.from_pretrained(
+    "vngrs-ai/Kumru-2B",
+    torch_dtype=torch.bfloat16,
+    device_map="auto",
+)
+
+# Load LoRA (pick one)
+model = PeftModel.from_pretrained(base_model, "SalihHub/Kumru_2B_TurkRap", subfolder="SagoWeights")
+# model = PeftModel.from_pretrained(base_model, "SalihHub/Kumru_2B_TurkRap", subfolder="CezaWeights")
+
+# Generate
+theme = "Gece yarısı sokakların sessizliğinde kaybolan bir adam"
+
+prompt = (
+    "<|im_start|>user\n"
+    "Asagidaki temada Sagopa Kajmer tarzi bir rap verse'u yaz.\n"
+    f"{theme}\n"
+    "<|im_end|>\n"
+    "<|im_start|>assistant\n"
+)
+
+inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
+output = model.generate(
+    **inputs,
+    max_new_tokens=512,
+    temperature=0.8,
+    top_p=0.9,
+    repetition_penalty=1.3,
+    do_sample=True,
+)
+print(tokenizer.decode(output[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True))
+```
+
+## Example Output
+
+**Theme:** *İki kişinin zaman algısının farklılığı*
+
+**Sagopa:**
+> Abi beat'ler dönerken stüdyo loş ışıkta, ritim beni vuruyor gece yarısı geceye doğru. Zamanı unuttum burada, hızlı akan bir nehrin üstünde sürükleniyoruz sanki...
+
+**Ceza:**
+> Aslında, bu flow yavaş akan nehir gibi – bir yanda rüzgarın nefesi, öbür yanda dalgaların öfkesi var ya… Zaman aynı akmıyor be! Sen zamanın kölesisin, bense ritmin kaptanı...