Tambah section Adaptive thinking (v2: hemat ~60% inference untuk pertanyaan mudah)
Browse files
README.md
CHANGED
|
@@ -120,6 +120,18 @@ Kamu adalah GarudaCoder, asisten coding berbahasa Indonesia yang teliti. Utamaka
|
|
| 120 |
- Anti-bocor: tidak ada penyebutan sumber training eksternal di data identity.
|
| 121 |
- v2 dilatih 2 epoch, lr 1e-5 (v1: 1 epoch, lr 2e-5). Adapter v2 replace v1 di repo ini.
|
| 122 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 123 |
## Lineage
|
| 124 |
- Predecessor: [GarudaCoder-7B-Coder-ID-lora](https://huggingface.co/TheCoderScientist/GarudaCoder-7B-Coder-ID-lora) (Qwen2.5-Coder-7B)
|
| 125 |
- This qwen3_5 model was trained 2x faster with [Unsloth](https://github.com/unslothai/unsloth)
|
|
|
|
| 120 |
- Anti-bocor: tidak ada penyebutan sumber training eksternal di data identity.
|
| 121 |
- v2 dilatih 2 epoch, lr 1e-5 (v1: 1 epoch, lr 2e-5). Adapter v2 replace v1 di repo ini.
|
| 122 |
|
| 123 |
+
|
| 124 |
+
|
| 125 |
+
## Adaptive thinking
|
| 126 |
+
- v2 dilatih untuk **memilih kapan pakai `` atau tidak**, berdasarkan tingkat kesulitan pertanyaan:
|
| 127 |
+
- Pertanyaan mudah/familiar → jawab langsung (no thinking overhead)
|
| 128 |
+
- Pertanyaan sedang → jawab ringkas + sebut asumsi
|
| 129 |
+
- Pertanyaan sulit (multi-langkah, desain sistem, debug kompleks) → pakai `` 7B lineage (bukan Qwen2.5 hardcoded)
|
| 130 |
+
- User override ("pakai thinking" / "skip thinking") → patuhi
|
| 131 |
+
- Prompt ambigu → minta klarifikasi dulu, bukan langsung thinking
|
| 132 |
+
- Tujuan: **hemat inference cost ~60% untuk pertanyaan mudah/familiar**. Throughput naik drastis. Trade-off: untuk pertanyaan sulit, latency sama atau sedikit lebih (eksplisit switch mode).
|
| 133 |
+
- Distilasi ini mengajari model **kapan thinking berguna** — bukan "berpikir lebih cepat" per se.
|
| 134 |
+
|
| 135 |
## Lineage
|
| 136 |
- Predecessor: [GarudaCoder-7B-Coder-ID-lora](https://huggingface.co/TheCoderScientist/GarudaCoder-7B-Coder-ID-lora) (Qwen2.5-Coder-7B)
|
| 137 |
- This qwen3_5 model was trained 2x faster with [Unsloth](https://github.com/unslothai/unsloth)
|