Improve language tag
#1
by
lbourdois
- opened
README.md
CHANGED
|
@@ -1,159 +1,171 @@
|
|
| 1 |
-
---
|
| 2 |
-
datasets: WiroAI/dolphin-r1-turkish
|
| 3 |
-
library_name: transformers
|
| 4 |
-
model_name: OpenR1-Qwen-7B-Turkish
|
| 5 |
-
tags:
|
| 6 |
-
- generated_from_trainer
|
| 7 |
-
- trl
|
| 8 |
-
- sft
|
| 9 |
-
- thinking
|
| 10 |
-
- reasoning
|
| 11 |
-
- deepseek
|
| 12 |
-
- qwen
|
| 13 |
-
licence: license
|
| 14 |
-
license: apache-2.0
|
| 15 |
-
language:
|
| 16 |
-
-
|
| 17 |
-
|
| 18 |
-
-
|
| 19 |
-
|
| 20 |
-
|
| 21 |
-
|
| 22 |
-
|
| 23 |
-
|
| 24 |
-
|
| 25 |
-
|
| 26 |
-
|
| 27 |
-
|
| 28 |
-
|
| 29 |
-
|
| 30 |
-
|
| 31 |
-
|
| 32 |
-
|
| 33 |
-
|
| 34 |
-
|
| 35 |
-
|
| 36 |
-
</div>
|
| 37 |
-
<
|
| 38 |
-
|
| 39 |
-
|
| 40 |
-
|
| 41 |
-
|
| 42 |
-
|
| 43 |
-
|
| 44 |
-
</
|
| 45 |
-
<
|
| 46 |
-
|
| 47 |
-
|
| 48 |
-
|
| 49 |
-
|
| 50 |
-
|
| 51 |
-
|
| 52 |
-
|
| 53 |
-
|
| 54 |
-
|
| 55 |
-
|
| 56 |
-
|
| 57 |
-
|
| 58 |
-
|
| 59 |
-
|
| 60 |
-
|
| 61 |
-
|
| 62 |
-
|
| 63 |
-
|
| 64 |
-
|
| 65 |
-
|
| 66 |
-
|
| 67 |
-
|
| 68 |
-
|
| 69 |
-
|
| 70 |
-
|
| 71 |
-
|
| 72 |
-
|
| 73 |
-
|
| 74 |
-
|
| 75 |
-
|
| 76 |
-
|
| 77 |
-
|
| 78 |
-
|
| 79 |
-
|
| 80 |
-
|
| 81 |
-
|
| 82 |
-
|
| 83 |
-
|
| 84 |
-
|
| 85 |
-
|
| 86 |
-
|
| 87 |
-
|
| 88 |
-
|
| 89 |
-
|
| 90 |
-
|
| 91 |
-
|
| 92 |
-
|
| 93 |
-
|
| 94 |
-
|
| 95 |
-
|
| 96 |
-
|
| 97 |
-
|
| 98 |
-
|
| 99 |
-
|
| 100 |
-
|
| 101 |
-
|
| 102 |
-
|
| 103 |
-
|
| 104 |
-
|
| 105 |
-
|
| 106 |
-
|
| 107 |
-
|
| 108 |
-
|
| 109 |
-
|
| 110 |
-
|
| 111 |
-
|
| 112 |
-
|
| 113 |
-
|
| 114 |
-
|
| 115 |
-
|
| 116 |
-
|
| 117 |
-
|
| 118 |
-
|
| 119 |
-
|
| 120 |
-
|
| 121 |
-
|
| 122 |
-
|
| 123 |
-
|
| 124 |
-
|
| 125 |
-
|
| 126 |
-
|
| 127 |
-
|
| 128 |
-
|
| 129 |
-
|
| 130 |
-
|
| 131 |
-
|
| 132 |
-
|
| 133 |
-
|
| 134 |
-
|
| 135 |
-
|
| 136 |
-
|
| 137 |
-
|
| 138 |
-
|
| 139 |
-
|
| 140 |
-
|
| 141 |
-
|
| 142 |
-
|
| 143 |
-
|
| 144 |
-
|
| 145 |
-
|
| 146 |
-
|
| 147 |
-
|
| 148 |
-
-
|
| 149 |
-
|
| 150 |
-
|
| 151 |
-
|
| 152 |
-
|
| 153 |
-
|
| 154 |
-
|
| 155 |
-
|
| 156 |
-
|
| 157 |
-
|
| 158 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 159 |
```
|
|
|
|
| 1 |
+
---
|
| 2 |
+
datasets: WiroAI/dolphin-r1-turkish
|
| 3 |
+
library_name: transformers
|
| 4 |
+
model_name: OpenR1-Qwen-7B-Turkish
|
| 5 |
+
tags:
|
| 6 |
+
- generated_from_trainer
|
| 7 |
+
- trl
|
| 8 |
+
- sft
|
| 9 |
+
- thinking
|
| 10 |
+
- reasoning
|
| 11 |
+
- deepseek
|
| 12 |
+
- qwen
|
| 13 |
+
licence: license
|
| 14 |
+
license: apache-2.0
|
| 15 |
+
language:
|
| 16 |
+
- zho
|
| 17 |
+
- eng
|
| 18 |
+
- fra
|
| 19 |
+
- spa
|
| 20 |
+
- por
|
| 21 |
+
- deu
|
| 22 |
+
- ita
|
| 23 |
+
- rus
|
| 24 |
+
- jpn
|
| 25 |
+
- kor
|
| 26 |
+
- vie
|
| 27 |
+
- tha
|
| 28 |
+
- ara
|
| 29 |
+
base_model:
|
| 30 |
+
- Qwen/Qwen2.5-7B-Instruct
|
| 31 |
+
---
|
| 32 |
+
|
| 33 |
+
<div align="center" style="display: flex; justify-content: center; align-items: center;">
|
| 34 |
+
<img src="https://huggingface.co/WiroAI/wiroai-turkish-llm-9b/resolve/main/wiro_logo.png" width="15%" alt="Wiro AI" />
|
| 35 |
+
<img src="https://upload.wikimedia.org/wikipedia/commons/thumb/b/b4/Flag_of_Turkey.svg/1599px-Flag_of_Turkey.svg.png" width="15%" alt="Turkish Flag" style="margin-left: 10px;" />
|
| 36 |
+
</div>
|
| 37 |
+
<hr>
|
| 38 |
+
<div align="center" style="line-height: 1;">
|
| 39 |
+
<a href="https://www.wiro.ai/" target="_blank" style="margin: 2px;">
|
| 40 |
+
<img alt="Homepage" src="https://huggingface.co/WiroAI/wiroai-turkish-llm-9b/resolve/main/homepage.svg" style="display: inline-block; vertical-align: middle;"/>
|
| 41 |
+
</a>
|
| 42 |
+
<a href="https://wiro.ai/tools?search=&categories=chat&tags=&page=0" target="_blank" style="margin: 2px;">
|
| 43 |
+
<img alt="Chat" src="https://huggingface.co/WiroAI/wiroai-turkish-llm-9b/resolve/main/chat.svg" style="display: inline-block; vertical-align: middle;"/>
|
| 44 |
+
</a>
|
| 45 |
+
<a href="https://huggingface.co/WiroAI" target="_blank" style="margin: 2px;">
|
| 46 |
+
<img alt="Hugging Face" src="https://huggingface.co/WiroAI/wiroai-turkish-llm-9b/resolve/main/huggingface.svg" style="display: inline-block; vertical-align: middle;"/>
|
| 47 |
+
</a>
|
| 48 |
+
</div>
|
| 49 |
+
<div align="center" style="line-height: 1;">
|
| 50 |
+
<a href="https://instagram.com/wiroai" target="_blank" style="margin: 2px;">
|
| 51 |
+
<img alt="Instagram Follow" src="https://img.shields.io/badge/Instagram-wiroai-555555?logo=instagram&logoColor=white&labelColor=E4405F" style="display: inline-block; vertical-align: middle;"/>
|
| 52 |
+
</a>
|
| 53 |
+
<a href="https://x.com/wiroai" target="_blank" style="margin: 2px;">
|
| 54 |
+
<img alt="X Follow" src="https://img.shields.io/badge/X-wiroai-555555?logo=x&logoColor=white&labelColor=000000" style="display: inline-block; vertical-align: middle;"/>
|
| 55 |
+
</a>
|
| 56 |
+
</div>
|
| 57 |
+
<div align="center" style="line-height: 1;">
|
| 58 |
+
<a href="https://wiro.ai/agreement/terms-of-service" style="margin: 2px;">
|
| 59 |
+
<img alt="License" src="https://img.shields.io/badge/License-apache 2.0-f5de53?&color=f5de53" style="display: inline-block; vertical-align: middle;"/>
|
| 60 |
+
</a>
|
| 61 |
+
</div>
|
| 62 |
+
|
| 63 |
+
# 🚀 OpenR1-Qwen-7B-Turkish 🚀
|
| 64 |
+
|
| 65 |
+
This is a finetune of [Qwen2.5-Instruct](https://huggingface.co/Qwen/Qwen2.5-7B-Instruct) on [WiroAI/dolphin-r1-turkish](https://huggingface.co/datasets/WiroAI/dolphin-r1-turkish).
|
| 66 |
+
|
| 67 |
+
## 🟢 Overview
|
| 68 |
+
|
| 69 |
+
- DeepSeek's distilled models sometimes reason in Chinese or English even though prompted in another language.
|
| 70 |
+
- Open-Source models still need improvement on relatively low-resource languages.
|
| 71 |
+
- A motivation to reproduce R1 and contribute to the community.
|
| 72 |
+
|
| 73 |
+
## 🟢 Training
|
| 74 |
+
|
| 75 |
+
- We train the model on the [WiroAI/dolphin-r1-turkish](https://huggingface.co/datasets/WiroAI/dolphin-r1-turkish) for 2 epochs. We use learning rate of 1e-5 and max seq length 4096. The training follows a cosine learning rate schedule with a 10% warmup phase.
|
| 76 |
+
- Training took 3 days in 8xA6000 ADA cluster.
|
| 77 |
+
- Normally, R1 team compares the performance of OpenR1 models to DeepSeek-Distill-Qwen-7B and OpenThinker-7B using [lighteval](https://github.com/huggingface/open-r1/tree/main?tab=readme-ov-file#evaluating-models). However, the datasets are only MATH oriented so not to conclude anything we won't disclose the default results.
|
| 78 |
+
|
| 79 |
+
You can find the training and evaluation code at: https://github.com/huggingface/open-r1/
|
| 80 |
+
|
| 81 |
+
## 🐨 Quick start
|
| 82 |
+
|
| 83 |
+
```python
|
| 84 |
+
from transformers import AutoModelForCausalLM, AutoTokenizer
|
| 85 |
+
|
| 86 |
+
model_name = "OpenR1-Qwen-7B-Turkish"
|
| 87 |
+
|
| 88 |
+
model = AutoModelForCausalLM.from_pretrained(
|
| 89 |
+
model_name,
|
| 90 |
+
torch_dtype="auto",
|
| 91 |
+
device_map="auto"
|
| 92 |
+
)
|
| 93 |
+
tokenizer = AutoTokenizer.from_pretrained(model_name)
|
| 94 |
+
|
| 95 |
+
prompt = "$4x+5 = 6x+7$ denklemini sağlayan $x$ değerini bul."
|
| 96 |
+
|
| 97 |
+
messages = [
|
| 98 |
+
{"role": "system", "content": "Lütfen adım adım düşün ve cevapla."},
|
| 99 |
+
{"role": "user", "content": prompt}
|
| 100 |
+
]
|
| 101 |
+
|
| 102 |
+
text = tokenizer.apply_chat_template(
|
| 103 |
+
messages,
|
| 104 |
+
tokenize=False,
|
| 105 |
+
add_generation_prompt=True
|
| 106 |
+
)
|
| 107 |
+
model_inputs = tokenizer([text], return_tensors="pt").to(device)
|
| 108 |
+
|
| 109 |
+
generated_ids = model.generate(
|
| 110 |
+
model_inputs.input_ids,
|
| 111 |
+
max_new_tokens=4096
|
| 112 |
+
)
|
| 113 |
+
generated_ids = [
|
| 114 |
+
output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)
|
| 115 |
+
]
|
| 116 |
+
|
| 117 |
+
response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
|
| 118 |
+
```
|
| 119 |
+
|
| 120 |
+
```
|
| 121 |
+
<|begin_of_thought|>
|
| 122 |
+
Tamam, yani 4x + 5 = 6x + 7 denklemini çözmem gerekiyor. Hımm, dur bakalım.
|
| 123 |
+
Cebirden hatırlıyorum ki denklemi doğru yapacak x değerini bulmam lazım.
|
| 124 |
+
Adım adım düşüneyim. Öncelikle, belki tüm x terimlerini bir tarafa ve sabitleri diğer tarafa almalıyım.
|
| 125 |
+
Bu şekilde, x'i yalnız bırakabilirim. Sol tarafta 4x var ve sağ tarafta 6x var.
|
| 126 |
+
Yani, her iki taraftan 4x çıkarırsam, bu bana 5 = 2x + 7 sonucunu verir. Dur, doğru mu? Kontrol edeyim.
|
| 127 |
+
Eğer orijinal denklem 4x + 5 = 6x + 7 ise ve her iki taraftan 4x çıkarırsam, evet, sol taraf 5 olur ve sağ taraf 6x - 4x, yani 2x olur, artı 7.
|
| 128 |
+
Yani şimdi 5 = 2x + 7 oldu. Pekala, şimdi 5 = 2x + 7'ye sahibim.
|
| 129 |
+
Bir sonraki adım, x'i çözmem gereken 2x'i izole etmek. Bu yüzden her iki taraftan 7 çıkarmalıyım.
|
| 130 |
+
Bunu yazayım. Her iki taraftan 7 çıkar: 5 - 7 = 2x + 7 - 7. Sağ tarafı basitleştirirsek, 7 - 7, 0 olur, yani 5 - 7 = 2x. Bu da -2 = 2x'e basitleşir.
|
| 131 |
+
Şimdi denklem -2 = 2x. x'i çözmek için her iki tarafı 2'ye bölmem gerekiyor.
|
| 132 |
+
Yapayım. Her iki tarafı 2'ye bölmek: (-2)/2 = (2x)/2. Bu da -1 = x'e basitleşir veya aynı şey x = -1.
|
| 133 |
+
Dur, bunun mantıklı olup olmadığını kontrol edeyim. x = -1'i orijinal denkleme geri takarak işe yarayıp yaramadığını doğrulayayım.
|
| 134 |
+
Orijinal denklem: 4x + 5 = 6x + 7. x = -1'i yerine koyarsak: Sol taraf: 4*(-1) + 5 = -4 + 5 = 1. Sağ taraf: 6*(-1) + 7 = -6 + 7 = 1.
|
| 135 |
+
Yani her iki taraf da 1'e eşit. Bu doğru. Yani x = -1 gerçekten de çözüm.
|
| 136 |
+
Ama hata yapmadığımdan emin olmak için adımları tekrar gözden geçireyim. 4x + 5 = 6x + 7 ile başlayarak.
|
| 137 |
+
Her iki taraftan 4x çıkar: 5 = 2x + 7. Sonra 7 çıkar: 5 - 7 = 2x => -2 = 2x. 2'ye böl: x = -1.
|
| 138 |
+
Evet, hepsi doğru görünüyor. Alternatif olarak, bu probleme yaklaşmanın başka bir yolu da önce tüm x terimlerini bir tarafa toplamak olabilir.
|
| 139 |
+
Bakalım. Eğer her iki taraftan 4x çıkarıp her iki taraftan 7 çıkarırsam, bu bana 5 - 7 = 6x - 4x sonucunu verir, bu da -2 = 2x demektir.
|
| 140 |
+
Sonra aynı sonuç. Yani yöntemden bağımsız olarak, aynı cevabı alıyoruz. Başka bir kontrol yolu da sayı doğrusu üzerinde düşünmek olabilir.
|
| 141 |
+
Eğer 4x + 5, 6x + 7'ye eşitse, o zaman 4x + 5'ten 6x + 7'ye olan mesafe sıfır olmalı.
|
| 142 |
+
Ama belki de bu işleri karmaşıklaştırıyor. Alternatif olarak, her iki taraftan 4x çıkararak 5 = 2x + 7 elde edelim. Sonra 7 çıkar: -2 = 2x.
|
| 143 |
+
Yani x, -1'dir. Evet, aynı cevap. Sanırım bu sağlam. Tüm adımlar kontrol edildi ve x = -1'i orijinal denkleme geri koymak işe yarıyor.
|
| 144 |
+
Yani çözüm x = -1 olmalı.
|
| 145 |
+
**Son Cevap** \\( x \\) değeri \\boxed{-1}'dir.
|
| 146 |
+
<|end_of_thought|>
|
| 147 |
+
|
| 148 |
+
<|begin_of_solution|>\n\\(4x + 5 = 6x + 7\\) denklemini çözmek için:\n\n1. Tüm \\(x\\) terimlerini bir tarafa ve sabitleri diğer tarafa taşımak için her iki taraftan \\(4x\\) çıkarın:\n \\[\n 4x + 5 - 4x = 6x + 7 - 4x\n \\]\n Bunu basitleştirdiğimizde şunu elde ederiz:\n \\[\n 5 = 2x + 7\n \\]\n\n2. \\(x\\) terimini yalnız bırakmak için her iki taraftan 7 çıkarın:\n \\[\n 5 - 7 = 2x + 7 - 7\n \\]\n Bunu basitleştirdiğimizde şunu elde ederiz:\n \\[\n -2 = 2x\n \\]\n\n3. Her iki tarafı 2'ye bölerek \\(x\\) için çözün:\n \\[\n \\frac{-2}{2} = \\frac{2x}{2}\n \\]\n Bunu basitleştirdiğimizde şunu elde ederiz:\n \\[\n x = -1\n \\]\n\nDoğrulama: \\(x = -1\\)'i orijinal denklemde yerine koyun:\n- Sol taraf: \\(4(-1) + 5 = -4 + 5 = 1\\)\n- Sağ taraf: \\(6(-1) + 7 = -6 + 7 = 1\\)\n\nHer iki taraf da eşit olduğundan, çözümün doğru olduğu doğrulanır.\n\n\\(x\\) değeri \\(\\boxed{-1}\\)'dir.\n<|end_of_solution|>
|
| 149 |
+
```
|
| 150 |
+
|
| 151 |
+
|
| 152 |
+
## 🟡 Evaluation
|
| 153 |
+
|
| 154 |
+
- We observed that reasoning process has slightly improved. Our model thinks more clearly in Turkish compared to the DeepSeek's reasoning model.
|
| 155 |
+
- This model trained for experimental motives and any benchmark evaluation is appreciated. Please be aware that this model will be producing more tokens compared to normal models and will consume more VRAM during inference.
|
| 156 |
+
- If you are willing to evaluate this model please make sure that model will be allowed to produce enough tokens. Generate until requests that restrict the model to output less than 4000 tokens will lead to poor results.
|
| 157 |
+
- We believe democratized and culturally improved open-source models will be through sharing and experiments!
|
| 158 |
+
|
| 159 |
+
## 🤗 Community
|
| 160 |
+
- We would like to thank Huggingface Staff and everyone who contributed to the Open-R1 project!
|
| 161 |
+
|
| 162 |
+
## Citation
|
| 163 |
+
|
| 164 |
+
```none
|
| 165 |
+
@article{WiroAI,
|
| 166 |
+
title={WiroAI/OpenR1-Qwen-7B-Turkish,
|
| 167 |
+
author={Abdullah Bezir, Cengiz Asmazoğlu},
|
| 168 |
+
year={2025},
|
| 169 |
+
url={https://huggingface.co/WiroAI/OpenR1-Qwen-7B-Turkish}
|
| 170 |
+
}
|
| 171 |
```
|