README.md

---
library_name: transformers
model_name: ruadapt-s1
base_model: RefalMachine/ruadapt_qwen2.5_3B_ext_u48_instruct_v4
language:
- ru
datasets: dankalin/s1K-1.1-ru
---

# ruadapt-s1

Инструктивная модель на основе ruadapt_qwen2.5_3B, обученная на датасете переведенный на русский язык [s1K-1.1](https://huggingface.co/datasets/dankalin/s1K-1.1-ru).

Метод обучения и его параметры почти полностью соответствуют тем, что описаны в статье: [статья](https://arxiv.org/abs/2501.19393)

## Пример кода для запуска:

```python
from transformers import AutoModelForCausalLM, AutoTokenizer


model_name = "dankalin/ruadapt-s1"

model = AutoModelForCausalLM.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)

SYSTEM_PROMPT = """
Отвечай в формате:
<reasoning>
...
</reasoning>
<answer>
...
</answer>
"""

input_text = """
 9 игроков бейсбольной команды пошли в кафе-мороженое после игры. Каждый игрок взял один рожок мороженого с одним шариком: шоколадным, ванильным или клубничным.
 По крайней мере один игрок выбрал каждый вкус, и количество игроков, выбравших шоколадное мороженое, было больше, чем количество игроков, выбравших ванильное, которое, в свою очередь, было больше, чем количество игроков, выбравших клубничное.
 Пусть $N$ — количество различных вариантов распределения вкусов между игроками, удовлетворяющих этим условиям. Найдите остаток от деления $N$ на 1000."""

messages = [
    {'role': 'system', 'content': SYSTEM_PROMPT},
    {"role": "user", "content": input_text},
]


input_ids = tokenizer.apply_chat_template(messages, truncation=True, add_generation_prompt=True, return_tensors="pt")
output = model.generate(
    input_ids,
)

generated_text = tokenizer.decode(output[0], skip_special_tokens=True)
print(generated_text)
```
## Наблюдения:
Модель демонстрирует значительные отклонения, особенно в решении математических задач. Однако на десятом прогоне [kristaller486/aime2025-ru](https://huggingface.co/datasets/kristaller486/aime2025-ru) она смогла верно решить одну задачу.