File size: 3,599 Bytes
1b36cc0 d746bff 407aba3 3d74c38 76c0732 3d74c38 76c0732 3d74c38 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 | 
---
license: apache-2.0
language:
- ru
---
### Код-пример для запуска
```
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
MODEL_PATH = "eridai/erida-hotei-50125"
tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
MODEL_PATH,
torch_dtype=torch.float16 if torch.cuda.is_available() else torch.float32,
trust_remote_code=True
)
device = "cuda" if torch.cuda.is_available() else "cpu"
model = model.to(device)
prompt = "Почему трава зеленая?"
messages = [
{"role": "system", "content": "Ты — доброжелательный ассистент, отвечающий на русском языке."},
{"role": "user", "content": prompt}
]
input_ids = tokenizer.apply_chat_template(
messages,
add_generation_prompt=True,
return_tensors="pt",
enable_thinking=True # режим рассуждения
).to(device)
with torch.no_grad():
outputs = model.generate(
input_ids,
max_new_tokens=1024,
temperature=0.6,
repetition_penalty=1.1,
do_sample=True,
pad_token_id=tokenizer.pad_token_id,
eos_token_id=tokenizer.eos_token_id
)
response_ids = outputs[0][len(input_ids[0]):]
generated_text = tokenizer.decode(response_ids, skip_special_tokens=True)
print(generated_text.strip())
```
### Результат генерации:
```
Промпт: Привет! Почему трава зеленая?
Ответ: <think>
Хорошо, пользователь спрашивает, почему трава зелена. Нужно ответить на это сначала. Но вдруг он ошибся, и хочет узнать о других цветах? Надо уточнить, чтобы не возникнуть путаницы.
Может быть, пользователь не уверен, что именно заставляет траву зеленой. Может быть, он подумал о другом объекте, который придает зелёный оттенок. В таком случае, стоит предложить рассказать о разных причинах, а затем запросить дополнительную информацию, чтобы понять, какие именно факторы влияют на внешний вид цвета.
Важно сохранить дружелюбные и понятные речь, избегая сложных терминов. Убедиться, что ответ понятен для пользователя, возможно, сопроводя примерами или объяснениями.
</think>
Трава зеленая, потому что её цвет отражает свет и создает пейзаж. Она является результатом биологических процессов: непрерывное превращение солнечного света в энергию, которая используется для жизни организма. Зеленьная окраска также служит защитной функцией — она защищает растения от UV-излучение. Если вы имеете в виду, например, какой-либо конкретной трава (например, листья, корни или цветы), могу помочь раскрыть детали! 😊
```
|