|  | |
| --- | |
| license: apache-2.0 | |
| language: | |
| - ru | |
| --- | |
| ### Код-пример для запуска | |
| ``` | |
| import torch | |
| from transformers import AutoModelForCausalLM, AutoTokenizer | |
| MODEL_PATH = "eridai/erida-hotei-50125" | |
| tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH, trust_remote_code=True) | |
| model = AutoModelForCausalLM.from_pretrained( | |
| MODEL_PATH, | |
| torch_dtype=torch.float16 if torch.cuda.is_available() else torch.float32, | |
| trust_remote_code=True | |
| ) | |
| device = "cuda" if torch.cuda.is_available() else "cpu" | |
| model = model.to(device) | |
| prompt = "Почему трава зеленая?" | |
| messages = [ | |
| {"role": "system", "content": "Ты — доброжелательный ассистент, отвечающий на русском языке."}, | |
| {"role": "user", "content": prompt} | |
| ] | |
| input_ids = tokenizer.apply_chat_template( | |
| messages, | |
| add_generation_prompt=True, | |
| return_tensors="pt", | |
| enable_thinking=True # режим рассуждения | |
| ).to(device) | |
| with torch.no_grad(): | |
| outputs = model.generate( | |
| input_ids, | |
| max_new_tokens=1024, | |
| temperature=0.6, | |
| repetition_penalty=1.1, | |
| do_sample=True, | |
| pad_token_id=tokenizer.pad_token_id, | |
| eos_token_id=tokenizer.eos_token_id | |
| ) | |
| response_ids = outputs[0][len(input_ids[0]):] | |
| generated_text = tokenizer.decode(response_ids, skip_special_tokens=True) | |
| print(generated_text.strip()) | |
| ``` | |
| ### Результат генерации: | |
| ``` | |
| Промпт: Привет! Почему трава зеленая? | |
| Ответ: <think> | |
| Хорошо, пользователь спрашивает, почему трава зелена. Нужно ответить на это сначала. Но вдруг он ошибся, и хочет узнать о других цветах? Надо уточнить, чтобы не возникнуть путаницы. | |
| Может быть, пользователь не уверен, что именно заставляет траву зеленой. Может быть, он подумал о другом объекте, который придает зелёный оттенок. В таком случае, стоит предложить рассказать о разных причинах, а затем запросить дополнительную информацию, чтобы понять, какие именно факторы влияют на внешний вид цвета. | |
| Важно сохранить дружелюбные и понятные речь, избегая сложных терминов. Убедиться, что ответ понятен для пользователя, возможно, сопроводя примерами или объяснениями. | |
| </think> | |
| Трава зеленая, потому что её цвет отражает свет и создает пейзаж. Она является результатом биологических процессов: непрерывное превращение солнечного света в энергию, которая используется для жизни организма. Зеленьная окраска также служит защитной функцией — она защищает растения от UV-излучение. Если вы имеете в виду, например, какой-либо конкретной трава (например, листья, корни или цветы), могу помочь раскрыть детали! 😊 | |
| ``` | |