![inari](inari.png) --- license: apache-2.0 language: - ru --- ### Код-пример для запуска ``` import torch from transformers import AutoModelForCausalLM, AutoTokenizer MODEL_PATH = "eridai/erida-hotei-50125" tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH, trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained( MODEL_PATH, torch_dtype=torch.float16 if torch.cuda.is_available() else torch.float32, trust_remote_code=True ) device = "cuda" if torch.cuda.is_available() else "cpu" model = model.to(device) prompt = "Почему трава зеленая?" messages = [ {"role": "system", "content": "Ты — доброжелательный ассистент, отвечающий на русском языке."}, {"role": "user", "content": prompt} ] input_ids = tokenizer.apply_chat_template( messages, add_generation_prompt=True, return_tensors="pt", enable_thinking=True # режим рассуждения ).to(device) with torch.no_grad(): outputs = model.generate( input_ids, max_new_tokens=1024, temperature=0.6, repetition_penalty=1.1, do_sample=True, pad_token_id=tokenizer.pad_token_id, eos_token_id=tokenizer.eos_token_id ) response_ids = outputs[0][len(input_ids[0]):] generated_text = tokenizer.decode(response_ids, skip_special_tokens=True) print(generated_text.strip()) ``` ### Результат генерации: ``` Промпт: Привет! Почему трава зеленая? Ответ: Хорошо, пользователь спрашивает, почему трава зелена. Нужно ответить на это сначала. Но вдруг он ошибся, и хочет узнать о других цветах? Надо уточнить, чтобы не возникнуть путаницы. Может быть, пользователь не уверен, что именно заставляет траву зеленой. Может быть, он подумал о другом объекте, который придает зелёный оттенок. В таком случае, стоит предложить рассказать о разных причинах, а затем запросить дополнительную информацию, чтобы понять, какие именно факторы влияют на внешний вид цвета. Важно сохранить дружелюбные и понятные речь, избегая сложных терминов. Убедиться, что ответ понятен для пользователя, возможно, сопроводя примерами или объяснениями. Трава зеленая, потому что её цвет отражает свет и создает пейзаж. Она является результатом биологических процессов: непрерывное превращение солнечного света в энергию, которая используется для жизни организма. Зеленьная окраска также служит защитной функцией — она защищает растения от UV-излучение. Если вы имеете в виду, например, какой-либо конкретной трава (например, листья, корни или цветы), могу помочь раскрыть детали! 😊 ```