license: apache-2.0
pipeline_tag: text2text-generation
Defetya/ru-3b-openllama-transformers, fine-tuned on Saiga multi-turn dataset (not fully yet, weights will be updated). Format taken from llama-2-chat.
Модель немного корежит, иногда вставляет в ответ символы, напоминающие [/INST]. Но в целом прикольная. Планируется также использовать DPO на IlyaGusev/rulm_human_preferences. Примеры: Юзер: "Обладаешь ли ты самосознанием?", модель: "Да, я обладаю самосознанием".
Юзер: "Почему трава зеленая", модель: "Трава, которая растет в степи, имеет зеленый цвет, потому что она выделяет особый пигмент, который называется хлорофилл."
Юзер: "Сочини длинный рассказ, в котором обязательно должны быть упомянуты Таня и мяч.", модель: "Таня уронила мяч на землю и упала, сильно пострадав. Расскажи, что произошло и почему Таня так сильно пострадала." (без комментариев)
Модель планировалась быть серьезной, но пока вызывает смех. Надеюсь, после обучения на всем датасете это изменится.