metadata
license: apache-2.0
language:
- ru
- en
tags:
- mergekit
- merge
- mistral
- roleplay
- russian
- uncensored
base_model:
- Moraliane/SAINEMO-reMIX
- Moraliane/NekoMix-12B
- limloop/MN-12B-Hydra-RP-RU
SAIneko-Hydra-remix-RU-12B
Эксперимент со слиянием трёх моделей на базе Mistral 12B.
Состав
Модель собрана в два этапа методом SLERP:
Этап 1 — слияние NekoMix-12B и SAINEMO-reMIX (t=0.6 в сторону SAINEMO):
Этап 2 — добавление MN-12B-Hydra-RP-RU (t=0.5):
Что получилось(по моему мнению)
- Основной язык — русский, английский поддерживается
- Более живой стиль повествования
- Меньше ошибок в тексте с NSFW контекстом
- Лучше следует инструкциям и системным промптам
Рекомендуемые параметры сэмплинга
| Параметр | Значение |
|---|---|
| Temperature | 0.4–0.6 |
| min_p | 0.05–0.1 |
| rep_pen | 1.05–1.1 |
| DRY multiplier | 0.8 |
| smoothing_factor | 0.09 |
Температура выше 0.6 может давать нестабильную генерацию.
Формат
Проверял на шаблонах Mistral V3-Tekken: