SAIneko-Hydra-remix-RU-12B
Эксперимент со слиянием трёх моделей на базе Mistral 12B.
Состав
Модель собрана в два этапа методом SLERP:
Этап 1 — слияние NekoMix-12B и SAINEMO-reMIX (t=0.6 в сторону SAINEMO):
Этап 2 — добавление MN-12B-Hydra-RP-RU (t=0.5):
Что получилось(по моему мнению)
- Основной язык — русский, английский поддерживается
- Более живой стиль повествования
- Меньше ошибок в тексте с NSFW контекстом
- Лучше следует инструкциям и системным промптам
Рекомендуемые параметры сэмплинга
| Параметр | Значение |
|---|---|
| Temperature | 0.4–0.6 |
| min_p | 0.05–0.1 |
| rep_pen | 1.05–1.1 |
| DRY multiplier | 0.8 |
| smoothing_factor | 0.09 |
Температура выше 0.6 может давать нестабильную генерацию.
Формат
Проверял на шаблонах Mistral V3-Tekken:
- Downloads last month
- 18
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support
Model tree for jairoZ/SAIneko-Hydra-remix-RU-12B
Merge model
this model