---
license: mit
language:
- ru
tags:
- llama
- russian
- conversational
model-index:
- name: CalmaCatLM-2
  results: []
library_name: transformers
model_creator: ViorikaAI
pipeline_tag: text-generation
datasets:
- IlyaGusev/saiga_scored
- IlyaGusev/ru_turbo_alpaca
- OpenAssistant/oasst1
- OpenAssistant/oasst2
---

# 🐈‍⬛ CalmaCatLM-2-MINI

# Подробнее:

## ⚙️ Детали модели
- **Архитектура: LLama**
- **Параметры: 134M**
- **Язык: Русский**
- **Лицения: MIT** 

## 🏋️ Детали Тренировки
- **Датасет:** saiga_scored, ru_turbo_alpaca, oasst 1 и 2 (RU часть)
- **Железо:** **ОДНА** NVIDIA **GEFORCE RTX 5060 TI** (16GB VRAM)
- **Эпохи:** 3
- **СРЕДНИЙ LOSS:** 2.3000
- **LR:** 5e-4
- **Контекст:** 2048 токенов
  
## 🛜 Наши Соц. Сети
- **Discord:** https://discord.gg/8JwTv8zj8d , https://discord.gg/7JE7maH6cf
- **Telegram:** https://t.me/viorika_official