🌌 ViorikaLM 1.2B (v1.0)
- Это кастомная модель (LLM), обученная на моем железе. Совпадения с датасетами или чем то другим это случайность.
АХТУНГ!!! МОДЕЛЬ ПРЕДОБУЧЕНА ДО СРЕДНЕГО УРОВНЯ!!! ДООБУЧЕНИЕ НА ВАШИХ ДАННЫХ ЖЕЛАТЕЛЬНО!!!
Подробнее:
⚙️ Детали модели
- Архитектура: используется LLAMA, но модель своя.
- Параметры: 1.2B
- Изначально рандомные веса, были обучены.
- Язык: Русский, только русский.
- Лицения: MIT
🏋️ Детали Тренировки
- Датасет: ``
- Железо: ОДНА NVIDIA GEFORCE RTX 5060 TI (16GB VRAM)
- Эпохи: ...
- Шагов: - 10 тысяч
- СРЕДНИЙ LOSS: 3.89
- Оптимизатор: lr = 2e-4
- Контекст: 512 токенов
