File size: 1,241 Bytes
9b5f1dc 2dd0b76 bea4f95 2dd0b76 9b5f1dc 8d61597 ff65b9a 9b5f1dc b429a6a 9b5f1dc ff65b9a |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 |
---
license: mit
base_model: LLAMA
tags:
- llama
- custom-architecture
- russian
- conversational
model-index:
- name: Logos-3.3B-v1
results: []
library_name: peft
model_creator: ViorikaAI
pipeline_tag: text-generation
---
# 🌌 Logos 3.3B (v1.0)
+ Это кастомная модель (LLM), обученная на моем железе. Совпадения с датасетами или чем то другим это случайность.
**АХТУНГ!!!** МОДЕЛЬ ОБУЧЕНА НА 20 ПРИМЕРАХ!!! ДООБУЧЕНИЕ НА ВАШИХ ДАННЫХ ОБЕЗАТЕЛЬНО!!!
# Подробнее:
## ⚙️ Детали модели
- **Архитектура: используется LLAMA, но модель своя.**
- **Параметры: 3.3B**
- **Изначально рандомные веса, были чут чут обучена.**
- **Язык: Русский, только русский.**
- **Лицения: MIT**
## 🏋️ Детали Тренировки
- **Датасет:** `Делал gemini-3`
- **Железо:** **ОДНА** NVIDIA **GEFORCE RTX 5060 TI** (16GB VRAM)
- **Эпохи:** 30
- **Оптимизатор:** lr = 2e-4
- **Контекст:** 512 токенов
|