|
|
--- |
|
|
license: mit |
|
|
base_model: LLAMA |
|
|
tags: |
|
|
- llama |
|
|
- custom-architecture |
|
|
- russian |
|
|
- conversational |
|
|
model-index: |
|
|
- name: Logos-3.3B-v1 |
|
|
results: [] |
|
|
library_name: peft |
|
|
model_creator: ViorikaAI |
|
|
pipeline_tag: text-generation |
|
|
--- |
|
|
|
|
|
# 🌌 Logos 3.3B (v1.0) |
|
|
|
|
|
+ Это кастомная модель (LLM), обученная на моем железе. Совпадения с датасетами или чем то другим это случайность. |
|
|
**АХТУНГ!!!** МОДЕЛЬ ОБУЧЕНА НА 20 ПРИМЕРАХ!!! ДООБУЧЕНИЕ НА ВАШИХ ДАННЫХ ОБЕЗАТЕЛЬНО!!! |
|
|
|
|
|
# Подробнее: |
|
|
|
|
|
## ⚙️ Детали модели |
|
|
- **Архитектура: используется LLAMA, но модель своя.** |
|
|
- **Параметры: 3.3B** |
|
|
- **Изначально рандомные веса, были чут чут обучена.** |
|
|
- **Язык: Русский, только русский.** |
|
|
- **Лицения: MIT** |
|
|
|
|
|
## 🏋️ Детали Тренировки |
|
|
- **Датасет:** `Делал gemini-3` |
|
|
- **Железо:** **ОДНА** NVIDIA **GEFORCE RTX 5060 TI** (16GB VRAM) |
|
|
- **Эпохи:** 30 |
|
|
- **Оптимизатор:** lr = 2e-4 |
|
|
- **Контекст:** 512 токенов |
|
|
|
