| --- |
| license: mit |
| base_model: LLAMA |
| tags: |
| - llama |
| - custom-architecture |
| - russian |
| - conversational |
| model-index: |
| - name: Logos-3.3B-v1 |
| results: [] |
| library_name: peft |
| model_creator: ViorikaAI |
| pipeline_tag: text-generation |
| --- |
| |
| # 🌌 Logos 3.3B (v1.0) |
|
|
| + Это кастомная модель (LLM), обученная на моем железе. Совпадения с датасетами или чем то другим это случайность. |
| **АХТУНГ!!!** МОДЕЛЬ ОБУЧЕНА НА 20 ПРИМЕРАХ!!! ДООБУЧЕНИЕ НА ВАШИХ ДАННЫХ ОБЕЗАТЕЛЬНО!!! |
|
|
| # Подробнее: |
|
|
| ## ⚙️ Детали модели |
| - **Архитектура: используется LLAMA, но модель своя.** |
| - **Параметры: 3.3B** |
| - **Изначально рандомные веса, были чут чут обучена.** |
| - **Язык: Русский, только русский.** |
| - **Лицения: MIT** |
|
|
| ## 🏋️ Детали Тренировки |
| - **Датасет:** `Делал gemini-3` |
| - **Железо:** **ОДНА** NVIDIA **GEFORCE RTX 5060 TI** (16GB VRAM) |
| - **Эпохи:** 30 |
| - **Оптимизатор:** lr = 2e-4 |
| - **Контекст:** 512 токенов |
|
|
