🌌 Logos 3.3B (v1.0)
- Это кастомная модель (LLM), обученная на моем железе. Совпадения с датасетами или чем то другим это случайность. АХТУНГ!!! МОДЕЛЬ ОБУЧЕНА НА 20 ПРИМЕРАХ!!! ДООБУЧЕНИЕ НА ВАШИХ ДАННЫХ ОБЕЗАТЕЛЬНО!!!
Подробнее:
⚙️ Детали модели
- Архитектура: используется LLAMA, но модель своя.
- Параметры: 3.3B
- Изначально рандомные веса, были чут чут обучена.
- Язык: Русский, только русский.
- Лицения: MIT
🏋️ Детали Тренировки
- Датасет:
Делал gemini-3 - Железо: ОДНА NVIDIA GEFORCE RTX 5060 TI (16GB VRAM)
- Эпохи: 30
- Оптимизатор: lr = 2e-4
- Контекст: 512 токенов
- Downloads last month
- -
from peft import PeftModel from transformers import AutoModelForCausalLM base_model = AutoModelForCausalLM.from_pretrained("A:/projects/logos/model_3B_clean") model = PeftModel.from_pretrained(base_model, "ViorikaAI/logos")