🌌 Logos 3.3B (v1.0)

• Это кастомная модель (LLM), обученная на моем железе. Совпадения с датасетами или чем то другим это случайность. АХТУНГ!!! МОДЕЛЬ ОБУЧЕНА НА 20 ПРИМЕРАХ!!! ДООБУЧЕНИЕ НА ВАШИХ ДАННЫХ ОБЕЗАТЕЛЬНО!!!

Подробнее:

⚙️ Детали модели

• Архитектура: используется LLAMA, но модель своя.
• Параметры: 3.3B
• Изначально рандомные веса, были чут чут обучена.
• Язык: Русский, только русский.
• Лицения: MIT

🏋️ Детали Тренировки

• Датасет: Делал gemini-3
• Железо: ОДНА NVIDIA GEFORCE RTX 5060 TI (16GB VRAM)
• Эпохи: 30
• Оптимизатор: lr = 2e-4
• Контекст: 512 токенов