puzankevichvanya/JarvisAI_9_Nano

🌠 JarvisAi 9 Nano: Эпоха Интеллекта в Нано-Масштабе Добро пожаловать в мир JarvisAi 9 Nano — модель, которая переписывает правила игры в области генеративного ИИ. Это не просто еще одна языковая модель; это инженерное достижение, разработанное с нуля, чтобы сделать современные нейросети доступными абсолютно везде.

JarvisAi 9 Nano — это самостоятельная, уникальная русскоязычная языковая модель, построенная на базе собственной, ультра-оптимизированной архитектуры, которую мы гордо называем Jarvis-Core.

🌌 Манифест Компактности и Доступности Наша миссия проста, но революционна: поместить мощь современных LLM в самый скромный бюджет ресурсов.

Благодаря невероятно малому размеру — менее 10 миллионов параметров — JarvisAi 9 Nano обладает минимальным весом файла и требует критически малого объема памяти. Это открывает двери в мир ИИ для устройств, которые ранее были исключены из этой гонки:

Старые или бюджетные ноутбуки с минимальным объемом RAM.

Смартфоны (Android, iOS) для полностью локальной, оффлайн обработки языка.

Одноплатные компьютеры (такие как Raspberry Pi или Jetson) и другие Edge AI устройства, где каждый мегабайт на счету.

JarvisAi 9 Nano доказывает, что для великих идей не нужны миллиарды параметров. Ей достаточно десятка мегабайт, чтобы быть готовой к обучению.

🔬 Архитектура Jarvis-Core: Секрет Эффективности Сердце этой модели — Jarvis-Core, собственная разработка, которая интегрирует самые передовые методы оптимизации из мира трансформеров, но реализована нашими инженерами самостоятельно. Мы не просто скопировали, мы переосмыслили и адаптировали эти технологии для достижения максимальной эффективности на минимальном масштабе:

Групповое Внимание (GQA): Это ключевой элемент, обеспечивающий молниеносный инференс. Вместо того чтобы каждая из 8 голов запросов (Q) имела свои собственные головы ключей и значений (K/V), мы используем механизм совместного доступа. Наши 8 Q-голов совместно используют всего 2 K/V-головы. Это драматически снижает нагрузку на память, не жертвуя при этом потенциалом.

Ротационное Позиционное Кодирование (RoPE): Для обеспечения стабильности и возможности масштабирования контекста до 2048 токенов мы используем собственную реализацию RoPE. Это позволяет модели точно понимать последовательность слов без дополнительной нагрузки.

Передовая Нормализация и Активация: Мы заменили традиционные блоки на более эффективные аналоги: быструю RMSNorm для стабилизации обучения и SwiGLU-активацию в блоке MLP, которая, как показали исследования, повышает качество представлений.

Кастомный BPE Токенизатор: В дополнение ко всему, модель использует уникальный Advanced BPE Токенизатор, который был специально разработан для максимальной эффективности кодирования русского языка.

Вся эта инженерная мощь упакована всего в 12 слоев с вектором эмбеддинга 512.

🚨 КРИТИЧЕСКОЕ ПРЕДУПРЕЖДЕНИЕ: Статус Обучения Мы должны быть абсолютно честны с сообществом.

ВНИМАНИЕ: JarvisAi 9 Nano на данный момент НЕ ОБУЧЕНА на большом корпусе данных.

Данный репозиторий предоставляет идеальную, готовую архитектурную основу и токенизатор. Однако веса модели прошли лишь минимальное, демонстрационное обучение (как видно в нашем main.py).

Что это значит на практике? Любая попытка генерации текста с использованием текущей версии модели приведет к абсолютно бессмысленным и несвязным последовательностям символов (БИЛЕБЕРДЕ).

Назначение: JarvisAi 9 Nano — это ваш стартовый набор для обучения. Она ждет, когда вы подключите ее к массиву данных и вдохнете в Jarvis-Core настоящий интеллект.