Ichi-nya/eveler_gguf

Eveler

Описание

Эта репозитория содержит только GGUF‑модели, полученные из базовой модели IlyaGusev/saiga_nemo_12b после объединения 10 LoRA‑адаптеров, обученных на RTX 5090. GGUF‑формат оптимизирован для быстрого инференса в llama.cpp и в LM Studio.

Форматы

• GGUF – файлы model_f16.gguf, model_q4_k_m.gguf (и любые другие квантизации, которые вы добавите). Эти файлы можно сразу использовать в llama.cpp или импортировать в LM Studio.

Как использовать GGUF

1️⃣ Через llama.cpp

# Клонируем репозиторий llama.cpp (если ещё не сделали)
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
make   # собираем

# Запускаем модель (пример для полной точности)
./llama-cli -m path/to/model_f16.gguf -p "Привет, мир!" -c 32768

2️⃣ Через LM Studio

1. Откройте LM Studio.
2. Нажмите Import Model → выберите эту папку.
3. LM Studio автоматически конвертирует GGUF в внутренний формат и готова к генерации.

Теги

saiga, russian, gguf, lora, 12B