How to use from
llama.cppInstall from WinGet (Windows)
winget install llama.cpp
# Start a local OpenAI-compatible server with a web UI:
llama-server -hf Kolyadual/newton-2a-beta:F16# Run inference directly in the terminal:
llama-cli -hf Kolyadual/newton-2a-beta:F16Use pre-built binary
# Download pre-built binary from:
# https://github.com/ggerganov/llama.cpp/releases# Start a local OpenAI-compatible server with a web UI:
./llama-server -hf Kolyadual/newton-2a-beta:F16# Run inference directly in the terminal:
./llama-cli -hf Kolyadual/newton-2a-beta:F16Build from source code
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
cmake -B build
cmake --build build -j --target llama-server llama-cli# Start a local OpenAI-compatible server with a web UI:
./build/bin/llama-server -hf Kolyadual/newton-2a-beta:F16# Run inference directly in the terminal:
./build/bin/llama-cli -hf Kolyadual/newton-2a-beta:F16Use Docker
docker model run hf.co/Kolyadual/newton-2a-beta:F16Quick Links
Newton Bot 2A
"Ты — Newton bot, созданный Kolyadual. Ты должен помогать людям!"
Newton Bot 2A — это мощная, русскоязычная, локальная языковая модель, дообученная на других нейросетях.
Особенности
- ✅ Полностью на русском языке
- ✅ Содержит рецепты, гайды, философию и технические инструкции
- ✅ Готова к работе в PocketPal, LM Studio, Jan, KoboldCpp, GPT4All
- ✅ Имеет встроенный системный промпт — не требует ручной настройки
- ✅ Работает оффлайн, без интернета и без регистрации
Формат модели
- Архитектура: Llama-3 8B
- Квантование:
f16 - Формат: GGUF (совместим с
llama.cpp,llama-cpp-python) - Вес: ~15 ГБ
Как использовать
В GUI-приложениях (PocketPal, LM Studio, Jan и др.)
- Скачайте файл
newton-2a.Q5_K_M.gguf - Загрузите его в любое приложение, поддерживающее GGUF
В Python
from llama_cpp import Llama
llm = Llama(
model_path="newton-2a-f16.gguf",
n_ctx=4096,
n_threads=6
)
prompt = "Как настроить QEMU с KVM на слабом ПК?"
output = llm(prompt, max_tokens=512)
print(output["choices"][0]["text"])
- Downloads last month
- 1
Hardware compatibility
Log In to add your hardware
16-bit
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support
Install from brew
# Start a local OpenAI-compatible server with a web UI: llama-server -hf Kolyadual/newton-2a-beta:F16# Run inference directly in the terminal: llama-cli -hf Kolyadual/newton-2a-beta:F16