TQ3/README.md

---
license: mit
language:
- ru
- en
tags:
- llama.cpp
- TQ3
- quantization
- Windows
- NVIDIA
- GGUF
---

# llama.cpp-TQ3 Inference Environment (Windows/NVIDIA Edition)

## Описание
A pre-built llama.cpp-TQ3 — среда inference (версия для Windows/NVIDIA)
Это предварительно скомпилированная llama.cpp среда, специально разработанная для квантованных моделей TQ3 и поддерживающая запуск на видеокартах NVIDIA в Windows одним нажатием кнопки. Предварительно собранная llama.cpp среда, оптимизированная для квантованных моделей TQ3, позволяет пользователям Windows выполнять логический вывод на графических процессорах NVIDIA одним нажатием кнопки.

## Key Features
✅ Встроенная поддержка TQ3 (работает с моделями, которые не запускаются в стандартном llama.cpp)
✅ Ускорение с помощью CUDA, оптимизация для графических процессоров NVIDIA 
✅ Не требует зависимостей — просто распакуйте и запустите (веса модели не включены) 
✅ Поддерживает режимы CLI и веб-сервера

✅ Native TQ3 support (works with models standard llama.cpp cannot run)
✅ CUDA-accelerated, optimized for NVIDIA GPUs
✅ No dependencies required — just extract and run (model weights not included)
✅ Supports both CLI and Web server modes

## Usage
Скачать и распаковать：распаковать файл в папку с названием на английском языке

Добавить модель：поместите модель в формате .tq3.gguf в каталог

Запустить：используйте llama-cli.exe или llama-server.exe для загрузки модели

Скачать и распаковать: распаковать в папку с названием на английском языке

Добавить модель: поместите модель .tq3.gguf в тот же каталог

Запустить: используйте llama-cli.exe или llama-server.exe для запуска логического вывода

1.  **Download & Extract**: Unzip to a folder with an English-only path
2.  **Add Model**: Place your `.tq3.gguf` model in the same directory
3.  **Run**: Use `llama-cli.exe` or `llama-server.exe` to start inference

## Notes
- **NVIDIA-only**: Поддерживается только видеокарта NVIDIA, видеокарты AMD пока не поддерживаются

Этот проект не содержит файлов с моделями, пожалуйста, загружайте их самостоятельно и соблюдайте соответствующие лицензии с открытым исходным кодом

Только для NVIDIA: не совместимо с графическими процессорами AMD

В этот пакет не входят весовые коэффициенты моделей.
- This package does not include model weights. Please obtain them legally and comply with their licenses.

## Credits
- Основной исходный код: turbo-tan/llama.cpp-tq3
- TQ3-оптимизация: YTan2000