TQ3/README.md

metadata

license: mit
language:
  - ru
  - en
tags:
  - llama.cpp
  - TQ3
  - quantization
  - Windows
  - NVIDIA
  - GGUF

llama.cpp-TQ3 Inference Environment (Windows/NVIDIA Edition)

Описание

A pre-built llama.cpp-TQ3 — среда inference (версия для Windows/NVIDIA) Это предварительно скомпилированная llama.cpp среда, специально разработанная для квантованных моделей TQ3 и поддерживающая запуск на видеокартах NVIDIA в Windows одним нажатием кнопки. Предварительно собранная llama.cpp среда, оптимизированная для квантованных моделей TQ3, позволяет пользователям Windows выполнять логический вывод на графических процессорах NVIDIA одним нажатием кнопки.

Key Features

✅ Встроенная поддержка TQ3 (работает с моделями, которые не запускаются в стандартном llama.cpp) ✅ Ускорение с помощью CUDA, оптимизация для графических процессоров NVIDIA ✅ Не требует зависимостей — просто распакуйте и запустите (веса модели не включены) ✅ Поддерживает режимы CLI и веб-сервера

✅ Native TQ3 support (works with models standard llama.cpp cannot run) ✅ CUDA-accelerated, optimized for NVIDIA GPUs ✅ No dependencies required — just extract and run (model weights not included) ✅ Supports both CLI and Web server modes

Usage

Скачать и распаковать：распаковать файл в папку с названием на английском языке

Добавить модель：поместите модель в формате .tq3.gguf в каталог

Запустить：используйте llama-cli.exe или llama-server.exe для загрузки модели

Скачать и распаковать: распаковать в папку с названием на английском языке

Добавить модель: поместите модель .tq3.gguf в тот же каталог

Запустить: используйте llama-cli.exe или llama-server.exe для запуска логического вывода

1. Download & Extract: Unzip to a folder with an English-only path
2. Add Model: Place your .tq3.gguf model in the same directory
3. Run: Use llama-cli.exe or llama-server.exe to start inference

Notes

• NVIDIA-only: Поддерживается только видеокарта NVIDIA, видеокарты AMD пока не поддерживаются

Этот проект не содержит файлов с моделями, пожалуйста, загружайте их самостоятельно и соблюдайте соответствующие лицензии с открытым исходным кодом

Только для NVIDIA: не совместимо с графическими процессорами AMD

В этот пакет не входят весовые коэффициенты моделей.

• This package does not include model weights. Please obtain them legally and comply with their licenses.

Credits

• Основной исходный код: turbo-tan/llama.cpp-tq3
• TQ3-оптимизация: YTan2000