How to use from
llama.cpp
Install (macOS, Linux)
curl -LsSf https://llama.app/install.sh | sh
# Start a local OpenAI-compatible server with a web UI:
llama serve -hf Rootport/Nz-Gemma3-12B:Q4_K_M
# Run inference directly in the terminal:
llama cli -hf Rootport/Nz-Gemma3-12B:Q4_K_M
Install from WinGet (Windows)
winget install llama.cpp
# Start a local OpenAI-compatible server with a web UI:
llama serve -hf Rootport/Nz-Gemma3-12B:Q4_K_M
# Run inference directly in the terminal:
llama cli -hf Rootport/Nz-Gemma3-12B:Q4_K_M
Use pre-built binary
# Download pre-built binary from:
# https://github.com/ggerganov/llama.cpp/releases
# Start a local OpenAI-compatible server with a web UI:
./llama-server -hf Rootport/Nz-Gemma3-12B:Q4_K_M
# Run inference directly in the terminal:
./llama-cli -hf Rootport/Nz-Gemma3-12B:Q4_K_M
Build from source code
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
cmake -B build
cmake --build build -j --target llama-server llama-cli
# Start a local OpenAI-compatible server with a web UI:
./build/bin/llama-server -hf Rootport/Nz-Gemma3-12B:Q4_K_M
# Run inference directly in the terminal:
./build/bin/llama-cli -hf Rootport/Nz-Gemma3-12B:Q4_K_M
Use Docker
docker model run hf.co/Rootport/Nz-Gemma3-12B:Q4_K_M
Quick Links

Nz-Gemma3-12B

動画編集ソフト AviUtl2 用のプラグイン Nz-LTX23 の動画生成を担う Nz-LTX23-backend を動かすための、 Gemma 3 12B 関連ファイルの置き場所です。プロンプト(生成したい内容を書いた指示文)の 処理に使われます。

Gemma is provided under and subject to the Gemma Terms of Use found at ai.google.dev/gemma/terms

ここにあるのは上流の配布物をそのままコピーしたもので、独自に学習・改変したモデルでは ありません。変えてあるのはディレクトリの配置だけです(プラグインの models/ フォルダへ そのまま展開できるようにするため)。トークナイザの上流は Gated(ダウンロードにアカウント 登録と承認が必要な状態)のため、認証なしで取得できるようここへ再ホストしています。Gemma 利用規約は第3.1条で再配布を明示的に許可しており、本リポジトリは同条の条件を満たしています。


ファイル一覧

パス 役割
gemma-3-12b-it-gguf/gemma-3-12b-it-Q4_K_M.gguf 言語モデル本体。GGUF形式(モデル重みを1ファイルにまとめ、量子化に対応した保存形式)のQ4_K_Mへ圧縮した約7.3GB
gemma-3-12b-it-tokenizer/ トークナイザ一式(10ファイル、合計約39MB)

トークナイザのディレクトリにモデル本体の重みは含まれません。 入っているのは、文章を トークン(言語モデルが扱う単位。単語より細かい文字のまとまり)へ分割し、また元へ戻すための 語彙表と設定ファイルだけです。上流の model*.safetensors は意図的に含めておらず、この ディレクトリ単体で文章を生成することはできません。 (Tokenizer only — no model weights; it cannot generate text on its own.)

上流での正確なパス・コミットハッシュ・SHA-256は NOTICE.md にあります。


使い方

通常、このページから手動でダウンロードする必要はありません。 Nz-LTX23 に同梱の setup.bat が、必要なファイルを自動でここから取得して models/ フォルダへ配置します。

手動で入れる場合は、リポジトリのディレクトリ構造をそのまま models/ の下へ展開してください。

models/
├ gemma-3-12b-it-gguf/
│  └ gemma-3-12b-it-Q4_K_M.gguf
└ gemma-3-12b-it-tokenizer/
   ├ added_tokens.json
   ├ chat_template.json
   ├ config.json
   ├ generation_config.json
   ├ preprocessor_config.json
   ├ processor_config.json
   ├ special_tokens_map.json
   ├ tokenizer.json
   ├ tokenizer.model
   └ tokenizer_config.json

上流の原典と謝辞

次の方々の成果をそのまま再配布しているにすぎません。心より感謝します。

本リポジトリは Google LLC の公式配布物ではなく、同社の承認や推奨を受けたものでもありません。


ライセンス

Gemma Terms of Use に基づいて配布しています(全文は LICENSE、原典は https://ai.google.dev/gemma/terms。ダウンロードして使用した時点で同意したものとみなされます)。 規約第3.2条により、Gemma Prohibited Use Policy(禁止用途ポリシー、 https://ai.google.dev/gemma/prohibited_use_policy)が定める用途には使用できません。生成した 出力について Google は権利を主張しません(第3.3条)。使用制限の詳細・帰属表示・出自・変更点は NOTICE.md にまとめてあります。


English summary

Gemma 3 12B files for Nz-LTX23-backend, the video-generation backend of Nz-LTX23, a plugin for the video editor AviUtl2.

A verbatim re-host — nothing trained or modified here; only the directory layout differs, so the tree extracts straight into the plugin's models/ folder. Re-hosted because the upstream tokenizer source is gated, and setup.bat should be able to fetch everything without a HuggingFace account; the Gemma Terms of Use explicitly permit redistribution under Section 3.1, whose conditions this repository satisfies.

Contents: a Q4_K_M GGUF quantization of Gemma 3 12B instruction-tuned, plus a tokenizer-only directory (no model*.safetensors). Provenance details are in NOTICE.md.

Attribution: Gemma / Gemma 3 by Google LLC; GGUF quantization by ggml-org.

License: Gemma Terms of Use — full text in LICENSE. Use is subject to the Section 3.2 use restrictions and the Gemma Prohibited Use Policy (https://ai.google.dev/gemma/prohibited_use_policy). Not an official Google distribution, and not endorsed by Google LLC.

Downloads last month
14
GGUF
Model size
12B params
Architecture
gemma3
Hardware compatibility
Log In to add your hardware

4-bit

Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for Rootport/Nz-Gemma3-12B

Quantized
(1)
this model