Instructions to use Rootport/Nz-Gemma3-12B with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- llama.cpp
How to use Rootport/Nz-Gemma3-12B with llama.cpp:
Install (macOS, Linux)
curl -LsSf https://llama.app/install.sh | sh # Start a local OpenAI-compatible server with a web UI: llama serve -hf Rootport/Nz-Gemma3-12B:Q4_K_M # Run inference directly in the terminal: llama cli -hf Rootport/Nz-Gemma3-12B:Q4_K_M
Install from WinGet (Windows)
winget install llama.cpp # Start a local OpenAI-compatible server with a web UI: llama serve -hf Rootport/Nz-Gemma3-12B:Q4_K_M # Run inference directly in the terminal: llama cli -hf Rootport/Nz-Gemma3-12B:Q4_K_M
Use pre-built binary
# Download pre-built binary from: # https://github.com/ggerganov/llama.cpp/releases # Start a local OpenAI-compatible server with a web UI: ./llama-server -hf Rootport/Nz-Gemma3-12B:Q4_K_M # Run inference directly in the terminal: ./llama-cli -hf Rootport/Nz-Gemma3-12B:Q4_K_M
Build from source code
git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp cmake -B build cmake --build build -j --target llama-server llama-cli # Start a local OpenAI-compatible server with a web UI: ./build/bin/llama-server -hf Rootport/Nz-Gemma3-12B:Q4_K_M # Run inference directly in the terminal: ./build/bin/llama-cli -hf Rootport/Nz-Gemma3-12B:Q4_K_M
Use Docker
docker model run hf.co/Rootport/Nz-Gemma3-12B:Q4_K_M
- LM Studio
- Jan
- Ollama
How to use Rootport/Nz-Gemma3-12B with Ollama:
ollama run hf.co/Rootport/Nz-Gemma3-12B:Q4_K_M
- Unsloth Studio
How to use Rootport/Nz-Gemma3-12B with Unsloth Studio:
Install Unsloth Studio (macOS, Linux, WSL)
curl -fsSL https://unsloth.ai/install.sh | sh # Run unsloth studio unsloth studio -H 0.0.0.0 -p 8888 # Then open http://localhost:8888 in your browser # Search for Rootport/Nz-Gemma3-12B to start chatting
Install Unsloth Studio (Windows)
irm https://unsloth.ai/install.ps1 | iex # Run unsloth studio unsloth studio -H 0.0.0.0 -p 8888 # Then open http://localhost:8888 in your browser # Search for Rootport/Nz-Gemma3-12B to start chatting
Using HuggingFace Spaces for Unsloth
# No setup required # Open https://huggingface.co/spaces/unsloth/studio in your browser # Search for Rootport/Nz-Gemma3-12B to start chatting
- Docker Model Runner
How to use Rootport/Nz-Gemma3-12B with Docker Model Runner:
docker model run hf.co/Rootport/Nz-Gemma3-12B:Q4_K_M
- Lemonade
How to use Rootport/Nz-Gemma3-12B with Lemonade:
Pull the model
# Download Lemonade from https://lemonade-server.ai/ lemonade pull Rootport/Nz-Gemma3-12B:Q4_K_M
Run and chat with the model
lemonade run user.Nz-Gemma3-12B-Q4_K_M
List all available models
lemonade list
- Atomic Chat
Install from WinGet (Windows)
winget install llama.cpp
# Start a local OpenAI-compatible server with a web UI:
llama serve -hf Rootport/Nz-Gemma3-12B:Q4_K_M# Run inference directly in the terminal:
llama cli -hf Rootport/Nz-Gemma3-12B:Q4_K_MUse pre-built binary
# Download pre-built binary from:
# https://github.com/ggerganov/llama.cpp/releases# Start a local OpenAI-compatible server with a web UI:
./llama-server -hf Rootport/Nz-Gemma3-12B:Q4_K_M# Run inference directly in the terminal:
./llama-cli -hf Rootport/Nz-Gemma3-12B:Q4_K_MBuild from source code
git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
cmake -B build
cmake --build build -j --target llama-server llama-cli# Start a local OpenAI-compatible server with a web UI:
./build/bin/llama-server -hf Rootport/Nz-Gemma3-12B:Q4_K_M# Run inference directly in the terminal:
./build/bin/llama-cli -hf Rootport/Nz-Gemma3-12B:Q4_K_MUse Docker
docker model run hf.co/Rootport/Nz-Gemma3-12B:Q4_K_MNz-Gemma3-12B
動画編集ソフト AviUtl2 用のプラグイン Nz-LTX23 の動画生成を担う Nz-LTX23-backend を動かすための、 Gemma 3 12B 関連ファイルの置き場所です。プロンプト(生成したい内容を書いた指示文)の 処理に使われます。
Gemma is provided under and subject to the Gemma Terms of Use found at ai.google.dev/gemma/terms
ここにあるのは上流の配布物をそのままコピーしたもので、独自に学習・改変したモデルでは
ありません。変えてあるのはディレクトリの配置だけです(プラグインの models/ フォルダへ
そのまま展開できるようにするため)。トークナイザの上流は Gated(ダウンロードにアカウント
登録と承認が必要な状態)のため、認証なしで取得できるようここへ再ホストしています。Gemma
利用規約は第3.1条で再配布を明示的に許可しており、本リポジトリは同条の条件を満たしています。
ファイル一覧
| パス | 役割 |
|---|---|
gemma-3-12b-it-gguf/gemma-3-12b-it-Q4_K_M.gguf |
言語モデル本体。GGUF形式(モデル重みを1ファイルにまとめ、量子化に対応した保存形式)のQ4_K_Mへ圧縮した約7.3GB |
gemma-3-12b-it-tokenizer/ |
トークナイザ一式(10ファイル、合計約39MB) |
トークナイザのディレクトリにモデル本体の重みは含まれません。 入っているのは、文章を トークン(言語モデルが扱う単位。単語より細かい文字のまとまり)へ分割し、また元へ戻すための 語彙表と設定ファイルだけです。上流の
model*.safetensorsは意図的に含めておらず、この ディレクトリ単体で文章を生成することはできません。 (Tokenizer only — no model weights; it cannot generate text on its own.)
上流での正確なパス・コミットハッシュ・SHA-256は NOTICE.md にあります。
使い方
通常、このページから手動でダウンロードする必要はありません。 Nz-LTX23 に同梱の
setup.bat が、必要なファイルを自動でここから取得して models/ フォルダへ配置します。
手動で入れる場合は、リポジトリのディレクトリ構造をそのまま models/ の下へ展開してください。
models/
├ gemma-3-12b-it-gguf/
│ └ gemma-3-12b-it-Q4_K_M.gguf
└ gemma-3-12b-it-tokenizer/
├ added_tokens.json
├ chat_template.json
├ config.json
├ generation_config.json
├ preprocessor_config.json
├ processor_config.json
├ special_tokens_map.json
├ tokenizer.json
├ tokenizer.model
└ tokenizer_config.json
上流の原典と謝辞
次の方々の成果をそのまま再配布しているにすぎません。心より感謝します。
- Google LLC — Gemma / Gemma 3 の開発元であり原著作者 (google/gemma-3-12b-it / ai.google.dev/gemma)
- ggml-org — GGUF形式への量子化変換 (ggml-org/gemma-3-12b-it-GGUF)
本リポジトリは Google LLC の公式配布物ではなく、同社の承認や推奨を受けたものでもありません。
ライセンス
Gemma Terms of Use に基づいて配布しています(全文は LICENSE、原典は
https://ai.google.dev/gemma/terms。ダウンロードして使用した時点で同意したものとみなされます)。
規約第3.2条により、Gemma Prohibited Use Policy(禁止用途ポリシー、
https://ai.google.dev/gemma/prohibited_use_policy)が定める用途には使用できません。生成した
出力について Google は権利を主張しません(第3.3条)。使用制限の詳細・帰属表示・出自・変更点は
NOTICE.md にまとめてあります。
English summary
Gemma 3 12B files for Nz-LTX23-backend, the video-generation backend of Nz-LTX23, a plugin for the video editor AviUtl2.
A verbatim re-host — nothing trained or modified here; only the directory layout differs, so the tree
extracts straight into the plugin's models/ folder. Re-hosted because the upstream tokenizer source is
gated, and setup.bat should be able to fetch everything without a HuggingFace account; the Gemma Terms of
Use explicitly permit redistribution under Section 3.1, whose conditions this repository satisfies.
Contents: a Q4_K_M GGUF quantization of Gemma 3 12B instruction-tuned, plus a tokenizer-only
directory (no model*.safetensors). Provenance details are in NOTICE.md.
Attribution: Gemma / Gemma 3 by Google LLC; GGUF quantization by ggml-org.
License: Gemma Terms of Use — full text in LICENSE. Use is subject to the Section 3.2 use
restrictions and the Gemma Prohibited Use Policy (https://ai.google.dev/gemma/prohibited_use_policy).
Not an official Google distribution, and not endorsed by Google LLC.
- Downloads last month
- 14
4-bit
Model tree for Rootport/Nz-Gemma3-12B
Base model
google/gemma-3-12b-pt
Install (macOS, Linux)
# Start a local OpenAI-compatible server with a web UI: llama serve -hf Rootport/Nz-Gemma3-12B:Q4_K_M# Run inference directly in the terminal: llama cli -hf Rootport/Nz-Gemma3-12B:Q4_K_M