Instructions to use saik0s/comfy_backup with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- llama-cpp-python
How to use saik0s/comfy_backup with llama-cpp-python:
# !pip install llama-cpp-python from llama_cpp import Llama llm = Llama.from_pretrained( repo_id="saik0s/comfy_backup", filename="ComfyUI/models/text_encoders/gemma-3-12b-it-q2_k.gguf", )
llm.create_chat_completion( messages = "No input example has been defined for this model task." )
- Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- llama.cpp
How to use saik0s/comfy_backup with llama.cpp:
Install (macOS, Linux)
curl -LsSf https://llama.app/install.sh | sh # Start a local OpenAI-compatible server with a web UI: llama serve -hf saik0s/comfy_backup:Q4_K_S # Run inference directly in the terminal: llama cli -hf saik0s/comfy_backup:Q4_K_S
Install from WinGet (Windows)
winget install llama.cpp # Start a local OpenAI-compatible server with a web UI: llama serve -hf saik0s/comfy_backup:Q4_K_S # Run inference directly in the terminal: llama cli -hf saik0s/comfy_backup:Q4_K_S
Use pre-built binary
# Download pre-built binary from: # https://github.com/ggerganov/llama.cpp/releases # Start a local OpenAI-compatible server with a web UI: ./llama-server -hf saik0s/comfy_backup:Q4_K_S # Run inference directly in the terminal: ./llama-cli -hf saik0s/comfy_backup:Q4_K_S
Build from source code
git clone https://github.com/ggerganov/llama.cpp.git cd llama.cpp cmake -B build cmake --build build -j --target llama-server llama-cli # Start a local OpenAI-compatible server with a web UI: ./build/bin/llama-server -hf saik0s/comfy_backup:Q4_K_S # Run inference directly in the terminal: ./build/bin/llama-cli -hf saik0s/comfy_backup:Q4_K_S
Use Docker
docker model run hf.co/saik0s/comfy_backup:Q4_K_S
- LM Studio
- Jan
- Ollama
How to use saik0s/comfy_backup with Ollama:
ollama run hf.co/saik0s/comfy_backup:Q4_K_S
- Unsloth Studio
How to use saik0s/comfy_backup with Unsloth Studio:
Install Unsloth Studio (macOS, Linux, WSL)
curl -fsSL https://unsloth.ai/install.sh | sh # Run unsloth studio unsloth studio -H 0.0.0.0 -p 8888 # Then open http://localhost:8888 in your browser # Search for saik0s/comfy_backup to start chatting
Install Unsloth Studio (Windows)
irm https://unsloth.ai/install.ps1 | iex # Run unsloth studio unsloth studio -H 0.0.0.0 -p 8888 # Then open http://localhost:8888 in your browser # Search for saik0s/comfy_backup to start chatting
Using HuggingFace Spaces for Unsloth
# No setup required # Open https://huggingface.co/spaces/unsloth/studio in your browser # Search for saik0s/comfy_backup to start chatting
- Pi
How to use saik0s/comfy_backup with Pi:
Start the llama.cpp server
# Install llama.cpp: brew install llama.cpp # Start a local OpenAI-compatible server: llama serve -hf saik0s/comfy_backup:Q4_K_S
Configure the model in Pi
# Install Pi: npm install -g @mariozechner/pi-coding-agent # Add to ~/.pi/agent/models.json: { "providers": { "llama-cpp": { "baseUrl": "http://localhost:8080/v1", "api": "openai-completions", "apiKey": "none", "models": [ { "id": "saik0s/comfy_backup:Q4_K_S" } ] } } }Run Pi
# Start Pi in your project directory: pi
- Hermes Agent new
How to use saik0s/comfy_backup with Hermes Agent:
Start the llama.cpp server
# Install llama.cpp: brew install llama.cpp # Start a local OpenAI-compatible server: llama serve -hf saik0s/comfy_backup:Q4_K_S
Configure Hermes
# Install Hermes: curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash hermes setup # Point Hermes at the local server: hermes config set model.provider custom hermes config set model.base_url http://127.0.0.1:8080/v1 hermes config set model.default saik0s/comfy_backup:Q4_K_S
Run Hermes
hermes
- Atomic Chat new
- OpenClaw new
How to use saik0s/comfy_backup with OpenClaw:
Start the llama.cpp server
# Install llama.cpp: brew install llama.cpp # Start a local OpenAI-compatible server: llama serve -hf saik0s/comfy_backup:Q4_K_S
Configure OpenClaw
# Install OpenClaw: npm install -g openclaw@latest # Register the local server and set it as the default model: openclaw onboard --non-interactive --mode local \ --auth-choice custom-api-key \ --custom-base-url http://127.0.0.1:8080/v1 \ --custom-model-id "saik0s/comfy_backup:Q4_K_S" \ --custom-provider-id llama-cpp \ --custom-compatibility openai \ --custom-text-input \ --accept-risk \ --skip-health
Run OpenClaw
openclaw agent --local --agent main --message "Hello from Hugging Face"
- Docker Model Runner
How to use saik0s/comfy_backup with Docker Model Runner:
docker model run hf.co/saik0s/comfy_backup:Q4_K_S
- Lemonade
How to use saik0s/comfy_backup with Lemonade:
Pull the model
# Download Lemonade from https://lemonade-server.ai/ lemonade pull saik0s/comfy_backup:Q4_K_S
Run and chat with the model
lemonade run user.comfy_backup-Q4_K_S
List all available models
lemonade list
ComfyUI-mxToolkit
A set of useful nodes for convenient use of ComfyUI, including: Seed randomization before the generation process starts, with saving of the last used values and the ability to automatically interrupt the current generation; A function to pause the generation process; Slider nodes for convenient control of input parameters; An alternative version of the standard Reroute node.
Check the Wiki for an example of usage.
Nodes are available in the utils section
Seed (v0.9.0)
Allows randomizing the seed parameter before generation starts, preserving it for subsequent copying or reapplication. It retains memory of the 2 previous values. The node has the option to enable or disable automatic generation startup, as well as to interrupt the current generation when starting the next. If you press the randomization button while holding the shift key, the seed value will increase by one.
Stop (v0.9.2)
Interrupts generation, passing input data to output. Generation can be resumed from the interruption point by pressing the Continue button in the top right corner of the node or the Queue button.
Slider (v0.9.2)
Slider with a single output. If the decimals parameter value is zero, the output is an INT variable; otherwise, the output is a FLOAT variable. The snap parameter toggles snapping according to the set step parameter. Pressing the shift key while adjusting inverts the snap parameter value. Pressing the Ctrl key allows setting a value outside the defined range. To change the value manually, double-click on it.
Slider2D (v0.9.2)
Functions similarly to Slider but has 2 outputs. It also has additional parameters: dots - displays dots according to the snap parameter, frame - displays a frame, framealert - changes the frame color if the product of the output parameters exceeds the specified value (if 0 is specified in the parameter, the function is disabled). To swap X and Y, press the shift key and click on the area displaying these parameters (works only if other parameters do not prevent the swap). To change the value manually, double-click on it.
Reroute (v0.9.2)
Alternative version of the Reroute node. Parameters indicate the input and output directions. Allowable values: LEFT, RIGHT, DOWN, UP, or TOP. Case does not matter. Shortened values can also be input: L, R, D, U, or T. You can also use the context menu to select a direction. The direction can also be changed by selecting a node and configuring it with two consecutive arrow key presses.
Seed
Позволяет рандомизировать seed перед запуском генерации, что сохраняет его для последующего копирования или повторного применения. Имеется память на 2 предыдущих значения. Нода имеет параметры включения и отключения автоматического запуска генерации, а также прерывания текущей генерации при запуске следующей. Если использовать ноду с зажатой клавишей shift, то значение будет увеличиваться на еденицу.
Stop
Прерывает генерацию, но при этом передаёт входные данные на выход. При нажатии на кнопку Continue в правом верхнем углу ноды, или при повторном запуске кнопкой Queue, генерация продолжается с места прерывания.
Slider
Слайдер с одним выходом. Если значение параметра decimals равно нулю, то на выходе переменная INT, иначе на выходе переменная FLOAT. Параметр snap включает и отключает привязку согласно установленному параметром step шагу. Нажатие клавиши shift при регулировке инвертирует значение параметра snap. Нажатие клавиши Ctrl позволяет установить значение за пределами установленного диапазона. По двойному клику на значении можно установить его вручную.
Slider2D
Работает аналогично Slider, но имеет 2 выхода. Также имеет дополнительные параметры: dots - отображение точек согласно параметру snap, frame - отображение рамки, framealert - изменяет цвет рамки, если произведение параметров выхода превышает заданное значение (если в параметре указан 0, то функция отключена). Чтобы поменять местами X и Y необходимо нажать shift и кликнуть на зону отображения этих параметров (работает только, если прочие параметры не препятствуют замене). По двойному клику на значении можно установить его вручную.
mxReroute
Альтернативная версия стандартной ноды Reroute. В качестве параметров указывается направление входа и выхода. Допустимые значения: LEFT, RIGHT, DOWN, UP или TOP. Размер символов роли не играет. Можно вводить укороченные значения: L, R, D, U или T. Так же для выбора направления можно использовать контекстное меню, или, выбрав ноду, задать её конфигурацию двумя последовательными нажатиями на клавиши стрелок.
Max Smirnov . 2024
