Instructions to use bytecode66/Froged_N1 with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Notebooks
- Google Colab
- Kaggle
- Local Apps Settings
- llama.cpp
How to use bytecode66/Froged_N1 with llama.cpp:
Install (macOS, Linux)
curl -LsSf https://llama.app/install.sh | sh # Start a local OpenAI-compatible server with a web UI: llama serve -hf bytecode66/Froged_N1:Q6_K # Run inference directly in the terminal: llama cli -hf bytecode66/Froged_N1:Q6_K
Install from WinGet (Windows)
winget install llama.cpp # Start a local OpenAI-compatible server with a web UI: llama serve -hf bytecode66/Froged_N1:Q6_K # Run inference directly in the terminal: llama cli -hf bytecode66/Froged_N1:Q6_K
Build from source code
git clone https://github.com/ggml-org/llama.cpp.git cd llama.cpp cmake -B build cmake --build build -j --target llama-app # Start a local OpenAI-compatible server with a web UI: ./build/bin/llama serve -hf bytecode66/Froged_N1:Q6_K # Run inference directly in the terminal: ./build/bin/llama cli -hf bytecode66/Froged_N1:Q6_K
Use Docker
docker model run hf.co/bytecode66/Froged_N1:Q6_K
- Llama new
- LM Studio
- Jan
- vLLM
How to use bytecode66/Froged_N1 with vLLM:
Install from pip and serve model
# Install vLLM from pip: pip install vllm # Start the vLLM server: vllm serve "bytecode66/Froged_N1" # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "bytecode66/Froged_N1", "prompt": "Once upon a time,", "max_tokens": 512, "temperature": 0.5 }'Use Docker
docker model run hf.co/bytecode66/Froged_N1:Q6_K
- Ollama
How to use bytecode66/Froged_N1 with Ollama:
ollama run hf.co/bytecode66/Froged_N1:Q6_K
- Unsloth Desktop
- Docker Model Runner
How to use bytecode66/Froged_N1 with Docker Model Runner:
docker model run hf.co/bytecode66/Froged_N1:Q6_K
- Lemonade
How to use bytecode66/Froged_N1 with Lemonade:
Pull the model
# Download Lemonade from https://lemonade-server.ai/ lemonade pull bytecode66/Froged_N1:Q6_K
Run and chat with the model
lemonade run user.Froged_N1-Q6_K
List all available models
lemonade list
- Atomic Chat
File size: 1,998 Bytes
f825666 | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 | ---
tags:
- gguf
- llama.cpp
- text-generation
- ethical-hacking
- 33b
base_model: WhiteRabbitNeo/Trinity-33B-v1.0
pipeline_tag: text-generation
---
# Froged_N1
Repositori ini berisi kuantisasi **GGUF Q6_K** dari **Trinity-33B-v1.0**. Berkas model disalin dari [LoneStriker/Trinity-33B-v1.0-GGUF](https://huggingface.co/LoneStriker/Trinity-33B-v1.0-GGUF). Ini adalah berkas kuantisasi komunitas; repo ini tidak mengklaim telah melatih atau melakukan fine-tuning ulang model.
## Berkas
- `Trinity-33B-v1.0-Q6_K.gguf` — sekitar 27,36 GB.
GGUF ditujukan untuk runtime yang mendukung format ini, seperti `llama.cpp`. File ini bukan checkpoint Transformers biasa dan tidak dapat dimuat dengan contoh `AutoModelForCausalLM.from_pretrained()` langsung dari repo ini.
## Menjalankan
Dengan versi `llama.cpp` yang mendukung unduhan model dari Hugging Face:
```bash
llama-cli -hf bytecode66/Froged_N1:Trinity-33B-v1.0-Q6_K.gguf
```
Atau unduh file GGUF dari tab **Files and versions** lalu jalankan secara lokal:
```bash
llama-cli -m ./Trinity-33B-v1.0-Q6_K.gguf -p "Jelaskan konsep keamanan siber untuk lingkungan lab yang berizin." -n 200
```
Pemakaian model 33B memerlukan RAM/VRAM yang memadai. Kebutuhan aktual bergantung pada runtime, panjang konteks, dan jumlah layer yang ditempatkan di GPU.
## Penggunaan yang bertanggung jawab
Model ini ditujukan untuk pembelajaran, pengembangan, dan pengujian keamanan siber di sistem yang Anda miliki atau yang penggunaannya telah diizinkan, termasuk lab lokal dan CTF. Jangan gunakan untuk mengakses, mengganggu, atau mengeksploitasi sistem tanpa izin.
## Model dasar dan lisensi
Model dasar: [WhiteRabbitNeo/Trinity-33B-v1.0](https://huggingface.co/WhiteRabbitNeo/Trinity-33B-v1.0). Tinjau kartu model dan lisensi model dasar sebelum penggunaan atau redistribusi. Kuantisasi GGUF ini berasal dari [LoneStriker](https://huggingface.co/LoneStriker/Trinity-33B-v1.0-GGUF); lihat repositori sumber untuk rincian kuantisasi dan atribusi.
|