Instructions to use RichardErkhov/BearNetworkChain_-_BRNKCForCausalLM-4bits with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use RichardErkhov/BearNetworkChain_-_BRNKCForCausalLM-4bits with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="RichardErkhov/BearNetworkChain_-_BRNKCForCausalLM-4bits")

# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("RichardErkhov/BearNetworkChain_-_BRNKCForCausalLM-4bits")
model = AutoModelForCausalLM.from_pretrained("RichardErkhov/BearNetworkChain_-_BRNKCForCausalLM-4bits")

Notebooks
Google Colab
Kaggle
Local Apps

vLLM

How to use RichardErkhov/BearNetworkChain_-_BRNKCForCausalLM-4bits with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "RichardErkhov/BearNetworkChain_-_BRNKCForCausalLM-4bits"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "RichardErkhov/BearNetworkChain_-_BRNKCForCausalLM-4bits",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker

docker model run hf.co/RichardErkhov/BearNetworkChain_-_BRNKCForCausalLM-4bits

SGLang

How to use RichardErkhov/BearNetworkChain_-_BRNKCForCausalLM-4bits with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "RichardErkhov/BearNetworkChain_-_BRNKCForCausalLM-4bits" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "RichardErkhov/BearNetworkChain_-_BRNKCForCausalLM-4bits",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "RichardErkhov/BearNetworkChain_-_BRNKCForCausalLM-4bits" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "RichardErkhov/BearNetworkChain_-_BRNKCForCausalLM-4bits",
		"prompt": "Once upon a time,",
		"max_tokens": 512,
		"temperature": 0.5
	}'

Docker Model Runner
How to use RichardErkhov/BearNetworkChain_-_BRNKCForCausalLM-4bits with Docker Model Runner:
```
docker model run hf.co/RichardErkhov/BearNetworkChain_-_BRNKCForCausalLM-4bits
```

YAML Metadata Warning:empty or missing yaml metadata in repo card

Check out the documentation for more information.

Quantization made by Richard Erkhov.

Github

Discord

Request more models

BRNKCForCausalLM - bnb 4bits

Model creator: https://huggingface.co/BearNetworkChain/
Original model: https://huggingface.co/BearNetworkChain/BRNKCForCausalLM/

Original model description:

license: gpl-3.0 language: - zh - en

熊網區塊鏈AI模型特性

簡介

熊網區塊鏈AI模型是一個專為區塊鏈領域訓練的人工智慧模型，旨在提供區塊鏈相關領域的知識和解決方案。這個模型由熊網區塊鏈團隊精心訓練，專注於區塊鏈技術、加密貨幣、分散式金融等相關主題。

特性

專業知識: 熊網區塊鏈AI模型具有豐富的區塊鏈相關知識，涵蓋區塊鏈技術原理、加密算法、智能合約等多個方面。
即時更新: 模型將不斷更新學習，以保持對最新區塊鏈技術和趨勢的了解，並提供最新的解決方案和見解。
多語言支持: 熊網區塊鏈AI模型支持多種語言，包括但不限於英文和中文，以滿足全球用戶的需求。
準確性: 模型在提供信息和解答問題時力求準確性，並通過不斷訓練和改進來提升準確度。
可擴展性: 熊網區塊鏈AI模型具有良好的可擴展性，可根據用戶需求和反饋進行定制和調整。

使用方法

問答: 使用者可以向模型提出關於區塊鏈技術、加密貨幣、智能合約等方面的問題，模型將會提供相關的解答和建議。
知識查詢: 使用者可以通過對話方式向模型查詢特定的區塊鏈知識和資訊，模型將會提供相關的知識內容。
專案建議: 使用者可以向模型提出關於區塊鏈專案和應用的建議需求，模型將會根據需求提供相應的建議和指導。

貢獻和反饋

我們歡迎使用者對熊網區塊鏈AI模型提出貢獻和反饋意見。我們將會根據用戶反饋來持續改進和優化模型的功能和性能。

聯繫我們

如果您有任何問題或意見，歡迎聯繫我們的團隊。您可以通過以下方式與我們取得聯繫：

官方網站：bearnetwork.net
社交媒體：Twitter、Facebook、LinkedIn 等

感謝您對熊網區塊鏈AI模型的關注和支持！

Downloads last month: 4

Safetensors

Model size

0.7B params

Tensor type

F32

F16