Instructions to use beyoru/Ops-II with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use beyoru/Ops-II with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("image-text-to-text", model="beyoru/Ops-II")
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/p-blog/candy.JPG"},
            {"type": "text", "text": "What animal is on the candy?"}
        ]
    },
]
pipe(text=messages)

# Load model directly
from transformers import AutoProcessor, AutoModelForMultimodalLM

processor = AutoProcessor.from_pretrained("beyoru/Ops-II")
model = AutoModelForMultimodalLM.from_pretrained("beyoru/Ops-II", device_map="auto")
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/p-blog/candy.JPG"},
            {"type": "text", "text": "What animal is on the candy?"}
        ]
    },
]
inputs = processor.apply_chat_template(
	messages,
	add_generation_prompt=True,
	tokenize=True,
	return_dict=True,
	return_tensors="pt",
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=40)
print(processor.decode(outputs[0][inputs["input_ids"].shape[-1]:]))

Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use beyoru/Ops-II with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "beyoru/Ops-II"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "beyoru/Ops-II",
		"messages": [
			{
				"role": "user",
				"content": [
					{
						"type": "text",
						"text": "Describe this image in one sentence."
					},
					{
						"type": "image_url",
						"image_url": {
							"url": "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg"
						}
					}
				]
			}
		]
	}'

Use Docker

docker model run hf.co/beyoru/Ops-II

SGLang

How to use beyoru/Ops-II with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "beyoru/Ops-II" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "beyoru/Ops-II",
		"messages": [
			{
				"role": "user",
				"content": [
					{
						"type": "text",
						"text": "Describe this image in one sentence."
					},
					{
						"type": "image_url",
						"image_url": {
							"url": "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg"
						}
					}
				]
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "beyoru/Ops-II" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "beyoru/Ops-II",
		"messages": [
			{
				"role": "user",
				"content": [
					{
						"type": "text",
						"text": "Describe this image in one sentence."
					},
					{
						"type": "image_url",
						"image_url": {
							"url": "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg"
						}
					}
				]
			}
		]
	}'

Docker Model Runner
How to use beyoru/Ops-II with Docker Model Runner:
```
docker model run hf.co/beyoru/Ops-II
```

Ops-II

deepreinforce-ai/Ornith-1.0-35B sau Expert-Specialized Fine-Tuning (ESFT), chạy trên một NVIDIA GB10 (DGX Spark, 121 GB unified memory).

⚠️ Đọc trước khi dùng. Đây là checkpoint của một lần train rất ngắn: 63 optimizer step, ~648k token, tương đương 8.4% của một epoch. Trọng số expert dịch trung bình 0.29% so với model gốc. Chưa được đánh giá trên bất kỳ benchmark nào. Về mặt hành vi, gần như chắc chắn không phân biệt được với Ornith-1.0-35B. Công bố để lưu trữ và tái lập, không phải vì nó tốt hơn model gốc.

Đã làm gì

ESFT (arXiv 2407.01906): chấm điểm expert trên dữ liệu task, chọn nhóm expert mà router thực sự gửi token tới, rồi train thẳng trọng số gốc của nhóm đó — đóng băng mọi thứ còn lại, kể cả router.


base	`deepreinforce-ai/Ornith-1.0-35B` (qwen3_5_moe, 40 layer × 256 expert, top-8)
dữ liệu	`ianncity/GLM-5.2-Conversation` — 6000 mẫu ≤2048 token (CoT science/math/code)
chấm điểm	96 mẫu, token-selection ratio, hook trên `Qwen3_5MoeTopKRouter`
chọn	`top_p=0.20` → 19.1 expert/layer; cắt theo trần 1.5B → 444 expert (11.1/layer)
train	1 522 532 352 tham số (4.4%) + shared_expert; router và attention đóng băng
optimizer	AdamW, lr 1e-5, wd 0.1, betas (0.9, 0.95), grad-clip 1.0, cosine + warmup 3%
batch	1 chuỗi × grad-accum 8
đã chạy	63 step / 750 (dừng theo hạn thời gian), 647 997 token
phần cứng	1× GB10, bf16, grad-checkpointing, 207 tok/s

top_p=0.20 chỉ cần 19.1/256 expert mỗi layer — nếu router rải đều thì phải cần 51.2, tức routing tập trung gấp 2.7 lần ngẫu nhiên. Đây là số đo xác nhận tiền đề của ESFT trên model này.

Kiểm chứng phép ghép

Trọng số expert đã train được ghép trở lại checkpoint gốc ở mức shard safetensors:

expert được chọn: ||ΔW||/||W₀|| = 1.95e-3 … 5.87e-3 (trung bình 2.88e-3), không tensor nào = 0
expert không chọn: ||ΔW||/||W₀|| = 0.000 (bit-for-bit như gốc)

Ghi công & giấy phép

Model gốc deepreinforce-ai/Ornith-1.0-35B, MIT. Bản này giữ nguyên MIT. Phương pháp: Wang et al., Let the Expert Stick to His Last: Expert-Specialized Fine-Tuning for Sparse Architectural Large Language Models, EMNLP 2024 — https://arxiv.org/abs/2407.01906

Downloads last month: -

Safetensors

Model size

665k params

Tensor type

BF16

Model tree for beyoru/Ops-II

Base model

deepreinforce-ai/Ornith-1.0-35B

Finetuned

(21)

this model

Paper for beyoru/Ops-II

Let the Expert Stick to His Last: Expert-Specialized Fine-Tuning for Sparse Architectural Large Language Models

Paper • 2407.01906 • Published Jul 2, 2024 • 47