README.md

---
license: apache-2.0
library_name: transformers
tags:
  - qwen
  - multimodal
  - moe
  - vision-language
  - conversational
  - transformers
  - vllm
  - sglang
  - ktransformers
pipeline_tag: image-text-to-text
base_model: Qwen/Qwen3.5-397B-A17B
---

# JetLLMPremium-3.5

**JetLLMPremium-3.5** is a large-scale multimodal Mixture-of-Experts model published by **Jetlink**.

It is intended for teams that want to manage deployment, access, and internal distribution from their own namespace while preserving compatibility with the original upstream model ecosystem.

## Model Summary

JetLLMPremium-3.5 is a post-trained multimodal autoregressive model with:

- **397B total parameters**
- **17B activated parameters per token**
- **Causal Language Model with Vision Encoder**
- **262,144 tokens native context length**
- **Extensible context up to 1,010,000 tokens**
- **Support for 201 languages and dialects**
- Compatibility with **Transformers**, **vLLM**, **SGLang**, and **KTransformers**

## Intended Use

This model is suitable for advanced workloads such as:

- multimodal chat assistants
- long-context document understanding
- agentic workflows
- tool-using assistants
- multilingual enterprise assistants
- coding and reasoning-heavy applications
- research and benchmarking

## Model Details

### Architecture

- **Model type:** Causal Language Model with Vision Encoder
- **Training stage:** Pre-training & Post-training
- **Total parameters:** 397B
- **Activated parameters:** 17B
- **Hidden dimension:** 4096
- **Number of layers:** 60
- **MoE experts:** 512
- **Activated experts:** 10 Routed + 1 Shared
- **Native context length:** 262,144 tokens
- **Extended context capability:** up to 1,010,000 tokens

### Ecosystem Compatibility

The upstream model card states compatibility with:

- Hugging Face Transformers
- vLLM
- SGLang
- KTransformers

## Hardware Requirements

> This model is **not intended for lightweight local deployment** in its original form.

The official upstream documentation does **not** define a single universal minimum hardware requirement, because actual requirements vary depending on:

- inference framework
- context length
- precision / quantization
- batch size
- KV cache configuration
- whether vision inputs are enabled
- latency and throughput goals

### Reference Hardware

The upstream Qwen model card provides official serving examples using tensor parallelism across **8 GPUs** for both the standard and FP8 variants.

Recommended reference configurations for self-hosted deployment:

- **Preferred:** 8× H200-class GPUs
- **Alternative:** 8× H100-class GPUs, depending on precision, context length, runtime settings, and available memory headroom
- **Text-only deployments:** may reduce memory pressure by disabling the vision encoder with `--language-model-only`

> Note: hardware requirements vary significantly based on precision, context length, KV cache settings, batch size, and whether multimodal inputs are enabled. The configurations above should be treated as practical deployment references rather than universal minimum requirements.

### Practical Guidance

#### Full model deployment

For the original model weights, this model should be treated as a **high-end multi-GPU server model**.

A practical baseline is:

- multiple high-memory datacenter GPUs
- fast GPU-to-GPU interconnect preferred
- substantial CPU RAM headroom
- fast NVMe storage
- Linux-based inference environment

#### Official serving examples

The upstream model card provides serving examples using **tensor parallelism across 8 GPUs** for both SGLang and vLLM.

That makes **8-GPU deployment** the safest reference point to document for standard, non-quantized serving.

#### Text-only deployment

The upstream vLLM example also documents a `--language-model-only` option, which skips the vision encoder and multimodal profiling to free more memory for KV cache. This can be useful when your workload is purely text-based.

### Recommendation

For most production teams:

1. start with a dedicated serving stack such as **vLLM** or **SGLang**
2. benchmark with your real context length and batch profile
3. use text-only mode when vision is not needed
4. consider optimized / compressed variants for more practical infrastructure usage

## Software Requirements

Recommended environment:

- Python 3.10+
- Linux
- CUDA-enabled GPU infrastructure
- One of the following runtimes:
  - Transformers
  - vLLM
  - SGLang
  - KTransformers

Common dependencies may include:

- `torch`
- `transformers`
- `torchvision`
- `pillow`

Additional runtime-specific packages may be required depending on your serving framework.

## Quickstart

Install Transformers:

    pip install "transformers[serving] @ git+https://github.com/huggingface/transformers.git@main"

Basic loading example:

    from transformers import AutoProcessor, AutoModelForImageTextToText

    model_id = "Jetlink/JetLLMPremium-3.5"

    processor = AutoProcessor.from_pretrained(model_id)
    model = AutoModelForImageTextToText.from_pretrained(
        model_id,
        trust_remote_code=True,
    )

## Serving Examples

### vLLM

    vllm serve Jetlink/JetLLMPremium-3.5 \
      --port 8000 \
      --tensor-parallel-size 8 \
      --max-model-len 262144 \
      --reasoning-parser qwen3

### vLLM with Tool Use

    vllm serve Jetlink/JetLLMPremium-3.5 \
      --port 8000 \
      --tensor-parallel-size 8 \
      --max-model-len 262144 \
      --reasoning-parser qwen3 \
      --enable-auto-tool-choice \
      --tool-call-parser qwen3_coder

### vLLM text-only mode

    vllm serve Jetlink/JetLLMPremium-3.5 \
      --port 8000 \
      --tensor-parallel-size 8 \
      --max-model-len 262144 \
      --reasoning-parser qwen3 \
      --language-model-only

### SGLang

    python -m sglang.launch_server \
      --model-path Jetlink/JetLLMPremium-3.5 \
      --port 8000 \
      --tp-size 8 \
      --mem-fraction-static 0.8 \
      --context-length 262144 \
      --reasoning-parser qwen3

### SGLang with Tool Use

    python -m sglang.launch_server \
      --model-path Jetlink/JetLLMPremium-3.5 \
      --port 8000 \
      --tp-size 8 \
      --mem-fraction-static 0.8 \
      --context-length 262144 \
      --reasoning-parser qwen3 \
      --tool-call-parser qwen3_coder

### SGLang with Multi-Token Prediction (MTP)

    python -m sglang.launch_server \
      --model-path Jetlink/JetLLMPremium-3.5 \
      --port 8000 \
      --tp-size 8 \
      --mem-fraction-static 0.8 \
      --context-length 262144 \
      --reasoning-parser qwen3 \
      --speculative-algo NEXTN \
      --speculative-num-steps 3 \
      --speculative-eagle-topk 1 \
      --speculative-num-draft-tokens 4

## Long Context Notes

JetLLMPremium-3.5 natively supports **262,144 tokens**.

For tasks that exceed this window, the upstream documentation recommends using long-context scaling techniques such as **YaRN**, which are supported in several frameworks including Transformers, vLLM, KTransformers, and SGLang.

## Strengths

- very large-capability multimodal model
- strong long-context support
- MoE design for efficient activated compute relative to total parameter count
- broad multilingual support
- compatible with modern high-throughput serving frameworks
- suitable for advanced agentic and enterprise deployments

## Limitations

- requires substantial infrastructure
- long context significantly increases memory pressure
- multimodal usage adds further overhead
- original weights are not a good fit for consumer-grade single-GPU environments
- deployment characteristics depend heavily on framework and configuration

## Out-of-Scope / Cautionary Use

As with other frontier-scale multimodal language models, outputs should be reviewed before use in:

- medical decision-making
- legal advice
- safety-critical automation
- high-stakes financial decisions
- fully autonomous customer actions without guardrails

Human review, policy controls, and tool-level validation are strongly recommended.

## License

This repository follows the same license as the upstream release.

- **License:** Apache-2.0
- See the upstream Qwen repository and included license text for the governing terms.

If you redistribute, fine-tune, quantize, or otherwise modify this model, make sure your usage remains compliant with the upstream license and attribution requirements.

## Attribution

Original model and research release by the **Qwen** team.

Upstream model:
- `Qwen/Qwen3.5-397B-A17B`

This repository is an organization-managed copy and is **not the original upstream source**.

## Citation

Please cite the original Qwen release when using this model in research, evaluation, or production documentation.

```bibtex
@misc{qwen3.5,
  title        = {Qwen3.5 Technical Report},
  author       = {Qwen Team},
  year         = {2026},
  publisher    = {Alibaba Cloud},
  howpublished = {\url{https://huggingface.co/Qwen/Qwen3.5-397B-A17B}}
}
```

---

# JetLLMPremium-3.5 (Türkçe)

**JetLLMPremium-3.5**, **Jetlink** tarafından yayınlanan büyük ölçekli bir multimodal Mixture-of-Experts modelidir.

Bu depo; modeli kendi namespace'i altında yönetmek, erişimi kontrol etmek ve dağıtımı kolaylaştırmak isteyen ekipler için hazırlanmıştır. Amaç, upstream model ekosistemiyle uyumluluğu koruyarak kurumsal kullanım sağlamaktır.

## Model Özeti

JetLLMPremium-3.5, aşağıdaki özelliklere sahip, post-train edilmiş çok kipli (multimodal) otoregresif bir modeldir:

- **397B toplam parametre**
- Her token için **17B aktif parametre**
- **Vision Encoder** içeren **Causal Language Model**
- **262.144 token yerel bağlam uzunluğu**
- **1.010.000 token'a kadar genişletilebilir bağlam**
- **201 dil ve lehçe desteği**
- **Transformers**, **vLLM**, **SGLang** ve **KTransformers** ile uyumluluk

## Kullanım Amacı

Bu model aşağıdaki gelişmiş kullanım senaryoları için uygundur:

- multimodal sohbet asistanları
- uzun bağlamlı doküman anlama
- agentic workflow yapıları
- araç kullanan asistanlar
- çok dilli kurumsal asistanlar
- kodlama ve yoğun akıl yürütme gerektiren uygulamalar
- araştırma ve benchmark çalışmaları

## Model Detayları

### Mimari

- **Model tipi:** Vision Encoder içeren Causal Language Model
- **Eğitim aşaması:** Pre-training ve Post-training
- **Toplam parametre:** 397B
- **Aktif parametre:** 17B
- **Hidden dimension:** 4096
- **Katman sayısı:** 60
- **MoE expert sayısı:** 512
- **Aktif expert:** 10 Routed + 1 Shared
- **Yerel bağlam uzunluğu:** 262.144 token
- **Genişletilmiş bağlam kapasitesi:** 1.010.000 token'a kadar

### Ekosistem Uyumluluğu

Upstream model kartına göre model şu ekosistemlerle uyumludur:

- Hugging Face Transformers
- vLLM
- SGLang
- KTransformers

## Donanım Gereksinimleri

> Bu model, orijinal haliyle hafif yerel kullanım için tasarlanmamıştır.

Resmi upstream dokümantasyonu tek ve evrensel bir minimum donanım gereksinimi belirtmez. Çünkü gerçek ihtiyaçlar şunlara bağlı olarak değişir:

- kullanılan inference framework'ü
- bağlam uzunluğu
- precision / quantization tercihi
- batch size
- KV cache yapılandırması
- vision girdilerinin kullanılıp kullanılmaması
- gecikme ve throughput hedefleri

### Referans Donanım

Upstream Qwen model kartı, hem standart hem de FP8 varyantları için **8 GPU üzerinde tensor parallelism** kullanan resmi serving örnekleri sunmaktadır.

Self-hosted deployment için önerilen referans konfigürasyonlar:

- **Tercih edilen:** 8× H200 sınıfı GPU
- **Alternatif:** precision, bağlam uzunluğu, runtime ayarları ve kullanılabilir bellek payına bağlı olarak 8× H100 sınıfı GPU
- **Sadece metin tabanlı dağıtımlar:** vision encoder `--language-model-only` ile devre dışı bırakılarak bellek baskısı azaltılabilir

> Not: donanım gereksinimleri; precision, bağlam uzunluğu, KV cache ayarları, batch size ve multimodal girişlerin açık olup olmamasına göre ciddi şekilde değişir. Bu nedenle yukarıdaki konfigürasyonlar evrensel minimum gereksinim olarak değil, pratik dağıtım referansı olarak değerlendirilmelidir.

### Pratik Rehber

#### Tam model dağıtımı

Orijinal model ağırlıklarıyla kullanımda bu model, **yüksek seviye çoklu GPU sunucu modeli** olarak düşünülmelidir.

Pratik bir başlangıç seviyesi şunları içerir:

- yüksek belleğe sahip birden fazla datacenter GPU
- tercihen hızlı GPU-GPU interconnect
- yüksek CPU RAM kapasitesi
- hızlı NVMe depolama
- Linux tabanlı inference ortamı

#### Resmi serving örnekleri

Upstream model kartında hem SGLang hem de vLLM için **8 GPU üzerinde tensor parallelism** kullanan serving örnekleri bulunmaktadır.

Bu nedenle standart, quantize edilmemiş serving için dokümante edilebilecek en güvenli referans noktası **8 GPU dağıtımıdır**.

#### Sadece metin kullanımı

Upstream vLLM örneğinde ayrıca `--language-model-only` seçeneği de yer alır. Bu seçenek vision encoder'ı ve multimodal profiling'i devre dışı bırakarak KV cache için daha fazla bellek açar. Sadece metin tabanlı iş yüklerinde faydalı olabilir.

### Öneri

Çoğu production ekip için en mantıklı yaklaşım:

1. **vLLM** veya **SGLang** gibi özel bir serving stack ile başlamak
2. gerçek bağlam uzunluğu ve batch profiliyle benchmark almak
3. vision gerekmiyorsa text-only modunu kullanmak
4. daha pratik altyapı için optimize / sıkıştırılmış varyantları değerlendirmek

## Yazılım Gereksinimleri

Önerilen ortam:

- Python 3.10+
- Linux
- CUDA destekli GPU altyapısı
- Şu runtime'lardan biri:
  - Transformers
  - vLLM
  - SGLang
  - KTransformers

Yaygın bağımlılıklar şunları içerebilir:

- `torch`
- `transformers`
- `torchvision`
- `pillow`

Kullandığınız serving framework'üne göre ek bağımlılıklar gerekebilir.

## Hızlı Başlangıç

Transformers kurulumu:

    pip install "transformers[serving] @ git+https://github.com/huggingface/transformers.git@main"

Temel yükleme örneği:

    from transformers import AutoProcessor, AutoModelForImageTextToText

    model_id = "Jetlink/JetLLMPremium-3.5"

    processor = AutoProcessor.from_pretrained(model_id)
    model = AutoModelForImageTextToText.from_pretrained(
        model_id,
        trust_remote_code=True,
    )

## Serving Örnekleri

### vLLM

    vllm serve Jetlink/JetLLMPremium-3.5 \
      --port 8000 \
      --tensor-parallel-size 8 \
      --max-model-len 262144 \
      --reasoning-parser qwen3

### vLLM Tool Use ile

    vllm serve Jetlink/JetLLMPremium-3.5 \
      --port 8000 \
      --tensor-parallel-size 8 \
      --max-model-len 262144 \
      --reasoning-parser qwen3 \
      --enable-auto-tool-choice \
      --tool-call-parser qwen3_coder

### vLLM sadece metin modu

    vllm serve Jetlink/JetLLMPremium-3.5 \
      --port 8000 \
      --tensor-parallel-size 8 \
      --max-model-len 262144 \
      --reasoning-parser qwen3 \
      --language-model-only

### SGLang

    python -m sglang.launch_server \
      --model-path Jetlink/JetLLMPremium-3.5 \
      --port 8000 \
      --tp-size 8 \
      --mem-fraction-static 0.8 \
      --context-length 262144 \
      --reasoning-parser qwen3

### SGLang Tool Use ile

    python -m sglang.launch_server \
      --model-path Jetlink/JetLLMPremium-3.5 \
      --port 8000 \
      --tp-size 8 \
      --mem-fraction-static 0.8 \
      --context-length 262144 \
      --reasoning-parser qwen3 \
      --tool-call-parser qwen3_coder

### SGLang Multi-Token Prediction (MTP) ile

    python -m sglang.launch_server \
      --model-path Jetlink/JetLLMPremium-3.5 \
      --port 8000 \
      --tp-size 8 \
      --mem-fraction-static 0.8 \
      --context-length 262144 \
      --reasoning-parser qwen3 \
      --speculative-algo NEXTN \
      --speculative-num-steps 3 \
      --speculative-eagle-topk 1 \
      --speculative-num-draft-tokens 4

## Uzun Bağlam Notları

JetLLMPremium-3.5 yerel olarak **262.144 token** destekler.

Bu pencereyi aşan görevlerde upstream dokümantasyonu; Transformers, vLLM, KTransformers ve SGLang gibi framework'ler tarafından desteklenen **YaRN** benzeri uzun bağlam ölçekleme tekniklerini önermektedir.

## Güçlü Yönler

- çok yüksek kapasiteli multimodal model
- güçlü uzun bağlam desteği
- toplam parametre sayısına kıyasla verimli aktif hesaplama sağlayan MoE tasarımı
- geniş çok dilli destek
- modern yüksek throughput serving framework'leriyle uyumluluk
- gelişmiş agentic ve kurumsal dağıtımlar için uygunluk

## Sınırlamalar

- ciddi altyapı gerektirir
- uzun bağlam bellek baskısını ciddi şekilde artırır
- multimodal kullanım ek hesaplama ve bellek maliyeti getirir
- orijinal ağırlıklar consumer-grade tek GPU ortamları için uygun değildir
- deployment karakteristiği framework ve konfigürasyona göre ciddi biçimde değişir

## Kapsam Dışı / Dikkat Gerektiren Kullanımlar

Diğer frontier-scale multimodal language model'lerde olduğu gibi, model çıktıları şu alanlarda insan denetimi olmadan kullanılmamalıdır:

- tıbbi karar verme
- hukuki tavsiye
- güvenlik kritik otomasyon
- yüksek riskli finansal kararlar
- korumasız tam otonom müşteri aksiyonları

İnsan incelemesi, politika kontrolleri ve tool seviyesinde doğrulama güçlü şekilde önerilir.

## Lisans

Bu depo, upstream sürümle aynı lisansı takip eder.

- **Lisans:** Apache-2.0
- Geçerli şartlar için upstream Qwen deposu ve lisans metni incelenmelidir.

Modeli yeniden dağıtıyor, fine-tune ediyor, quantize ediyor veya başka şekilde değiştiriyorsan; kullanımının upstream lisans ve attribution gereklilikleriyle uyumlu olduğundan emin olmalısın.

## Atıf

Orijinal model ve araştırma yayını **Qwen** ekibine aittir.

Upstream model:
- `Qwen/Qwen3.5-397B-A17B`

Bu depo, kurum tarafından yönetilen bir kopyadır ve **orijinal upstream kaynak değildir**.

## Atıf / Citation

Bu modeli araştırma, değerlendirme veya production dokümantasyonunda kullanıyorsan, lütfen orijinal Qwen sürümüne atıf yap.

```bibtex
@misc{qwen3.5,
  title        = {Qwen3.5 Technical Report},
  author       = {Qwen Team},
  year         = {2026},
  publisher    = {Alibaba Cloud},
  howpublished = {\url{https://huggingface.co/Qwen/Qwen3.5-397B-A17B}}
}
```