Instructions to use Langitzt/Vector-1-lite with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use Langitzt/Vector-1-lite with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="Langitzt/Vector-1-lite")
messages = [
    {"role": "user", "content": "Who are you?"},
]
pipe(messages)

# Load model directly
from transformers import AutoTokenizer, AutoModelForMultimodalLM

tokenizer = AutoTokenizer.from_pretrained("Langitzt/Vector-1-lite")
model = AutoModelForMultimodalLM.from_pretrained("Langitzt/Vector-1-lite")
messages = [
    {"role": "user", "content": "Who are you?"},
]
inputs = tokenizer.apply_chat_template(
	messages,
	add_generation_prompt=True,
	tokenize=True,
	return_dict=True,
	return_tensors="pt",
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=40)
print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:]))

Notebooks
Google Colab
Kaggle
Local Apps Settings

vLLM

How to use Langitzt/Vector-1-lite with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "Langitzt/Vector-1-lite"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "Langitzt/Vector-1-lite",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/Langitzt/Vector-1-lite

SGLang

How to use Langitzt/Vector-1-lite with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "Langitzt/Vector-1-lite" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "Langitzt/Vector-1-lite",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "Langitzt/Vector-1-lite" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "Langitzt/Vector-1-lite",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Docker Model Runner
How to use Langitzt/Vector-1-lite with Docker Model Runner:
```
docker model run hf.co/Langitzt/Vector-1-lite
```

Vector-1-lite / README.md

Langitzt

Update README.md

3f188f4 verified 20 days ago

preview code

raw

history blame contribute delete

2.68 kB

	---
	language:
	- en
	- zh
	- id
	library_name: transformers
	license: openrail
	pipeline_tag: text-generation
	---
	---
	# 🚀 Vector 1 Lite: Raksasa 754 Miliar Parameter, Lebih Optimal!
	Selamat datang di repositori resmi Vector 1 Lite, model AI chatbot skala masif yang dirancang untuk menghadirkan pengalaman percakapan tingkat lanjut. Dipersenjatai dengan 754 Miliar parameter, kata "Lite" pada namanya bukan berarti fiturnya dipangkas, melainkan simbol dari efisiensi tinggi dan kecepatan luar biasa untuk model di kelas raksasa ini.
	## 🌟 Fitur Unggulan
	* 754 Miliar Parameter: Kapasitas pengetahuan yang sangat masif, memungkinkan penalaran mendalam, pemahaman konteks yang bernuansa, dan jawaban yang sangat akurat.
	* Optimasi Percakapan Tingkat Lanjut: Melalui proses fine-tuning khusus agar mampu berinteraksi secara alami, mengalir, dan humanis.
	* Kemampuan Serba Bisa: Sangat andal dalam menyelesaikan coding kompleks, penulisan kreatif, logika matematika, hingga diskusi panjang multi-topik.
	* Efisiensi Sistem "Lite": Dirancang dengan teknik optimasi arsitektur terkini untuk memastikan waktu respons (inference) yang lebih cepat dibanding model lain berukuran sepadan.
	## 🎯 Penggunaan yang Disarankan & Batasan
	### Penggunaan Ideal
	* Asisten virtual dan AI chatbot kelas premium untuk perusahaan atau publik.
	* Rekan diskusi untuk memecahkan masalah rumit dan brainstorming ide kreatif.
	* Riset NLP tingkat lanjut untuk kebutuhan akademis maupun industri.
	### Batasan Model
	* Memerlukan spesifikasi perangkat keras (VRAM/GPU) yang tinggi untuk dijalankan pada performa penuh (Direkomendasikan: [Sebutkan hardware, misal: GPU A100/H100]).
	* Seperti LLM pada umumnya, model ini terkadang masih bisa menghasilkan informasi keliru (halusinasi). Harap verifikasi kembali informasi yang bersifat krusial.
	## 📊 Performa Model & Tolok Ukur (Benchmark)

	\| Tolok Ukur (Benchmark) \| Vector 1 Lite \| Kompetitor A (700B+) \| Kompetitor B (500B+) \|
	\| :--- \| :--- \| :--- \| :--- \|
	\| MMLU (Penalaran Umum) \| [Skor]% \| 82.1% \| 79.5% \|
	\| HumanEval (Pemrograman) \| [Skor]% \| 75.4% \| 71.0% \|
	\| GSM8K (Matematika) \| [Skor]% \| 88.0% \| 84.2% \|

	> 💡 Catatan: Data metrik dan grafik hasil pelatihan akan diperbarui secara berkala pada tab komunitas.
	>
	## 🤝 Kontribusi & Dukungan
	Vector 1 Lite adalah proyek yang terus berkembang. Jika Anda menemukan kendala, memiliki saran modifikasi, atau ingin berkontribusi dalam pengembangannya, silakan buka diskusi di tab Community.
	⭐ Jika Anda menyukai model ini, jangan lupa berikan "Star" untuk mendukung proyek ini!
	Dikembangkan dengan dedikasi oleh [SKYTECH/Z.AI]