Image-Text-to-Text
Transformers
Safetensors
Vietnamese
English
Chinese
internvl_chat
feature-extraction
conversational
custom_code
Instructions to use 5CD-AI/Vintern-3B-beta with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- Transformers
How to use 5CD-AI/Vintern-3B-beta with Transformers:
# Use a pipeline as a high-level helper from transformers import pipeline pipe = pipeline("image-text-to-text", model="5CD-AI/Vintern-3B-beta", trust_remote_code=True) messages = [ { "role": "user", "content": [ {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/p-blog/candy.JPG"}, {"type": "text", "text": "What animal is on the candy?"} ] }, ] pipe(text=messages)# Load model directly from transformers import AutoModel model = AutoModel.from_pretrained("5CD-AI/Vintern-3B-beta", trust_remote_code=True, dtype="auto") - Notebooks
- Google Colab
- Kaggle
- Local Apps
- vLLM
How to use 5CD-AI/Vintern-3B-beta with vLLM:
Install from pip and serve model
# Install vLLM from pip: pip install vllm # Start the vLLM server: vllm serve "5CD-AI/Vintern-3B-beta" # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:8000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "5CD-AI/Vintern-3B-beta", "messages": [ { "role": "user", "content": [ { "type": "text", "text": "Describe this image in one sentence." }, { "type": "image_url", "image_url": { "url": "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg" } } ] } ] }'Use Docker
docker model run hf.co/5CD-AI/Vintern-3B-beta
- SGLang
How to use 5CD-AI/Vintern-3B-beta with SGLang:
Install from pip and serve model
# Install SGLang from pip: pip install sglang # Start the SGLang server: python3 -m sglang.launch_server \ --model-path "5CD-AI/Vintern-3B-beta" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "5CD-AI/Vintern-3B-beta", "messages": [ { "role": "user", "content": [ { "type": "text", "text": "Describe this image in one sentence." }, { "type": "image_url", "image_url": { "url": "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg" } } ] } ] }'Use Docker images
docker run --gpus all \ --shm-size 32g \ -p 30000:30000 \ -v ~/.cache/huggingface:/root/.cache/huggingface \ --env "HF_TOKEN=<secret>" \ --ipc=host \ lmsysorg/sglang:latest \ python3 -m sglang.launch_server \ --model-path "5CD-AI/Vintern-3B-beta" \ --host 0.0.0.0 \ --port 30000 # Call the server using curl (OpenAI-compatible API): curl -X POST "http://localhost:30000/v1/chat/completions" \ -H "Content-Type: application/json" \ --data '{ "model": "5CD-AI/Vintern-3B-beta", "messages": [ { "role": "user", "content": [ { "type": "text", "text": "Describe this image in one sentence." }, { "type": "image_url", "image_url": { "url": "https://cdn.britannica.com/61/93061-050-99147DCE/Statue-of-Liberty-Island-New-York-Bay.jpg" } } ] } ] }' - Docker Model Runner
How to use 5CD-AI/Vintern-3B-beta with Docker Model Runner:
docker model run hf.co/5CD-AI/Vintern-3B-beta
Update README.md
Browse files
README.md
CHANGED
|
@@ -160,6 +160,37 @@ Một mũi tên màu đen nối các khối vuông với nhau, thể hiện quá
|
|
| 160 |
```
|
| 161 |
|
| 162 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 163 |
## Quickstart
|
| 164 |
|
| 165 |
Here provides a code snippet to show you how to load the tokenizer and model and how to generate contents.
|
|
|
|
| 160 |
```
|
| 161 |
|
| 162 |
|
| 163 |
+
<div align="center">
|
| 164 |
+
<img src="ex_5.png" width="400"/>
|
| 165 |
+
</div>
|
| 166 |
+
|
| 167 |
+
```
|
| 168 |
+
User: <image>
|
| 169 |
+
Mô tả hình ảnh chi tiết.
|
| 170 |
+
Assistant: Bức ảnh là bản đồ dự báo thời tiết, hiển thị khu vực Biển Đông. Ở góc trên bên trái là logo của Trung tâm Dự báo khí tượng thủy văn quốc gia.
|
| 171 |
+
Phía dưới logo là dòng chữ "Trung tâm Dự báo khí tượng thủy văn quốc gia". Bên phải bản đồ là bảng chú thích với các màu sắc tương ứng với cấp gió và vị trí tâm bão.
|
| 172 |
+
Dưới bảng chú thích là bảng thông tin về Bão Gàn Biên Đông - Tin phát lúc: 02 giờ 00 phút, ngày 23/10/2024.
|
| 173 |
+
Bảng thông tin này bao gồm các cột: Ngày-giờ, Vị độ, Kinh độ, Cấp gió, Vmax, Pmin.
|
| 174 |
+
```
|
| 175 |
+
|
| 176 |
+
|
| 177 |
+
<div align="center">
|
| 178 |
+
<img src="ex_6." width="400"/>
|
| 179 |
+
</div>
|
| 180 |
+
|
| 181 |
+
|
| 182 |
+
```
|
| 183 |
+
User: <image>
|
| 184 |
+
Mô tả hình ảnh chi tiết.
|
| 185 |
+
Assistant: Bức ảnh là một giao diện ứng dụng đặt hàng thức ăn trực tuyến. Giao diện được chia thành các phần:
|
| 186 |
+
- Phần đầu tiên hiển thị thông báo "Sẽ xong lúc 10:50 SA" và dòng chữ "Bếp đang thực hiện món.". Bên cạnh đó là biểu tượng bếp đang hoạt động với thanh tiến độ màu xanh lá cây.
|
| 187 |
+
- Tiếp theo là dòng chữ "Vui lòng đến lấy món trước 12:50".
|
| 188 |
+
- Phần tiếp theo là thông tin về quán cà phê "Wego Coffee - Mapletree Business Centre", kèm theo dòng chữ "#GF-29".
|
| 189 |
+
- Dòng chữ "Đừng quên kiểm tra lại để chắc rằng bạn nhận đúng món nhé!" được hiển thị trong một khung hình chữ nhật màu be.
|
| 190 |
+
- Phần cuối cùng là thông tin về đơn hàng, bao gồm logo quán cà phê, dòng chữ "Wego Coffee - Mapletree Business Centre", dòng chữ "Tổng cộng", giá trị đơn hàng (70.000đ), giá trị thanh toán (120.000đ) và dòng chữ "Merchants has not started a chat".
|
| 191 |
+
- Cuối cùng là nút "Xem tóm tắt đơn hàng" và nút "Đã lấy món" có màu xanh lá cây.
|
| 192 |
+
```
|
| 193 |
+
|
| 194 |
## Quickstart
|
| 195 |
|
| 196 |
Here provides a code snippet to show you how to load the tokenizer and model and how to generate contents.
|