|
|
--- |
|
|
license: apache-2.0 |
|
|
language: |
|
|
- zh |
|
|
- en |
|
|
base_model: |
|
|
- Qwen/Qwen3-VL-8B-Instruct |
|
|
pipeline_tag: image-text-to-text |
|
|
tags: |
|
|
- Declaration-Form |
|
|
- Audit |
|
|
- vision |
|
|
- multimodal |
|
|
- customs |
|
|
- document-understanding |
|
|
--- |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
<h1> Customs Declaration-Form-Audit VLM </h1> |
|
|
|
|
|
|
|
|
<h5 align="center"> |
|
|
|
|
|
<p align="center"> |
|
|
|
|
|
</p> |
|
|
|
|
|
|
|
|
</h5> |
|
|
</div> |
|
|
|
|
|
|
|
|
|
|
|
专为报关单证智能审核优化的多模态视觉语言模型。 |
|
|
|
|
|
|
|
|
## 🎯 模型功能 |
|
|
|
|
|
本模型专注于进出口报关单证的智能审核任务，具备以下核心能力： |
|
|
|
|
|
### 单证信息提取 |
|
|
- **证书类型识别**：卫生证书、原产地证书、检验报告、合同、发票等 |
|
|
- **关键字段提取**：证书编号、集装箱号、件数、净重、毛重 |
|
|
- **商品明细解析**：逐行提取表格数据（商品名称、数量、金额等） |
|
|
- **日期信息提取**：签发日期、有效期、生产日期 |
|
|
|
|
|
### 表格数据处理 |
|
|
- 支持复杂多列表格的逐行扫描 |
|
|
- 准确识别数字、日期、文本混合内容 |
|
|
- 自动处理表格合并单元格和分栏结构 |
|
|
|
|
|
### 多语言OCR |
|
|
- 中文、英文、西班牙语、日文、俄文等多语言混合识别 |
|
|
- 支持手写体和印刷体混合文档 |
|
|
- 模糊字符智能识别优化 |
|
|
|
|
|
### 单证比对审核 |
|
|
- 比对报关单与随附证书的一致性 |
|
|
- 识别数据异常和潜在风险点 |
|
|
- 生成结构化审核结果 |
|
|
|
|
|
## 🔧 模型训练 |
|
|
|
|
|
### 训练方法 |
|
|
本模型采用初期审单领域知识注入（CPT）+多阶段监督微调（SFT）+ 2阶段强化学习（RL）**的训练策略： |
|
|
|
|
|
1. **视觉-语言对齐阶段**：增强模型对单证图像的理解能力 |
|
|
2. **领域数据适配阶段**：学习海关报关单证的专业术语和格式 |
|
|
3. **任务专项优化阶段**：针对表格提取、字段识别等具体任务强化训练 |
|
|
4. **多任务融合阶段**：综合提升各项审核能力 |
|
|
|
|
|
### 训练数据规模 |
|
|
- 监督学习阶段：约70万条高质量标注样本 |
|
|
- 强化学习阶段：约15万条审核任务数据 |
|
|
- 覆盖20+国家/地区的单证格式 |
|
|
|
|
|
## 📄 疑难PDF处理能力 |
|
|
|
|
|
### 低质量图像优化 |
|
|
本模型在训练中特别针对实际业务中的疑难PDF进行了优化： |
|
|
|
|
|
1. 特殊类型的证书编号： |
|
|
|
|
|
 |
|
|
|
|
|
2. 负责表格数据提取及汇总： |
|
|
|
|
|
 |
|
|
|
|
|
|
|
|
3. 不规范表格的提取： |
|
|
 |
|
|
|
|
|
|
|
|
4. 跨页单据的提取累加： |
|
|
|
|
|
 |
|
|
|
|
|
|
|
|
|
|
|
### 实测效果 |
|
|
|
|
|
| 测试场景 | 准确率 | |
|
|
|---------|-------| |
|
|
| 证书编号识别 | 99%+ | |
|
|
| 集装箱号提取 | 98%+ | |
|
|
| 表格数据提取 | 99%+ | |
|
|
| 件数重量识别 | 99%+ | |
|
|
|
|
|
## 🚀 快速开始 |
|
|
|
|
|
### 安装依赖 |
|
|
|
|
|
```bash |
|
|
pip install transformers torch pillow |
|
|
``` |
|
|
|
|
|
### Python推理 |
|
|
|
|
|
```python |
|
|
from transformers import Qwen2VLForConditionalGeneration, AutoProcessor |
|
|
from PIL import Image |
|
|
import torch |
|
|
|
|
|
# 加载模型 |
|
|
model = Qwen2VLForConditionalGeneration.from_pretrained( |
|
|
"shihao1989/Declaration-Form-Audit", |
|
|
torch_dtype=torch.bfloat16, |
|
|
device_map="auto" |
|
|
) |
|
|
processor = AutoProcessor.from_pretrained("shihao1989/Declaration-Form-Audit") |
|
|
|
|
|
# 准备输入 |
|
|
image = Image.open("certificate.jpg") |
|
|
messages = [ |
|
|
{ |
|
|
"role": "user", |
|
|
"content": [ |
|
|
{"type": "image"}, |
|
|
{ |
|
|
"type": "text", |
|
|
"text": "请提取这份证书的证书编号、集装箱号、件数和净重。" |
|
|
} |
|
|
] |
|
|
} |
|
|
] |
|
|
|
|
|
# 推理 |
|
|
text = processor.apply_chat_template(messages, tokenize=False, add_generation_prompt=True) |
|
|
inputs = processor(text=[text], images=[image], return_tensors="pt").to("cuda") |
|
|
|
|
|
output = model.generate(**inputs, max_new_tokens=512, temperature=0.1) |
|
|
result = processor.batch_decode(output, skip_special_tokens=True)[0] |
|
|
print(result) |
|
|
``` |
|
|
|
|
|
### vLLM部署（生产推荐） |
|
|
|
|
|
```bash |
|
|
docker run -d \ |
|
|
--name declaration-audit \ |
|
|
--runtime=nvidia \ |
|
|
-e NVIDIA_VISIBLE_DEVICES=0 \ |
|
|
--ipc=host \ |
|
|
-p 8000:8000 \ |
|
|
vllm/vllm-openai:latest \ |
|
|
--model shihao1989/Declaration-Form-Audit \ |
|
|
--trust-remote-code \ |
|
|
--max-model-len 32000 \ |
|
|
--gpu-memory-utilization 0.9 |
|
|
``` |
|
|
|
|
|
### API调用 |
|
|
|
|
|
```python |
|
|
import requests |
|
|
import base64 |
|
|
|
|
|
with open("certificate.jpg", "rb") as f: |
|
|
image_b64 = base64.b64encode(f.read()).decode() |
|
|
|
|
|
response = requests.post("http://localhost:8000/v1/chat/completions", json={ |
|
|
"model": "shihao1989/Declaration-Form-Audit", |
|
|
"messages": [ |
|
|
{ |
|
|
"role": "user", |
|
|
"content": [ |
|
|
{"type": "text", "text": "提取证书编号和净重"}, |
|
|
{"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{image_b64}"}} |
|
|
] |
|
|
} |
|
|
], |
|
|
"max_tokens": 512, |
|
|
"temperature": 0.1 |
|
|
}) |
|
|
|
|
|
print(response.json()["choices"][0]["message"]["content"]) |
|
|
``` |
|
|
|
|
|
## 💡 最佳实践 |
|
|
|
|
|
### Prompt设计建议 |
|
|
|
|
|
**推荐格式（结构化输出）：** |
|
|
``` |
|
|
请从这份原产地证书中提取以下字段，返回JSON格式： |
|
|
{ |
|
|
"cert_code": "证书编号", |
|
|
"containers": ["集装箱号列表"], |
|
|
"packages": 件数（整数）, |
|
|
"net_weight_kg": 净重（数字） |
|
|
} |
|
|
只输出JSON，不要有额外文字。 |
|
|
``` |
|
|
|
|
|
**关键原则：** |
|
|
- 明确指定提取字段和格式 |
|
|
- 提供字段的可能名称（如"证书编号/Certificate No."） |
|
|
- 使用JSON等结构化格式便于后处理 |
|
|
|
|
|
## 📜 许可证 |
|
|
|
|
|
本模型遵循 Apache 2.0 许可证。 |
|
|
|
|
|
## 🙏 致谢 |
|
|
|
|
|
- Qwen团队提供的优秀基座模型 |
|
|
- 海关业务专家提供的领域知识指导 |
|
|
|
|
|
## 📮 联系方式 |
|
|
|
|
|
如有问题或建议，欢迎通过Hugging Face Discussions交流。 |
|
|
邮箱:199416378@qq.com |
