专为报关单证智能审核优化的多模态视觉语言模型。 ## 🎯 模型功能 本模型专注于进出口报关单证的智能审核任务，具备以下核心能力： ### 单证信息提取 - **证书类型识别**：卫生证书、原产地证书、检验报告、合同、发票等 - **关键字段提取**：证书编号、集装箱号、件数、净重、毛重 - **商品明细解析**：逐行提取表格数据（商品名称、数量、金额等） - **日期信息提取**：签发日期、有效期、生产日期 ### 表格数据处理 - 支持复杂多列表格的逐行扫描 - 准确识别数字、日期、文本混合内容 - 自动处理表格合并单元格和分栏结构 ### 多语言OCR - 中文、英文、西班牙语、日文、俄文等多语言混合识别 - 支持手写体和印刷体混合文档 - 模糊字符智能识别优化 ### 单证比对审核 - 比对报关单与随附证书的一致性 - 识别数据异常和潜在风险点 - 生成结构化审核结果 ## 🔧 模型训练 ### 训练方法 本模型采用初期审单领域知识注入（CPT）+多阶段监督微调（SFT）+ 2阶段强化学习（RL）**的训练策略： 1. **视觉-语言对齐阶段**：增强模型对单证图像的理解能力 2. **领域数据适配阶段**：学习海关报关单证的专业术语和格式 3. **任务专项优化阶段**：针对表格提取、字段识别等具体任务强化训练 4. **多任务融合阶段**：综合提升各项审核能力 ### 训练数据规模 - 监督学习阶段：约70万条高质量标注样本 - 强化学习阶段：约15万条审核任务数据 - 覆盖20+国家/地区的单证格式 ## 📄 疑难PDF处理能力 ### 低质量图像优化 本模型在训练中特别针对实际业务中的疑难PDF进行了优化： 1. 特殊类型的证书编号：  2. 负责表格数据提取及汇总：  3. 不规范表格的提取：  4. 跨页单据的提取累加：  ### 实测效果 | 测试场景 | 准确率 | |---------|-------| | 证书编号识别 | 99%+ | | 集装箱号提取 | 98%+ | | 表格数据提取 | 99%+ | | 件数重量识别 | 99%+ | ## 🚀 快速开始 ### 安装依赖 ```bash pip install transformers torch pillow ``` ### Python推理 ```python from transformers import Qwen2VLForConditionalGeneration, AutoProcessor from PIL import Image import torch # 加载模型 model = Qwen2VLForConditionalGeneration.from_pretrained( "shihao1989/Declaration-Form-Audit", torch_dtype=torch.bfloat16, device_map="auto" ) processor = AutoProcessor.from_pretrained("shihao1989/Declaration-Form-Audit") # 准备输入 image = Image.open("certificate.jpg") messages = [ { "role": "user", "content": [ {"type": "image"}, { "type": "text", "text": "请提取这份证书的证书编号、集装箱号、件数和净重。" } ] } ] # 推理 text = processor.apply_chat_template(messages, tokenize=False, add_generation_prompt=True) inputs = processor(text=[text], images=[image], return_tensors="pt").to("cuda") output = model.generate(**inputs, max_new_tokens=512, temperature=0.1) result = processor.batch_decode(output, skip_special_tokens=True)[0] print(result) ``` ### vLLM部署（生产推荐） ```bash docker run -d \ --name declaration-audit \ --runtime=nvidia \ -e NVIDIA_VISIBLE_DEVICES=0 \ --ipc=host \ -p 8000:8000 \ vllm/vllm-openai:latest \ --model shihao1989/Declaration-Form-Audit \ --trust-remote-code \ --max-model-len 32000 \ --gpu-memory-utilization 0.9 ``` ### API调用 ```python import requests import base64 with open("certificate.jpg", "rb") as f: image_b64 = base64.b64encode(f.read()).decode() response = requests.post("http://localhost:8000/v1/chat/completions", json={ "model": "shihao1989/Declaration-Form-Audit", "messages": [ { "role": "user", "content": [ {"type": "text", "text": "提取证书编号和净重"}, {"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{image_b64}"}} ] } ], "max_tokens": 512, "temperature": 0.1 }) print(response.json()["choices"][0]["message"]["content"]) ``` ## 💡 最佳实践 ### Prompt设计建议 **推荐格式（结构化输出）：** ``` 请从这份原产地证书中提取以下字段，返回JSON格式： { "cert_code": "证书编号", "containers": ["集装箱号列表"], "packages": 件数（整数）, "net_weight_kg": 净重（数字） } 只输出JSON，不要有额外文字。 ``` **关键原则：** - 明确指定提取字段和格式 - 提供字段的可能名称（如"证书编号/Certificate No."） - 使用JSON等结构化格式便于后处理 ## 📜 许可证 本模型遵循 Apache 2.0 许可证。 ## 🙏 致谢 - Qwen团队提供的优秀基座模型 - 海关业务专家提供的领域知识指导 ## 📮 联系方式 如有问题或建议，欢迎通过Hugging Face Discussions交流。 邮箱:199416378@qq.com