liweichao0719/reranker-lora-0.6B

Contract-Seek Qwen3 Reranker 0.6B LoRA v1

这是 Contract-Seek 项目的中英双语合同条款重排 Adapter。它以 Qwen/Qwen3-Reranker-0.6B 为基座，通过固定的 Qwen3-Reranker-4B 教师模型蒸馏得到，用于把已经召回的候选合同上下文 按“是否为准确、完整回答问题所直接需要”重新排序。

本仓库只包含约 20.2 MB 的 LoRA Adapter，不包含 0.6B 基座权重、FIDIC 原文、训练题、 开发/测试题或逐题模型分数。

适用范围

• 输入：中文合同问题与中英双语候选合同上下文；
• 输出：yes_logit - no_logit margin，数值越大表示候选越应排在前面；
• 目标：优先识别直接适用的权利、义务、程序、条件、时限、计价、付款、救济、索赔、 决定与争端处理条款；
• 默认最大长度：8,192 tokens。

该模型是候选重排器，不负责首次召回，也不直接生成法律或合同结论。

加载方式

from sentence_transformers import CrossEncoder

instruction = (
    "Given a FIDIC contract question, determine whether the candidate bilingual "
    "contract context is directly necessary to answer the question accurately and "
    "completely. Prioritize directly applicable contractual rights, obligations, "
    "procedures, conditions, time limits, valuations, payments, remedies, claims, "
    "determinations, and dispute steps. Do not reward merely topical, adjacent, "
    "or background similarity."
)

model = CrossEncoder(
    "Qwen/Qwen3-Reranker-0.6B",
    max_length=8192,
    trust_remote_code=True,
    prompts={"fidic_direct_context_v1": instruction},
    default_prompt_name="fidic_direct_context_v1",
)
model.load_adapter(
    "liweichao0719/reranker-lora-0.6B",
    adapter_name="fidic_distilled_v1",
)
model.set_adapter("fidic_distilled_v1")

pairs = [
    ("承包商提出工期索赔时应遵守什么通知期限？", "候选合同上下文……"),
]
scores = model.predict(pairs)
print(scores)

为严格复现实验，请使用基座 revision e61197ed45024b0ed8a2d74b80b4d909f1255473、sentence-transformers==5.5.1、 transformers==5.6.0 与 peft==0.19.0。部署时应保持上述 instruction 和输入格式不变。

训练方法

• 教师：Qwen3-Reranker-4B，NF4、BF16，输出原始 yes-no margin；
• 学生：Qwen3-Reranker-0.6B BF16 + LoRA；
• 数据：1,000 道独立纯题面样本，其中 900 道训练、100 道内部验证；
• 每题：固定 45 个候选上下文；
• 目标：完整 45 候选上的 listwise KL，温度为 2；
• 训练：3 个语义轮次，LoRA r=16、alpha=32、dropout=0.05；
• 隔离：训练阶段未读取人工 Gold、答案、needed 字段或正式测试集。

训练问题源自项目早期合同问答候选池，因此本模型的领域有效性主要在 FIDIC 建设工程合同检索 上得到验证。发布包不提供这些受限数据。

结果

以下均为固定候选上的 Top10 Direct 证据指标；完整聚合值见 metrics.json。

数据	模型	Macro Direct R@10	Micro Direct R@10	Complete@10	MRR
开发集 220 题	原始 0.6B	81.998%	74.603%	60.45%	0.8021
开发集 220 题	蒸馏 0.6B	84.358%	78.660%	64.55%	0.8719
开发集 220 题	教师 4B	86.339%	79.894%	67.27%	0.8727
冻结测试集 220 题	原始 0.6B	90.644%	88.649%	83.18%	0.7669
冻结测试集 220 题	蒸馏 0.6B	92.765%	91.351%	87.27%	0.8326
冻结测试集 220 题	教师 4B	93.409%	91.892%	87.27%	0.8320

在冻结测试集上，蒸馏模型相对原始 0.6B 的 Macro/Micro Direct Recall 分别提高 2.12/2.70 个百分点，Complete@10 提高 4.09 个百分点；与 4B 教师相比，Complete@10 持平，Micro Direct Recall 低 0.54 个百分点。正式测试只执行一次，结果未用于反向调参。

局限

• 主要在 FIDIC 2017 黄皮书及少量专用合同条件相关问题上验证，不能据此推断其他法域、 合同体系或开放域检索效果；
• 输入格式、instruction、候选构造和上下文边界变化均可能改变效果；
• Supporting 条款只作为辅助诊断，训练和主要验收目标是 Direct 条款；
• 模型分数表示相对排序，不是法律正确性概率，也不能替代专业判断；
• Adapter 保持 0.6B 级部署规模，但本实验没有证明它比原始 0.6B 推理更快。

许可证与基座

Adapter 按 Apache-2.0 发布。使用者还应遵守 Qwen3-Reranker-0.6B 的许可证和适用法律。