formal_eval_report.md

# Qwen35 Round3 Formal Eval Report

- Generated at: 2026-06-04T07:31:20.005574+00:00
- Result path (remote): `/vol/evaluation/results/qwen35_round3_formal_eval_20260604T052411Z`
- Result path (local): `stablecoin_phase1_pipeline/evaluation/results/qwen35_round3_formal_eval_20260604T052411Z`
- Adapter (requested/local): `stablecoin_phase1_pipeline/training/outputs/round3_conservative_repair/checkpoints/full_train_20260602T101206Z/adapter`
- Adapter (remote used): `/vol/outputs/round3_conservative_repair/checkpoints/full_train_20260602T101206Z/adapter`
- Modal app/run: `ap-q3Ykf1tjUuJ82ST6Nsl6ZQ`

## Run Guardrails

| Item | Value |
|---|---:|
| 是否训练 | false |
| 是否调用 DeepSeek | false |
| 是否修改 `eval/eval_set_v1.jsonl` | false |
| `eval/eval_set_v1.jsonl` SHA256 | `1b18137c7c1a363c5f5bed2bbdd5f83d11cbe83a590671d211c134056a86861f` |
| 是否覆盖 checkpoint/adapter | false |
| 是否更新 best checkpoint | false |
| 是否做数据回流 | false |
| 是否自动启动下一轮训练 | false |
| formal eval 是否完整跑满 300 条 | true |
| formal eval 运行次数 | 1 |

## Remote And Sync

| Item | Value |
|---|---|
| Remote result dir | `/vol/evaluation/results/qwen35_round3_formal_eval_20260604T052411Z` |
| Remote files confirmed | `eval_config.json`, `sft_predictions.jsonl`, `modal_eval_summary.json` |
| Local sync | success |
| Local synced predictions | `stablecoin_phase1_pipeline/evaluation/results/qwen35_round3_formal_eval_20260604T052411Z/sft_predictions.jsonl` |
| Sync failure reason | N/A |

## Overall Metrics

| Metric | Value |
|---|---:|
| sample count | 300 |
| pass count | 296 |
| pass rate | 0.9867 |
| mean score | 0.8290 |
| reasoning leak count | 0 |
| reasoning postprocess applied count | 0 |
| missing citation count | 0 |
| invalid citation id count | 0 |
| empty answer count | 0 |
| material boundary error count | 0 |
| API key leak count | 0 |
| format error count | 0 |
| formal scorer fail count | 4 |

## Modal Usage

- Actual Modal GPU elapsed: `7260.393s` = `2.0168` L4 GPU-hours.
- Estimated cost: approximately `$1.61` if using `$0.80 / L4 GPU-hour`; actual Modal billing was not queried.
- GPU: `NVIDIA L4`, max allocated memory `8.561` GB.

## Task Type Breakdown

| task type | samples | pass count | pass rate | mean score | failures | missing citation | invalid citation | boundary error |
|---|---:|---:|---:|---:|---:|---:|---:|---:|
| academic_literature_reasoning | 54 | 53 | 0.9815 | 0.8418 | 1 | 0 | 0 | 0 |
| cross_text_comparison | 39 | 38 | 0.9744 | 0.7886 | 1 | 0 | 0 | 0 |
| industry_report_analysis | 45 | 45 | 1.0000 | 0.8439 | 0 | 0 | 0 | 0 |
| insufficient_information_refusal | 24 | 24 | 1.0000 | 0.8878 | 0 | 0 | 0 | 0 |
| judicial_case_rule_extraction | 39 | 39 | 1.0000 | 0.8387 | 0 | 0 | 0 | 0 |
| lawyer_practice_risk_analysis | 54 | 53 | 0.9815 | 0.8096 | 1 | 0 | 0 | 0 |
| legal_regulation_interpretation | 45 | 44 | 0.9778 | 0.8171 | 1 | 0 | 0 | 0 |

## Failure Samples

| ordinal | sample id | task type | score | scorer reason | root cause |
|---:|---|---|---:|---|---|
| 14 | SC-EVAL-V1-0014 | academic_literature_reasoning | 0.6096 | score 0.6096 < pass threshold 0.6200; criteria_coverage=0.2000 | analytical_rubric_coverage_gap |
| 55 | SC-EVAL-V1-0055 | legal_regulation_interpretation | 0.5796 | score 0.5796 < pass threshold 0.6200; criteria_coverage=0.2000; domain_relevance=0.2143 | legal_interpretation_coverage_and_domain_alignment_gap |
| 147 | SC-EVAL-V1-0147 | lawyer_practice_risk_analysis | 0.5350 | score 0.5350 < pass threshold 0.6200; criteria_coverage=0.2000; domain_relevance=0.2667; unsupported_titles=虚拟资产服务提供者条例 | unsupported_external_legal_reference_and_rubric_coverage_gap |
| 253 | SC-EVAL-V1-0253 | cross_text_comparison | 0.5916 | score 0.5916 < pass threshold 0.6200; criteria_coverage=0.2000; domain_relevance=0.2941 | cross_text_comparison_coverage_gap |

## Failure Error Analysis

### 14. SC-EVAL-V1-0014

- ordinal: `14`
- sample id: `SC-EVAL-V1-0014`
- task type: `academic_literature_reasoning`
- 问题: 将《虚拟货币相关刑事犯罪的惩治困境与法律保障》“2.统一虚拟货币数额认定标准。涉虚拟货币刑事犯罪中，虚拟货币数额价值关系...”用于评估稳定币监管政策时，模型应如何区分概念界定、风险成因和监管工具？请给出可审查的分析框架，而不是复述材料。
- allowed source_chunk_id/chunk_id: `52979e5b52a1d817-0030`
- citations used: `52979e5b52a1d817-0030, 52979e5b52a1d817-0030, 52979e5b52a1d817-0030, 52979e5b52a1d817-0030`
- gold/expected 行为:
  - 必须以关联 golden chunk 的内容为主要依据，不能引入未经材料支持的事实结论。
  - 必须区分材料中的事实陈述、规范依据、作者观点或推论，避免把观点包装成确定法律规则。
  - 必须明确说明材料不足以支持的结论，以及需要补充的法规、判例、监管口径或业务事实。
  - 能够重建概念界定、风险成因、制度目标和结论之间的推理链。
  - 能够识别经验判断、理论倡议与可执行法律义务之间的边界。
- scorer 判错原因: score 0.6096 < pass threshold 0.6200; criteria_coverage=0.2000
- scorer details: criteria_coverage=`0.2000`, domain_relevance=`0.4138`, gold_citation_count=`4`, unsupported_titles=`[]`
- 根因分类: `analytical_rubric_coverage_gap`
- 模型回答:

```text
【概念界定】
- 虚拟货币：材料中将其分为传统类（游戏币、平台币）和基于区块链可交换为法币的类（比特币、以太坊币）[52979e5b52a1d817-0030]。
- 数额认定：指涉虚拟货币刑事犯罪中，虚拟货币数额价值关系犯罪嫌疑人是否被定罪及罪刑轻重的核心问题[52979e5b52a1d817-0030]。
【风险成因】
- 价值评估偏差：以入金、出金计算虚拟货币数额，可能无法完全评估其实际数额价值，导致对犯罪行为的罪刑评判不完整[52979e5b52a1d817-0030]。
- 动态价值波动：虚拟货币价值随时间波动，静态的入金出金标准无法反映犯罪期间的真实价值变化[52979e5b52a1d817-0030]。
【监管工具】
- 立法与司法协同：建议最高检、最高法、公安部联合出台关于办理网络刑事案件中虚拟财产
```

### 55. SC-EVAL-V1-0055

- ordinal: `55`
- sample id: `SC-EVAL-V1-0055`
- task type: `legal_regulation_interpretation`
- 问题: 基于法律法规材料《第155L章 《银行业(资本)规则》》“第165条在作出所有必需的变通后，适用于为其属关乎衍生工具合约的违责风险...”，分析稳定币相关主体可能涉及的合规义务。请区分明示规则、监管目的和需要谨慎推论的义务。
- allowed source_chunk_id/chunk_id: `69f5fdbfe601f58b-0132`
- citations used: `69f5fdbfe601f58b-0132, 69f5fdbfe601f58b-0132, 69f5fdbfe601f58b-0132`
- gold/expected 行为:
  - 必须以关联 golden chunk 的内容为主要依据，不能引入未经材料支持的事实结论。
  - 必须区分材料中的事实陈述、规范依据、作者观点或推论，避免把观点包装成确定法律规则。
  - 必须明确说明材料不足以支持的结论，以及需要补充的法规、判例、监管口径或业务事实。
  - 能够提炼适用主体、规制行为、义务内容、禁止或限制边界。
  - 能够把明示条文与合规推论分开，并标注推论的不确定性。
- scorer 判错原因: score 0.5796 < pass threshold 0.6200; criteria_coverage=0.2000; domain_relevance=0.2143
- scorer details: criteria_coverage=`0.2000`, domain_relevance=`0.2143`, gold_citation_count=`3`, unsupported_titles=`[]`
- 根因分类: `legal_interpretation_coverage_and_domain_alignment_gap`
- 模型回答:

```text
【监管义务】
1. 风险承担分类与归类义务：认可机构须将加密资产风险承担归类为第1a、1b、2a或2b组加密资产，并在特定条件下（如2026年1月1日前订立的承担或从未持有过风险承担）将其归类为第2b组，直至金融管理专员信纳其符合其他类别条件 [69f5fdbfe601f58b-0132]。
2. 交易帐与银行帐编配义务：认可机构须将第1组加密资产风险承担编配予银行帐或交易帐，且第1a组须与非代币化传统资产一致，第1b组须与参照传统资产一致；
第2a组须编配予交易帐 [69f5fdbfe601f58b-0132]。
3. 记录备存与交出义务：认可机构须备存加密资产分类纪录，并在金融管理专员要求时，在指明的时限内交出该等纪录 [69f5fdbfe601f58b-0132]。
【监管目的】
```

### 147. SC-EVAL-V1-0147

- ordinal: `147`
- sample id: `SC-EVAL-V1-0147`
- task type: `lawyer_practice_risk_analysis`
- 问题: 基于《虚拟资产市场发展中的合规平衡点 国际市场与内地、香港司法视角》“04.涉虚拟货币案件的执行问题”，评估稳定币业务方案中最容易被误判的法律风险。回答应说明材料能支持的风险点和不能替代正式法律意见的部分。
- allowed source_chunk_id/chunk_id: `58438a3ae6de4c77-0009`
- citations used: `58438a3ae6de4c77-0009, 58438a3ae6de4c77-0009, 58438a3ae6de4c77-0009, 58438a3ae6de4c77-0009`
- gold/expected 行为:
  - 必须以关联 golden chunk 的内容为主要依据，不能引入未经材料支持的事实结论。
  - 必须区分材料中的事实陈述、规范依据、作者观点或推论，避免把观点包装成确定法律规则。
  - 必须明确说明材料不足以支持的结论，以及需要补充的法规、判例、监管口径或业务事实。
  - 能够形成面向客户的风险清单和尽调问题，而不只概括文章观点。
  - 能够覆盖主体资质、资金/资产流向、反洗钱、披露与合同安排等维度中至少三个。
- scorer 判错原因: score 0.5350 < pass threshold 0.6200; criteria_coverage=0.2000; domain_relevance=0.2667; unsupported_titles=虚拟资产服务提供者条例
- scorer details: criteria_coverage=`0.2000`, domain_relevance=`0.2667`, gold_citation_count=`4`, unsupported_titles=`['虚拟资产服务提供者条例']`
- 根因分类: `unsupported_external_legal_reference_and_rubric_coverage_gap`
- 模型回答:

```text
【风险点】
1. 业务定性误判风险：将稳定币支付、兑换或托管服务误判为不受监管的普通商业活动 [58438a3ae6de4c77-0009]。
2. 牌照申请遗漏风险：在内地或香港开展虚拟资产服务时，未向香港证监会申请VASP牌照或迪拜VARA许可证 [58438a3ae6de4c77-0009]。
【证据/依据】
1. 香港《虚拟资产服务提供者条例》明确针对VASP设立发牌制度，将非证券型代币交易平台纳入监管，但明确排除了虚拟资产支付系统与托管服务 [58438a3ae6de4c77-0009]。
2. 香港《咨询总结》提出对锚定法定货币的稳定币实施强制性发牌，并计划将其他稳定币业务纳入监管 [58438a3ae6de4c77-0009]。
3. 迪拜《迪拜虚拟资产监管法》规定，提供虚拟资产兑换、流通、转移、保管、钱包及
```

### 253. SC-EVAL-V1-0253

- ordinal: `253`
- sample id: `SC-EVAL-V1-0253`
- task type: `cross_text_comparison`
- 问题: 对比材料A《加密数字货币双维监管的体系建构》“三、加密数字货币的风险与监管目标”与材料B《最高人民检察院、国家外汇管理局关于印发惩治涉外汇违法犯罪典型案例的通知》“正文”：二者对稳定币或虚拟资产风险的关注点有何差异？哪些判断可以互相印证，哪些只能限于各自语境？
- allowed source_chunk_id/chunk_id: `6258cc91d76c5209-0007, 4c282370b27fbc7b-0001`
- citations used: `6258cc91d76c5209-0007, 4c282370b27fbc7b-0001, 6258cc91d76c5209-0007, 4c282370b27fbc7b-0001`
- gold/expected 行为:
  - 必须以关联 golden chunk 的内容为主要依据，不能引入未经材料支持的事实结论。
  - 必须区分材料中的事实陈述、规范依据、作者观点或推论，避免把观点包装成确定法律规则。
  - 必须明确说明材料不足以支持的结论，以及需要补充的法规、判例、监管口径或业务事实。
  - 必须分别说明两个文本的语境、关注对象和证据基础。
  - 必须指出可相互印证的内容、发生张力的内容，以及不能直接比较的内容。
- scorer 判错原因: score 0.5916 < pass threshold 0.6200; criteria_coverage=0.2000; domain_relevance=0.2941
- scorer details: criteria_coverage=`0.2000`, domain_relevance=`0.2941`, gold_citation_count=`4`, unsupported_titles=`[]`
- 根因分类: `cross_text_comparison_coverage_gap`
- 模型回答:

```text
一、 风险关注点的差异
1. 宏观市场与金融稳定风险：材料A关注加密数字货币作为金融资产的市场操纵风险及价格波动对传统金融系统的传导风险，强调通过业务分离和托管规定来防范系统性风险 [6258cc91d76c5209-0007]。
2. 微观犯罪与外汇监管风险：材料B关注虚拟货币（如泰达币）被用作媒介，实现外币与人民币价值转换的非法买卖外汇行为，强调通过电子数据取证和资金链路穿透来打击犯罪 [4c282370b27fbc7b-0001]。
二、 可互相印证的判断
1. 虚拟货币的金融与犯罪双重属性：材料A指出加密数字货币具有金融资产属性且存在洗钱风险 [6258cc91d76c5209-0007]；
材料B则证实了泰达币等虚拟货币在跨境资金非法流转中的实际犯罪应用 [4c282370b27fbc7b-0001]。
两者共同印证了虚拟货币在金融体系内具有潜在风险。
三、
```

## Systemic Error Assessment

- 是否存在系统性错误: `false`
- Assessment: No critical systemic error: all citation/safety/boundary/leak/API/format hard counts are zero.
- Failure root cause distribution: analytical_rubric_coverage_gap=1, cross_text_comparison_coverage_gap=1, legal_interpretation_coverage_and_domain_alignment_gap=1, unsupported_external_legal_reference_and_rubric_coverage_gap=1

## Best Checkpoint Recommendation

- 是否建议把该 round3 adapter 设为当前 best checkpoint: `true`
- Rationale: full 300 samples completed, pass rate `0.9867`, mean score `0.8290`, and all hard leak/citation/boundary/API/format counters are zero. Compared with the prior round2 formal SFT metrics in local results (`pass_rate=0.9200`, `mean_score=0.8009`), this adapter is materially better.
- Action taken: no best checkpoint marker was updated.