Update README.md

README.md

@@ -1,3 +1,152 @@
----
-license: apache-2.0
----
+---
+license: apache-2.0
+---
+# 技术简要报告
+
+## 1. 任务概述
+
+本报告详细介绍了一个用于检测AI生成文本的混合模型架构。该模型结合了CNN+Transformer特征提取和RoBERTa语言模型，通过特征融合实现高效的二分类判别（人类撰写 vs. AI生成）。
+
+## 2. 数据处理与特征提取
+
+### 2.1 数据集构建
+
+系统使用JSONL格式的数据，包含以下关键字段：
+
+- `text`: 待分析文本
+- `label_binary`: 二分类标签（human/generated）
+- `label_family`: 模型家族
+- `label_model`: 具体模型
+
+### 2.2 特征提取
+
+系统通过`gen_features.py`从大型语言模型中提取判别特征：
+
+1. **多模型特征提取**:
+   - 使用三个模型（Qwen2，chaglm3，gpt-j-6B）对每个文本样本进行分析
+   - 通过API调用，获取每个模型的token级别损失值、边界索引和似然得分
+2. **特征处理**:
+   - 对齐所有向量长度，确保特征维度一致性
+   - 计算模型间的对比特征，包括：
+     - 负偏差百分比（lt_zero_percents）
+     - 标准差（std_deviations）
+     - 皮尔逊相关系数（pearson_list）
+     - 斯皮尔曼相关系数（spearmann_list）
+
+**特征提取流程图**
+
+
+
+
+## 3 模型架构
+
+### 3.1 总体架构
+
+该系统采用了两级特征融合的混合架构：
+
+1. **基础特征提取层**:
+   - CNN+Transformer特征提取器：捕获文本的序列模式特征
+   - RoBERTa特征提取器：捕获语义和上下文特征
+2. **交叉注意力融合模块**:
+   - 将来自不同模型的特征通过交叉注意力机制进行融合
+   - 实现两种特征间的相互增强，提取更有判别力的组合特征
+3. **分类层**:
+   - 融合特征经过多层感知机进行最终分类
+
+
+
+### 3.2 关键组件详解
+
+#### 3.2.1 CNN+Transformer特征提取器
+
+通过卷积网络和Transformer编码器提取特征：
+
+- 卷积层: 捕获局部模式
+- Transformer编码器: 捕获长距离依赖
+- 位置编码: 保留序列顺序信息
+- 条件随机场(CRF): 优化序列标注结果
+
+这里参考SeqXGPT的实现方式
+
+#### 3.2.2 RoBERTa特征提取
+
+使用预训练的RoBERTa模型提取语义特征：
+
+- 使用[CLS]向量作为文本表示
+- 冻结大部分参数，仅微调最后两层
+- 有效捕获语义和语法特性
+
+#### 3.2.3 交叉注意力融合模块
+
+通过双向交叉注意力机制实现了词汇概率特征与语义特征的深度交互与融合。该模块解决了传统特征简单拼接无法捕获特征间复杂相互关系的问题。
+
+#### 双向交叉注意力机制原理
+
+交叉注意力融合基于"互相关注"的原则，允许两种异构特征相互引导信息提取。具体来说，该机制包含两个平行的注意力流：
+
+1. **词汇特征关注语义特征**：词汇概率特征作为查询(Q)，语义特征作为键值对(K,V)
+2. **语义特征关注词汇特征**：语义特征作为查询(Q)，词汇概率特征作为键值对(K,V)
+
+#### 数学表示
+
+给定CNN+Transformer提取的词汇概率特征 
+
+首先，通过投影层将异构特征投影到同一特征空间：
+
+$$
+\mathbf{C'} = \text{Projection}_C(\mathbf{C}) \in \mathbb{R}^{B \times 1 \times d_h}
+$$
+
+$$
+\mathbf{R'} = \text{Projection}_R(\mathbf{R}) \in \mathbb{R}^{B \times 1 \times d_h}
+$$
+
+
+其中共享隐藏维度为256，投影层包含线性变换、层归一化和非线性激活。
+
+然后，双向交叉注意力计算如下：
+
+$$
+\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_h}}\right)V
+$$
+
+词汇特征关注语义特征：
+
+$$
+\mathbf{C_{attended}} = \text{Attention}(Q=\mathbf{C'}, K=\mathbf{R'}, V=\mathbf{R'})
+$$
+
+语义特征关注词汇特征：
+
+$$
+\mathbf{R_{attended}} = \text{Attention}(Q=\mathbf{R'}, K=\mathbf{C'}, V=\mathbf{C'})
+$$
+最后，将两个方向的注意力输出拼接并融合：
+
+$$
+\mathbf{F} = \text{Fusion}([\mathbf{C_{attended}}; \mathbf{R_{attended}}]) \in \mathbb{R}^{B \times d_h}
+$$
+
+其中Fusion是一个非线性转换层，将拼接特征（维度为512）映射回目标维度（256）。具体来说，通过一个线性层、层归一化、ReLU激活和Dropout（比例为0.1）组成的序列转换网络实现。最终得到的256维特征向量被送入分类器进行二分类判别。
+
+
+
+## 4. 训练与评估
+
+### 4.1 训练参数
+
+- 批次大小：32
+- 序列长度：1024
+- 学习率：5e-5，使用warm-up比例0.1
+- 权重衰减：0.1
+- 训练轮数：20
+- 隐藏层维度：256
+- 注意力头数：4
+- Dropout比例：0.1
+
+### 4.2 优化策略
+
+- 优化器：AdamW (β1=0.9, β2=0.98, ε=1e-8)
+- 学习率调度：线性预热后线性衰减
+- 梯度裁剪：1.0
+