File size: 1,925 Bytes
f43af3c |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 |
# EasyTPP 新增功能说明
本仓库在原始 EasyTPP 基础上新增了用于处理信息级联数据的指标计算功能。
## 🆕 新增文件
### 核心功能
- **`compute_cascade_metrics.py`**: 计算级联指标的主脚本
- 情感得分 (Sentiment Score)
- 情感偏差 (Sentiment Deviation)
- 语境偏差 (Contextual Deviation)
- 困惑度 (Perplexity)
### 文档和工具
- **`COMPUTE_METRICS_README.md`**: 详细使用说明
- **`HF_UPLOAD_GUIDE.md`**: Hugging Face 上传指南
- **`UPLOAD_CHECKLIST.md`**: 上传检查清单(自动生成)
- **`cleanup_for_hf.py`**: 清理脚本,准备上传
- **`example_compute_metrics.sh`**: 使用示例脚本
- **`requirements_compute_metrics.txt`**: 额外依赖包
## 🚀 快速开始
### 1. 安装依赖
```bash
pip install -r requirements.txt
pip install -r requirements_compute_metrics.txt
```
### 2. 运行指标计算
```bash
python compute_cascade_metrics.py \
--input_cascade information_cascade.json \
--output output_with_metrics.json \
--batch_size 32
```
详细说明请参考 `COMPUTE_METRICS_README.md`
## 📦 上传到 Hugging Face
1. 运行清理脚本:
```bash
python cleanup_for_hf.py
```
2. 按照 `HF_UPLOAD_GUIDE.md` 的说明上传
## 🔗 相关文档
- [指标计算说明](COMPUTE_METRICS_README.md)
- [上传指南](HF_UPLOAD_GUIDE.md)
- [原始 EasyTPP README](README.md)
## 📝 使用场景
这些新增功能主要用于:
- 分析社交媒体信息级联(如微博转发、评论)
- 计算文本的情感特征和语义偏差
- 为 TPP 模型提供额外的特征输入
## ⚙️ 与 EasyTPP 集成
计算出的指标可以用于:
- `RobertTPPDataset`: 加载包含语义和偏差特征的数据
- `RobertEventTokenizer`: 处理自定义特征
- `TorchRobotTHP`: 使用语义和偏差特征的 TPP 模型
参考 `examples/train_robot_thp_with_features.py` 了解完整示例。
|