zhl
commited on
Commit
·
6ef759d
1
Parent(s):
4e9c7c2
agent.wang first commit.
Browse files
README.md
CHANGED
|
@@ -1,3 +1,4 @@
|
|
|
|
|
| 1 |
title: agent.wang score
|
| 2 |
emoji: A
|
| 3 |
colorFrom: green
|
|
@@ -6,4 +7,119 @@ sdk: gradio
|
|
| 6 |
sdk_version: 5.44.1
|
| 7 |
app_file: app.py
|
| 8 |
pinned: false
|
| 9 |
-
license: gpl-3.0
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
---
|
| 2 |
title: agent.wang score
|
| 3 |
emoji: A
|
| 4 |
colorFrom: green
|
|
|
|
| 7 |
sdk_version: 5.44.1
|
| 8 |
app_file: app.py
|
| 9 |
pinned: false
|
| 10 |
+
license: gpl-3.0
|
| 11 |
+
---
|
| 12 |
+
|
| 13 |
+
# 王艾卷智能体评分系统 agent.wang
|
| 14 |
+
|
| 15 |
+
## 项目介绍
|
| 16 |
+
|
| 17 |
+
`agent.wang 王艾卷智能体评分系统` 是一款基于百度千帆 ERNIE-4.5-Turbo-VL 多模态大模型开发的智能体评估工具。该系统能够对智能体网页截图进行自动化分析,从多个维度进行评分并拆解智能体能力,为开发者和产品经理提供客观、全面的智能体评估报告。
|
| 18 |
+
|
| 19 |
+
## 功能特点
|
| 20 |
+
|
| 21 |
+
- **多维度评分**:从整体评价、设计美感、易用性、功能完整性和响应式设计五个维度进行1-10分制评分
|
| 22 |
+
- **能力拆解**:自动识别智能体的核心功能、优势、劣势、潜在用途和改进方向
|
| 23 |
+
- **结构化输出**:提供JSON格式原始数据和可视化解析结果,方便查看和进一步处理
|
| 24 |
+
- **结果保存**:自动将分析结果保存为JSON文件,便于归档和对比分析
|
| 25 |
+
- **错误处理**:完善的错误提示和处理机制,帮助用户快速定位和解决问题
|
| 26 |
+
|
| 27 |
+
## 环境要求
|
| 28 |
+
|
| 29 |
+
- Python 3.8+
|
| 30 |
+
- openai 库
|
| 31 |
+
|
| 32 |
+
## 安装步骤
|
| 33 |
+
|
| 34 |
+
1. 克隆或下载项目代码到本地
|
| 35 |
+
2. 安装依赖库:
|
| 36 |
+
```bash
|
| 37 |
+
pip install openai
|
| 38 |
+
```
|
| 39 |
+
|
| 40 |
+
## 百度API密钥获取
|
| 41 |
+
|
| 42 |
+
1. 访问百度智能云API密钥管理页面:https://console.bce.baidu.com/iam/#/iam/apikey/list
|
| 43 |
+
2. 登录百度账号(未注册用户需先完成注册和实名认证)
|
| 44 |
+
3. 点击"创建Access Key"生成API密钥
|
| 45 |
+
4. 确保已开通千帆大模型服务(新用户可领取免费调用额度)
|
| 46 |
+
|
| 47 |
+
## 使用指南
|
| 48 |
+
|
| 49 |
+
1. 准备一张智能体网页的截图,保存为PNG或JPG格式
|
| 50 |
+
2. 打开`ernie_analysis_with_parsing.py`文件,修改配置参数:
|
| 51 |
+
```python
|
| 52 |
+
API_KEY = "您的百度智能云Access Key" # 替换为实际API密钥
|
| 53 |
+
IMAGE_PATH = "demo.png" # 替换为您的截图路径
|
| 54 |
+
OUTPUT_FILE = "analysis_result.json" # 结果保存文件名
|
| 55 |
+
```
|
| 56 |
+
3. 运行脚本:
|
| 57 |
+
```bash
|
| 58 |
+
python ernie_analysis_with_parsing.py
|
| 59 |
+
```
|
| 60 |
+
4. 查看结果:
|
| 61 |
+
- 控制台将显示原始JSON数据和解析后的结构化结果
|
| 62 |
+
- 分析结果同时会保存到指定的JSON文件中
|
| 63 |
+
|
| 64 |
+
## 输出结果说明
|
| 65 |
+
|
| 66 |
+
### 控制台输出
|
| 67 |
+
|
| 68 |
+
1. **原始JSON结果**:完整展示模型返回的结构化数据,包含页面评分和智能体能力拆解的全部信息
|
| 69 |
+
2. **解析后的结果**:格式化展示分析结果,包括:
|
| 70 |
+
- 页面评分:各维度得分及评论
|
| 71 |
+
- 智能体能力拆解:核心功能、优势、劣势、潜在用途、改进方向和详细分析
|
| 72 |
+
|
| 73 |
+
### JSON文件输出
|
| 74 |
+
|
| 75 |
+
分析结果会保存到指定的JSON文件中,可用于:
|
| 76 |
+
- 结果归档和版本对比
|
| 77 |
+
- 导入其他工具进行进一步分析
|
| 78 |
+
- 集成到报告生成系统
|
| 79 |
+
|
| 80 |
+
## 常见问题
|
| 81 |
+
|
| 82 |
+
### API密钥相关问题
|
| 83 |
+
|
| 84 |
+
- **Q: 提示"API密钥验证失败"怎么办?**
|
| 85 |
+
A: 检查API_KEY是否正确填写,确保没有多余空格;确认百度智能云账号已完成实名认证并开通千帆大模型服务;检查账号是否有可用的调用额度。
|
| 86 |
+
|
| 87 |
+
### 图像相关问题
|
| 88 |
+
|
| 89 |
+
- **Q: 提示"未找到图像文件"如何解决?**
|
| 90 |
+
A: 检查IMAGE_PATH是否正确,确保路径中包含正确的文件名和扩展名;如果使用相对路径,确认图像文件与脚本在同一目录下。
|
| 91 |
+
|
| 92 |
+
### 结果解析问题
|
| 93 |
+
|
| 94 |
+
- **Q: 模型返回结果格式异常怎么办?**
|
| 95 |
+
A: 系统已内置格式清理功能,会自动处理常见的格式问题。如果仍解析失败,可尝试重新运行脚本。
|
| 96 |
+
|
| 97 |
+
## 自定义扩展
|
| 98 |
+
|
| 99 |
+
### 调整评分维度
|
| 100 |
+
|
| 101 |
+
如需增加或修改评分维度,可修改脚本中messages里的文本内容,例如:
|
| 102 |
+
"text": "请分析这张智能体网页的截图,并完成以下任务:\n\
|
| 103 |
+
1. 页面评分(每项1-10分,并给出简短评论):\n\
|
| 104 |
+
- 整体评价(overall)\n\
|
| 105 |
+
- 设计美感(design)\n\
|
| 106 |
+
- 易用性(usability)\n\
|
| 107 |
+
- 功能完整性(functionality)\n\
|
| 108 |
+
- 响应式设计(responsiveness)\n\
|
| 109 |
+
- 安全性(security)\n # 新增维度\
|
| 110 |
+
..."
|
| 111 |
+
### 修改输出文件路径
|
| 112 |
+
|
| 113 |
+
如需将结果保存到指定路径,可修改OUTPUT_FILE参数:
|
| 114 |
+
OUTPUT_FILE = "D:/reports/agent_analysis_202409.json" # 绝对路径
|
| 115 |
+
## 注意事项
|
| 116 |
+
|
| 117 |
+
- 使用前请确保已阅读并遵守百度智能云的服务协议
|
| 118 |
+
- 合理使用API调用额度,避免不必要的频繁调用
|
| 119 |
+
- 对于敏感页面截图,请确保已获得必要的授权
|
| 120 |
+
|
| 121 |
+
## 联系方式
|
| 122 |
+
|
| 123 |
+
### 如有任何问题或建议,请联系项目维护团队。
|
| 124 |
+
### url: https://agent.wang
|
| 125 |
+
### exmail: zhl@agent.wang
|