# 多模态智能体系统配置指南 ## 🚀 快速开始 ### 1. 安装依赖 ```bash pip install -r requirements.txt ``` ### 2. 配置API密钥 #### 方法一:使用配置文件(推荐) 1. 编辑 `api_keys.json` 文件: ```json { "openai": { "api_key": "sk-your-openai-api-key-here" }, "huggingface": { "api_key": "hf-your-huggingface-api-key-here" }, "search_engine": { "type": "duckduckgo", "api_key": null } } ``` 2. 将你的OpenAI API密钥替换 `sk-your-openai-api-key-here` #### 方法二:使用环境变量 ```bash # Windows set OPENAI_API_KEY=sk-your-openai-api-key-here # Linux/Mac export OPENAI_API_KEY=sk-your-openai-api-key-here ``` ### 3. 运行系统 #### Web界面模式 ```bash python run.py --mode web ``` #### 测试模式 ```bash python run.py --mode test ``` #### 交互式模式 ```bash python run.py --mode interactive ``` ## 🔑 API密钥获取指南 ### OpenAI API密钥 1. 访问 [OpenAI官网](https://platform.openai.com/) 2. 注册或登录账户 3. 进入 "API Keys" 页面 4. 点击 "Create new secret key" 5. 复制生成的密钥(以 `sk-` 开头) ### Hugging Face API密钥(可选) 1. 访问 [Hugging Face](https://huggingface.co/) 2. 注册或登录账户 3. 进入 "Settings" → "Access Tokens" 4. 点击 "New token" 5. 复制生成的令牌(以 `hf_` 开头) ## 🔍 搜索引擎配置 ### DuckDuckGo搜索(默认,无需API密钥) - 无需配置API密钥 - 免费使用 - 支持文本、图像、视频搜索 ### 其他搜索引擎(可选) 如果需要使用其他搜索引擎,可以修改 `api_keys.json`: ```json { "search_engine": { "type": "serper", "api_key": "your-serper-api-key" } } ``` ## ⚙️ 高级配置 ### 模型配置 在 `config.py` 中可以修改使用的模型: ```python # 图像描述模型 IMAGE_CAPTION_MODEL = "Salesforce/blip-image-captioning-base" # 图像分类模型 IMAGE_CLASSIFICATION_MODEL = "microsoft/resnet-50" # 对象检测模型 OBJECT_DETECTION_MODEL = "facebook/detr-resnet-50" ``` ### 系统配置 ```python # 调试模式 DEBUG = True # 日志级别 LOG_LEVEL = "DEBUG" # 视频处理配置 MAX_VIDEO_DURATION = 300 # 最大视频时长(秒) FRAMES_TO_ANALYZE = 5 # 视频分析帧数 ``` ## 🐛 常见问题 ### 1. API密钥错误 **错误信息**: `OpenAI API密钥未配置` **解决方案**: - 检查 `api_keys.json` 文件是否存在 - 确认API密钥格式正确(OpenAI密钥以 `sk-` 开头) - 验证API密钥是否有效 ### 2. 依赖包安装失败 **错误信息**: `ModuleNotFoundError` **解决方案**: ```bash # 升级pip pip install --upgrade pip # 重新安装依赖 pip install -r requirements.txt --force-reinstall ``` ### 3. 模型下载失败 **错误信息**: `模型下载失败` **解决方案**: - 检查网络连接 - 使用VPN或代理 - 手动下载模型到本地缓存目录 ### 4. 内存不足 **错误信息**: `CUDA out of memory` **解决方案**: - 减少批处理大小 - 使用CPU模式运行 - 关闭其他占用内存的程序 ## 📁 文件结构 ``` Final_Assignment_Agent/ ├── api_keys.json # API密钥配置文件 ├── config.py # 系统配置 ├── app.py # 主应用 ├── tools.py # 工具模块 ├── test_agent.py # 测试脚本 ├── run.py # 启动脚本 ├── requirements.txt # 依赖包列表 ├── README.md # 项目说明 └── SETUP.md # 配置指南 ``` ## 🔒 安全注意事项 1. **不要提交API密钥到版本控制** - 将 `api_keys.json` 添加到 `.gitignore` - 使用环境变量或配置文件 2. **定期更新API密钥** - 定期检查API密钥的有效性 - 及时更新过期的密钥 3. **限制API使用** - 设置API使用限制 - 监控API调用次数和费用 ## 📞 技术支持 如果遇到问题,请: 1. 查看错误日志 2. 检查配置文件 3. 运行测试脚本 4. 查看常见问题解答 --- **注意**: 请确保遵守相关API的使用条款和隐私政策。