Add S3 support and simplify README

README.md

@@ -7,89 +7,67 @@ sdk: gradio
 sdk_version: 6.2.0
 app_file: app.py
 pinned: false
+hf_oauth: true
 ---
 
 # 🎬 Video Model Evaluator
 
-基于 Hugging Face Spaces 的视频生成模型评估系统，支持 Prompt、模型、视频的评估和评分。
+视频生成模型评估系统 - 支持 Prompt、模型、视频的评估和评分。
 
-## ✨ 功能特性
+## ✨ 功能
 
-- 🔐 **强制登录**: 使用 Hugging Face OAuth 强制用户登录
-- 📊 **次数限制**: 每个用户每天最多调用 4 次
-- 🚀 **多模型支持**: 同时调用多个视频生成模型（Sora 2 pro, Seedance Pro, Veo 3.1, Kling 2.6）
-- 💾 **数据持久化**: 评分数据自动保存到 Private Dataset
-- 💰 **零成本运行**: 完全使用 CPU，无需 GPU，免费运行
-
-## 🛠️ 技术栈
-
-- **Gradio**: Web 界面框架
-- **Hugging Face Hub**: 数据存储和用户认证
-- **视频生成 API**: 调用多个视频生成模型
-- **Python**: 后端逻辑
+- 🔐 强制登录（HF OAuth）
+- 📊 次数限制（每天 4 次）
+- 🚀 4 个模型同时生成（Sora 2 pro, Seedance Pro, Veo 3.1, Kling 2.6）
+- 💾 评分数据保存到 Private Dataset
+- ☁️ 图片和视频自动上传到 S3
 
 ## 📋 环境变量配置
 
 在 Space Settings > Variables and secrets 中配置：
 
-| 变量名 | 说明 | 必需 |
-|--------|------|------|
-| `API_KEY` | 视频生成服务的 API 密钥 | ✅ |
-| `HF_TOKEN` | HF Write Token（用于写入 Dataset） | ✅ |
-| `DATASET_REPO_ID` | Private Dataset 名称（格式：`username/dataset-name`） | ✅ |
-| `PUBLIC_DOMAIN` | Space 公网地址（用于图片 URL） | ⚠️ |
-
-## 🚀 使用说明
-
-1. **登录**: 使用 Hugging Face 账户登录
-2. **上传图片**: 上传输入图片
-3. **输入提示词**: 描述你希望视频展现的内容
-4. **生成视频**: 系统会调用多个模型同时生成视频
-5. **评分**: 对每个模型的生成结果进行评分（0-10分）
-6. **提交**: 提交评分，数据自动保存到 Private Dataset
+### Secrets（敏感信息）
 
-## 📊 支持的模型
+| 变量名 | 说明 |
+|--------|------|
+| `API_KEY` | 视频生成 API 密钥 |
+| `HF_TOKEN` | HF Write Token |
+| `AWS_ACCESS_KEY_ID` | AWS Access Key ID |
+| `AWS_SECRET_ACCESS_KEY` | AWS Secret Access Key |
 
-- **Sora 2 pro** - OpenAI Sora 2 Pro
-- **Seedance Pro** - ByteDance Seedance Pro
-- **Veo 3.1** - Google Veo 3.1
-- **Kling 2.6** - Kling AI 2.6
+### Variables（非敏感信息）
 
-## 💰 成本
+| 变量名 | 说明 | 示例 |
+|--------|------|------|
+| `DATASET_REPO_ID` | Private Dataset 名称 | `learnmlf/video-evaluations` |
+| `S3_BUCKET_NAME` | S3 Bucket 名称 | `cuti-agent-assets-dev-699475938168-ap-southeast-2` |
+| `CDN_DOMAIN` | CDN 域名 | `https://cdn-dev.newai.land` |
+| `AWS_REGION` | AWS 区域（可选） | `ap-southeast-2` |
 
-- **Hugging Face Space (CPU)**: $0（免费）
-- **Private Dataset (100GB)**: $0（免费额度足够）
-- **视频生成 API**: 取决于 API 定价
+## 🚀 使用流程
 
-如果视频生成 API 免费，整个流程完全免费！
+1. 登录 Hugging Face 账户
+2. 上传输入图片
+3. 输入提示词
+4. 系统调用 4 个模型生成视频
+5. 对每个模型评分（0-10分）
+6. 提交评分，数据保存到 Dataset
 
-## 📝 数据格式
+## 📊 支持的模型
 
-评分数据保存为 JSONL 格式，包含：
-- 时间戳
-- 用户名
-- 提示词（Prompt）
-- 各模型评分
-- 视频 URL
-- 模型结果
+- Sora 2 pro
+- Seedance Pro
+- Veo 3.1
+- Kling 2.6
 
-## ⚠️ 注意事项
+## 💰 成本
 
-1. 需要图片输入才能生成视频
-2. 每个用户每天最多调用 4 次
-3. 视频生成可能需要几分钟时间
-4. 确保已配置所有必需的环境变量
+- Space (CPU): $0
+- Private Dataset (100GB): $0
+- S3 存储: 按使用量计费
 
 ## 🔧 故障排除
 
-### 无法登录
-- 检查 Space Settings 中是否启用了 OAuth
-
-### 无法保存评分
-- 检查 `HF_TOKEN` 是否正确
-- 确认 `DATASET_REPO_ID` 格式正确
-- 确认 Token 有 Write 权限
-
-### API 调用失败
-- 检查 `API_KEY` 是否正确
-- 查看 Space 日志了解详细错误
+- **无法登录**: 检查 README.md 中 `hf_oauth: true` 是否设置
+- **无法保存评分**: 检查 `HF_TOKEN` 和 `DATASET_REPO_ID`
+- **S3 上传失败**: 检查 AWS 凭证和 Bucket 名称

app.py

@@ -17,6 +17,9 @@ import time
 # 导入视频生成服务
 from pollo_service_single import PolloAIService, get_pollo_service
 
+# 导入S3工具
+from s3_utils import s3_utils
+
 # 配置日志
 logging.basicConfig(level=logging.INFO)
 logger = logging.getLogger(__name__)
@@ -279,9 +282,19 @@ def generate_videos(prompt: str, input_image: Optional[str], request: gr.Request
         
         # 处理图片上传（如果提供）
         image_path = None
+        image_url = None
         if input_image:
             # Gradio 返回的是临时文件路径
             image_path = input_image
+            
+            # 上传图片到S3，获取公网URL（Pollo API需要URL）
+            logger.info("上传图片到S3...")
+            image_url = s3_utils.upload_image_from_path(image_path)
+            
+            if not image_url:
+                return "❌ 图片上传到S3失败，请检查S3配置", {}, {}
+            
+            logger.info(f"图片已上传到S3: {image_url}")
         
         for model_name in models:
             try:
@@ -301,10 +314,11 @@ def generate_videos(prompt: str, input_image: Optional[str], request: gr.Request
                     status_messages.append(f"❌ {display_name}: 需要上传输入图片")
                     continue
                 
+                # 使用S3 URL而不是本地路径
                 result = service.generate_video(
                     prompt=prompt,
                     mode="i2v",  # 图片生成视频模式
-                    input_image_path=image_path,
+                    input_image_path=image_url,  # 使用S3 URL
                     video_length=5,
                     width=1280,
                     height=720
@@ -320,15 +334,32 @@ def generate_videos(prompt: str, input_image: Optional[str], request: gr.Request
                         poll_result = service.poll_task_result(task_id)
                         
                         if poll_result['status'] == 'completed':
-                            video_url = poll_result.get('video_url')
-                            if video_url:
-                                video_urls[model_name] = video_url
-                                model_results[model_name] = {
-                                    'status': 'success',
-                                    'task_id': task_id,
-                                    'video_url': video_url
-                                }
-                                status_messages.append(f"✅ {display_name}: 生成成功")
+                            pollo_video_url = poll_result.get('video_url')
+                            if pollo_video_url:
+                                # 下载视频并上传到S3（Pollo的视频只保存一段时间）
+                                logger.info(f"下载视频并上传到S3: {pollo_video_url}")
+                                s3_video_url = s3_utils.download_and_upload_video(pollo_video_url)
+                                
+                                if s3_video_url:
+                                    video_urls[model_name] = s3_video_url
+                                    model_results[model_name] = {
+                                        'status': 'success',
+                                        'task_id': task_id,
+                                        'video_url': s3_video_url,
+                                        'pollo_video_url': pollo_video_url  # 保留原始URL
+                                    }
+                                    status_messages.append(f"✅ {display_name}: 生成成功并已保存到S3")
+                                else:
+                                    # 如果S3上传失败，使用原始URL
+                                    logger.warning(f"S3上传失败，使用原始URL: {pollo_video_url}")
+                                    video_urls[model_name] = pollo_video_url
+                                    model_results[model_name] = {
+                                        'status': 'success',
+                                        'task_id': task_id,
+                                        'video_url': pollo_video_url,
+                                        'warning': 'S3上传失败，使用临时URL'
+                                    }
+                                    status_messages.append(f"✅ {display_name}: 生成成功（S3上传失败）")
                                 break
                         elif poll_result['status'] == 'failed':
                             error_msg = poll_result.get('error_message', '未知错误')

pollo_service_single.py

@@ -181,22 +181,31 @@ class PolloAIService:
             image_data = None
             image_tail_data = None  # Lite版本的结束图片
             
-            if input_image_path and os.path.exists(input_image_path):
-                # 验证图片宽高比
-                if not self._validate_image_aspect_ratio(input_image_path):
-                    raise Exception("图片宽高比不符合要求（必须小于1:4或4:1）")
-                
-                # 只尝试构建公网可访问的URL，不再使用base64
-                public_image_url = self._try_get_public_image_url(input_image_path, symlink_folder)
-                
-                if public_image_url:
-                    image_data = public_image_url
-                    logger.info(f"使用公网起始图片URL: {public_image_url}")
+            if input_image_path:
+                # 检查是否是URL（以http://或https://开头）
+                if input_image_path.startswith(('http://', 'https://')):
+                    # 直接使用URL
+                    image_data = input_image_path
+                    logger.info(f"使用图片URL: {image_data}")
+                elif os.path.exists(input_image_path):
+                    # 本地文件路径，需要转换为URL
+                    # 验证图片宽高比
+                    if not self._validate_image_aspect_ratio(input_image_path):
+                        raise Exception("图片宽高比不符合要求（必须小于1:4或4:1）")
+                    
+                    # 只尝试构建公网可访问的URL，不再使用base64
+                    public_image_url = self._try_get_public_image_url(input_image_path, symlink_folder)
+                    
+                    if public_image_url:
+                        image_data = public_image_url
+                        logger.info(f"使用公网起始图片URL: {public_image_url}")
+                    else:
+                        raise Exception(
+                            "Pollo AI只接受图片URL，无法生成公网可访问的图片URL。"
+                            "请配置PUBLIC_DOMAIN设置或确保图片可通过URL访问。"
+                        )
                 else:
-                    raise Exception(
-                        "Pollo AI只接受图片URL，无法生成公网可访问的图片URL。"
-                        "请配置PUBLIC_DOMAIN设置或确保图片可通过URL访问。"
-                    )
+                    raise Exception(f"无效的图片路径或URL: {input_image_path}")
             
             if not image_data and mode != "t2v":
                 raise Exception("Pollo AI需要输入图片URL，但未提供有效的图片路径或无法生成公网URL")

requirements.txt

@@ -4,4 +4,5 @@ huggingface-hub>=0.20.0
 requests>=2.31.0
 Pillow>=10.0.0
 numpy>=1.24.0
+boto3>=1.28.0
 

s3_utils.py

@@ -0,0 +1,179 @@
+"""
+S3工具类 - 用于上传图片和视频到S3
+简化版本，适配 Hugging Face Space
+"""
+
+import os
+import logging
+import uuid
+import boto3
+import requests
+from typing import Optional
+from datetime import datetime
+
+logger = logging.getLogger(__name__)
+
+
+class S3Utils:
+    """S3工具类，用于处理文件上传到S3"""
+    
+    def __init__(self):
+        # 从环境变量读取AWS配置
+        aws_access_key_id = os.getenv('AWS_ACCESS_KEY_ID', '')
+        aws_secret_access_key = os.getenv('AWS_SECRET_ACCESS_KEY', '')
+        aws_region = os.getenv('AWS_REGION', 'us-east-1')
+        self.bucket_name = os.getenv('S3_BUCKET_NAME', '')
+        self.cdn_domain = os.getenv('CDN_DOMAIN', '')  # 例如: https://cdn-dev.newai.land
+        
+        if not aws_access_key_id or not aws_secret_access_key:
+            logger.warning("AWS凭证未配置，S3功能将不可用")
+            self.s3_client = None
+        else:
+            self.s3_client = boto3.client(
+                's3',
+                aws_access_key_id=aws_access_key_id,
+                aws_secret_access_key=aws_secret_access_key,
+                region_name=aws_region
+            )
+    
+    def upload_image_from_path(self, image_path: str, folder: str = "evaluator/images") -> Optional[str]:
+        """
+        从本地路径上传图片到S3
+        
+        Args:
+            image_path: 本地图片路径
+            folder: S3文件夹路径
+            
+        Returns:
+            str: 图片的CDN URL，失败返回None
+        """
+        if not self.s3_client or not self.bucket_name:
+            logger.error("S3未配置，无法上传图片")
+            return None
+        
+        try:
+            # 读取图片文件
+            with open(image_path, 'rb') as f:
+                image_data = f.read()
+            
+            # 生成唯一文件名
+            file_extension = os.path.splitext(image_path)[1] or '.jpg'
+            unique_filename = f"{uuid.uuid4().hex}{file_extension}"
+            
+            # S3文件键
+            s3_key = f"{folder}/{datetime.now().strftime('%Y/%m/%d')}/{unique_filename}"
+            
+            # 确定Content-Type
+            content_type_map = {
+                '.jpg': 'image/jpeg',
+                '.jpeg': 'image/jpeg',
+                '.png': 'image/png',
+                '.webp': 'image/webp',
+                '.gif': 'image/gif'
+            }
+            content_type = content_type_map.get(file_extension.lower(), 'image/jpeg')
+            
+            # 上传到S3
+            self.s3_client.put_object(
+                Bucket=self.bucket_name,
+                Key=s3_key,
+                Body=image_data,
+                ContentType=content_type
+            )
+            
+            # 构建CDN URL
+            if self.cdn_domain:
+                cdn_url = f"{self.cdn_domain.rstrip('/')}/{s3_key}"
+            else:
+                # 如果没有CDN，使用S3 URL
+                cdn_url = f"https://{self.bucket_name}.s3.amazonaws.com/{s3_key}"
+            
+            logger.info(f"图片上传成功: {s3_key} -> {cdn_url}")
+            return cdn_url
+            
+        except Exception as e:
+            logger.error(f"上传图片到S3失败: {e}")
+            return None
+    
+    def download_and_upload_video(self, video_url: str, folder: str = "evaluator/videos") -> Optional[str]:
+        """
+        从URL下载视频并上传到S3
+        
+        Args:
+            video_url: 视频URL
+            folder: S3文件夹路径
+            
+        Returns:
+            str: 视频的CDN URL，失败返回None
+        """
+        if not self.s3_client or not self.bucket_name:
+            logger.error("S3未配置，无法上传视频")
+            return None
+        
+        try:
+            # 下载视频
+            logger.info(f"开始下载视频: {video_url}")
+            response = requests.get(video_url, stream=True, timeout=300)
+            response.raise_for_status()
+            
+            video_data = response.content
+            
+            if not video_data or len(video_data) < 1000:
+                logger.error(f"下载的视频数据无效: {len(video_data)} bytes")
+                return None
+            
+            logger.info(f"视频下载成功: {len(video_data)} bytes")
+            
+            # 生成唯一文件名
+            file_extension = '.mp4'  # 默认mp4
+            if video_url:
+                try:
+                    from urllib.parse import urlparse
+                    parsed = urlparse(video_url)
+                    path = parsed.path.lower()
+                    if path.endswith(('.mp4', '.avi', '.mov', '.mkv', '.webm')):
+                        file_extension = path[path.rfind('.'):]
+                except:
+                    pass
+            
+            unique_filename = f"{uuid.uuid4().hex}{file_extension}"
+            
+            # S3文件键
+            s3_key = f"{folder}/{datetime.now().strftime('%Y/%m/%d')}/{unique_filename}"
+            
+            # 确定Content-Type
+            content_type_map = {
+                '.mp4': 'video/mp4',
+                '.avi': 'video/x-msvideo',
+                '.mov': 'video/quicktime',
+                '.mkv': 'video/x-matroska',
+                '.webm': 'video/webm'
+            }
+            content_type = content_type_map.get(file_extension.lower(), 'video/mp4')
+            
+            # 上传到S3
+            self.s3_client.put_object(
+                Bucket=self.bucket_name,
+                Key=s3_key,
+                Body=video_data,
+                ContentType=content_type
+            )
+            
+            # 构建CDN URL
+            if self.cdn_domain:
+                cdn_url = f"{self.cdn_domain.rstrip('/')}/{s3_key}"
+            else:
+                # 如果没有CDN，使用S3 URL
+                cdn_url = f"https://{self.bucket_name}.s3.amazonaws.com/{s3_key}"
+            
+            logger.info(f"视频上传成功: {s3_key} -> {cdn_url}")
+            return cdn_url
+            
+        except Exception as e:
+            logger.error(f"下载并上传视频失败: {e}")
+            return None
+
+
+# 创建全局实例
+s3_utils = S3Utils()
+