store

app.py

@@ -15,41 +15,55 @@ def load_videos_from_huggingface():
     
     try:
         print("正在加载数据集: WenjiaWang/videoforuser...")
+        # 不解码视频，只获取元数据
         DATASET = load_dataset("WenjiaWang/videoforuser", split="train")
         print(f"成功加载数据集，共 {len(DATASET)} 个视频")
         
         # 组织视频数据：按场景分组
         VIDEO_DATA = {}
         
-        for idx, item in enumerate(DATASET):
-            # 获取视频路径信息
-            if 'video' in item:
-                video_path = item['video']
-            elif 'path' in item:
-                video_path = item['path']
-            else:
-                print(f"警告: 第 {idx} 项没有视频路径字段")
-                continue
-            
-            # 从路径中提取场景名和方法名
-            # 假设路径格式类似: "videos/scene_name/method.mp4"
-            path_parts = video_path.split('/')
-            if len(path_parts) >= 2:
-                scene_name = path_parts[-2]  # 倒数第二部分是场景名
-                file_name = path_parts[-1]    # 最后部分是文件名
-                
-                # 提取方法名
-                method_name = file_name.replace('.mp4', '')
+        # 直接访问数据集的底层数据，不触发视频解码
+        for idx in range(len(DATASET)):
+            try:
+                # 获取原始数据，不解码视频
+                item = DATASET[idx]
                 
-                if scene_name not in VIDEO_DATA:
-                    VIDEO_DATA[scene_name] = {}
+                # 获取视频路径信息 - 这里获取的是字典，包含 'path' 和 'bytes'
+                if 'video' in item and isinstance(item['video'], dict) and 'path' in item['video']:
+                    video_path = item['video']['path']
+                    video_bytes = item['video'].get('bytes', None)
+                elif 'video' in item and isinstance(item['video'], str):
+                    video_path = item['video']
+                    video_bytes = None
+                elif 'path' in item:
+                    video_path = item['path']
+                    video_bytes = None
+                else:
+                    print(f"警告: 第 {idx} 项没有视频路径字段，跳过")
+                    continue
                 
-                # 存储视频信息（包括在dataset中的索引）
-                VIDEO_DATA[scene_name][method_name] = {
-                    'index': idx,
-                    'path': video_path,
-                    'item': item
-                }
+                # 从路径中提取场景名和方法名
+                # 假设路径格式类似: "scene_name/method.mp4"
+                path_parts = video_path.split('/')
+                if len(path_parts) >= 2:
+                    scene_name = path_parts[-2]  # 倒数第二部分是场景名
+                    file_name = path_parts[-1]    # 最后部分是文件名
+                    
+                    # 提取方法名
+                    method_name = file_name.replace('.mp4', '')
+                    
+                    if scene_name not in VIDEO_DATA:
+                        VIDEO_DATA[scene_name] = {}
+                    
+                    # 存储视频信息（包括在dataset中的索引和原始视频数据）
+                    VIDEO_DATA[scene_name][method_name] = {
+                        'index': idx,
+                        'path': video_path,
+                        'video': item['video']  # 保存原始视频数据（字典格式）
+                    }
+            except Exception as e:
+                print(f"处理第 {idx} 项时出错: {e}")
+                continue
         
         print(f"组织完成，共 {len(VIDEO_DATA)} 个场景")
         return True
@@ -91,11 +105,9 @@ def get_videos_for_question(scene_name):
         
         # 获取视频数据
         video_info = scene_videos[method_name]
-        video_item = video_info['item']
         
-        # 从dataset item中获取视频文件
-        if 'video' in video_item:
-            videos[display_name] = video_item['video']  # 这应该是视频文件路径或对象
+        # 直接使用保存的视频数据
+        videos[display_name] = video_info['video']
         
         method_mapping[display_name] = method_name
     

requirements.txt

@@ -1,4 +1,3 @@
 gradio>=4.0.0
 datasets>=2.14.0
 huggingface_hub>=0.19.0
-torchcodec

test_dataset.py

@@ -0,0 +1,36 @@
+#!/usr/bin/env python3
+"""
+测试数据集加载逻辑
+"""
+from datasets import load_dataset
+
+print("正在加载数据集...")
+try:
+    # 加载数据集但不解码视频
+    dataset = load_dataset("WenjiaWang/videoforuser", split="train")
+    print(f"✅ 成功加载数据集，共 {len(dataset)} 个视频")
+    
+    # 测试访问第一个元素
+    print("\n测试访问第一个元素...")
+    item = dataset[0]
+    print(f"Keys: {item.keys()}")
+    
+    if 'video' in item:
+        video_data = item['video']
+        print(f"Video type: {type(video_data)}")
+        
+        if isinstance(video_data, dict):
+            print(f"Video dict keys: {video_data.keys()}")
+            if 'path' in video_data:
+                print(f"Video path: {video_data['path']}")
+            if 'bytes' in video_data:
+                print(f"Video bytes length: {len(video_data['bytes']) if video_data['bytes'] else 0}")
+        else:
+            print(f"Video data: {video_data}")
+    
+    print("\n✅ 数据集结构测试成功！")
+    
+except Exception as e:
+    print(f"❌ 错误: {e}")
+    import traceback
+    traceback.print_exc()