modify app.py

app.py

@@ -49,6 +49,16 @@ class MGTHuman(datasets.GeneratorBasedBuilder):
                 return text
             count += 1
         return "Index 超出范围，请输入有效的数字。"
+    
+    def count_entries(self, filepath):
+        """返回文件中的总条数，用于动态生成索引范围"""
+        count = 0
+        with open(filepath, 'r') as f:
+            data = json.load(f)
+            for row in data:
+                if row["text"].strip():
+                    count += 1
+        return count
 
 # Streamlit UI
 st.title("MGTHuman Dataset Viewer")
@@ -65,30 +75,33 @@ if uploaded_folder:
     with zipfile.ZipFile(zip_path, 'r') as zip_ref:
         zip_ref.extractall(folder_path)
 
-    # 获取所有 JSON 文件并分类到不同的 domain
+    # 递归获取所有 JSON 文件并分类到不同的 domain
     category = {}
-    for json_file in folder_path.glob("*.json"):
+    for json_file in folder_path.rglob("*.json"):  # 使用 rglob 递归查找所有 JSON 文件
         domain = json_file.stem.split('_task3')[0]
         category.setdefault(domain, []).append(str(json_file))
 
-    # 显示可用的 domain
-    st.write("可用的数据种类:", list(category.keys()))
-
-    # 用户选择 domain
-    selected_domain = st.selectbox("选择数据种类", options=list(category.keys()))
-    
-    # 输入序号查看文本
-    index_to_view = st.number_input("输入要查看的文本序号", min_value=0, step=1)
-    
-    if st.button("显示文本"):
-        # 选择第一个文件进行展示
+    # 显示可用的 domain 下拉框
+    if category:
+        selected_domain = st.selectbox("选择数据种类", options=list(category.keys()))
+        
+        # 确定该 domain 的第一个文件路径并获取条目数量
         file_to_display = category[selected_domain][0]
         mgt_human = MGTHuman(name=selected_domain)
-        text = mgt_human.get_text_by_index(file_to_display, index=index_to_view)
-        st.write("对应的文本内容为：", text)
+        total_entries = mgt_human.count_entries(file_to_display)
+        st.write(f"可用的索引范围: 0 到 {total_entries - 1}")
+        
+        # 输入序号查看文本
+        index_to_view = st.number_input("输入要查看的文本序号", min_value=0, max_value=total_entries - 1, step=1)
+        
+        if st.button("显示文本"):
+            text = mgt_human.get_text_by_index(file_to_display, index=index_to_view)
+            st.write("对应的文本内容为：", text)
+    else:
+        st.write("未找到任何 JSON 文件，请检查 ZIP 文件结构。")
 
 # 清理上传文件的临时目录
 if st.button("清除文件"):
     import shutil
     shutil.rmtree("temp")
-    st.write("临时文件已清除。")
+    st.write("临时文件已清除。")