Delete HPL-Cluster/duplicate.py

HPL-Cluster/duplicate.py

@@ -1,401 +0,0 @@
-import os
-import shutil
-from pathlib import Path
-import re
-
-def copy_last_epoch_models(source_dir, target_dir):
-    """
-    复制整个目录结构，但只保留每个子文件夹中最后一个epoch的.pkl文件
-    
-    新增功能：如果目标子文件夹中已经有.pkl文件，跳过该文件夹的复制
-    
-    Args:
-        source_dir: 源目录路径
-        target_dir: 目标目录路径
-    """
-    # 转换路径为Path对象
-    source_path = Path(source_dir)
-    target_path = Path(target_dir)
-    
-    # 确保源目录存在
-    if not source_path.exists():
-        print(f"错误：源目录不存在 - {source_dir}")
-        return
-    
-    # 创建目标目录（如果不存在）
-    target_path.mkdir(parents=True, exist_ok=True)
-    
-    # 计数器
-    total_folders = 0
-    total_folders_skipped = 0
-    total_files_copied = 0
-    
-    print(f"开始从 {source_dir} 复制到 {target_dir}")
-    print("=" * 60)
-    
-    # 遍历源目录
-    for root, dirs, files in os.walk(source_dir):
-        root_path = Path(root)
-        
-        # 获取相对路径（相对于源目录）
-        relative_path = root_path.relative_to(source_path)
-        target_subdir = target_path / relative_path
-        
-        # **新增功能：检查目标子文件夹是否已有.pkl文件**
-        if target_subdir.exists():
-            existing_pkl = list(target_subdir.glob("*.pkl"))
-            if existing_pkl:
-                print(f"\n跳过目录: {relative_path}")
-                print(f"  原因: 目标文件夹中已有 {len(existing_pkl)} 个.pkl文件")
-                total_folders_skipped += 1
-                continue
-        
-        # 创建对应的目标子目录
-        if not target_subdir.exists():
-            target_subdir.mkdir(parents=True, exist_ok=True)
-        
-        # 如果没有文件，继续下一个目录
-        if not files:
-            continue
-        
-        # 只收集.pkl文件
-        pkl_files = [f for f in files if f.lower().endswith('.pkl')]
-        
-        if not pkl_files:
-            continue
-        
-        print(f"\n处理目录: {relative_path}")
-        print(f"找到 {len(pkl_files)} 个.pkl文件")
-        
-        # 从文件名中提取epoch数字并排序
-        def extract_epoch_number(filename):
-            """从文件名中提取epoch数字"""
-            # 匹配 ep1, ep2, ep10 等模式（不区分大小写）
-            match = re.search(r'ep(\d+)', filename, re.IGNORECASE)
-            if match:
-                return int(match.group(1))
-            
-            # 匹配 epoch1, epoch2, epoch10 等模式
-            match = re.search(r'epoch[_-]?(\d+)', filename, re.IGNORECASE)
-            if match:
-                return int(match.group(1))
-            
-            # 如果都没有匹配到，返回0
-            return 0
-        
-        # 创建(epoch_number, filename)的列表
-        epoch_files = []
-        for file in pkl_files:
-            epoch_num = extract_epoch_number(file)
-            epoch_files.append((epoch_num, file))
-        
-        # 按epoch数字排序
-        epoch_files.sort(key=lambda x: x[0])
-        
-        # 显示所有找到的文件和它们的epoch数字
-        for epoch_num, file in epoch_files:
-            print(f"  - {file} (epoch: {epoch_num})")
-        
-        # 获取最后一个（最大epoch）的文件
-        if epoch_files:
-            last_epoch, last_file = epoch_files[-1]
-            
-            # 源文件路径
-            source_file = root_path / last_file
-            # 目标文件路径
-            target_file = target_subdir / last_file
-            
-            # 复制文件
-            shutil.copy2(source_file, target_file)
-            
-            print(f"✓ 已复制最后一个epoch文件: {last_file} (epoch: {last_epoch})")
-            
-            total_files_copied += 1
-        
-        total_folders += 1
-    
-    print(f"\n" + "=" * 60)
-    print("复制完成！")
-    print(f"总处理文件夹数: {total_folders}")
-    print(f"跳过文件夹数（目标已有文件）: {total_folders_skipped}")
-    print(f"总复制文件数: {total_files_copied}")
-    print(f"源目录: {source_dir}")
-    print(f"目标目录: {target_dir}")
-
-# 增强版本：处理更多命名模式，同样包含跳过功能
-def copy_last_epoch_models_enhanced(source_dir, target_dir):
-    """
-    增强版本：处理更多命名模式，如ep1, epoch1, epoch_1等
-    
-    新增功能：如果目标子文件夹中已经有.pkl文件，跳过该文件夹的复制
-    """
-    import os
-    import shutil
-    from pathlib import Path
-    import re
-    
-    source_path = Path(source_dir)
-    target_path = Path(target_dir)
-    
-    if not source_path.exists():
-        print(f"错误：源目录不存在 - {source_dir}")
-        return
-    
-    target_path.mkdir(parents=True, exist_ok=True)
-    
-    total_folders = 0
-    total_folders_skipped = 0
-    total_files_copied = 0
-    
-    print(f"开始从 {source_dir} 复制到 {target_dir}")
-    print("=" * 60)
-    
-    # 定义更多可能的epoch模式
-    epoch_patterns = [
-        r'ep(\d+)',                      # ep1, ep10
-        r'epoch[_-]?(\d+)',              # epoch1, epoch_1, epoch-1
-        r'e(\d+)',                       # e1, e10
-        r'_(\d+)\.pkl$',                 # _1.pkl, _10.pkl
-        r'step[_-]?(\d+)',               # step1, step_1
-        r'checkpoint[_-]?(\d+)',         # checkpoint1, checkpoint_1
-        r'ckpt[_-]?(\d+)',               # ckpt1, ckpt_1
-    ]
-    
-    for root, dirs, files in os.walk(source_dir):
-        root_path = Path(root)
-        relative_path = root_path.relative_to(source_path)
-        target_subdir = target_path / relative_path
-        
-        # **新增功能：检查目标子文件夹是否已有.pkl文件**
-        if target_subdir.exists():
-            existing_pkl = list(target_subdir.glob("*.pkl"))
-            if existing_pkl:
-                print(f"\n跳过目录: {relative_path}")
-                print(f"  原因: 目标文件夹中已有 {len(existing_pkl)} 个.pkl文件:")
-                for i, existing_file in enumerate(existing_pkl[:5]):  # 最多显示5个
-                    print(f"    - {existing_file.name}")
-                if len(existing_pkl) > 5:
-                    print(f"    ... 等共 {len(existing_pkl)} 个文件")
-                total_folders_skipped += 1
-                continue
-        
-        if not target_subdir.exists():
-            target_subdir.mkdir(parents=True, exist_ok=True)
-        
-        # 只收集.pkl文件
-        pkl_files = [f for f in files if f.lower().endswith('.pkl')]
-        
-        if not pkl_files:
-            continue
-        
-        print(f"\n处理目录: {relative_path}")
-        print(f"找到 {len(pkl_files)} 个.pkl文件")
-        
-        # 从文件名中提取epoch数字
-        def extract_epoch_number_enhanced(filename):
-            """增强版epoch数字提取"""
-            filename_lower = filename.lower()
-            
-            # 尝试所有模式
-            for pattern in epoch_patterns:
-                match = re.search(pattern, filename_lower)
-                if match:
-                    return int(match.group(1))
-            
-            # 如果以上模式都不匹配，尝试提取所有数字
-            numbers = re.findall(r'\d+', filename_lower)
-            if numbers:
-                # 返回最大的数字（假设是epoch）
-                return int(max(numbers, key=lambda x: (len(x), x)))
-            
-            return 0
-        
-        # 创建(epoch_number, filename)的列表
-        epoch_files = []
-        for file in pkl_files:
-            epoch_num = extract_epoch_number_enhanced(file)
-            epoch_files.append((epoch_num, file))
-        
-        # 按epoch数字排序
-        epoch_files.sort(key=lambda x: x[0])
-        
-        # 显示所有找到的文件和它们的epoch数字
-        if len(epoch_files) <= 10:  # 如果文件不多，显示所有
-            for epoch_num, file in epoch_files:
-                print(f"  - {file} (epoch: {epoch_num})")
-        else:  # 如果文件很多，只显示前5个和后5个
-            for i, (epoch_num, file) in enumerate(epoch_files):
-                if i < 5 or i >= len(epoch_files) - 5:
-                    print(f"  - {file} (epoch: {epoch_num})")
-                elif i == 5:
-                    print(f"  ... 省略中间 {len(epoch_files)-10} 个文件 ...")
-        
-        # 获取最后一个（最大epoch）的文件
-        if epoch_files:
-            last_epoch, last_file = epoch_files[-1]
-            
-            # 检查是否有相同epoch的文件（可能有多个文件）
-            max_epoch = last_epoch
-            last_epoch_files = [f for e, f in epoch_files if e == max_epoch]
-            
-            if len(last_epoch_files) > 1:
-                print(f"⚠ 注意：有 {len(last_epoch_files)} 个epoch为 {max_epoch} 的文件:")
-                for f in last_epoch_files:
-                    print(f"    - {f}")
-                print(f"  将复制最后一个文件: {last_file}")
-            
-            # 源文件路径
-            source_file = root_path / last_file
-            # 目标文件路径
-            target_file = target_subdir / last_file
-            
-            # 复制文件
-            shutil.copy2(source_file, target_file)
-            
-            print(f"✓ 已复制: {last_file} (epoch: {last_epoch})")
-            
-            total_files_copied += 1
-        
-        total_folders += 1
-    
-    print(f"\n" + "=" * 60)
-    print("复制完成！")
-    print(f"总处理文件夹数: {total_folders}")
-    print(f"跳过文件夹数（目标已有文件）: {total_folders_skipped}")
-    print(f"总复制文件数: {total_files_copied}")
-    print(f"源目录: {source_dir}")
-    print(f"目标目录: {target_dir}")
-
-# 更稳妥的版本：如果目标文件夹存在且��空，询问用户是否覆盖
-def copy_last_epoch_models_safe(source_dir, target_dir, force=False):
-    """
-    更稳妥的版本：如果目标文件夹存在且非空，询问用户是否覆盖
-    
-    Args:
-        source_dir: 源目录路径
-        target_dir: 目标目录路径
-        force: 如果为True，则自动跳过已有文件的文件夹；如果为False，则询问用户
-    """
-    import os
-    import shutil
-    from pathlib import Path
-    import re
-    
-    source_path = Path(source_dir)
-    target_path = Path(target_dir)
-    
-    if not source_path.exists():
-        print(f"错误：源目录不存在 - {source_dir}")
-        return
-    
-    target_path.mkdir(parents=True, exist_ok=True)
-    
-    total_folders = 0
-    total_folders_skipped = 0
-    total_folders_processed = 0
-    total_files_copied = 0
-    
-    print(f"开始从 {source_dir} 复制到 {target_dir}")
-    print("=" * 60)
-    
-    for root, dirs, files in os.walk(source_dir):
-        root_path = Path(root)
-        relative_path = root_path.relative_to(source_path)
-        target_subdir = target_path / relative_path
-        
-        # 检查目标文件夹状态
-        if target_subdir.exists() and any(target_subdir.iterdir()):
-            existing_pkl = list(target_subdir.glob("*.pkl"))
-            
-            if not force:
-                print(f"\n目标文件夹已存在且有文件: {relative_path}")
-                print(f"  包含 {len(existing_pkl)} 个.pkl文件")
-                response = input("  是否跳过此文件夹? (y=跳过, n=处理, a=全部跳过, o=全部处理): ").lower()
-                
-                if response == 'a':  # 全部跳过
-                    force = True
-                    print("  已选择: 后续所有已存在的文件夹都将跳过")
-                    total_folders_skipped += 1
-                    continue
-                elif response == 'o':  # 全部处理
-                    force = False
-                    print("  已选择: 后续所有已存在的文件夹都将被处理")
-                elif response == 'y':  # 跳过当前
-                    total_folders_skipped += 1
-                    continue
-                # response == 'n' 继续处理
-            elif force:  # force=True时自动跳过
-                print(f"\n跳过目录: {relative_path} (目标文件夹已有文件)")
-                total_folders_skipped += 1
-                continue
-        
-        # 创建目标子目录（如果不存在）
-        if not target_subdir.exists():
-            target_subdir.mkdir(parents=True, exist_ok=True)
-        
-        # 处理.pkl文件...
-        pkl_files = [f for f in files if f.lower().endswith('.pkl')]
-        
-        if not pkl_files:
-            continue
-        
-        print(f"\n处理目录: {relative_path}")
-        print(f"找到 {len(pkl_files)} 个.pkl文件")
-        
-        # 从文件名中提取epoch数字
-        def extract_epoch_number(filename):
-            match = re.search(r'ep(\d+)', filename, re.IGNORECASE)
-            if match:
-                return int(match.group(1))
-            match = re.search(r'epoch[_-]?(\d+)', filename, re.IGNORECASE)
-            if match:
-                return int(match.group(1))
-            return 0
-        
-        # 创建(epoch_number, filename)的列表并排序
-        epoch_files = [(extract_epoch_number(f), f) for f in pkl_files]
-        epoch_files.sort(key=lambda x: x[0])
-        
-        # 显示文件信息
-        for epoch_num, file in epoch_files:
-            print(f"  - {file} (epoch: {epoch_num})")
-        
-        # 复制最后一个文件
-        if epoch_files:
-            last_epoch, last_file = epoch_files[-1]
-            source_file = root_path / last_file
-            target_file = target_subdir / last_file
-            
-            shutil.copy2(source_file, target_file)
-            print(f"✓ 已复制: {last_file} (epoch: {last_epoch})")
-            
-            total_files_copied += 1
-            total_folders_processed += 1
-        
-        total_folders += 1
-    
-    print(f"\n" + "=" * 60)
-    print("复制完成！")
-    print(f"总处理文件夹数: {total_folders}")
-    print(f"实际处理文件夹数: {total_folders_processed}")
-    print(f"跳过文件夹数: {total_folders_skipped}")
-    print(f"总复制文件数: {total_files_copied}")
-
-# 使用方法：
-if __name__ == "__main__":
-    source_directory = "/NAS/zhouyiling/model/main_task/HPL-Cluster"
-    target_directory = "/NAS/zhouyiling/hpl_hitph_server/model_files/HPL-Cluster"
-    
-    print("开始复制.pkl模型文件...")
-    print(f"源目录: {source_directory}")
-    print(f"目标目录: {target_directory}")
-    print("-" * 50)
-    
-    # 方法1：使用基本版本（自动跳过已有文件的文件夹）
-    copy_last_epoch_models(source_directory, target_directory)
-    
-    # 方法2：使用增强版本（处理更多命名模式，也自动跳过）
-    # copy_last_epoch_models_enhanced(source_directory, target_directory)
-    
-    # 方法3：使用安全版本（会询问用户如何处理已存在的文件夹）
-    # copy_last_epoch_models_safe(source_directory, target_directory, force=False)