RyanWW commited on
Commit
57ed8f9
·
verified ·
1 Parent(s): 2594df0

Upload KeyVID model files

Browse files
Files changed (1) hide show
  1. UPLOAD_GUIDE.md +144 -0
UPLOAD_GUIDE.md ADDED
@@ -0,0 +1,144 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ # KeyVID 上传到 Hugging Face 指南
2
+
3
+ ## 📦 快速开始
4
+
5
+ ### 方法1: 使用快速上传脚本 (推荐)
6
+
7
+ ```bash
8
+ cd /dockerx/groups/KeyVID
9
+ python upload_fast.py
10
+ ```
11
+
12
+ ### 方法2: 使用完整功能上传脚本
13
+
14
+ ```bash
15
+ cd /dockerx/groups/KeyVID
16
+ python upload.py
17
+ ```
18
+
19
+ ## 🚀 如何加快上传速度
20
+
21
+ ### 1. 使用 `multi_commits=True` (已内置)
22
+ - ✅ 允许分批提交文件,不需要等待所有文件上传完成
23
+ - ✅ 大文件可以先开始上传,小文件可以并行
24
+ - ✅ 即使中断,已上传的文件也会保存
25
+
26
+ ### 2. 网络优化
27
+ ```bash
28
+ # 检查当前上传速度
29
+ speedtest-cli
30
+
31
+ # 如果使用代理,确保代理设置正确
32
+ export HTTP_PROXY=http://proxy:port
33
+ export HTTPS_PROXY=http://proxy:port
34
+ ```
35
+
36
+ ### 3. 减少上传文件大小
37
+ - ✅ 脚本已自动排除不必要的文件 (save_results, __pycache__, .git等)
38
+ - 💡 如果需要,可以手动排除更多文件,修改 `ignore_patterns`
39
+
40
+ ### 4. 使用 Hugging Face CLI (备选方案)
41
+ ```bash
42
+ # 安装 Hugging Face CLI
43
+ pip install -U huggingface_hub[cli]
44
+
45
+ # 登录
46
+ huggingface-cli login
47
+
48
+ # 直接上传整个文件夹
49
+ huggingface-cli upload RyanWW/KeyVID /dockerx/groups/KeyVID --repo-type model
50
+ ```
51
+
52
+ ### 5. 分批上传策略 (对于超大仓库)
53
+ 如果上传经常失败,可以分批上传:
54
+
55
+ ```python
56
+ # 只上传关键文件
57
+ huggingface-cli upload RyanWW/KeyVID /dockerx/groups/KeyVID/keyframe_generation --repo-type model --include "*.ckpt"
58
+ ```
59
+
60
+ ### 6. 使用 Git LFS (如果文件已在 Git 中)
61
+ 如果文件已经在 Git LFS 中管理,可以直接推送:
62
+
63
+ ```bash
64
+ cd /dockerx/groups/KeyVID
65
+ git remote add hf https://huggingface.co/RyanWW/KeyVID
66
+ git push hf main
67
+ ```
68
+
69
+ ## ⚙️ 优化配置
70
+
71
+ ### 调整并发数 (upload.py)
72
+ 编辑 `upload.py`,修改 `MAX_WORKERS`:
73
+ ```python
74
+ MAX_WORKERS = 16 # 增加并发线程数(根据网络和CPU调整)
75
+ ```
76
+
77
+ ### 环境变量设置
78
+ ```bash
79
+ # 设置 Hugging Face token
80
+ export HF_TOKEN=your_token_here
81
+
82
+ # 设置上传超时(秒)
83
+ export HF_HUB_TIMEOUT=3600
84
+
85
+ # 禁用进度条(如果终端有问题)
86
+ export HF_HUB_DISABLE_PROGRESS=0
87
+ ```
88
+
89
+ ## 📊 预估上传时间
90
+
91
+ 基于你的数据量 (67GB):
92
+ - **10 Mbps**: 约 15 小时
93
+ - **100 Mbps**: 约 1.5 小时
94
+ - **1 Gbps**: 约 9 分钟
95
+
96
+ 实际时间取决于:
97
+ - 网络速度
98
+ - Hugging Face 服务器负载
99
+ - 文件大小分布(大文件需要更多时间)
100
+
101
+ ## 🛠️ 故障排除
102
+
103
+ ### 问题1: 上传中断
104
+ ```bash
105
+ # 重新运行脚本,Hugging Face 支持断点续传
106
+ python upload_fast.py
107
+ ```
108
+
109
+ ### 问题2: 认证失败
110
+ ```bash
111
+ # 重新登录
112
+ huggingface-cli login
113
+
114
+ # 或使用 token
115
+ export HF_TOKEN=your_token
116
+ ```
117
+
118
+ ### 问题3: 网络超时
119
+ ```bash
120
+ # 增加超时时间
121
+ export HF_HUB_TIMEOUT=7200 # 2小时
122
+ ```
123
+
124
+ ### 问题4: 大文件上传慢
125
+ - 确保使用 `multi_commits=True` (已在脚本中)
126
+ - 检查网络连接稳定性
127
+ - 考虑使用更快的网络环境
128
+
129
+ ## 📝 检查上传状态
130
+
131
+ ```bash
132
+ # 查看仓库文件
133
+ huggingface-cli repo list-files RyanWW/KeyVID
134
+
135
+ # 或访问网页
136
+ # https://huggingface.co/RyanWW/KeyVID
137
+ ```
138
+
139
+ ## 💡 最佳实践
140
+
141
+ 1. **首次上传**: 使用 `upload_fast.py`,它针对大文件优化
142
+ 2. **增量更新**: 可以直接重新运行脚本,只会上传新文件
143
+ 3. **监控进度**: 脚本会显示详细进度信息
144
+ 4. **保持连接**: 确保网络连接稳定,避免中断