Upload KeyVID model files
Browse files- UPLOAD_GUIDE.md +144 -0
UPLOAD_GUIDE.md
ADDED
|
@@ -0,0 +1,144 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
# KeyVID 上传到 Hugging Face 指南
|
| 2 |
+
|
| 3 |
+
## 📦 快速开始
|
| 4 |
+
|
| 5 |
+
### 方法1: 使用快速上传脚本 (推荐)
|
| 6 |
+
|
| 7 |
+
```bash
|
| 8 |
+
cd /dockerx/groups/KeyVID
|
| 9 |
+
python upload_fast.py
|
| 10 |
+
```
|
| 11 |
+
|
| 12 |
+
### 方法2: 使用完整功能上传脚本
|
| 13 |
+
|
| 14 |
+
```bash
|
| 15 |
+
cd /dockerx/groups/KeyVID
|
| 16 |
+
python upload.py
|
| 17 |
+
```
|
| 18 |
+
|
| 19 |
+
## 🚀 如何加快上传速度
|
| 20 |
+
|
| 21 |
+
### 1. 使用 `multi_commits=True` (已内置)
|
| 22 |
+
- ✅ 允许分批提交文件,不需要等待所有文件上传完成
|
| 23 |
+
- ✅ 大文件可以先开始上传,小文件可以并行
|
| 24 |
+
- ✅ 即使中断,已上传的文件也会保存
|
| 25 |
+
|
| 26 |
+
### 2. 网络优化
|
| 27 |
+
```bash
|
| 28 |
+
# 检查当前上传速度
|
| 29 |
+
speedtest-cli
|
| 30 |
+
|
| 31 |
+
# 如果使用代理,确保代理设置正确
|
| 32 |
+
export HTTP_PROXY=http://proxy:port
|
| 33 |
+
export HTTPS_PROXY=http://proxy:port
|
| 34 |
+
```
|
| 35 |
+
|
| 36 |
+
### 3. 减少上传文件大小
|
| 37 |
+
- ✅ 脚本已自动排除不必要的文件 (save_results, __pycache__, .git等)
|
| 38 |
+
- 💡 如果需要,可以手动排除更多文件,修改 `ignore_patterns`
|
| 39 |
+
|
| 40 |
+
### 4. 使用 Hugging Face CLI (备选方案)
|
| 41 |
+
```bash
|
| 42 |
+
# 安装 Hugging Face CLI
|
| 43 |
+
pip install -U huggingface_hub[cli]
|
| 44 |
+
|
| 45 |
+
# 登录
|
| 46 |
+
huggingface-cli login
|
| 47 |
+
|
| 48 |
+
# 直接上传整个文件夹
|
| 49 |
+
huggingface-cli upload RyanWW/KeyVID /dockerx/groups/KeyVID --repo-type model
|
| 50 |
+
```
|
| 51 |
+
|
| 52 |
+
### 5. 分批上传策略 (对于超大仓库)
|
| 53 |
+
如果上传经常失败,可以分批上传:
|
| 54 |
+
|
| 55 |
+
```python
|
| 56 |
+
# 只上传关键文件
|
| 57 |
+
huggingface-cli upload RyanWW/KeyVID /dockerx/groups/KeyVID/keyframe_generation --repo-type model --include "*.ckpt"
|
| 58 |
+
```
|
| 59 |
+
|
| 60 |
+
### 6. 使用 Git LFS (如果文件已在 Git 中)
|
| 61 |
+
如果文件已经在 Git LFS 中管理,可以直接推送:
|
| 62 |
+
|
| 63 |
+
```bash
|
| 64 |
+
cd /dockerx/groups/KeyVID
|
| 65 |
+
git remote add hf https://huggingface.co/RyanWW/KeyVID
|
| 66 |
+
git push hf main
|
| 67 |
+
```
|
| 68 |
+
|
| 69 |
+
## ⚙️ 优化配置
|
| 70 |
+
|
| 71 |
+
### 调整并发数 (upload.py)
|
| 72 |
+
编辑 `upload.py`,修改 `MAX_WORKERS`:
|
| 73 |
+
```python
|
| 74 |
+
MAX_WORKERS = 16 # 增加并发线程数(根据网络和CPU调整)
|
| 75 |
+
```
|
| 76 |
+
|
| 77 |
+
### 环境变量设置
|
| 78 |
+
```bash
|
| 79 |
+
# 设置 Hugging Face token
|
| 80 |
+
export HF_TOKEN=your_token_here
|
| 81 |
+
|
| 82 |
+
# 设置上传超时(秒)
|
| 83 |
+
export HF_HUB_TIMEOUT=3600
|
| 84 |
+
|
| 85 |
+
# 禁用进度条(如果终端有问题)
|
| 86 |
+
export HF_HUB_DISABLE_PROGRESS=0
|
| 87 |
+
```
|
| 88 |
+
|
| 89 |
+
## 📊 预估上传时间
|
| 90 |
+
|
| 91 |
+
基于你的数据量 (67GB):
|
| 92 |
+
- **10 Mbps**: 约 15 小时
|
| 93 |
+
- **100 Mbps**: 约 1.5 小时
|
| 94 |
+
- **1 Gbps**: 约 9 分钟
|
| 95 |
+
|
| 96 |
+
实际时间取决于:
|
| 97 |
+
- 网络速度
|
| 98 |
+
- Hugging Face 服务器负载
|
| 99 |
+
- 文件大小分布(大文件需要更多时间)
|
| 100 |
+
|
| 101 |
+
## 🛠️ 故障排除
|
| 102 |
+
|
| 103 |
+
### 问题1: 上传中断
|
| 104 |
+
```bash
|
| 105 |
+
# 重新运行脚本,Hugging Face 支持断点续传
|
| 106 |
+
python upload_fast.py
|
| 107 |
+
```
|
| 108 |
+
|
| 109 |
+
### 问题2: 认证失败
|
| 110 |
+
```bash
|
| 111 |
+
# 重新登录
|
| 112 |
+
huggingface-cli login
|
| 113 |
+
|
| 114 |
+
# 或使用 token
|
| 115 |
+
export HF_TOKEN=your_token
|
| 116 |
+
```
|
| 117 |
+
|
| 118 |
+
### 问题3: 网络超时
|
| 119 |
+
```bash
|
| 120 |
+
# 增加超时时间
|
| 121 |
+
export HF_HUB_TIMEOUT=7200 # 2小时
|
| 122 |
+
```
|
| 123 |
+
|
| 124 |
+
### 问题4: 大文件上传慢
|
| 125 |
+
- 确保使用 `multi_commits=True` (已在脚本中)
|
| 126 |
+
- 检查网络连接稳定性
|
| 127 |
+
- 考虑使用更快的网络环境
|
| 128 |
+
|
| 129 |
+
## 📝 检查上传状态
|
| 130 |
+
|
| 131 |
+
```bash
|
| 132 |
+
# 查看仓库文件
|
| 133 |
+
huggingface-cli repo list-files RyanWW/KeyVID
|
| 134 |
+
|
| 135 |
+
# 或访问网页
|
| 136 |
+
# https://huggingface.co/RyanWW/KeyVID
|
| 137 |
+
```
|
| 138 |
+
|
| 139 |
+
## 💡 最佳实践
|
| 140 |
+
|
| 141 |
+
1. **首次上传**: 使用 `upload_fast.py`,它针对大文件优化
|
| 142 |
+
2. **增量更新**: 可以直接重新运行脚本,只会上传新文件
|
| 143 |
+
3. **监控进度**: 脚本会显示详细进度信息
|
| 144 |
+
4. **保持连接**: 确保网络连接稳定,避免中断
|