Upload 3 files
Browse files
m2svid_combined/README.md
ADDED
|
@@ -0,0 +1,32 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
---
|
| 2 |
+
license: apache-2.0
|
| 3 |
+
---
|
| 4 |
+
|
| 5 |
+
# m2svid_combined
|
| 6 |
+
|
| 7 |
+
[google-research/m2svid](https://github.com/google-research/m2svid) の m2svid_weights.pt を合体させた safetensors です。
|
| 8 |
+
|
| 9 |
+
fork版 [hetima/m2svid](https://github.com/hetima/m2svid) で使用できます。
|
| 10 |
+
|
| 11 |
+
|
| 12 |
+
## m2svid_combined_fp16.safetensors
|
| 13 |
+
|
| 14 |
+
fp16 に変換したものです。open_clip_pytorch_model.bin も含んでいるのでファイルサイズは変わらないように見えますが実質半分になっています。処理速度やメモリ消費量はたぶん変わりません。あんまり意味ありません。ファイルサイズを削減するだけです。
|
| 15 |
+
|
| 16 |
+
`--model_config` に `m2svid_combined.yaml` を指定して使用してください。
|
| 17 |
+
|
| 18 |
+
```sh
|
| 19 |
+
python inpaint_and_refine.py \
|
| 20 |
+
--mask_antialias 0 \
|
| 21 |
+
--model_config configs/m2svid_combined.yaml \
|
| 22 |
+
--ckpt ckpts/m2svid_combined_fp16.safetensors \
|
| 23 |
+
--video_path demo/input.mp4 \
|
| 24 |
+
--reprojected_path outputs/reprojected/input_reprojected.mp4 \
|
| 25 |
+
--reprojected_mask_path outputs/reprojected/input_reprojected_mask.mp4\
|
| 26 |
+
--output_folder outputs/m2svid \
|
| 27 |
+
```
|
| 28 |
+
|
| 29 |
+
|
| 30 |
+
## m2svid_combined_quanto_int8.safetensors
|
| 31 |
+
|
| 32 |
+
optimum-quanto を使って一部パラメータを int8 にしたものです。VRAM12GBでメモリ消費量はあんまり変わらない気もしますが、処理速度は速くなっています。inpaint_and_refine.pyに `--quanto_int8` フラグを付け加えて実行してください(ファイル名に quanto_int8 が含まれていたら自動判定するようにはしています)
|
m2svid_combined/m2svid_combined_fp16.safetensors
ADDED
|
@@ -0,0 +1,3 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
version https://git-lfs.github.com/spec/v1
|
| 2 |
+
oid sha256:ccd632c73580c49e91af567caa1c8c80e9a6cbfc42fc68d1b50de0dd0eb75e90
|
| 3 |
+
size 4976792078
|
m2svid_combined/m2svid_combined_quanto_int8.safetensors
ADDED
|
@@ -0,0 +1,3 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
| 1 |
+
version https://git-lfs.github.com/spec/v1
|
| 2 |
+
oid sha256:7a166abed478be91fbca2fe574f13f6a860825214e792199d744e78654d8f465
|
| 3 |
+
size 2934390702
|