m2svid_combined

google-research/m2svid の m2svid_weights.pt を合体させた safetensors です。

fork版 hetima/m2svid で使用できます。

m2svid_combined_fp16.safetensors

fp16 に変換したものです。open_clip_pytorch_model.bin も含んでいるのでファイルサイズは変わらないように見えますが実質半分になっています。処理速度やメモリ消費量はたぶん変わりません。あんまり意味ありません。ファイルサイズを削減するだけです。

--model_config に m2svid_combined.yaml を指定して使用してください。

python inpaint_and_refine.py  \
        --mask_antialias 0 \
        --model_config configs/m2svid_combined.yaml \
        --ckpt ckpts/m2svid_combined_fp16.safetensors \
        --video_path demo/input.mp4  \
        --reprojected_path outputs/reprojected/input_reprojected.mp4 \
        --reprojected_mask_path outputs/reprojected/input_reprojected_mask.mp4\
        --output_folder outputs/m2svid \

m2svid_combined_quanto_int8.safetensors

optimum-quanto を使って一部パラメータを int8 にしたものです。VRAM12GBでメモリ消費量はあんまり変わらない気もしますが、処理速度は速くなっています。inpaint_and_refine.pyに --quanto_int8 フラグを付け加えて実行してください（ファイル名に quanto_int8 が含まれていたら自動判定するようにはしています）