szxllm commited on
Commit
02ebd21
·
verified ·
1 Parent(s): 39c01d4

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +2 -1
README.md CHANGED
@@ -3,6 +3,8 @@ license: apache-2.0
3
  ---
4
  该模型是将Mamba的注意力用在stable diffusion V1.5 的U-Net网络里(即替换替换原有的自注意力层),然后进行了训练和评估,评估指标有FID和CLIP-T,GPU峰值显存占用。目前模型还未进一步改进。下面的说明是运行程序的指令。
5
 
 
 
6
 
7
  推理代码
8
  python msd_infer.py --base_model="runwayml/stable-diffusion-v1-5" --checkpoint_dir="/root/mamba/sd-mamba-mscoco-urltext-10k-run3/checkpoint-31000" --unet_subfolder="unet_mamba" --prompt="a river" --output_path="ccat.png" --device="cuda" --seed=12345 --num_inference_steps=50 --guidance_scale=8.0 --mamba_d_state=16 --mamba_d_conv=4 --mamba_expand=2 --pipeline_dtype="float32"
@@ -70,4 +72,3 @@ xformers 0.0.30
70
 
71
  下面是修改后的U-Net网络图
72
 
73
- ![image/png](https://cdn-uploads.huggingface.co/production/uploads/67b858cc26e7d5f7cb139325/gs0JYLZuuNmadj4daNm00.png)
 
3
  ---
4
  该模型是将Mamba的注意力用在stable diffusion V1.5 的U-Net网络里(即替换替换原有的自注意力层),然后进行了训练和评估,评估指标有FID和CLIP-T,GPU峰值显存占用。目前模型还未进一步改进。下面的说明是运行程序的指令。
5
 
6
+ 修改后的U-Net网络图
7
+ ![image/png](https://cdn-uploads.huggingface.co/production/uploads/67b858cc26e7d5f7cb139325/gs0JYLZuuNmadj4daNm00.png)
8
 
9
  推理代码
10
  python msd_infer.py --base_model="runwayml/stable-diffusion-v1-5" --checkpoint_dir="/root/mamba/sd-mamba-mscoco-urltext-10k-run3/checkpoint-31000" --unet_subfolder="unet_mamba" --prompt="a river" --output_path="ccat.png" --device="cuda" --seed=12345 --num_inference_steps=50 --guidance_scale=8.0 --mamba_d_state=16 --mamba_d_conv=4 --mamba_expand=2 --pipeline_dtype="float32"
 
72
 
73
  下面是修改后的U-Net网络图
74