diffusers/pr_14313/zh/_app/immutable/nodes/18.VSMfAQRM.js

import"../chunks/DsnmJJEf.js";import{i as y,h as g,C as u,H as n,b as d,E as b,s as O}from"../chunks/Dv-EnAnp.js";import{p as T,o as w,s as t,f as V,a as p,b as Q,c as h,n as j}from"../chunks/F-c_tsrl.js";const C='{"title":"令牌合并","local":"令牌合并","sections":[{"title":"基准测试","local":"基准测试","sections":[],"depth":2}],"depth":1}';var J=h('<meta name="hf:doc:metadata"/>'),R=h(`<p></p> <!> <!> <p><a href="https://huggingface.co/papers/2303.17604" rel="nofollow">令牌合并</a>（ToMe）在基于 Transformer 的网络的前向传递中逐步合并冗余令牌/补丁，这可以加速 <code>StableDiffusionPipeline</code> 的推理延迟。</p> <p>从 <code>pip</code> 安装 ToMe：</p> <!> <p>您可以使用 <a href="https://github.com/dbolya/tomesd" rel="nofollow"><code>tomesd</code></a> 库中的 <a href="https://github.com/dbolya/tomesd?tab=readme-ov-file#usage" rel="nofollow"><code>apply_patch</code></a> 函数：</p> <!> <p><code>apply_patch</code> 函数公开了多个<a href="https://github.com/dbolya/tomesd#usage" rel="nofollow">参数</a>，以帮助在管道推理速度和生成令牌的质量之间取得平衡。最重要的参数是 <code>ratio</code>，它控制在前向传递期间合并的令牌数量。</p> <p>如<a href="https://huggingface.co/papers/2303.17604" rel="nofollow">论文</a>中所述，ToMe 可以在显著提升推理速度的同时，很大程度上保留生成图像的质量。通过增加 <code>ratio</code>，您可以进一步加速推理，但代价是图像质量有所下降。</p> <p>为了测试生成图像的质量，我们从 <a href="https://parti.research.google/" rel="nofollow">Parti Prompts</a> 中采样了一些提示，并使用 <code>StableDiffusionPipeline</code> 进行了推理，设置如下：</p> <div class="flex justify-center"><img src="https://huggingface.co/datasets/diffusers/docs-images/resolve/main/tome/tome_samples.png"/></div> <p>我们没有注意到生成样本的质量有任何显著下降，您可以在此 <a href="https://wandb.ai/sayakpaul/tomesd-results/runs/23j4bj3i?workspace=" rel="nofollow">WandB 报告</a>中查看生成的样本。如果您有兴趣重现此实验，请使用此<a href="https://gist.github.com/sayakpaul/8cac98d7f22399085a060992f411ecbd" rel="nofollow">脚本</a>。</p> <!> <p>我们还在启用 <a href="https://huggingface.co/docs/diffusers/optimization/xformers" rel="nofollow">xFormers</a> 的情况下，对 <code>StableDiffusionPipeline</code> 上 <code>tomesd</code> 的影响进行了基准测试，涵盖了多个图像分辨率。结果
结果是从以下开发环境中的A100和V100 GPU获得的：</p> <!> <p>要重现此基准测试，请随意使用此<a href="https://gist.github.com/sayakpaul/27aec6bca7eb7b0e0aa4112205850335" rel="nofollow">脚本</a>。结果以秒为单位报告，并且在适用的情况下，我们报告了使用ToMe和ToMe + xFormers时相对于原始管道的加速百分比。</p> <table><thead><tr><th><strong>GPU</strong></th><th><strong>分辨率</strong></th><th><strong>批处理大小</strong></th><th><strong>原始</strong></th><th><strong>ToMe</strong></th><th><strong>ToMe + xFormers</strong></th></tr></thead><tbody><tr><td><strong>A100</strong></td><td>512</td><td>10</td><td>6.88</td><td>5.26 (+23.55%)</td><td>4.69 (+31.83%)</td></tr><tr><td></td><td>768</td><td>10</td><td>OOM</td><td>14.71</td><td>11</td></tr><tr><td></td><td></td><td>8</td><td>OOM</td><td>11.56</td><td>8.84</td></tr><tr><td></td><td></td><td>4</td><td>OOM</td><td>5.98</td><td>4.66</td></tr><tr><td></td><td></td><td>2</td><td>4.99</td><td>3.24 (+35.07%)</td><td>2.1 (+37.88%)</td></tr><tr><td></td><td></td><td>1</td><td>3.29</td><td>2.24 (+31.91%)</td><td>2.03 (+38.3%)</td></tr><tr><td></td><td>1024</td><td>10</td><td>OOM</td><td>OOM</td><td>OOM</td></tr><tr><td></td><td></td><td>8</td><td>OOM</td><td>OOM</td><td>OOM</td></tr><tr><td></td><td></td><td>4</td><td>OOM</td><td>12.51</td><td>9.09</td></tr><tr><td></td><td></td><td>2</td><td>OOM</td><td>6.52</td><td>4.96</td></tr><tr><td></td><td></td><td>1</td><td>6.4</td><td>3.61 (+43.59%)</td><td>2.81 (+56.09%)</td></tr><tr><td><strong>V100</strong></td><td>512</td><td>10</td><td>OOM</td><td>10.03</td><td>9.29</td></tr><tr><td></td><td></td><td>8</td><td>OOM</td><td>8.05</td><td>7.47</td></tr><tr><td></td><td></td><td>4</td><td>5.7</td><td>4.3 (+24.56%)</td><td>3.98 (+30.18%)</td></tr><tr><td></td><td></td><td>2</td><td>3.14</td><td>2.43 (+22.61%)</td><td>2.27 (+27.71%)</td></tr><tr><td></td><td></td><td>1</td><td>1.88</td><td>1.57 (+16.49%)</td><td>1.57 (+16.49%)</td></tr><tr><td></td><td>768</td><td>10</td><td>OOM</td><td>OOM</td><td>23.67</td></tr><tr><td></td><td></td><td>8</td><td>OOM</td><td>OOM</td><td>18.81</td></tr><tr><td></td><td></td><td>4</td><td>OOM</td><td>11.81</td><td>9.7</td></tr><tr><td></td><td></td><td>2</td><td>OOM</td><td>6.27</td><td>5.2</td></tr><tr><td></td><td></td><td>1</td><td>5.43</td><td>3.38 (+37.75%)</td><td>2.82 (+48.07%)</td></tr><tr><td></td><td>1024</td><td>10</td><td>OOM</td><td></td><td></td></tr></tbody></table> <p>如上表所示，<code>tomesd</code> 带来的加速效果在更大的图像分辨率下变得更加明显。有趣的是，使用 <code>tomesd</code> 可以在更高分辨率如 1024x1024 上运行管道。您可能还可以通过 <a href="fp16#torchcompile"><code>torch.compile</code></a> 进一步加速推理。</p> <!> <p></p>`,1);function B(U,f){T(f,!1),w(()=>{new URLSearchParams(window.location.search).get("fw")}),y();var o=R();g("1s9cqpi",c=>{var M=J();O(M,"content",C),p(c,M)});var e=t(V(o),2);u(e,{containerStyle:"float: right; margin-left: 10px; display: inline-flex; position: relative; z-index: 10;"});var l=t(e,2);n(l,{title:"令牌合并",local:"令牌合并",headingTag:"h1"});var a=t(l,6);d(a,{code:"cGlwJTIwaW5zdGFsbCUyMHRvbWVzZA==",highlighted:"pip install tomesd",lang:"bash",wrap:!1});var r=t(a,4);d(r,{code:"JTIwJTIwZnJvbSUyMGRpZmZ1c2VycyUyMGltcG9ydCUyMFN0YWJsZURpZmZ1c2lvblBpcGVsaW5lJTBBJTIwJTIwaW1wb3J0JTIwdG9yY2glMEElMjAlMjBpbXBvcnQlMjB0b21lc2QlMEElMEElMjAlMjBwaXBlbGluZSUyMCUzRCUyMFN0YWJsZURpZmZ1c2lvblBpcGVsaW5lLmZyb21fcHJldHJhaW5lZCglMEElMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjAlMjJzdGFibGUtZGlmZnVzaW9uLXYxLTUlMkZzdGFibGUtZGlmZnVzaW9uLXYxLTUlMjIlMkMlMjBkdHlwZSUzRHRvcmNoLmZsb2F0MTYlMkMlMjB1c2Vfc2FmZXRlbnNvcnMlM0RUcnVlJTJDJTBBJTIwJTIwKS50byglMjJjdWRhJTIyKSUwQSUyQiUyMHRvbWVzZC5hcHBseV9wYXRjaChwaXBlbGluZSUyQyUyMHJhdGlvJTNEMC41KSUwQSUwQSUyMCUyMGltYWdlJTIwJTNEJTIwcGlwZWxpbmUoJTIyYSUyMHBob3RvJTIwb2YlMjBhbiUyMGFzdHJvbmF1dCUyMHJpZGluZyUyMGElMjBob3JzZSUyMG9uJTIwbWFycyUyMikuaW1hZ2VzJTVCMCU1RA==",highlighted:`  from diffusers import StableDiffusionPipeline
  import torch
  import tomesd

  pipeline = StableDiffusionPipeline.from_pretrained(
        &quot;stable-diffusion-v1-5/stable-diffusion-v1-5&quot;, dtype=torch.float16, use_safetensors=True,
  ).to(&quot;cuda&quot;)
<span class="hljs-addition">+ tomesd.apply_patch(pipeline, ratio=0.5)</span>

  image = pipeline(&quot;a photo of an astronaut riding a horse on mars&quot;).images[0]`,lang:"diff",wrap:!1});var s=t(r,12);n(s,{title:"基准测试",local:"基准测试",headingTag:"h2"});var i=t(s,4);d(i,{code:"LSUyMCU2MGRpZmZ1c2VycyU2MCUyMCVFNyU4OSU4OCVFNiU5QyVBQyVFRiVCQyU5QTAuMTUuMSUwQS0lMjBQeXRob24lMjAlRTclODklODglRTYlOUMlQUMlRUYlQkMlOUEzLjguMTYlMEEtJTIwUHlUb3JjaCUyMCVFNyU4OSU4OCVFNiU5QyVBQyVFRiVCQyU4OEdQVSVFRiVCQyU5RiVFRiVCQyU4OSVFRiVCQyU5QTEuMTMuMSUyQmN1MTE2JTIwKFRydWUpJTBBLSUyMEh1Z2dpbmdmYWNlX2h1YiUyMCVFNyU4OSU4OCVFNiU5QyVBQyVFRiVCQyU5QTAuMTMuMiUwQS0lMjBUcmFuc2Zvcm1lcnMlMjAlRTclODklODglRTYlOUMlQUMlRUYlQkMlOUE0LjI3LjIlMEEtJTIwQWNjZWxlcmF0ZSUyMCVFNyU4OSU4OCVFNiU5QyVBQyVFRiVCQyU5QTAuMTguMCUwQS0lMjB4Rm9ybWVycyUyMCVFNyU4OSU4OCVFNiU5QyVBQyVFRiVCQyU5QTAuMC4xNiUwQS0lMjB0b21lc2QlMjAlRTclODklODglRTYlOUMlQUMlRUYlQkMlOUEwLjEuMg==",highlighted:`- \`diffusers\` 版本：0.15.1
- Python 版本：3.8.16
- PyTorch 版本（GPU？）：1.13.1+cu116 (True)
- Huggingface_hub 版本：0.13.2
- Transformers 版本：4.27.2
- Accelerate 版本：0.18.0
- xFormers 版本：0.0.16
- tomesd 版本：0.1.2`,lang:"bash",wrap:!1});var m=t(i,8);b(m,{source:"https://github.com/huggingface/diffusers/blob/main/docs/source/zh/optimization/tome.md"}),j(2),p(U,o),Q()}export{B as component};