diffusers/pr_13881/ko/_app/immutable/nodes/16.IlatBmwD.js

import"../chunks/DsnmJJEf.js";import{i as y,h as w,C as J,H as d,a as m,E as O,s as U}from"../chunks/CFM6C53a.js";import{p as v,o as S,s as t,f as Z,a as M,b as B,c as g,n as P}from"../chunks/CNc7KuUZ.js";const x='{"title":"Token Merging (토큰 병합)","local":"token-merging-토큰-병합","sections":[{"title":"ToMe 사용하기","local":"tome-사용하기","sections":[],"depth":2},{"title":"StableDiffusionPipeline 으로 tomesd 벤치마킹하기","local":"stablediffusionpipeline-으로-tomesd-벤치마킹하기","sections":[{"title":"A100","local":"a100","sections":[],"depth":3},{"title":"V100","local":"v100","sections":[],"depth":3}],"depth":2},{"title":"품질","local":"품질","sections":[],"depth":2}],"depth":1}';var G=g('<meta name="hf:doc:metadata"/>'),I=g(`<p></p> <!> <!> <p>Token Merging (introduced in <a href="https://huggingface.co/papers/2210.09461" rel="nofollow">Token Merging: Your ViT But Faster</a>)은 트랜스포머 기반 네트워크의 forward pass에서 중복 토큰이나 패치를 점진적으로 병합하는 방식으로 작동합니다. 이를 통해 기반 네트워크의 추론 지연 시간을 단축할 수 있습니다.</p> <p>Token Merging(ToMe)이 출시된 후, 저자들은 <a href="https://huggingface.co/papers/2303.17604" rel="nofollow">Fast Stable Diffusion을 위한 토큰 병합</a>을 발표하여 Stable Diffusion과 더 잘 호환되는 ToMe 버전을 소개했습니다. ToMe를 사용하면 <code>DiffusionPipeline</code>의 추론 지연 시간을 부드럽게 단축할 수 있습니다. 이 문서에서는 ToMe를 <code>StableDiffusionPipeline</code>에 적용하는 방법, 예상되는 속도 향상, <code>StableDiffusionPipeline</code>에서 ToMe를 사용할 때의 질적 측면에 대해 설명합니다.</p> <!> <p>ToMe의 저자들은 <a href="https://github.com/dbolya/tomesd" rel="nofollow"><code>tomesd</code></a>라는 편리한 Python 라이브러리를 공개했는데, 이 라이브러리를 이용하면 <code>DiffusionPipeline</code>에 ToMe를 다음과 같이 적용할 수 있습니다:</p> <!> <p>이것이 다입니다!</p> <p><code>tomesd.apply_patch()</code>는 파이프라인 추론 속도와 생성된 토큰의 품질 사이의 균형을 맞출 수 있도록 <a href="https://github.com/dbolya/tomesd#usage" rel="nofollow">여러 개의 인자</a>를 노출합니다. 이러한 인수 중 가장 중요한 것은 <code>ratio(비율)</code>입니다. <code>ratio</code>은 forward pass 중에 병합될 토큰의 수를 제어합니다. <code>tomesd</code>에 대한 자세한 내용은 해당 리포지토리(<a href="https://github.com/dbolya/tomesd" rel="nofollow">https://github.com/dbolya/tomesd</a>) 및 <a href="https://huggingface.co/papers/2303.17604" rel="nofollow">논문</a>을 참고하시기 바랍니다.</p> <!> <p>We benchmarked the impact of using <code>tomesd</code> on <code>StableDiffusionPipeline</code> along with <a href="https://huggingface.co/docs/diffusers/optimization/xformers" rel="nofollow">xformers</a> across different image resolutions. We used A100 and V100 as our test GPU devices with the following development environment (with Python 3.8.5):
다양한 이미지 해상도에서 <a href="https://huggingface.co/docs/diffusers/optimization/xformers" rel="nofollow">xformers</a>를 적용한 상태에서, <code>StableDiffusionPipeline</code>에 <code>tomesd</code>를 사용했을 때의 영향을 벤치마킹했습니다. 테스트 GPU 장치로 A100과 V100을 사용했으며 개발 환경은 다음과 같습니다(Python 3.8.5 사용):</p> <!> <p>벤치마킹에는 다음 스크립트를 사용했습니다: <a href="https://gist.github.com/sayakpaul/27aec6bca7eb7b0e0aa4112205850335" rel="nofollow">https://gist.github.com/sayakpaul/27aec6bca7eb7b0e0aa4112205850335</a>. 결과는 다음과 같습니다:</p> <!> <table><thead><tr><th>해상도</th><th>배치 크기</th><th>Vanilla</th><th>ToMe</th><th>ToMe + xFormers</th><th>ToMe 속도 향상 (%)</th><th>ToMe + xFormers 속도 향상 (%)</th></tr></thead><tbody><tr><td>512</td><td>10</td><td>6.88</td><td>5.26</td><td>4.69</td><td>23.54651163</td><td>31.83139535</td></tr><tr><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>768</td><td>10</td><td>OOM</td><td>14.71</td><td>11</td><td></td><td></td></tr><tr><td></td><td>8</td><td>OOM</td><td>11.56</td><td>8.84</td><td></td><td></td></tr><tr><td></td><td>4</td><td>OOM</td><td>5.98</td><td>4.66</td><td></td><td></td></tr><tr><td></td><td>2</td><td>4.99</td><td>3.24</td><td>3.1</td><td>35.07014028</td><td>37.8757515</td></tr><tr><td></td><td>1</td><td>3.29</td><td>2.24</td><td>2.03</td><td>31.91489362</td><td>38.29787234</td></tr><tr><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>1024</td><td>10</td><td>OOM</td><td>OOM</td><td>OOM</td><td></td><td></td></tr><tr><td></td><td>8</td><td>OOM</td><td>OOM</td><td>OOM</td><td></td><td></td></tr><tr><td></td><td>4</td><td>OOM</td><td>12.51</td><td>9.09</td><td></td><td></td></tr><tr><td></td><td>2</td><td>OOM</td><td>6.52</td><td>4.96</td><td></td><td></td></tr><tr><td></td><td>1</td><td>6.4</td><td>3.61</td><td>2.81</td><td>43.59375</td><td>56.09375</td></tr></tbody></table> <p><strong><em>결과는 초 단위입니다. 속도 향상은 <code>Vanilla</code>과 비교해 계산됩니다.</em></strong></p> <!> <table><thead><tr><th>해상도</th><th>배치 크기</th><th>Vanilla</th><th>ToMe</th><th>ToMe + xFormers</th><th>ToMe 속도 향상 (%)</th><th>ToMe + xFormers 속도 향상 (%)</th></tr></thead><tbody><tr><td>512</td><td>10</td><td>OOM</td><td>10.03</td><td>9.29</td><td></td><td></td></tr><tr><td></td><td>8</td><td>OOM</td><td>8.05</td><td>7.47</td><td></td><td></td></tr><tr><td></td><td>4</td><td>5.7</td><td>4.3</td><td>3.98</td><td>24.56140351</td><td>30.1754386</td></tr><tr><td></td><td>2</td><td>3.14</td><td>2.43</td><td>2.27</td><td>22.61146497</td><td>27.70700637</td></tr><tr><td></td><td>1</td><td>1.88</td><td>1.57</td><td>1.57</td><td>16.4893617</td><td>16.4893617</td></tr><tr><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>768</td><td>10</td><td>OOM</td><td>OOM</td><td>23.67</td><td></td><td></td></tr><tr><td></td><td>8</td><td>OOM</td><td>OOM</td><td>18.81</td><td></td><td></td></tr><tr><td></td><td>4</td><td>OOM</td><td>11.81</td><td>9.7</td><td></td><td></td></tr><tr><td></td><td>2</td><td>OOM</td><td>6.27</td><td>5.2</td><td></td><td></td></tr><tr><td></td><td>1</td><td>5.43</td><td>3.38</td><td>2.82</td><td>37.75322284</td><td>48.06629834</td></tr><tr><td></td><td></td><td></td><td></td><td></td><td></td><td></td></tr><tr><td>1024</td><td>10</td><td>OOM</td><td>OOM</td><td>OOM</td><td></td><td></td></tr><tr><td></td><td>8</td><td>OOM</td><td>OOM</td><td>OOM</td><td></td><td></td></tr><tr><td></td><td>4</td><td>OOM</td><td>OOM</td><td>19.35</td><td></td><td></td></tr><tr><td></td><td>2</td><td>OOM</td><td>13</td><td>10.78</td><td></td><td></td></tr><tr><td></td><td>1</td><td>OOM</td><td>6.66</td><td>5.54</td><td></td><td></td></tr></tbody></table> <p>위의 표에서 볼 수 있듯이, 이미지 해상도가 높을수록 <code>tomesd</code>를 사용한 속도 향상이 더욱 두드러집니다. 또한 <code>tomesd</code>를 사용하면 1024x1024와 같은 더 높은 해상도에서 파이프라인을 실행할 수 있다는 점도 흥미롭습니다.</p> <p><a href="https://huggingface.co/docs/diffusers/optimization/torch2.0" rel="nofollow"><code>torch.compile()</code></a>을 사용하면 추론 속도를 더욱 높일 수 있습니다.</p> <!> <p>As reported in <a href="https://huggingface.co/papers/2303.17604" rel="nofollow">the paper</a>, ToMe can preserve the quality of the generated images to a great extent while speeding up inference. By increasing the <code>ratio</code>, it is possible to further speed up inference, but that might come at the cost of a deterioration in the image quality.</p> <p>To test the quality of the generated samples using our setup, we sampled a few prompts from the “Parti Prompts” (introduced in <a href="https://parti.research.google/" rel="nofollow">Parti</a>) and performed inference with the <code>StableDiffusionPipeline</code> in the following settings:</p> <p><a href="https://huggingface.co/papers/2303.17604" rel="nofollow">논문</a>에 보고된 바와 같이, ToMe는 생성된 이미지의 품질을 상당 부분 보존하면서 추론 속도를 높일 수 있습니다. <code>ratio</code>을 높이면 추론 속도를 더 높일 수 있지만, 이미지 품질이 저하될 수 있습니다.</p> <p>해당 설정을 사용하여 생성된 샘플의 품질을 테스트하기 위해, “Parti 프롬프트”(<a href="https://parti.research.google/" rel="nofollow">Parti</a>에서 소개)에서 몇 가지 프롬프트를 샘플링하고 다음 설정에서 <code>StableDiffusionPipeline</code>을 사용하여 추론을 수행했습니다:</p> <ul><li>Vanilla <code>StableDiffusionPipeline</code></li> <li><code>StableDiffusionPipeline</code> + ToMe</li> <li><code>StableDiffusionPipeline</code> + ToMe + xformers</li></ul> <p>생성된 샘플의 품질이 크게 저하되는 것을 발견하지 못했습니다. 다음은 샘플입니다:</p> <p><img src="https://huggingface.co/datasets/diffusers/docs-images/resolve/main/tome/tome_samples.png" alt="tome-samples"/></p> <p>생성된 샘플은 <a href="https://wandb.ai/sayakpaul/tomesd-results/runs/23j4bj3i?workspace=" rel="nofollow">여기</a>에서 확인할 수 있습니다. 이 실험을 수행하기 위해 <a href="https://gist.github.com/sayakpaul/8cac98d7f22399085a060992f411ecbd" rel="nofollow">이 스크립트</a>를 사용했습니다.</p> <!> <p></p>`,1);function C(u,b){v(b,!1),S(()=>{new URLSearchParams(window.location.search).get("fw")}),y();var e=I();w("1s9cqpi",h=>{var f=G();U(f,"content",x),M(h,f)});var o=t(Z(e),2);J(o,{containerStyle:"float: right; margin-left: 10px; display: inline-flex; position: relative; z-index: 10;"});var a=t(o,2);d(a,{title:"Token Merging (토큰 병합)",local:"token-merging-토큰-병합",headingTag:"h1"});var i=t(a,6);d(i,{title:"ToMe 사용하기",local:"tome-사용하기",headingTag:"h2"});var r=t(i,4);m(r,{code:"ZnJvbSUyMGRpZmZ1c2VycyUyMGltcG9ydCUyMFN0YWJsZURpZmZ1c2lvblBpcGVsaW5lJTBBaW1wb3J0JTIwdG9tZXNkJTBBJTBBcGlwZWxpbmUlMjAlM0QlMjBTdGFibGVEaWZmdXNpb25QaXBlbGluZS5mcm9tX3ByZXRyYWluZWQoJTBBJTIwJTIwJTIwJTIwJTIwJTIwJTIyc3RhYmxlLWRpZmZ1c2lvbi12MS01JTJGc3RhYmxlLWRpZmZ1c2lvbi12MS01JTIyJTJDJTIwdG9yY2hfZHR5cGUlM0R0b3JjaC5mbG9hdDE2JTBBKS50byglMjJjdWRhJTIyKSUwQSUyQiUyMHRvbWVzZC5hcHBseV9wYXRjaChwaXBlbGluZSUyQyUyMHJhdGlvJTNEMC41KSUwQSUwQWltYWdlJTIwJTNEJTIwcGlwZWxpbmUoJTIyYSUyMHBob3RvJTIwb2YlMjBhbiUyMGFzdHJvbmF1dCUyMHJpZGluZyUyMGElMjBob3JzZSUyMG9uJTIwbWFycyUyMikuaW1hZ2VzJTVCMCU1RA==",highlighted:`from diffusers import StableDiffusionPipeline
import tomesd

pipeline = StableDiffusionPipeline.from_pretrained(
      &quot;stable-diffusion-v1-5/stable-diffusion-v1-5&quot;, torch_dtype=torch.float16
).to(&quot;cuda&quot;)
<span class="hljs-addition">+ tomesd.apply_patch(pipeline, ratio=0.5)</span>

image = pipeline(&quot;a photo of an astronaut riding a horse on mars&quot;).images[0]`,lang:"diff",wrap:!1});var l=t(r,6);d(l,{title:"StableDiffusionPipeline 으로 tomesd 벤치마킹하기",local:"stablediffusionpipeline-으로-tomesd-벤치마킹하기",headingTag:"h2"});var s=t(l,4);m(s,{code:"LSUyMCU2MGRpZmZ1c2VycyU2MCUyMHZlcnNpb24lM0ElMjAwLjE1LjElMEEtJTIwUHl0aG9uJTIwdmVyc2lvbiUzQSUyMDMuOC4xNiUwQS0lMjBQeVRvcmNoJTIwdmVyc2lvbiUyMChHUFUlM0YpJTNBJTIwMS4xMy4xJTJCY3UxMTYlMjAoVHJ1ZSklMEEtJTIwSHVnZ2luZ2ZhY2VfaHViJTIwdmVyc2lvbiUzQSUyMDAuMTMuMiUwQS0lMjBUcmFuc2Zvcm1lcnMlMjB2ZXJzaW9uJTNBJTIwNC4yNy4yJTBBLSUyMEFjY2VsZXJhdGUlMjB2ZXJzaW9uJTNBJTIwMC4xOC4wJTBBLSUyMHhGb3JtZXJzJTIwdmVyc2lvbiUzQSUyMDAuMC4xNiUwQS0lMjB0b21lc2QlMjB2ZXJzaW9uJTNBJTIwMC4xLjI=",highlighted:`- \`diffusers\` version: 0.15.1
- Python version: 3.8.16
- PyTorch version (GPU?): 1.13.1+cu116 (True)
- Huggingface_hub version: 0.13.2
- Transformers version: 4.27.2
- Accelerate version: 0.18.0
- xFormers version: 0.0.16
- tomesd version: 0.1.2`,lang:"bash",wrap:!1});var n=t(s,4);d(n,{title:"A100",local:"a100",headingTag:"h3"});var c=t(n,6);d(c,{title:"V100",local:"v100",headingTag:"h3"});var p=t(c,8);d(p,{title:"품질",local:"품질",headingTag:"h2"});var T=t(p,18);O(T,{source:"https://github.com/huggingface/diffusers/blob/main/docs/source/ko/optimization/tome.md"}),P(2),M(u,e),B()}export{C as component};