Upload 4 files

sd/stable-diffusion-webui/extensions/sd-webui-supermerger/.gitignore

@@ -0,0 +1,131 @@
+# Byte-compiled / optimized / DLL files
+__pycache__/
+*.py[cod]
+*$py.class
+
+changelog.m
+
+# C extensions
+*.so
+
+# Distribution / packaging
+.Python
+build/
+develop-eggs/
+dist/
+downloads/
+eggs/
+.eggs/
+lib/
+lib64/
+parts/
+sdist/
+var/
+wheels/
+pip-wheel-metadata/
+share/python-wheels/
+*.egg-info/
+.installed.cfg
+*.egg
+MANIFEST
+
+# PyInstaller
+#  Usually these files are written by a python script from a template
+#  before PyInstaller builds the exe, so as to inject date/other infos into it.
+*.manifest
+*.spec
+
+# Installer logs
+pip-log.txt
+pip-delete-this-directory.txt
+
+# Unit test / coverage reports
+htmlcov/
+.tox/
+.nox/
+.coverage
+.coverage.*
+.cache
+nosetests.xml
+coverage.xml
+*.cover
+*.py,cover
+.hypothesis/
+.pytest_cache/
+
+# Translations
+*.mo
+*.pot
+
+# Django stuff:
+*.log
+local_settings.py
+db.sqlite3
+db.sqlite3-journal
+
+# Flask stuff:
+instance/
+.webassets-cache
+
+# Scrapy stuff:
+.scrapy
+
+# Sphinx documentation
+docs/_build/
+
+# PyBuilder
+target/
+
+# Jupyter Notebook
+.ipynb_checkpoints
+
+# IPython
+profile_default/
+ipython_config.py
+
+# pyenv
+.python-version
+
+# pipenv
+#   According to pypa/pipenv#598, it is recommended to include Pipfile.lock in version control.
+#   However, in case of collaboration, if having platform-specific dependencies or dependencies
+#   having no cross-platform support, pipenv may install dependencies that don't work, or not
+#   install all needed dependencies.
+#Pipfile.lock
+
+# PEP 582; used by e.g. github.com/David-OConnor/pyflow
+__pypackages__/
+
+# Celery stuff
+celerybeat-schedule
+celerybeat.pid
+
+# SageMath parsed files
+*.sage.py
+
+# Environments
+.env
+.venv
+env/
+venv/
+ENV/
+env.bak/
+venv.bak/
+
+# Spyder project settings
+.spyderproject
+.spyproject
+
+# Rope project settings
+.ropeproject
+
+# mkdocs documentation
+/site
+
+# mypy
+.mypy_cache/
+.dmypy.json
+dmypy.json
+
+# Pyre type checker
+.pyre/

sd/stable-diffusion-webui/extensions/sd-webui-supermerger/README.md

@@ -0,0 +1,126 @@
+# SuperMerger
+- Model merge extention for [AUTOMATIC1111's stable-diffusion-webui](https://github.com/AUTOMATIC1111/stable-diffusion-webui) 
+- Merge models can be loaded directly for generation without saving
+
+日本語は[こちら](https://github.com/hako-mikan/sd-webui-supermerger/blob/main/README_ja.md)
+
+# Recent Update
+All updates can be found [here](https://github.com/hako-mikan/sd-webui-supermerger/blob/ver2/changelog.md)  
+
+### update 2023.02.20.2000(JST)
+The timing of importing "diffusers" has been changed. With this update, some environments can be started without installing "diffusers".
+
+### bug fix 2023.02.19.2330(JST)
+Several bugs have been fixed
+- Error when LOWRAM option is enabled
+- Error on Linux
+- XY plot did not finish properly
+- Error when setting unused models
+
+### update to version 3 2023.02.17.2020(JST)
+- Added LoRA related functions
+- Logs can now be saved and settings can be recalled.
+- Save in safetensors and fp16 format is now supported.
+- Weight presets are now supported.
+- Reservation of XY plots is now possible.
+
+diffusers must now be installed. on windows, this can be done by typing "pip install diffusers" at the command prompt in the web-ui folder, but it depends on your environment.
+
+# overview
+This extension allows merged models to be loaded as models for image generation without saving them.
+This extension can prevent the use of HDD and SSD.
+
+## Usage
+
+### Merge mode
+#### Weight sum
+Normal merge. alpha is used. if MBW is enabled, MBW base is used as alpha.
+#### Add difference
+Add difference, if MBW is enabled, MBW base is used as alpha
+#### Triple sum
+Merge 3 models at the same time. alpha and beta are used. I added this function because there were three model selection windows, but I am not sure if it works effectively. 
+#### sum Twice
+Weight sum twice, alpha and beta are used. 
+
+### use MBW
+If checked, block-by-block merging is enabled. Use the slider at the bottom of the screen to set the ratio of each block.
+
+## Each button
+### Merge
+After merging, load as a model for generation. **Note that a different model is loaded than the model information in the upper left corner.** It will be reset when you re-select the model in the model selection screen on the top left.
+
+### Gen.
+Image generation is performed using the settings in the text2image tab.
+
+### Merge and Gen
+Merge and Generate image after merging.
+
+### Set from ID
+Read settings from merge log. The log is updated each time a merge is performed, and a sequential ID starting from 1 is assigned. Set on -1 will read the last merged configuration. The merge log is saved in extension/sd-webui-supermerger/mergehistory.csv. You can browse and search in the History tab. You can search and/or by separating with a half-width space.
+
+### Sequential XY Merge and Generation
+Performs sequential merge image generation. Effective in all merge modes.
+#### alpha,beta
+Change alpha and beta.
+#### alpha and beta
+Change alpha and beta at the same time. Separate alpha and beta with a single space, and separate each element with a comma. If only one number is entered, the same value is entered for both alpha and beta.  
+Example: 0,0.5 0.1,0.3 0.4,0.5
+#### MBW
+Performs a block-byblock merge. Enter ratios separated by newlines. Presets can be used, but be careful to **separate on a new line**.For Triple and Twice, enter two lines as a set. An odd number of lines will result in an error. 
+#### seed
+Changes the seed. Entering -1 will result in a fixed seed in the opposite axis direction.
+#### model_A,B,C
+Changes the model. The model selected in the model selection window is ignored.
+#### pinpoint blocks
+Changes only specific blocks in MBW. Choose alpha or beta for the opposite axis. If you enter a block ID, the alpha (beta) will change only for that block. As with the other types, use commas to separate them. Multiple blocks can be changed at the same time by separating them with a space or hyphen. NOT must be entered first to have any effect.
+##### Input example
+IN01,OUT10 OUT11, OUT03-OUT06,OUT07-OUT11,NOT M00 OUT03-OUT06
+In this case
+- 1:Only IN01 changes
+- 2:OUT10 and OUT11 change
+- 3:OUT03 to OUT06 change
+- 4:OUT07 to OUT11 change
+- 5:All except for M00 and OUT03 to OUT06 are changed.  
+
+Please be careful not to forget to input "0".
+![xy_grid-0006-2934360860 0](https://user-images.githubusercontent.com/122196982/214343111-e82bb20a-799b-4026-8e3c-dd36e26841e3.jpg)
+
+Block ID (only upper case letters are valid)
+BASE,IN00,IN01,IN02,IN03,IN04,IN05,IN06,IN07,IN08,IN09,IN10,IN11,M00,OUT00,OUT01,OUT02,OUT03,OUT04,OUT05,OUT06,OUT07,OUT08,OUT09, OUT10,OUT11
+
+### Reserve XY plot
+The Reserve XY plot button reserves the execution of an XY plot for the setting at the time the button is pressed, instead of immediately executing the plot. The reserved XY plot will be executed after the normal XY plot is completed or by pressing the Start XY plot button on the Reservation tab. Reservations can be made at any time during the execution or non-execution of an XY plot. The reservation list is not automatically updated, so use the Reload button. If an error occurs, the plot is discarded and the next reservation is executed. Images will not be displayed until all reservations are finished, but those that have been marked "Finished" have finished generating the grid and can be viewed in the Image Browser or other applications.
+
+### About Cache
+By storing models in memory, continuous merging and other operations can be sped up.
+Cache settings can be configured from web-ui's setting menu.
+
+### unload button
+Deletes the currently loaded model. This is used to free up GPU memory when using kohya-ss GUI. Once the model is deleted, you will not be able to generate images. If you want to generate images, please re-select models.
+
+## LoRA
+LoRA related functions. It is basically the same as kohya-ss scripts, but it supports block-by-block merging. Currently, it does not support V2.X series merging.
+### merge to checkpoint
+Merge LoRAs into a model. Multiple LoRAs can be merged at the same time.  
+Enter LoRA name1:ratio1:block1,LoRA name2:ratio2:block2,... 
+LoRA can also be used alone. The ":block" part can be omitted. The ratio can be any value, including negative values. There is no restriction that the total must sum to 1 (of course, if it greatly exceeds 1, it will break down).
+
+### Make LoRA
+Generates a LoRA from the difference of two models.
+If you specify a demension, it will be created with the specified dimension. If no demension is specified, LoRAs are created with dim 128.
+
+### merge LoRAs
+Merges one or more LoRAs. kohya-ss's latest script is used, so LoRAs with different dimensions can be merged, but note that the generated images may differ significantly because LoRAs are recalculated when dimensions are converted. 
+
+The calculate dimention button calculates the dimensions of each LoRA and activates the display and sorting functions. The calculation is rather time-consuming and takes several tens of seconds for a LoRA of about 50. Newly merged LoRAs will not appear in the list, so please press the reload button. Dimension recalculation only calculates the added LoRAs.
+
+### Difference between Normal Merge and SAME TO STRENGTH
+If the same to Strength option is not used, the result is the same as the merge in the script created by kohya-ss. In this case, the result is different from the case where LoRA is applied on Web-ui as shown in the figure below. The reason for this is related to the mathematical formula used to adopt LoRA into U-net. kohya-ss's script multiplies the ratio as it is, but the formula used to apply LoRA squares the ratio, so if the ratio is set to a number other than 1, or to a negative value, the result will differ from Strength (strength when applied).  Using the SAME TO STRENGTH option, the square root of the ratio is driven at merge time, so that Strength and the ratio are calculated to have the same meaning at apply time. It is also calculated so that a negative value will have the same effect. If you are not doing additional learning, for example, you may be fine using the SAME TO STRENGTH option, but if you are doing additional learning on the merged LoRA, you may not want to use anyone else's option.  
+The following figures show the generated images for each case of normal image generation/same to Strength option/normal merge, using  merged LoRAs of figmization and ukiyoE. You can see that in the case of normal merge, even in the negative direction, the image is squared and positive.
+![xyz_grid-0014-1534704891](https://user-images.githubusercontent.com/122196982/218322034-b7171298-5159-4619-be1d-ac684da92ed9.jpg)
+
+For hierarchical merges see
+
+https://github.com/bbc-mc/sdweb-merge-block-weighted-gui
+
+This script uses some scripts from web-ui, mbw-merge and kohya-ss

sd/stable-diffusion-webui/extensions/sd-webui-supermerger/README_ja.md

@@ -0,0 +1,126 @@
+# SuperMerger
+- Model merge extention for [AUTOMATIC1111's stable-diffusion-webui](https://github.com/AUTOMATIC1111/stable-diffusion-webui) 
+- Merge models can be loaded directly for generation without saving
+
+# Recent Update
+すべての更新履歴は[こちら](https://github.com/hako-mikan/sd-webui-supermerger/blob/ver2/changelog.md)にあります。  
+All updates can be found [here](https://github.com/hako-mikan/sd-webui-supermerger/blob/ver2/changelog.md).
+
+### update 2023.02.20.2000(JST)
+"diffusers"をインポートするタイミングを変更しました。このアップデートにより、環境によっては"diffusers"のインストールなしに起動できるようになります。
+
+### bug fix 2023.02.19.2330(JST)
+いくつかのバグが修正されました
+- LOWRAMオプション有効時にエラーになる問題
+- Linuxでエラーになる問題
+- XY plotが正常に終了しない問題
+- 未ロードのモデルを設定時にエラーになる問題
+
+### update to version 3 2023.02.17.2020(JST)
+- LoRA関係の機能を追加しました
+- Logを保存し、設定を呼び出せるようになりました
+- safetensors,fp16形式での保存に対応しました
+- weightのプリセットに対応しました
+- XYプロットの予約が可能になりました
+
+diffusersのインストールが必要になりました。windowsの場合はweb-uiのフォルダでコマンドプロンプトから"pip install diffusers"を打つことでインストールできる場合がありますが環境によります。
+# 
+
+# 概要
+このextentionではモデルをマージした際、保存せずに画像生成用のモデルとして読み込むことができます。
+これまでマージしたモデルはいったん保存して気に入らなければ削除するということが必要でしたが、このextentionを使うことでHDDやSSDの消耗を防ぐことができます。
+
+## 使い方
+
+### マージモード
+#### Weight sum
+通常のマージです。alphaが使用されます。MBWが有効になっている場合はMBWのbaseがアルファとして使われます
+#### Add difference
+差分マージです。MBWが有効になっている場合はMBWのbaseがアルファとして使われます
+#### Triple sum
+マージを3モデル同時に行います。alpha,betaが使用されます。モデル選択窓が3つあったので追加した機能ですが、有効に働かうかはわかりません。MBWでも使えます。それぞれMBWのalpha,betaを入力してください。
+#### sum Twice
+Weight sumを2回行います。alpha,betaが使用されます。MBWモードでも使えます。それぞれMBWのalpha,betaを入力してください。
+
+### use MBW
+チェックするとブロックごとのマージが有効になります。各ブロックごとの比率は下部のスライダーなどで設定してください。
+
+## 各ボタン
+### Merge
+マージした後、生成用モデルとして読み込みます。 __左上のモデル情報とは違うモデルがロードされていることに注意してください。__ 左上のモデル選択画面でモデルを選択しなおすとリセットされます
+
+### Gen
+text2imageタブの設定で画像生成を行います
+
+### Merge and Gen
+マージしたのち画像を生成します
+
+### Set from ID
+マージログから設定を読み込みます。ログはマージが行われるたびに更新され、1から始まる連番のIDが付与されます。IDを生成される画像やPNG infoに記載することも可能で、write merged model ID toから設定してください。-1でSetをすると最後にマージした設定を読み出します。マージログはextention/sd-webui-supermerger/mergehistory.csvに保存されます。他アプリで開いた状態だと読み取りエラーを起こすので注意してください。Historyタブで閲覧や検索が可能です。検索は半角スペースで区切ることでand/or検索が可能です。
+
+### Sequential XY Merge and Generation
+連続マージ画像生成を行います。すべてのマージモードで有効です。
+#### alpha,beta
+アルファ、ベータを変更します。
+#### alpha and beta
+アルファ、ベータを同時に変更します。アルファ、ベータの間は半角スペースで区切り、各要素はカンマで区切ってください。数字ひとつの場合はアルファベータ共に同じ値が入力されます。  
+例: 0,0.5 0.1,0.3 0.4,0.5
+#### MBW
+階層マージを行います。改行で区切った比率を入力してください。プリセットも使用可能ですが、**改行で区切る**ことに注意をして下さい。Triple,Twiceの場合は２行で１セットで入力して下さい。奇数行だとエラーになります。
+#### seed
+シードを変更します。-1と入力すると、反対の軸方向には固定されたseedになります。
+#### model_A,B,C
+モデルを変更します。モデル選択窓で選択されたモデルは無視されます。
+#### pinpoint blocks
+MBWにおいて特定のブロックのみを変化させます。反対の軸はalphaまたはbetaを選んでください。ブロックIDを入力すると、そのブロックのみalpha(beta)が変わります。他のタイプと同様にカンマで区切ります。スペースまたはハイフンで区切ることで複数のブロックを同時に変化させることもできます。最初にNOTをつけることで変化対象が反転します。NOT IN09-OUT02とすると、IN09-OUT02以外が変化します。NOTは最初に入力しないと効果がありません。
+##### 入力例
+IN01,OUT10 OUT11, OUT03-OUT06,OUT07-OUT11,NOT M00 OUT03-OUT06
+この場合
+- 1:IN01のみ変化
+- 2:OUT10およびOUT11が変化
+- 3:OUT03からOUT06が変化
+- 4:OUT07からOUT11が変化
+- 5:M00およびOUT03からOUT06以外が変化  
+
+となります。0の打ち忘れに注意してください。
+![xy_grid-0006-2934360860 0](https://user-images.githubusercontent.com/122196982/214343111-e82bb20a-799b-4026-8e3c-dd36e26841e3.jpg)
+
+ブロックID(大文字のみ有効)
+BASE,IN00,IN01,IN02,IN03,IN04,IN05,IN06,IN07,IN08,IN09,IN10,IN11,M00,OUT00,OUT01,OUT02,OUT03,OUT04,OUT05,OUT06,OUT07,OUT08,OUT09,OUT10,OUT11
+
+### XYプロットの予約
+Reserve XY plotボタンはすぐさまプロットを実行せず、ボタンを押したときの設定のXYプロットの実行を予約します。予約したXYプロットは通常のXYプロットが終了した後か、ReservationタブのStart XY plotボタンを押すと実行が開始されます。予約はXYプロット実行時・未実行時いつでも可能です。予約一覧は自動更新されないのでリロードボタンを使用してください。エラー発生時はそのプロットを破棄して次の予約を実行します。すべての予約が終了するまで画像は表示されませんが、Finishedになったものについてはグリッドの生成は終わっているので、Image Browser等で見ることが可能です。
+
+### キャッシュについて
+モデルをメモリ上に保存することにより連続マージなどを高速化することができます。
+キャッシュの設定はweb-uiのsettingから行ってください。
+
+### unloadボタン
+現在ロードされているモデルを消去します。これはkohya-ssのGUIを使用するときなどGPUメモリを開放するときに使用します。消去すると画像の生成はできません。生成する場合にはモデルを選び直して下さい。
+
+## LoRA
+LoRA関連の機能です。基本的にはkohya-ssのスクリプトと同じですが、階層マージに対応します。現時点ではV2.X系のマージには対応していません。
+### merge to checkpoint
+モデルにLoRAをマージします。複数のLoRAを同時にマージできます。  
+LoRA名1:マージ比率1:階層,LoRA名2:階層,マージ比率2,LoRA名3:マージ比率3･･･  
+と入力します。LoRA単独でも使用可能です。「:階層」の部分は無くても問題ありません。比率はマイナスを含めどんな値でも入力できます。合計が１にならないといけないという制約もありません(もちろん大きく1を越えると破綻します)。
+
+### Make LoRA
+ふたつのモデルの差分からLoRAを生成します。
+demensionを指定すると指定されたdimensionで作製されます。無指定の場合は128で作製します。
+
+### merge LoRAs
+ひとつまたは複数のLoRA同士をマージします。kohya-ss氏の最新のスクリプトを使用しているので、dimensionの異なるLoRA同氏もマージ可能ですが、dimensionの変換の際はLoRAの再計算を行うため、生成される画像が大きく異なる可能性があることに注意してください。  
+
+calculate dimentionボタンで各LoRAの次元を計算して表示・ソート機能が有効化します。計算にはわりと時間がかかって、50程度のLoRAでも数十秒かかります。新しくマージされたLoRAはリストに表示されないのでリロードボタンを押してください。次元の再計算は追加されたLoRAだけを計算します。
+
+### 通常マージとsame to Strengthの違い
+same to Strengthオプションを使用しない場合は、kohya-ss氏の作製したスクリプトのマージと同じ結果になります。この場合、下図のようにWeb-ui上でLoRAを適用した場合と異なる結果になります。これはLoRAをU-netに組み込む際の数式が関係しています。kohya-ss氏のスクリプトでは比率をそのまま掛けていますが、適用時の数式では比率が２乗されてしまうため、比率を1以外の数値に設定すると、あるいはマイナスに設定するとStrength（適用時の強度）と異なる結果となります。same to Strengthオプションを使用すると、マージ時には比率の平方根を駆けることで、適用時にはStrengthと比率が同じ意味を持つように計算しています。また、マイナスが効果が出るようにも計算しています。追加学習をしない場合などはsame to Strengthオプションを使用しても問題ないと思いますが、マージしたLoRAに対して追加学習をする場合はだれも使用しない方がいいかもしれません。  
+下図は通常適用/same to Strengthオプション/通常マージの各場合の生成画像です。figma化とukiyoE LoRAのマージを使用しています。通常マージの場合はマイナス方向でも２乗されてプラスになっていることが分かります。
+![xyz_grid-0014-1534704891](https://user-images.githubusercontent.com/122196982/218322034-b7171298-5159-4619-be1d-ac684da92ed9.jpg)
+
+階層別マージについては下記を参照してください
+
+https://github.com/bbc-mc/sdweb-merge-block-weighted-gui
+
+このスクリプトではweb-ui、mbw-merge、kohya-ssのスクリプトを一部使用しています

sd/stable-diffusion-webui/extensions/sd-webui-supermerger/changelog.md

@@ -0,0 +1,29 @@
+# Changelog
+### bug fix 2023.01.29.0000(JST)
+pinpoint blocksがX方向で使用できない問題を修正しました。  
+pinpoint blocks選択時Triple,Twiceを使用できない問題を解決しました  
+XY plot 使用時に一部軸タイプでMBWを使用できない問題を解決しました  
+Fixed a problem where pinpoint blocks could not be used in the X axis.  
+Fixed a problem in which Triple,Twice could not be used when selecting pinpoint blocks.  
+Problem solved where MBW could not be used with some axis types when using XY plot.
+
+### bug fixed 2023.01.28.0100(JST)
+MBWモードでSave current modelボタンが正常に動作しない問題を解決しました
+ファイル名が長すぎて保存時にエラーが出る問題を解決しました
+Problem solved where the "Save current model" button would not work properly in MBW mode
+Problem solved where an error would occur when saving a file with too long a file name
+
+### bug fixed 2023.01.26.2100(JST)
+XY plotにおいてタイプMBWが使用できない不具合を修正しました
+Fixed a bug that type of MBW could work in XY plot
+
+### updated 2023.01.25.0000(JST)
+added several features  
+- added new merge mode "Triple sum","sum Twice"  
+- added XY plot  
+- 新しいマージモードを追加しました "Triple sum","sum Twice"  
+- XY plot機能を追加しました  
+
+### bug fixed 2023.01.20.2350(JST)
+png infoがうまく保存できない問題を解決しました。  
+Problem solved where png info could not be saved properly.