Update README.md

README.md

@@ -1,109 +1,165 @@
----
-base_model: []
-library_name: transformers
-tags:
-- mergekit
-- merge
-
----
-# final_merge
-
-This is a merge of pre-trained language models created using [mergekit](https://github.com/cg123/mergekit).
-
-## Merge Details
-### Merge Method
-
-This model was merged using the [DARE](https://arxiv.org/abs/2311.03099) [TIES](https://arxiv.org/abs/2306.01708) merge method using evol_merge_storage\input_models\Antler7B_2159541861 as a base.
-
-### Models Merged
-
-The following models were included in the merge:
-* evol_merge_storage\input_models\chatntq-ja-7b-v1.0-westlake_932715917
-* evol_merge_storage\input_models\antler-starling-08_4074283220
-* evol_merge_storage\input_models\Phos7b-RP_654656604
-
-### Configuration
-
-The following YAML configuration was used to produce this model:
-
-```yaml
-base_model: evol_merge_storage\input_models\Antler7B_2159541861
-dtype: bfloat16
-merge_method: dare_ties
-parameters:
-  int8_mask: 1.0
-  normalize: 1.0
-slices:
-- sources:
-  - layer_range: [0, 8]
-    model: evol_merge_storage\input_models\Phos7b-RP_654656604
-    parameters:
-      density: 0.584107666175788
-      weight: 0.47231634419785595
-  - layer_range: [0, 8]
-    model: evol_merge_storage\input_models\chatntq-ja-7b-v1.0-westlake_932715917
-    parameters:
-      density: 0.9357007414387093
-      weight: 0.25531843586626907
-  - layer_range: [0, 8]
-    model: evol_merge_storage\input_models\antler-starling-08_4074283220
-    parameters:
-      density: 0.9750447748820433
-      weight: 0.4753247646722287
-  - layer_range: [0, 8]
-    model: evol_merge_storage\input_models\Antler7B_2159541861
-- sources:
-  - layer_range: [8, 16]
-    model: evol_merge_storage\input_models\Phos7b-RP_654656604
-    parameters:
-      density: 0.8802238329444649
-      weight: 0.4482746205621599
-  - layer_range: [8, 16]
-    model: evol_merge_storage\input_models\chatntq-ja-7b-v1.0-westlake_932715917
-    parameters:
-      density: 1.0
-      weight: 0.5524329574915081
-  - layer_range: [8, 16]
-    model: evol_merge_storage\input_models\antler-starling-08_4074283220
-    parameters:
-      density: 1.0
-      weight: 0.22634815425570032
-  - layer_range: [8, 16]
-    model: evol_merge_storage\input_models\Antler7B_2159541861
-- sources:
-  - layer_range: [16, 24]
-    model: evol_merge_storage\input_models\Phos7b-RP_654656604
-    parameters:
-      density: 0.9921437573982935
-      weight: 0.44636209472148164
-  - layer_range: [16, 24]
-    model: evol_merge_storage\input_models\chatntq-ja-7b-v1.0-westlake_932715917
-    parameters:
-      density: 0.8757091247914811
-      weight: 0.15431351637040108
-  - layer_range: [16, 24]
-    model: evol_merge_storage\input_models\antler-starling-08_4074283220
-    parameters:
-      density: 0.8667200206865777
-      weight: 0.37827962987746055
-  - layer_range: [16, 24]
-    model: evol_merge_storage\input_models\Antler7B_2159541861
-- sources:
-  - layer_range: [24, 32]
-    model: evol_merge_storage\input_models\Phos7b-RP_654656604
-    parameters:
-      density: 0.966615155256828
-      weight: 0.5041762338947331
-  - layer_range: [24, 32]
-    model: evol_merge_storage\input_models\chatntq-ja-7b-v1.0-westlake_932715917
-    parameters:
-      density: 1.0
-      weight: 0.22555101554235693
-  - layer_range: [24, 32]
-    model: evol_merge_storage\input_models\antler-starling-08_4074283220
-    parameters:
-      density: 0.7616963147939114
-      weight: 0.397020374822854
-  - layer_range: [24, 32]
-    model: evol_merge_storage\input_models\Antler7B_2159541861
-```
+---
+base_model: []
+library_name: transformers
+tags:
+- mergekit
+- merge
+
+---
+
+# Antler 7B Evolve
+
+<img src="https://huggingface.co/Elizezen/Antler-7B/resolve/main/OIG3.UAjshTXCEJU.jpg" alt="drawing" style="width:512px;"/>
+
+## Model Description
+
+This is a merge of pre-trained language models created using [mergekit](https://github.com/cg123/mergekit), using **Evolutionary Model Merging**.
+
+Generally better than Antler-7B at writing novels, especially at maintaining the context, but it can fall short for eroticness compared to the original model.
+
+## Example
+
+### Input
+
+```
+その日の昼下がり。私とあやはお揃いの浴衣を身に纏い、冬祭りを楽しむために町へと繰り出していた。むろん、忍者の素性を隠すために皆変装している。
+普段着慣れない服装のため少々落ち着かないものの、帯が緩んだり着崩れしないよう意識しながら歩く。するとあやも同じようにぎこちなく歩いているのが分かった。
+やがて街並みは活気に満ち始め、道行く人々の賑やかな声が聞こえてくる。
+広場に到着すると、そこは大勢の人々でにぎわい、色とりどりの提灯が辺りを照らしていた。様々な出店が並び、大勢の子供達とその親御さんが駆け回っている。
+広場の中央付近にある舞台では催���物が開催されており、太鼓の音に合わせて歌っている演者たちがいた。
+「わぁ～、きれい！」
+目を輝かせて辺りを見回すあや。こうしてみると年相応の子どもに見える。
+「こら、勝手に走り回らない」
+「えへへ～ごめんなさい」
+たしなめられながらも、顔は綻んでいる様子からも分かる通り、彼女も楽しみにしているのは明らかだろう。
+あやが楽しそうだと、私も嬉しい。不思議なものだな。今までこんな気持ちになったことはなかった。
+思わず私まで笑顔になってしまう。
+「このちゃん、このちゃん！見て！このちょうちん可愛い～！」
+「おお」
+彼女に袖を引かれて連れて行かれたのは、可愛らしい動物の絵柄があしらわれた行燈。どうやら売店が出しているらしい。
+屋台では
+```
+
+### Output
+
+```
+屋台では焼きそばや焼き鳥などの定番と並んで、冬限定の鍋専門店なども出ていた。
+「あやはなにか食べたいものあるか？」
+「えっとね～、お好み焼きとか……」
+「お好み焼き？」
+私は初めて聞く料理名に首を傾げる。あやは目をキラキラさせながら、その料理について説明してくれた。
+小麦粉の生地にキャベツや豚肉、天かす、そしてお好み焼きソースをかけて焼いた、大阪名物の料理らしい。
+「それはまた面白そうなものだな。ではそこの屋台に行ってみよう」
+私達は目星をつけた屋台へ向かうことにした。
+お好み焼きの屋台は、予想以上の盛況ぶりで行列ができていた。しかし、並ぶこと30分ほどで私たちの番がやってくる。
+「おばちゃん、これください」
+「あいよ！ちょっと待ってな！」
+屋台のおばちゃんは威勢のいい声で返事をすると、手慣れた様子で鉄板の上でお好み焼きを焼き上げる。
+「これがお好み焼きだよ」
+出来上がったお好み焼きを手にしたあやが、うっとりとした様子でそう言った。
+「ほう。見るからに美味しそうだ」
+私もその色合いに誘われるようにして、一口頬
+```
+
+### Intended Use
+
+The model is mainly intended to be used for generating novels. It may not be so capable with instruction-based responses.
+
+
+## Merge Details
+### Merge Method
+
+This model was merged using the [DARE](https://arxiv.org/abs/2311.03099) [TIES](https://arxiv.org/abs/2306.01708) merge method using evol_merge_storage\input_models\Antler7B_2159541861 as a base.
+
+### Models Merged
+
+The following models were included in the merge:
+* evol_merge_storage\input_models\chatntq-ja-7b-v1.0-westlake_932715917
+* evol_merge_storage\input_models\antler-starling-08_4074283220
+* evol_merge_storage\input_models\Phos7b-RP_654656604
+
+### Configuration
+
+The following YAML configuration was used to produce this model:
+
+```yaml
+base_model: evol_merge_storage\input_models\Antler7B_2159541861
+dtype: bfloat16
+merge_method: dare_ties
+parameters:
+  int8_mask: 1.0
+  normalize: 1.0
+slices:
+- sources:
+  - layer_range: [0, 8]
+    model: evol_merge_storage\input_models\Phos7b-RP_654656604
+    parameters:
+      density: 0.584107666175788
+      weight: 0.47231634419785595
+  - layer_range: [0, 8]
+    model: evol_merge_storage\input_models\chatntq-ja-7b-v1.0-westlake_932715917
+    parameters:
+      density: 0.9357007414387093
+      weight: 0.25531843586626907
+  - layer_range: [0, 8]
+    model: evol_merge_storage\input_models\antler-starling-08_4074283220
+    parameters:
+      density: 0.9750447748820433
+      weight: 0.4753247646722287
+  - layer_range: [0, 8]
+    model: evol_merge_storage\input_models\Antler7B_2159541861
+- sources:
+  - layer_range: [8, 16]
+    model: evol_merge_storage\input_models\Phos7b-RP_654656604
+    parameters:
+      density: 0.8802238329444649
+      weight: 0.4482746205621599
+  - layer_range: [8, 16]
+    model: evol_merge_storage\input_models\chatntq-ja-7b-v1.0-westlake_932715917
+    parameters:
+      density: 1.0
+      weight: 0.5524329574915081
+  - layer_range: [8, 16]
+    model: evol_merge_storage\input_models\antler-starling-08_4074283220
+    parameters:
+      density: 1.0
+      weight: 0.22634815425570032
+  - layer_range: [8, 16]
+    model: evol_merge_storage\input_models\Antler7B_2159541861
+- sources:
+  - layer_range: [16, 24]
+    model: evol_merge_storage\input_models\Phos7b-RP_654656604
+    parameters:
+      density: 0.9921437573982935
+      weight: 0.44636209472148164
+  - layer_range: [16, 24]
+    model: evol_merge_storage\input_models\chatntq-ja-7b-v1.0-westlake_932715917
+    parameters:
+      density: 0.8757091247914811
+      weight: 0.15431351637040108
+  - layer_range: [16, 24]
+    model: evol_merge_storage\input_models\antler-starling-08_4074283220
+    parameters:
+      density: 0.8667200206865777
+      weight: 0.37827962987746055
+  - layer_range: [16, 24]
+    model: evol_merge_storage\input_models\Antler7B_2159541861
+- sources:
+  - layer_range: [24, 32]
+    model: evol_merge_storage\input_models\Phos7b-RP_654656604
+    parameters:
+      density: 0.966615155256828
+      weight: 0.5041762338947331
+  - layer_range: [24, 32]
+    model: evol_merge_storage\input_models\chatntq-ja-7b-v1.0-westlake_932715917
+    parameters:
+      density: 1.0
+      weight: 0.22555101554235693
+  - layer_range: [24, 32]
+    model: evol_merge_storage\input_models\antler-starling-08_4074283220
+    parameters:
+      density: 0.7616963147939114
+      weight: 0.397020374822854
+  - layer_range: [24, 32]
+    model: evol_merge_storage\input_models\Antler7B_2159541861
+```