README.md

---
base_model: []
library_name: transformers
tags:
- mergekit
- merge
license: apache-2.0
---

# Antler 7B Evolve

<img src="https://huggingface.co/Elizezen/Antler-7B/resolve/main/OIG3.UAjshTXCEJU.jpg" alt="drawing" style="width:512px;"/>

## Model Description

This is a merge of pre-trained language models created using [mergekit](https://github.com/cg123/mergekit), using **Evolutionary Model Merging**.

Generally better than Antler-7B at writing novels, especially at maintaining context, but can fall short on eroticism compared to the original model. It also tends to generate eos tokens quite early, which I'm currently working on improving.
## Example

### Input

```
その日の昼下がり。私とあやはお揃いの浴衣を身に纏い、冬祭りを楽しむために町へと繰り出していた。むろん、忍者の素性を隠すために皆変装している。
普段着慣れない服装のため少々落ち着かないものの、帯が緩んだり着崩れしないよう意識しながら歩く。するとあやも同じようにぎこちなく歩いているのが分かった。
やがて街並みは活気に満ち始め、道行く人々の賑やかな声が聞こえてくる。
広場に到着すると、そこは大勢の人々でにぎわい、色とりどりの提灯が辺りを照らしていた。様々な出店が並び、大勢の子供達とその親御さんが駆け回っている。
広場の中央付近にある舞台では催し物が開催されており、太鼓の音に合わせて歌っている演者たちがいた。
「わぁ～、きれい！」
目を輝かせて辺りを見回すあや。こうしてみると年相応の子どもに見える。
「こら、勝手に走り回らない」
「えへへ～ごめんなさい」
たしなめられながらも、顔は綻んでいる様子からも分かる通り、彼女も楽しみにしているのは明らかだろう。
あやが楽しそうだと、私も嬉しい。不思議なものだな。今までこんな気持ちになったことはなかった。
思わず私まで笑顔になってしまう。
「このちゃん、このちゃん！見て！このちょうちん可愛い～！」
「おお」
彼女に袖を引かれて連れて行かれたのは、可愛らしい動物の絵柄があしらわれた行燈。どうやら売店が出しているらしい。
屋台では
```

### Output

```
屋台では焼きそばや焼き鳥などの定番と並んで、冬限定の鍋専門店なども出ていた。
「あやはなにか食べたいものあるか？」
「えっとね～、お好み焼きとか……」
「お好み焼き？」
私は初めて聞く料理名に首を傾げる。あやは目をキラキラさせながら、その料理について説明してくれた。
小麦粉の生地にキャベツや豚肉、天かす、そしてお好み焼きソースをかけて焼いた、大阪名物の料理らしい。
「それはまた面白そうなものだな。ではそこの屋台に行ってみよう」
私達は目星をつけた屋台へ向かうことにした。
お好み焼きの屋台は、予想以上の盛況ぶりで行列ができていた。しかし、並ぶこと30分ほどで私たちの番がやってくる。
「おばちゃん、これください」
「あいよ！ちょっと待ってな！」
屋台のおばちゃんは威勢のいい声で返事をすると、手慣れた様子で鉄板の上でお好み焼きを焼き上げる。
「これがお好み焼きだよ」
出来上がったお好み焼きを手にしたあやが、うっとりとした様子でそう言った。
「ほう。見るからに美味しそうだ」
私もその色合いに誘われるようにして、一口頬
```

### Intended Use

The model is mainly intended to be used for generating novels. It may not be so capable with instruction-based responses.


## Merge Details
### Merge Method

This model was merged using the [DARE](https://arxiv.org/abs/2311.03099) [TIES](https://arxiv.org/abs/2306.01708) merge method using evol_merge_storage\input_models\Antler7B_2159541861 as a base.

### Models Merged

The following models were included in the merge:
* evol_merge_storage\input_models\chatntq-ja-7b-v1.0-westlake_932715917
* evol_merge_storage\input_models\antler-starling-08_4074283220
* evol_merge_storage\input_models\Phos7b-RP_654656604

### Configuration

The following YAML configuration was used to produce this model:

```yaml
base_model: evol_merge_storage\input_models\Antler7B_2159541861
dtype: bfloat16
merge_method: dare_ties
parameters:
  int8_mask: 1.0
  normalize: 1.0
slices:
- sources:
  - layer_range: [0, 8]
    model: evol_merge_storage\input_models\Phos7b-RP_654656604
    parameters:
      density: 0.584107666175788
      weight: 0.47231634419785595
  - layer_range: [0, 8]
    model: evol_merge_storage\input_models\chatntq-ja-7b-v1.0-westlake_932715917
    parameters:
      density: 0.9357007414387093
      weight: 0.25531843586626907
  - layer_range: [0, 8]
    model: evol_merge_storage\input_models\antler-starling-08_4074283220
    parameters:
      density: 0.9750447748820433
      weight: 0.4753247646722287
  - layer_range: [0, 8]
    model: evol_merge_storage\input_models\Antler7B_2159541861
- sources:
  - layer_range: [8, 16]
    model: evol_merge_storage\input_models\Phos7b-RP_654656604
    parameters:
      density: 0.8802238329444649
      weight: 0.4482746205621599
  - layer_range: [8, 16]
    model: evol_merge_storage\input_models\chatntq-ja-7b-v1.0-westlake_932715917
    parameters:
      density: 1.0
      weight: 0.5524329574915081
  - layer_range: [8, 16]
    model: evol_merge_storage\input_models\antler-starling-08_4074283220
    parameters:
      density: 1.0
      weight: 0.22634815425570032
  - layer_range: [8, 16]
    model: evol_merge_storage\input_models\Antler7B_2159541861
- sources:
  - layer_range: [16, 24]
    model: evol_merge_storage\input_models\Phos7b-RP_654656604
    parameters:
      density: 0.9921437573982935
      weight: 0.44636209472148164
  - layer_range: [16, 24]
    model: evol_merge_storage\input_models\chatntq-ja-7b-v1.0-westlake_932715917
    parameters:
      density: 0.8757091247914811
      weight: 0.15431351637040108
  - layer_range: [16, 24]
    model: evol_merge_storage\input_models\antler-starling-08_4074283220
    parameters:
      density: 0.8667200206865777
      weight: 0.37827962987746055
  - layer_range: [16, 24]
    model: evol_merge_storage\input_models\Antler7B_2159541861
- sources:
  - layer_range: [24, 32]
    model: evol_merge_storage\input_models\Phos7b-RP_654656604
    parameters:
      density: 0.966615155256828
      weight: 0.5041762338947331
  - layer_range: [24, 32]
    model: evol_merge_storage\input_models\chatntq-ja-7b-v1.0-westlake_932715917
    parameters:
      density: 1.0
      weight: 0.22555101554235693
  - layer_range: [24, 32]
    model: evol_merge_storage\input_models\antler-starling-08_4074283220
    parameters:
      density: 0.7616963147939114
      weight: 0.397020374822854
  - layer_range: [24, 32]
    model: evol_merge_storage\input_models\Antler7B_2159541861
```