| # これはなに？ | |
| `stabilityai/japanese-stablelm-base-alpha-7b` を `rosebleu` データセットで学習した Lora | |
| ## 使い方 | |
| .\text-generation-webui\loras\Rosebleu となるように配置。 | |
| `text-generation-webui` の `model` の LoRAから読み込める。 | |
| ## データセット | |
| https://gitlab.com/open_contents_datasets/Rosebleu | |
| Hシーンも含まれているみたいですが、特に区別せずに突っ込んでいます。 | |
| ## 前処理とデータロード | |
| 中にあるすべてのtsvを全部繋て、csvにしただけ。 | |
| 学習プロンプトはこの用にしているので、このフォーマットだと良くなったりすることがあるかもしれないし、ないかもしれない。 | |
| コンテキスト長は2048にしているので、1行が2048トークン以上は切り捨てられているはず。 | |
| ``` | |
| result = f'### name:\n{data_point["name"]}\n\n### text:\n{data_point["text"]}' | |
| ``` |