File size: 600 Bytes
065fd5e 9488890 065fd5e | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 | ---
license: apache-2.0
pipeline_tag: text-generation
language:
- ja
datasets:
- hotchpotch/fineweb-2-edu-japanese
tags:
- Mamba-2
---
## 概要
Mamba2アーキテクチャのモデルです。
context sizeは512です。
## dataset
[hotchpotch/fineweb-2-edu-japanese](huggingface.co/datasets/hotchpotch/fineweb-2-edu-japanese)の1%のデータで10 epochs回しました。
## tokenizer
[Rakuten/RakutenAI-2.0-mini-instruct](Rakuten/RakutenAI-2.0-mini-instruct)を使用しました。
日本語対応LLMであり、vocab_sizeが48000と学習に使いやすそうだったからです。」
|