Update README.md
Browse files
README.md
CHANGED
|
@@ -32,7 +32,7 @@ tags:
|
|
| 32 |
既存の事前学習済みモデル(ModernBERT-base など)の重みは使用せず、
|
| 33 |
8 言語を含む自前のデータセットである, **Owl コーパス**(約 855 万件の関数ペア)を用いて、
|
| 34 |
**ランダム初期化状態から事前学習(scratch training)** を行っています。
|
| 35 |
-
学習時の入力長を512トークンにしたバージョンで,[Owl-ph1-base (512)](https://huggingface.co/Shuu12121/
|
| 36 |
|
| 37 |
## 使用方法
|
| 38 |
|
|
@@ -43,14 +43,14 @@ tags:
|
|
| 43 |
```python
|
| 44 |
from transformers import AutoTokenizer, AutoModelForMaskedLM
|
| 45 |
#MLMモデルとして読み込む場合
|
| 46 |
-
tokenizer = AutoTokenizer.from_pretrained("Shuu12121/
|
| 47 |
-
model = AutoModelForMaskedLM.from_pretrained("Shuu12121/
|
| 48 |
```
|
| 49 |
Sentence-Transformersを用いてファインチューニングを行う場合の読み込み方
|
| 50 |
```python
|
| 51 |
from sentence_transformers import SentenceTransformer,models
|
| 52 |
|
| 53 |
-
word_embedding_model = models.Transformer("
|
| 54 |
word_embedding_model.max_seq_length = 512
|
| 55 |
#CLSトークンを用いる場合pooling_mode_cls_tokenのみTrue
|
| 56 |
#平均プーリングを用いる場合 pooling_mode_mean_tokensのみTrue
|
|
@@ -66,6 +66,6 @@ model = SentenceTransformer(modules=[word_embedding_model, pooling_model])
|
|
| 66 |
```
|
| 67 |
|
| 68 |
そのほかのモデル
|
| 69 |
-
- [Owl-ph1-base (512)(https://huggingface.co/Shuu12121/
|
| 70 |
-
- [Owl-ph1-base (2048)](https://huggingface.co/Shuu12121/
|
| 71 |
-
- [Owl-ph2-base (2048)](https://huggingface.co/Shuu12121/
|
|
|
|
| 32 |
既存の事前学習済みモデル(ModernBERT-base など)の重みは使用せず、
|
| 33 |
8 言語を含む自前のデータセットである, **Owl コーパス**(約 855 万件の関数ペア)を用いて、
|
| 34 |
**ランダム初期化状態から事前学習(scratch training)** を行っています。
|
| 35 |
+
学習時の入力長を512トークンにしたバージョンで,[Owl-ph1-base (512)](https://huggingface.co/Shuu12121/Shuu12121/Owl-ph1-base-len512)から継続事前学習を行った段階2の状態のモデルです
|
| 36 |
|
| 37 |
## 使用方法
|
| 38 |
|
|
|
|
| 43 |
```python
|
| 44 |
from transformers import AutoTokenizer, AutoModelForMaskedLM
|
| 45 |
#MLMモデルとして読み込む場合
|
| 46 |
+
tokenizer = AutoTokenizer.from_pretrained("Shuu12121/Owl-ph2-base-len512")
|
| 47 |
+
model = AutoModelForMaskedLM.from_pretrained("Shuu12121/Owl-ph2-base-len512")
|
| 48 |
```
|
| 49 |
Sentence-Transformersを用いてファインチューニングを行う場合の読み込み方
|
| 50 |
```python
|
| 51 |
from sentence_transformers import SentenceTransformer,models
|
| 52 |
|
| 53 |
+
word_embedding_model = models.Transformer("Owl-ph2-base-len512")
|
| 54 |
word_embedding_model.max_seq_length = 512
|
| 55 |
#CLSトークンを用いる場合pooling_mode_cls_tokenのみTrue
|
| 56 |
#平均プーリングを用いる場合 pooling_mode_mean_tokensのみTrue
|
|
|
|
| 66 |
```
|
| 67 |
|
| 68 |
そのほかのモデル
|
| 69 |
+
- [Owl-ph1-base (512)](https://huggingface.co/Shuu12121/Shuu12121/Owl-ph1-base-len512)
|
| 70 |
+
- [Owl-ph1-base (2048)](https://huggingface.co/Shuu12121/Owl-ph1-base-len2048)
|
| 71 |
+
- [Owl-ph2-base (2048)](https://huggingface.co/Shuu12121/Owl-ph2-base-len2048)
|