Shuu12121 commited on
Commit
51ad7f9
·
verified ·
1 Parent(s): 6a9de08

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +7 -7
README.md CHANGED
@@ -32,7 +32,7 @@ tags:
32
  既存の事前学習済みモデル(ModernBERT-base など)の重みは使用せず、
33
  8 言語を含む自前のデータセットである, **Owl コーパス**(約 855 万件の関数ペア)を用いて、
34
  **ランダム初期化状態から事前学習(scratch training)** を行っています。
35
- 学習時の入力長を512トークンにしたバージョンで,[Owl-ph1-base (512)](https://huggingface.co/Shuu12121/CodeModernBERT-Owl-v3-Pre-len512)から継続事前学習を行った段階2の状態のモデルです
36
 
37
  ## 使用方法
38
 
@@ -43,14 +43,14 @@ tags:
43
  ```python
44
  from transformers import AutoTokenizer, AutoModelForMaskedLM
45
  #MLMモデルとして読み込む場合
46
- tokenizer = AutoTokenizer.from_pretrained("Shuu12121/CodeModernBERT-Owl-v3-len512")
47
- model = AutoModelForMaskedLM.from_pretrained("Shuu12121/CodeModernBERT-Owl-v3-len512")
48
  ```
49
  Sentence-Transformersを用いてファインチューニングを行う場合の読み込み方
50
  ```python
51
  from sentence_transformers import SentenceTransformer,models
52
 
53
- word_embedding_model = models.Transformer("Shuu12121/CodeModernBERT-Owl-v3-len512")
54
  word_embedding_model.max_seq_length = 512
55
  #CLSトークンを用いる場合pooling_mode_cls_tokenのみTrue
56
  #平均プーリングを用いる場合 pooling_mode_mean_tokensのみTrue
@@ -66,6 +66,6 @@ model = SentenceTransformer(modules=[word_embedding_model, pooling_model])
66
  ```
67
 
68
  そのほかのモデル
69
- - [Owl-ph1-base (512)(https://huggingface.co/Shuu12121/CodeModernBERT-Owl-v3-Pre-len512)
70
- - [Owl-ph1-base (2048)](https://huggingface.co/Shuu12121/CodeModernBERT-Owl-v3-Pre-len2048)
71
- - [Owl-ph2-base (2048)](https://huggingface.co/Shuu12121/CodeModernBERT-Owl-v3-len2048)
 
32
  既存の事前学習済みモデル(ModernBERT-base など)の重みは使用せず、
33
  8 言語を含む自前のデータセットである, **Owl コーパス**(約 855 万件の関数ペア)を用いて、
34
  **ランダム初期化状態から事前学習(scratch training)** を行っています。
35
+ 学習時の入力長を512トークンにしたバージョンで,[Owl-ph1-base (512)](https://huggingface.co/Shuu12121/Shuu12121/Owl-ph1-base-len512)から継続事前学習を行った段階2の状態のモデルです
36
 
37
  ## 使用方法
38
 
 
43
  ```python
44
  from transformers import AutoTokenizer, AutoModelForMaskedLM
45
  #MLMモデルとして読み込む場合
46
+ tokenizer = AutoTokenizer.from_pretrained("Shuu12121/Owl-ph2-base-len512")
47
+ model = AutoModelForMaskedLM.from_pretrained("Shuu12121/Owl-ph2-base-len512")
48
  ```
49
  Sentence-Transformersを用いてファインチューニングを行う場合の読み込み方
50
  ```python
51
  from sentence_transformers import SentenceTransformer,models
52
 
53
+ word_embedding_model = models.Transformer("Owl-ph2-base-len512")
54
  word_embedding_model.max_seq_length = 512
55
  #CLSトークンを用いる場合pooling_mode_cls_tokenのみTrue
56
  #平均プーリングを用いる場合 pooling_mode_mean_tokensのみTrue
 
66
  ```
67
 
68
  そのほかのモデル
69
+ - [Owl-ph1-base (512)](https://huggingface.co/Shuu12121/Shuu12121/Owl-ph1-base-len512)
70
+ - [Owl-ph1-base (2048)](https://huggingface.co/Shuu12121/Owl-ph1-base-len2048)
71
+ - [Owl-ph2-base (2048)](https://huggingface.co/Shuu12121/Owl-ph2-base-len2048)