Shuu12121 commited on
Commit
09f7dab
·
verified ·
1 Parent(s): e6ab91b

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +12 -0
README.md CHANGED
@@ -19,3 +19,15 @@ tags:
19
 
20
  このモデルはCodeSearchNetのみを用いて作成されたコード向けの事前学習済みモデルです。CodeSearchNetの6言語に対応しています。
21
 
 
 
 
 
 
 
 
 
 
 
 
 
 
19
 
20
  このモデルはCodeSearchNetのみを用いて作成されたコード向けの事前学習済みモデルです。CodeSearchNetの6言語に対応しています。
21
 
22
+ ## Architecture
23
+
24
+ - Base: ModernBERT-style encoder
25
+ - Hidden size: 512
26
+ - Layers: 6
27
+ - Attention heads: 6
28
+ - Parameters: ~50M
29
+ - Pretraining: Masked Language Modeling (MLM)
30
+ - Fine-tuning: Domain-specific code tasks
31
+
32
+ ---
33
+