Shuu12121 commited on
Commit
e491a36
·
verified ·
1 Parent(s): 1d25b8d

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +10 -4
README.md CHANGED
@@ -30,10 +30,16 @@ tags:
30
  - Fine-tuning: Domain-specific code tasks
31
 
32
  以下の結果はCodeSearchNetのデータセットを各言語ごとに10000件をランダムにサンプリングしSentence-BERT形式で学習を行い、MTEBのCodeSearchNetRetrivalで評価した結果です。
33
-
34
- | Model | go | java | javascript | php | python | ruby |
35
- |------------------------------|----------|----------|--------------|----------|----------|----------|
36
- | CodeModernBERT-Finch | 0.934424 | 0.783756 | 0.727848 | 0.834652 | 0.864839 | 0.756208 |
 
 
 
 
 
 
37
 
38
  ---
39
 
 
30
  - Fine-tuning: Domain-specific code tasks
31
 
32
  以下の結果はCodeSearchNetのデータセットを各言語ごとに10000件をランダムにサンプリングしSentence-BERT形式で学習を行い、MTEBのCodeSearchNetRetrivalで評価した結果です。
33
+ この表のモデルはそれぞれの事前学習済みモデルを同様の手法でファインチューニングを行っています(200と表記があるものはMultiple Negatice Ranking Lossのバッチサイズを200としています。それ以外は40で実行しました。)
34
+
35
+ | Model | go | java | javascript | php | python | ruby |
36
+ |------------------------------|-------|--------|--------------|-------|----------|--------|
37
+ | Finch-Span(40M) | 0.934 | 0.784 | 0.728 | 0.835 | 0.865 | 0.756 |
38
+ | Finch-Pre(40M) | 0.937 | 0.705 | 0.685 | 0.828 | 0.843 | 0.725 |
39
+ | base-Finetuned(149M) | 0.933 | 0.779 | 0.748 | 0.839 | 0.885 | 0.794 |
40
+ | Owl-4.1-Small-Fine-tuned(151M) | 0.942 | 0.780 | 0.729 | 0.843 | 0.893 | 0.772 |
41
+ | Owl-4.1-Small-Fine-tuned-200(151M) | 0.943 | 0.850 | 0.747 | 0.858 | 0.894 | 0.802 |
42
+ | CodeBERT-Fine-tuned(153M) | 0.932 | 0.708 | 0.709 | 0.828 | 0.870 | 0.772 |
43
 
44
  ---
45