Update README.md
Browse files
README.md
CHANGED
|
@@ -30,10 +30,16 @@ tags:
|
|
| 30 |
- Fine-tuning: Domain-specific code tasks
|
| 31 |
|
| 32 |
以下の結果はCodeSearchNetのデータセットを各言語ごとに10000件をランダムにサンプリングしSentence-BERT形式で学習を行い、MTEBのCodeSearchNetRetrivalで評価した結果です。
|
| 33 |
-
|
| 34 |
-
|
| 35 |
-
|
| 36 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 37 |
|
| 38 |
---
|
| 39 |
|
|
|
|
| 30 |
- Fine-tuning: Domain-specific code tasks
|
| 31 |
|
| 32 |
以下の結果はCodeSearchNetのデータセットを各言語ごとに10000件をランダムにサンプリングしSentence-BERT形式で学習を行い、MTEBのCodeSearchNetRetrivalで評価した結果です。
|
| 33 |
+
この表のモデルはそれぞれの事前学習済みモデルを同様の手法でファインチューニングを行っています(200と表記があるものはMultiple Negatice Ranking Lossのバッチサイズを200としています。それ以外は40で実行しました。)
|
| 34 |
+
|
| 35 |
+
| Model | go | java | javascript | php | python | ruby |
|
| 36 |
+
|------------------------------|-------|--------|--------------|-------|----------|--------|
|
| 37 |
+
| Finch-Span(40M) | 0.934 | 0.784 | 0.728 | 0.835 | 0.865 | 0.756 |
|
| 38 |
+
| Finch-Pre(40M) | 0.937 | 0.705 | 0.685 | 0.828 | 0.843 | 0.725 |
|
| 39 |
+
| base-Finetuned(149M) | 0.933 | 0.779 | 0.748 | 0.839 | 0.885 | 0.794 |
|
| 40 |
+
| Owl-4.1-Small-Fine-tuned(151M) | 0.942 | 0.780 | 0.729 | 0.843 | 0.893 | 0.772 |
|
| 41 |
+
| Owl-4.1-Small-Fine-tuned-200(151M) | 0.943 | 0.850 | 0.747 | 0.858 | 0.894 | 0.802 |
|
| 42 |
+
| CodeBERT-Fine-tuned(153M) | 0.932 | 0.708 | 0.709 | 0.828 | 0.870 | 0.772 |
|
| 43 |
|
| 44 |
---
|
| 45 |
|