Add new SentenceTransformer model.

README.md

@@ -1,6 +1,42 @@
 ---
 base_model: colorfulscoop/sbert-base-ja
 library_name: sentence-transformers
+metrics:
+- cosine_accuracy
+- cosine_accuracy_threshold
+- cosine_f1
+- cosine_f1_threshold
+- cosine_precision
+- cosine_recall
+- cosine_ap
+- dot_accuracy
+- dot_accuracy_threshold
+- dot_f1
+- dot_f1_threshold
+- dot_precision
+- dot_recall
+- dot_ap
+- manhattan_accuracy
+- manhattan_accuracy_threshold
+- manhattan_f1
+- manhattan_f1_threshold
+- manhattan_precision
+- manhattan_recall
+- manhattan_ap
+- euclidean_accuracy
+- euclidean_accuracy_threshold
+- euclidean_f1
+- euclidean_f1_threshold
+- euclidean_precision
+- euclidean_recall
+- euclidean_ap
+- max_accuracy
+- max_accuracy_threshold
+- max_f1
+- max_f1_threshold
+- max_precision
+- max_recall
+- max_ap
 pipeline_tag: sentence-similarity
 tags:
 - sentence-transformers
@@ -10,38 +46,141 @@ tags:
 - dataset_size:53
 - loss:CosineSimilarityLoss
 widget:
-- source_sentence: 遊歩道 に 沿って 並ぶ 自転車 。
+- source_sentence: 黒い タイル の 本当に すてきな カウンター の 前 と 後ろ で 働く 人々 。
   sentences:
-  - 自転車 は 遊歩道 近く の ラック に あり ます 。
-  - ストリート ワーカー は 保護 具 を 着用 して い ませ ん 。
-  - 人々 は ハンバーガー を 待って い ます 。
-- source_sentence: 白い 帽子 を かぶった 女性 が 、 鮮やかな 色 の 岩 の 風景 を 描いて い ます 。 岩 層 自体 が 背景 に
-    見え ます 。
+  - 男性 は バレエ に 参加 して い ます 。
+  - 岩 の 上 に 座って いる 二 人
+  - 人々 は 宝石 店 で 働いて い ます 。
+- source_sentence: 少年 は 木 の 切り株 に 座って い ます 。
   sentences:
-  - 誰 か が 肖像 画 を 描いて い ます 。
-  - 女性 と 男性 は ニューヨーク に い ます 。
+  - ストリート ワーカー は 保護 具 を 着用 して い ませ ん 。
+  - 芝生 の エリア で 数 匹 の 犬 が 交流 し ます 。
   - 木 を 切り 倒した 後 、 木 の 切り株 に 座って いる 少年 。
-- source_sentence: ２ 人 の 若者 が はしご を 登って い ます 。 若い 女性 は 葉 で 覆わ れた 木 の 中間 に いて 、 青い
-    シャツ を 着た 友人 は 後ろ から 笑って い ます 。
+- source_sentence: 岩 の 多い 景色 を 見て 二 人
   sentences:
-  - 子供 を 抱きかかえた
-  - 子供 たち の グループ は 、 屋外 の スプリンクラー で タグ を 再生 して い ます 。
-  - 彼 ら は 外 に い ます 。
-- source_sentence: 黒い 長い 髪 を した 女性 が 、 黒い ベルト の 付いた 赤い ドレス を 着て 歩いて い ます 。
-  sentences:
-  - 自転車 の 挑戦 に 勝とう と する 人々 の グループ 。
-  - 黄色 の 自転車 は レース で 他 の 自転車 を リード し ます 。
-  - 女性 は 髪 を 切った 。
-- source_sentence: 野球 の 試合 中 に 基地 を 走る 野球 選手 の シャープリー 。
-  sentences:
-  - すべて の 色 の コート を 着た 子供 たち が 気球 に 飛び 込んで い ます 。
-  - 子供 たち は ジャングルジム で 滑り ます 。
-  - Ｓｈａｒｐ ｌｅｙ は ゲーム で プレイ して い ます 。
+  - 何 か を 見て いる 二 人 が い ます 。
+  - 誰 か が 肖像 画 を 描いて い ます 。
+  - バイカー は 足 を 使って 自転車 を さらに 進め ます 。
+model-index:
+- name: SentenceTransformer based on colorfulscoop/sbert-base-ja
+  results:
+  - task:
+      type: binary-classification
+      name: Binary Classification
+    dataset:
+      name: custom arc semantics data jp
+      type: custom-arc-semantics-data-jp
+    metrics:
+    - type: cosine_accuracy
+      value: 0.6363636363636364
+      name: Cosine Accuracy
+    - type: cosine_accuracy_threshold
+      value: 0.32276761531829834
+      name: Cosine Accuracy Threshold
+    - type: cosine_f1
+      value: 0.7777777777777777
+      name: Cosine F1
+    - type: cosine_f1_threshold
+      value: 0.32276761531829834
+      name: Cosine F1 Threshold
+    - type: cosine_precision
+      value: 0.7
+      name: Cosine Precision
+    - type: cosine_recall
+      value: 0.875
+      name: Cosine Recall
+    - type: cosine_ap
+      value: 0.619629329004329
+      name: Cosine Ap
+    - type: dot_accuracy
+      value: 0.6363636363636364
+      name: Dot Accuracy
+    - type: dot_accuracy_threshold
+      value: 180.3168487548828
+      name: Dot Accuracy Threshold
+    - type: dot_f1
+      value: 0.7777777777777777
+      name: Dot F1
+    - type: dot_f1_threshold
+      value: 180.3168487548828
+      name: Dot F1 Threshold
+    - type: dot_precision
+      value: 0.7
+      name: Dot Precision
+    - type: dot_recall
+      value: 0.875
+      name: Dot Recall
+    - type: dot_ap
+      value: 0.650879329004329
+      name: Dot Ap
+    - type: manhattan_accuracy
+      value: 0.6363636363636364
+      name: Manhattan Accuracy
+    - type: manhattan_accuracy_threshold
+      value: 609.3980712890625
+      name: Manhattan Accuracy Threshold
+    - type: manhattan_f1
+      value: 0.7777777777777777
+      name: Manhattan F1
+    - type: manhattan_f1_threshold
+      value: 609.3980712890625
+      name: Manhattan F1 Threshold
+    - type: manhattan_precision
+      value: 0.7
+      name: Manhattan Precision
+    - type: manhattan_recall
+      value: 0.875
+      name: Manhattan Recall
+    - type: manhattan_ap
+      value: 0.619629329004329
+      name: Manhattan Ap
+    - type: euclidean_accuracy
+      value: 0.6363636363636364
+      name: Euclidean Accuracy
+    - type: euclidean_accuracy_threshold
+      value: 27.520790100097656
+      name: Euclidean Accuracy Threshold
+    - type: euclidean_f1
+      value: 0.7777777777777777
+      name: Euclidean F1
+    - type: euclidean_f1_threshold
+      value: 27.520790100097656
+      name: Euclidean F1 Threshold
+    - type: euclidean_precision
+      value: 0.7
+      name: Euclidean Precision
+    - type: euclidean_recall
+      value: 0.875
+      name: Euclidean Recall
+    - type: euclidean_ap
+      value: 0.619629329004329
+      name: Euclidean Ap
+    - type: max_accuracy
+      value: 0.6363636363636364
+      name: Max Accuracy
+    - type: max_accuracy_threshold
+      value: 609.3980712890625
+      name: Max Accuracy Threshold
+    - type: max_f1
+      value: 0.7777777777777777
+      name: Max F1
+    - type: max_f1_threshold
+      value: 609.3980712890625
+      name: Max F1 Threshold
+    - type: max_precision
+      value: 0.7
+      name: Max Precision
+    - type: max_recall
+      value: 0.875
+      name: Max Recall
+    - type: max_ap
+      value: 0.650879329004329
+      name: Max Ap
 ---
 
 # SentenceTransformer based on colorfulscoop/sbert-base-ja
 
-This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [colorfulscoop/sbert-base-ja](https://huggingface.co/colorfulscoop/sbert-base-ja). It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
+This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [colorfulscoop/sbert-base-ja](https://huggingface.co/colorfulscoop/sbert-base-ja) on the csv dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
 
 ## Model Details
 
@@ -51,7 +190,8 @@ This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [c
 - **Maximum Sequence Length:** 512 tokens
 - **Output Dimensionality:** 768 tokens
 - **Similarity Function:** Cosine Similarity
-<!-- - **Training Dataset:** Unknown -->
+- **Training Dataset:**
+    - csv
 <!-- - **Language:** Unknown -->
 <!-- - **License:** Unknown -->
 
@@ -88,9 +228,9 @@ from sentence_transformers import SentenceTransformer
 model = SentenceTransformer("sentence_transformers_model_id")
 # Run inference
 sentences = [
-    '野球 の 試合 中 に 基地 を 走る 野球 選手 の シャープリー 。',
-    'Ｓｈａｒｐ ｌｅｙ は ゲーム で プレイ して い ます 。',
-    'すべて の 色 の コート を 着た 子供 たち が 気球 に 飛び 込んで い ます 。',
+    '岩 の 多い 景色 を 見て 二 人',
+    '何 か を 見て いる 二 人 が い ます 。',
+    '誰 か が 肖像 画 を 描いて い ます 。',
 ]
 embeddings = model.encode(sentences)
 print(embeddings.shape)
@@ -126,6 +266,52 @@ You can finetune this model on your own dataset.
 *List how the model may foreseeably be misused and address what users ought not to do with the model.*
 -->
 
+## Evaluation
+
+### Metrics
+
+#### Binary Classification
+* Dataset: `custom-arc-semantics-data-jp`
+* Evaluated with [<code>BinaryClassificationEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.BinaryClassificationEvaluator)
+
+| Metric                       | Value      |
+|:-----------------------------|:-----------|
+| cosine_accuracy              | 0.6364     |
+| cosine_accuracy_threshold    | 0.3228     |
+| cosine_f1                    | 0.7778     |
+| cosine_f1_threshold          | 0.3228     |
+| cosine_precision             | 0.7        |
+| cosine_recall                | 0.875      |
+| cosine_ap                    | 0.6196     |
+| dot_accuracy                 | 0.6364     |
+| dot_accuracy_threshold       | 180.3168   |
+| dot_f1                       | 0.7778     |
+| dot_f1_threshold             | 180.3168   |
+| dot_precision                | 0.7        |
+| dot_recall                   | 0.875      |
+| dot_ap                       | 0.6509     |
+| manhattan_accuracy           | 0.6364     |
+| manhattan_accuracy_threshold | 609.3981   |
+| manhattan_f1                 | 0.7778     |
+| manhattan_f1_threshold       | 609.3981   |
+| manhattan_precision          | 0.7        |
+| manhattan_recall             | 0.875      |
+| manhattan_ap                 | 0.6196     |
+| euclidean_accuracy           | 0.6364     |
+| euclidean_accuracy_threshold | 27.5208    |
+| euclidean_f1                 | 0.7778     |
+| euclidean_f1_threshold       | 27.5208    |
+| euclidean_precision          | 0.7        |
+| euclidean_recall             | 0.875      |
+| euclidean_ap                 | 0.6196     |
+| max_accuracy                 | 0.6364     |
+| max_accuracy_threshold       | 609.3981   |
+| max_f1                       | 0.7778     |
+| max_f1_threshold             | 609.3981   |
+| max_precision                | 0.7        |
+| max_recall                   | 0.875      |
+| **max_ap**                   | **0.6509** |
+
 <!--
 ## Bias, Risks and Limitations
 
@@ -142,22 +328,47 @@ You can finetune this model on your own dataset.
 
 ### Training Dataset
 
-#### Unnamed Dataset
-
+#### csv
 
+* Dataset: csv
 * Size: 53 training samples
-* Columns: <code>sentence_0</code>, <code>sentence_1</code>, and <code>label</code>
+* Columns: <code>text1</code>, <code>text2</code>, and <code>label</code>
 * Approximate statistics based on the first 53 samples:
-  |         | sentence_0                                                                         | sentence_1                                                                         | label                                           |
+  |         | text1                                                                              | text2                                                                              | label                                           |
   |:--------|:-----------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------|:------------------------------------------------|
   | type    | string                                                                             | string                                                                             | int                                             |
-  | details | <ul><li>min: 14 tokens</li><li>mean: 36.25 tokens</li><li>max: 84 tokens</li></ul> | <ul><li>min: 11 tokens</li><li>mean: 22.15 tokens</li><li>max: 38 tokens</li></ul> | <ul><li>0: ~35.85%</li><li>1: ~64.15%</li></ul> |
+  | details | <ul><li>min: 14 tokens</li><li>mean: 35.36 tokens</li><li>max: 79 tokens</li></ul> | <ul><li>min: 11 tokens</li><li>mean: 21.33 tokens</li><li>max: 38 tokens</li></ul> | <ul><li>0: ~38.10%</li><li>1: ~61.90%</li></ul> |
 * Samples:
-  | sentence_0                                                   | sentence_1                                    | label          |
-  |:-------------------------------------------------------------|:----------------------------------------------|:---------------|
-  | <code>眼鏡 を かけて いる ３ 人 が 写真 の ポーズ を とり ます 。</code>            | <code>人々 は 眼鏡 を かけて い ます</code>               | <code>0</code> |
-  | <code>障害 の ある バイカー は 腕 を 使って 黄色 の スポーツ バイク を 動かし ます 。</code> | <code>バイカー は 足 を 使って 自転車 を さらに 進め ます 。</code> | <code>1</code> |
-  | <code>赤い ショート パンツ を 着た 子供 が 水 の 中 に い ます 。</code>            | <code>子供 が リバービッジ に 座って い ます 。</code>         | <code>1</code> |
+  | text1                                                                                  | text2                                                     | label          |
+  |:---------------------------------------------------------------------------------------|:----------------------------------------------------------|:---------------|
+  | <code>薄紫 色 の ドレス と 明るい ホット ピンク の 靴 を 着た 女性 が 、 水 と コーヒー を 飲んで テーブル に 座って い ます 。</code> | <code>ブラインド デート の 女性 が 座って 、 デート が 現れる の を 待ち ます 。</code> | <code>1</code> |
+  | <code>トラック を 自転車 で 走る 人々 の グループ 。</code>                                               | <code>自転車 の 挑戦 に 勝とう と する 人々 の グループ 。</code>              | <code>1</code> |
+  | <code>野球 の 試合 中 に 基地 を 走る 野球 選手 の シャープリー 。</code>                                      | <code>Ｓｈａｒｐ ｌｅｙ は ゲーム で プレイ して い ます 。</code>              | <code>0</code> |
+* Loss: [<code>CosineSimilarityLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#cosinesimilarityloss) with these parameters:
+  ```json
+  {
+      "loss_fct": "torch.nn.modules.loss.MSELoss"
+  }
+  ```
+
+### Evaluation Dataset
+
+#### csv
+
+* Dataset: csv
+* Size: 53 evaluation samples
+* Columns: <code>text1</code>, <code>text2</code>, and <code>label</code>
+* Approximate statistics based on the first 53 samples:
+  |         | text1                                                                              | text2                                                                              | label                                           |
+  |:--------|:-----------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------|:------------------------------------------------|
+  | type    | string                                                                             | string                                                                             | int                                             |
+  | details | <ul><li>min: 19 tokens</li><li>mean: 39.64 tokens</li><li>max: 84 tokens</li></ul> | <ul><li>min: 19 tokens</li><li>mean: 25.27 tokens</li><li>max: 38 tokens</li></ul> | <ul><li>0: ~27.27%</li><li>1: ~72.73%</li></ul> |
+* Samples:
+  | text1                                                                                                     | text2                                           | label          |
+  |:----------------------------------------------------------------------------------------------------------|:------------------------------------------------|:---------------|
+  | <code>岩 の 多い 景色 を 見て 二 人</code>                                                                           | <code>何 か を 見て いる 二 人 が い ます 。</code>           | <code>0</code> |
+  | <code>白い ヘルメット と オレンジ色 の シャツ 、 ジーンズ 、 白い トラック と オレンジ色 の パイロン の 前 に 反射 ジャケット を 着た 金髪 の ストリート ワーカー 。</code> | <code>ストリート ワーカー は 保護 具 を 着用 して い ませ ん 。</code> | <code>1</code> |
+  | <code>白い 帽子 を かぶった 女性 が 、 鮮やかな 色 の 岩 の 風景 を 描いて い ます 。 岩 層 自体 が 背景 に 見え ます 。</code>                       | <code>誰 か が 肖像 画 を 描いて い ます 。</code>            | <code>1</code> |
 * Loss: [<code>CosineSimilarityLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#cosinesimilarityloss) with these parameters:
   ```json
   {
@@ -168,36 +379,38 @@ You can finetune this model on your own dataset.
 ### Training Hyperparameters
 #### Non-Default Hyperparameters
 
-- `per_device_train_batch_size`: 16
-- `per_device_eval_batch_size`: 16
-- `num_train_epochs`: 15
-- `multi_dataset_batch_sampler`: round_robin
+- `eval_strategy`: epoch
+- `learning_rate`: 2e-05
+- `num_train_epochs`: 10
+- `warmup_ratio`: 0.4
+- `fp16`: True
+- `batch_sampler`: no_duplicates
 
 #### All Hyperparameters
 <details><summary>Click to expand</summary>
 
 - `overwrite_output_dir`: False
 - `do_predict`: False
-- `eval_strategy`: no
+- `eval_strategy`: epoch
 - `prediction_loss_only`: True
-- `per_device_train_batch_size`: 16
-- `per_device_eval_batch_size`: 16
+- `per_device_train_batch_size`: 8
+- `per_device_eval_batch_size`: 8
 - `per_gpu_train_batch_size`: None
 - `per_gpu_eval_batch_size`: None
 - `gradient_accumulation_steps`: 1
 - `eval_accumulation_steps`: None
 - `torch_empty_cache_steps`: None
-- `learning_rate`: 5e-05
+- `learning_rate`: 2e-05
 - `weight_decay`: 0.0
 - `adam_beta1`: 0.9
 - `adam_beta2`: 0.999
 - `adam_epsilon`: 1e-08
-- `max_grad_norm`: 1
-- `num_train_epochs`: 15
+- `max_grad_norm`: 1.0
+- `num_train_epochs`: 10
 - `max_steps`: -1
 - `lr_scheduler_type`: linear
 - `lr_scheduler_kwargs`: {}
-- `warmup_ratio`: 0.0
+- `warmup_ratio`: 0.4
 - `warmup_steps`: 0
 - `log_level`: passive
 - `log_level_replica`: warning
@@ -215,7 +428,7 @@ You can finetune this model on your own dataset.
 - `jit_mode_eval`: False
 - `use_ipex`: False
 - `bf16`: False
-- `fp16`: False
+- `fp16`: True
 - `fp16_opt_level`: O1
 - `half_precision_backend`: auto
 - `bf16_full_eval`: False
@@ -285,11 +498,26 @@ You can finetune this model on your own dataset.
 - `batch_eval_metrics`: False
 - `eval_on_start`: False
 - `eval_use_gather_object`: False
-- `batch_sampler`: batch_sampler
-- `multi_dataset_batch_sampler`: round_robin
+- `batch_sampler`: no_duplicates
+- `multi_dataset_batch_sampler`: proportional
 
 </details>
 
+### Training Logs
+| Epoch | Step | Training Loss | loss   | custom-arc-semantics-data-jp_max_ap |
+|:-----:|:----:|:-------------:|:------:|:-----------------------------------:|
+| 1.0   | 6    | 0.2964        | 0.3110 | 0.7238                              |
+| 2.0   | 12   | 0.2768        | 0.3083 | 0.7238                              |
+| 3.0   | 18   | 0.2389        | 0.2999 | 0.7238                              |
+| 4.0   | 24   | 0.1897        | 0.2843 | 0.6946                              |
+| 5.0   | 30   | 0.1464        | 0.2776 | 0.7134                              |
+| 6.0   | 36   | 0.1112        | 0.2877 | 0.6509                              |
+| 7.0   | 42   | 0.087         | 0.3047 | 0.6509                              |
+| 8.0   | 48   | 0.0754        | 0.3135 | 0.6509                              |
+| 9.0   | 54   | 0.068         | 0.3150 | 0.6509                              |
+| 10.0  | 60   | 0.0588        | 0.3148 | 0.6509                              |
+
+
 ### Framework Versions
 - Python: 3.10.14
 - Sentence Transformers: 3.1.0

model.safetensors

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:18a1623c050a93abe098bb3286b4d9d50e5b77464b386af0a41669eafc9b5da1
+oid sha256:c398d788c3c9eddbd690d96649f0d0fdc6601934c54d199ab895088e46bb5ccd
 size 442491744

runs/Sep17_23-47-31_default/events.out.tfevents.1726616853.default.8433.0

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:9e5714b312f0efb28d1323371ee280fc1148b233cd7c3ae98aea10da8a692d02
+size 39857

tokenizer_config.json

@@ -1,65 +1,15 @@
 {
-  "added_tokens_decoder": {
-    "0": {
-      "content": "<pad>",
-      "lstrip": false,
-      "normalized": false,
-      "rstrip": false,
-      "single_word": false,
-      "special": true
-    },
-    "1": {
-      "content": "<unk>",
-      "lstrip": false,
-      "normalized": true,
-      "rstrip": false,
-      "single_word": false,
-      "special": true
-    },
-    "2": {
-      "content": "[CLS]",
-      "lstrip": false,
-      "normalized": false,
-      "rstrip": false,
-      "single_word": false,
-      "special": false
-    },
-    "3": {
-      "content": "[SEP]",
-      "lstrip": false,
-      "normalized": false,
-      "rstrip": false,
-      "single_word": false,
-      "special": false
-    },
-    "4": {
-      "content": "[MASK]",
-      "lstrip": false,
-      "normalized": false,
-      "rstrip": false,
-      "single_word": false,
-      "special": false
-    },
-    "32000": {
-      "content": "[PAD]",
-      "lstrip": false,
-      "normalized": true,
-      "rstrip": false,
-      "single_word": false,
-      "special": false
-    }
-  },
-  "bos_token": "[CLS]",
-  "clean_up_tokenization_spaces": true,
-  "cls_token": "[CLS]",
-  "do_lower_case": false,
-  "eos_token": "[SEP]",
-  "mask_token": "[MASK]",
-  "model_max_length": 512,
-  "pad_token": "<pad>",
-  "sep_token": "[SEP]",
-  "sp_model_kwargs": {},
-  "split_by_punct": false,
-  "tokenizer_class": "DebertaV2Tokenizer",
-  "unk_token": "<unk>"
-}
+    "bos_token": "[CLS]",
+    "clean_up_tokenization_spaces": true,
+    "cls_token": "[CLS]",
+    "do_lower_case": false,
+    "eos_token": "[SEP]",
+    "mask_token": "[MASK]",
+    "model_max_length": 512,
+    "pad_token": "<pad>",
+    "sep_token": "[SEP]",
+    "sp_model_kwargs": {},
+    "split_by_punct": false,
+    "tokenizer_class": "DebertaV2Tokenizer",
+    "unk_token": "<unk>"
+}