Text Generation
PEFT
Safetensors
conversational
hiroshi-matsuda-rit commited on
Commit
86cda19
·
verified ·
1 Parent(s): e535118

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +9 -16
README.md CHANGED
@@ -29,7 +29,6 @@ This model is trained using the Universal Dependencies datasets over 7 languages
29
  ## Terms of Use
30
 
31
  This LoRA adapter package is released under the CC BY-SA 4.0.
32
-
33
  However, please note the following important conditions regarding its usage:
34
  - This package **does not contain any part of the original Gemma 2 model**.
35
  - In order to use this package, you must obtain and use the base model distributed from Google:
@@ -38,10 +37,8 @@ However, please note the following important conditions regarding its usage:
38
 
39
  利用規約 (Japanese version of the Terms of Use)
40
 
41
- このLoRAアダプタパッケージは、CC BY-SA 4.0に基づいてリリースされています。
42
-
43
- ただし、使用に関しては以下の重要な利用条件に注意してください。
44
-
45
  - このパッケージには**オリジナルのGemma 2モデルは含まれていません**
46
  - このパッケージを使用するには、Googleが配布するGemmaモデルを入手して使用する必要があります:
47
  [Gemma 2 9B base on Hugging Face](https://huggingface.co/google/gemma-2-9b)
@@ -55,8 +52,7 @@ pip install -U vllm==0.7.2 sudachipy sudachidict-core
55
  ```
56
 
57
  In this first release, we only provide code example using the [sudachipy](https://github.com/WorksApplications/SudachiPy) tokenizer, which matches the token boundaries of UD Japanese datasets.
58
- Code examples for other languages ​​will be provided in upcoming releases.
59
-
60
  本リリースでは、UD Japanese データセットのトークン境界との親和性の高い[sudachipy](https://github.com/WorksApplications/SudachiPy)をトークナイザーに使用したサンプルコードのみを提供します。
61
  他の言語向けのサンプルコードは、今後のリリースで提供予定です。
62
 
@@ -268,8 +264,7 @@ for sentence, result in zip(input_sentences, results):
268
 
269
  ### Training Data and Hyper-parameters
270
 
271
- We used the train-sets of the UD datasets below for LoRA SFT.
272
-
273
  本モデルのLoRA SFTには次のUDデータセットのtrainセットを使用しました。
274
  - [UD_English-EWT](https://github.com/UniversalDependencies/UD_English-EWT) r2.15
275
  - [UD_Japanese-GSD](https://github.com/UniversalDependencies/UD_Japanese-GSD) r2.15
@@ -279,9 +274,8 @@ We used the train-sets of the UD datasets below for LoRA SFT.
279
  - [UD_German-GSD](https://github.com/UniversalDependencies/UD_German-GSD) r2.15
280
  - [UD_Slovenian-SSJ](https://github.com/UniversalDependencies/UD_Slovenian-SSJ) r2.15
281
 
282
- We also used the training hyper-parameters below:
283
-
284
- また訓練時には次のパイパーパラメータを使用しました。
285
  - lr: 5e-5
286
  - num_train_epochs: 2
287
  - lora_target_modules: "all-linear"
@@ -289,14 +283,12 @@ We also used the training hyper-parameters below:
289
  - lora_alpha: 8
290
  - lora_dropout: 0.05
291
 
292
- The details of the experimental conditions will be released later.
293
-
294
  実験条件の詳細については後日公開予定です。
295
 
296
  ### Evaluation Results
297
 
298
- The accuracies in the table below are based on the simple recovery process applied to the TSV output in Step 3.
299
-
300
  次の表に記載した精度は、Step 3のTSV出力に簡易なリカバリ処理を適用した上で評価を行っています。
301
  | dataset | UPOS | UAS | LAS |
302
  | ---- | ---- | ---- | ---- |
@@ -311,6 +303,7 @@ The accuracies in the table below are based on the simple recovery process appli
311
  ### Framework versions
312
 
313
  - TRL v0.15.2 (for training)
 
314
  - vLLM 0.7.2 (for inference)
315
 
316
  ## Citation
 
29
  ## Terms of Use
30
 
31
  This LoRA adapter package is released under the CC BY-SA 4.0.
 
32
  However, please note the following important conditions regarding its usage:
33
  - This package **does not contain any part of the original Gemma 2 model**.
34
  - In order to use this package, you must obtain and use the base model distributed from Google:
 
37
 
38
  利用規約 (Japanese version of the Terms of Use)
39
 
40
+ このLoRAアダプタパッケージは、CC BY-SA 4.0に基づいてリリースされています。
41
+ ただし、使用に関しては以下の重要な利用条件に注意してください。
 
 
42
  - このパッケージには**オリジナルのGemma 2モデルは含まれていません**
43
  - このパッケージを使用するには、Googleが配布するGemmaモデルを入手して使用する必要があります:
44
  [Gemma 2 9B base on Hugging Face](https://huggingface.co/google/gemma-2-9b)
 
52
  ```
53
 
54
  In this first release, we only provide code example using the [sudachipy](https://github.com/WorksApplications/SudachiPy) tokenizer, which matches the token boundaries of UD Japanese datasets.
55
+ Code examples for other languages ​​will be provided in upcoming releases.
 
56
  本リリースでは、UD Japanese データセットのトークン境界との親和性の高い[sudachipy](https://github.com/WorksApplications/SudachiPy)をトークナイザーに使用したサンプルコードのみを提供します。
57
  他の言語向けのサンプルコードは、今後のリリースで提供予定です。
58
 
 
264
 
265
  ### Training Data and Hyper-parameters
266
 
267
+ We used the train-sets of the UD datasets below for LoRA SFT.
 
268
  本モデルのLoRA SFTには次のUDデータセットのtrainセットを使用しました。
269
  - [UD_English-EWT](https://github.com/UniversalDependencies/UD_English-EWT) r2.15
270
  - [UD_Japanese-GSD](https://github.com/UniversalDependencies/UD_Japanese-GSD) r2.15
 
274
  - [UD_German-GSD](https://github.com/UniversalDependencies/UD_German-GSD) r2.15
275
  - [UD_Slovenian-SSJ](https://github.com/UniversalDependencies/UD_Slovenian-SSJ) r2.15
276
 
277
+ We also used the training hyper-parameters below:
278
+ また訓練時には次のパイパーパラメータを使用しています。
 
279
  - lr: 5e-5
280
  - num_train_epochs: 2
281
  - lora_target_modules: "all-linear"
 
283
  - lora_alpha: 8
284
  - lora_dropout: 0.05
285
 
286
+ The details of the experimental conditions will be released later.
 
287
  実験条件の詳細については後日公開予定です。
288
 
289
  ### Evaluation Results
290
 
291
+ The accuracies in the table below are based on the simple recovery process applied to the TSV output in Step 3.
 
292
  次の表に記載した精度は、Step 3のTSV出力に簡易なリカバリ処理を適用した上で評価を行っています。
293
  | dataset | UPOS | UAS | LAS |
294
  | ---- | ---- | ---- | ---- |
 
303
  ### Framework versions
304
 
305
  - TRL v0.15.2 (for training)
306
+ - PEFT v0.14.0 (for training)
307
  - vLLM 0.7.2 (for inference)
308
 
309
  ## Citation