Update README.md
Browse files
README.md
CHANGED
|
@@ -29,7 +29,6 @@ This model is trained using the Universal Dependencies datasets over 7 languages
|
|
| 29 |
## Terms of Use
|
| 30 |
|
| 31 |
This LoRA adapter package is released under the CC BY-SA 4.0.
|
| 32 |
-
|
| 33 |
However, please note the following important conditions regarding its usage:
|
| 34 |
- This package **does not contain any part of the original Gemma 2 model**.
|
| 35 |
- In order to use this package, you must obtain and use the base model distributed from Google:
|
|
@@ -38,10 +37,8 @@ However, please note the following important conditions regarding its usage:
|
|
| 38 |
|
| 39 |
利用規約 (Japanese version of the Terms of Use)
|
| 40 |
|
| 41 |
-
このLoRAアダプタパッケージは、CC BY-SA 4.0に基づいてリリースされています。
|
| 42 |
-
|
| 43 |
-
ただし、使用に関しては以下の重要な利用条件に注意してください。
|
| 44 |
-
|
| 45 |
- このパッケージには**オリジナルのGemma 2モデルは含まれていません**
|
| 46 |
- このパッケージを使用するには、Googleが配布するGemmaモデルを入手して使用する必要があります:
|
| 47 |
[Gemma 2 9B base on Hugging Face](https://huggingface.co/google/gemma-2-9b)
|
|
@@ -55,8 +52,7 @@ pip install -U vllm==0.7.2 sudachipy sudachidict-core
|
|
| 55 |
```
|
| 56 |
|
| 57 |
In this first release, we only provide code example using the [sudachipy](https://github.com/WorksApplications/SudachiPy) tokenizer, which matches the token boundaries of UD Japanese datasets.
|
| 58 |
-
Code examples for other languages will be provided in upcoming releases.
|
| 59 |
-
|
| 60 |
本リリースでは、UD Japanese データセットのトークン境界との親和性の高い[sudachipy](https://github.com/WorksApplications/SudachiPy)をトークナイザーに使用したサンプルコードのみを提供します。
|
| 61 |
他の言語向けのサンプルコードは、今後のリリースで提供予定です。
|
| 62 |
|
|
@@ -268,8 +264,7 @@ for sentence, result in zip(input_sentences, results):
|
|
| 268 |
|
| 269 |
### Training Data and Hyper-parameters
|
| 270 |
|
| 271 |
-
We used the train-sets of the UD datasets below for LoRA SFT.
|
| 272 |
-
|
| 273 |
本モデルのLoRA SFTには次のUDデータセットのtrainセットを使用しました。
|
| 274 |
- [UD_English-EWT](https://github.com/UniversalDependencies/UD_English-EWT) r2.15
|
| 275 |
- [UD_Japanese-GSD](https://github.com/UniversalDependencies/UD_Japanese-GSD) r2.15
|
|
@@ -279,9 +274,8 @@ We used the train-sets of the UD datasets below for LoRA SFT.
|
|
| 279 |
- [UD_German-GSD](https://github.com/UniversalDependencies/UD_German-GSD) r2.15
|
| 280 |
- [UD_Slovenian-SSJ](https://github.com/UniversalDependencies/UD_Slovenian-SSJ) r2.15
|
| 281 |
|
| 282 |
-
We also used the training hyper-parameters below:
|
| 283 |
-
|
| 284 |
-
また訓練時には次のパイパーパラメータを使用しました。
|
| 285 |
- lr: 5e-5
|
| 286 |
- num_train_epochs: 2
|
| 287 |
- lora_target_modules: "all-linear"
|
|
@@ -289,14 +283,12 @@ We also used the training hyper-parameters below:
|
|
| 289 |
- lora_alpha: 8
|
| 290 |
- lora_dropout: 0.05
|
| 291 |
|
| 292 |
-
The details of the experimental conditions will be released later.
|
| 293 |
-
|
| 294 |
実験条件の詳細については後日公開予定です。
|
| 295 |
|
| 296 |
### Evaluation Results
|
| 297 |
|
| 298 |
-
The accuracies in the table below are based on the simple recovery process applied to the TSV output in Step 3.
|
| 299 |
-
|
| 300 |
次の表に記載した精度は、Step 3のTSV出力に簡易なリカバリ処理を適用した上で評価を行っています。
|
| 301 |
| dataset | UPOS | UAS | LAS |
|
| 302 |
| ---- | ---- | ---- | ---- |
|
|
@@ -311,6 +303,7 @@ The accuracies in the table below are based on the simple recovery process appli
|
|
| 311 |
### Framework versions
|
| 312 |
|
| 313 |
- TRL v0.15.2 (for training)
|
|
|
|
| 314 |
- vLLM 0.7.2 (for inference)
|
| 315 |
|
| 316 |
## Citation
|
|
|
|
| 29 |
## Terms of Use
|
| 30 |
|
| 31 |
This LoRA adapter package is released under the CC BY-SA 4.0.
|
|
|
|
| 32 |
However, please note the following important conditions regarding its usage:
|
| 33 |
- This package **does not contain any part of the original Gemma 2 model**.
|
| 34 |
- In order to use this package, you must obtain and use the base model distributed from Google:
|
|
|
|
| 37 |
|
| 38 |
利用規約 (Japanese version of the Terms of Use)
|
| 39 |
|
| 40 |
+
このLoRAアダプタパッケージは、CC BY-SA 4.0に基づいてリリースされています。
|
| 41 |
+
ただし、使用に関しては以下の重要な利用条件に注意してください。
|
|
|
|
|
|
|
| 42 |
- このパッケージには**オリジナルのGemma 2モデルは含まれていません**
|
| 43 |
- このパッケージを使用するには、Googleが配布するGemmaモデルを入手して使用する必要があります:
|
| 44 |
[Gemma 2 9B base on Hugging Face](https://huggingface.co/google/gemma-2-9b)
|
|
|
|
| 52 |
```
|
| 53 |
|
| 54 |
In this first release, we only provide code example using the [sudachipy](https://github.com/WorksApplications/SudachiPy) tokenizer, which matches the token boundaries of UD Japanese datasets.
|
| 55 |
+
Code examples for other languages will be provided in upcoming releases.
|
|
|
|
| 56 |
本リリースでは、UD Japanese データセットのトークン境界との親和性の高い[sudachipy](https://github.com/WorksApplications/SudachiPy)をトークナイザーに使用したサンプルコードのみを提供します。
|
| 57 |
他の言語向けのサンプルコードは、今後のリリースで提供予定です。
|
| 58 |
|
|
|
|
| 264 |
|
| 265 |
### Training Data and Hyper-parameters
|
| 266 |
|
| 267 |
+
We used the train-sets of the UD datasets below for LoRA SFT.
|
|
|
|
| 268 |
本モデルのLoRA SFTには次のUDデータセットのtrainセットを使用しました。
|
| 269 |
- [UD_English-EWT](https://github.com/UniversalDependencies/UD_English-EWT) r2.15
|
| 270 |
- [UD_Japanese-GSD](https://github.com/UniversalDependencies/UD_Japanese-GSD) r2.15
|
|
|
|
| 274 |
- [UD_German-GSD](https://github.com/UniversalDependencies/UD_German-GSD) r2.15
|
| 275 |
- [UD_Slovenian-SSJ](https://github.com/UniversalDependencies/UD_Slovenian-SSJ) r2.15
|
| 276 |
|
| 277 |
+
We also used the training hyper-parameters below:
|
| 278 |
+
また訓練時には次のパイパーパラメータを使用しています。
|
|
|
|
| 279 |
- lr: 5e-5
|
| 280 |
- num_train_epochs: 2
|
| 281 |
- lora_target_modules: "all-linear"
|
|
|
|
| 283 |
- lora_alpha: 8
|
| 284 |
- lora_dropout: 0.05
|
| 285 |
|
| 286 |
+
The details of the experimental conditions will be released later.
|
|
|
|
| 287 |
実験条件の詳細については後日公開予定です。
|
| 288 |
|
| 289 |
### Evaluation Results
|
| 290 |
|
| 291 |
+
The accuracies in the table below are based on the simple recovery process applied to the TSV output in Step 3.
|
|
|
|
| 292 |
次の表に記載した精度は、Step 3のTSV出力に簡易なリカバリ処理を適用した上で評価を行っています。
|
| 293 |
| dataset | UPOS | UAS | LAS |
|
| 294 |
| ---- | ---- | ---- | ---- |
|
|
|
|
| 303 |
### Framework versions
|
| 304 |
|
| 305 |
- TRL v0.15.2 (for training)
|
| 306 |
+
- PEFT v0.14.0 (for training)
|
| 307 |
- vLLM 0.7.2 (for inference)
|
| 308 |
|
| 309 |
## Citation
|