Update README.md
Browse files
README.md
CHANGED
|
@@ -5,6 +5,7 @@ language:
|
|
| 5 |
- ja
|
| 6 |
- ko
|
| 7 |
pipeline_tag: fill-mask
|
|
|
|
| 8 |
---
|
| 9 |
|
| 10 |
### Overview
|
|
@@ -39,8 +40,10 @@ pipeline_tag: fill-mask
|
|
| 39 |
- Training script available on [Github](https://github.com/neavo/KeywordGachaModel).
|
| 40 |
|
| 41 |
### 综述
|
| 42 |
-
- ModernBertMultilingual 是一个从零开始训练的多语言模型
|
| 43 |
-
-
|
|
|
|
|
|
|
| 44 |
|
| 45 |
### 技术指标
|
| 46 |
- 在 `L40*7` 的设备上训练了大约 `100` 个小时，训练量大约 `60B` Token
|
|
@@ -55,9 +58,9 @@ pipeline_tag: fill-mask
|
|
| 55 |
|
| 56 |
### 发布版本
|
| 57 |
- 提供 3 个不同的权重版本
|
| 58 |
-
- base - 使用通用
|
| 59 |
- nodecay - 退火阶段开始前的检查点，你可以在这个权重的基础上添加领域语料进行退火以使其更适应目标领域
|
| 60 |
-
- keyword_gacha_multilingual - 使用 ACGN（例如 `轻小说`、`游戏脚本`、`漫画脚本`等）类型文本进行退火的版本
|
| 61 |
|
| 62 |
| 模型 | 版本 | 说明 |
|
| 63 |
| :--: | :--: | :--:|
|
|
|
|
| 5 |
- ja
|
| 6 |
- ko
|
| 7 |
pipeline_tag: fill-mask
|
| 8 |
+
license: apache-2.0
|
| 9 |
---
|
| 10 |
|
| 11 |
### Overview
|
|
|
|
| 40 |
- Training script available on [Github](https://github.com/neavo/KeywordGachaModel).
|
| 41 |
|
| 42 |
### 综述
|
| 43 |
+
- ModernBertMultilingual 是一个从零开始训练的多语言模型
|
| 44 |
+
- 使用 [ModernBERT-base](https://huggingface.co/answerdotai/ModernBERT-base) 架构
|
| 45 |
+
- 支持 `简体中文`、`繁体中文`、`英文`、`日文`、`韩文` 等四种语言及其变种
|
| 46 |
+
- 可以很好处理东亚语言混合文本任务
|
| 47 |
|
| 48 |
### 技术指标
|
| 49 |
- 在 `L40*7` 的设备上训练了大约 `100` 个小时，训练量大约 `60B` Token
|
|
|
|
| 58 |
|
| 59 |
### 发布版本
|
| 60 |
- 提供 3 个不同的权重版本
|
| 61 |
+
- base - 使用通用预料完整训练，可以较好的适用于各种不同领域文本
|
| 62 |
- nodecay - 退火阶段开始前的检查点，你可以在这个权重的基础上添加领域语料进行退火以使其更适应目标领域
|
| 63 |
+
- keyword_gacha_multilingual - 使用 ACGN（例如 `轻小说`、`游戏脚本`、`漫画脚本` 等）类型文本进行退火的版本
|
| 64 |
|
| 65 |
| 模型 | 版本 | 说明 |
|
| 66 |
| :--: | :--: | :--:|
|