Upload tokenizer

special_tokens_map.json

@@ -1,7 +1,7 @@
 {
   "cls_token": "<cls>",
-  "mask_token": "[MASK]",
+  "mask_token": "<mask>",
   "pad_token": "<pad>",
-  "sep_token": "[SEP]",
+  "sep_token": "<sep>",
   "unk_token": "<unk>"
 }

tokenizer_config.json

@@ -1,10 +1,10 @@
 {
   "cls_token": "<cls>",
   "do_lower_case": true,
-  "mask_token": "[MASK]",
+  "mask_token": "<mask>",
   "model_max_length": 1000000000000000019884624838656,
   "pad_token": "<pad>",
-  "sep_token": "[SEP]",
+  "sep_token": "<sep>",
   "strip_accents": null,
   "tokenize_chinese_chars": true,
   "tokenizer_class": "BertTokenizer",

vocab.txt

@@ -36,10 +36,12 @@ m
 n
 o
 p
+q
 r
 s
 t
 u
+v
 w
 x
 ·
@@ -66,6 +68,7 @@ x
 丘
 业
 东
+丝
 两
 严
 个
@@ -92,7 +95,6 @@ x
 些
 交
 产
-享
 京
 亲
 人
@@ -107,13 +109,11 @@ x
 代
 令
 以
-仪
 们
 件
 价
 任
 份
-仿
 休
 众
 优
@@ -121,6 +121,7 @@ x
 传
 伤
 伪
+估
 但
 位
 住
@@ -137,7 +138,6 @@ x
 便
 保
 信
-俩
 修
 候
 债
@@ -152,7 +152,6 @@ x
 先
 光
 克
-兔
 党
 入
 全
@@ -161,11 +160,12 @@ x
 六
 共
 关
+兴
 兵
 其
 具
-典
 内
+册
 再
 写
 军
@@ -173,27 +173,25 @@ x
 决
 冷
 准
+凝
 几
 凡
-凭
 凯
 出
 击
 分
-划
 列
 则
 刚
 创
 初
+删
 判
 利
 别
 到
 制
-刺
 刻
-剃
 前
 割
 力
@@ -204,7 +202,6 @@ x
 动
 助
 劫
-励
 势
 勋
 勒
@@ -214,9 +211,7 @@ x
 区
 医
 十
-千
 升
-午
 半
 华
 协
@@ -224,7 +219,6 @@ x
 南
 博
 占
-卡
 卫
 印
 危
@@ -245,6 +239,7 @@ x
 受
 变
 口
+古
 句
 另
 只
@@ -252,7 +247,6 @@ x
 可
 台
 史
-右
 号
 司
 叹
@@ -262,14 +256,13 @@ x
 后
 向
 君
+否
 吧
 听
 吴
 告
 员
 呢
-周
-呼
 命
 和
 咨
@@ -278,6 +271,7 @@ x
 哲
 商
 善
+喝
 嘱
 四
 回
@@ -292,10 +286,10 @@ x
 场
 均
 坊
+坏
 坐
 块
 坛
-埃
 城
 域
 基
@@ -306,7 +300,6 @@ x
 声
 处
 复
-夏
 外
 多
 夜
@@ -319,12 +312,10 @@ x
 失
 头
 夺
-奇
 奉
 奋
 奖
 奥
-女
 她
 好
 如
@@ -346,7 +337,6 @@ x
 定
 宝
 实
-审
 客
 宣
 室
@@ -354,6 +344,7 @@ x
 宴
 家
 容
+宿
 寄
 密
 富
@@ -366,8 +357,8 @@ x
 少
 尔
 尖
+尬
 就
-尺
 尽
 局
 层
@@ -380,10 +371,10 @@ x
 岗
 峰
 崔
-川
+巅
 工
 左
-巨
+差
 己
 已
 巴
@@ -400,6 +391,7 @@ x
 平
 年
 并
+幸
 广
 庆
 序
@@ -421,7 +413,6 @@ x
 当
 录
 形
-彩
 影
 役
 往
@@ -455,7 +446,6 @@ x
 意
 感
 愿
-慢
 戏
 成
 我
@@ -480,12 +470,14 @@ x
 折
 护
 报
+抵
 担
 拉
 拍
 招
 拜
 拟
+拥
 括
 拿
 持
@@ -500,6 +492,7 @@ x
 控
 描
 提
+插
 握
 摆
 摇
@@ -509,23 +502,23 @@ x
 改
 攻
 放
-故
 效
 敌
-敏
 救
 敢
 敬
 数
 整
 文
+斑
 料
+斩
 断
 斯
 新
 方
 施
-旁
+族
 无
 日
 早
@@ -551,7 +544,6 @@ x
 最
 月
 有
-朋
 服
 望
 期
@@ -569,11 +561,12 @@ x
 条
 来
 杯
-松
 构
+析
 林
 果
 柏
+某
 查
 柯
 标
@@ -583,6 +576,7 @@ x
 根
 格
 桥
+梦
 梵
 检
 棋
@@ -599,15 +593,15 @@ x
 段
 母
 每
+毒
 比
 毕
-毛
 氏
 民
 气
+氧
 水
 江
-汪
 沈
 沉
 沙
@@ -635,22 +629,22 @@ x
 清
 游
 湖
+湾
 源
-满
 演
-潭
 濑
-火
 灵
 点
 热
 然
 照
+熊
 熟
 爱
 父
 片
 版
+牌
 物
 特
 王
@@ -693,12 +687,12 @@ x
 真
 眼
 着
+睿
 知
 石
 研
 破
 础
-硬
 确
 示
 礼
@@ -713,13 +707,14 @@ x
 种
 科
 秒
-秘
+租
 称
 程
 稿
 穆
 究
 空
+穿
 突
 立
 站
@@ -727,6 +722,7 @@ x
 章
 笑
 笔
+符
 第
 等
 答
@@ -734,13 +730,12 @@ x
 简
 算
 管
-篮
 米
 类
+粗
 精
 系
 素
-紧
 红
 约
 级
@@ -755,20 +750,23 @@ x
 络
 统
 继
-绩
 续
 维
 绿
+缓
+缩
 网
 罗
 置
 美
 群
 翰
+翻
 老
 考
 者
 而
+耳
 耶
 聂
 职
@@ -776,6 +774,7 @@ x
 股
 背
 胜
+胸
 能
 脑
 脱
@@ -796,6 +795,7 @@ x
 草
 荡
 荣
+荷
 获
 萍
 营
@@ -809,17 +809,17 @@ x
 藤
 虑
 虚
+虹
 虽
 血
 行
-街
+衔
 表
 被
 裁
 裂
 装
 要
-覆
 见
 观
 规
@@ -828,7 +828,7 @@ x
 解
 触
 言
-誉
+詹
 誓
 计
 订
@@ -882,35 +882,35 @@ x
 越
 跟
 路
-跳
 身
+躬
 车
 转
 轰
 轻
 较
 输
+辖
 边
 达
 过
 运
 近
-返
 还
 这
 进
 远
 连
 迫
+迷
 迹
 追
 退
 送
 选
-透
+逐
 递
 通
-速
 造
 遇
 遍
@@ -924,7 +924,7 @@ x
 都
 配
 酒
-酷
+酬
 醒
 采
 里
@@ -932,12 +932,12 @@ x
 野
 量
 金
+鉴
 钟
 钱
 铅
 铉
 银
-铸
 锌
 错
 镐
@@ -952,7 +952,6 @@ x
 防
 阵
 阶
-阿
 陈
 降
 院
@@ -963,14 +962,15 @@ x
 障
 难
 集
+雨
 零
 雷
 需
 露
+霸
 青
 非
 面
-鞠
 韩
 音
 顶
@@ -984,18 +984,18 @@ x
 额
 风
 飞
-饰
 馆
 首
+香
 马
 高
-鬼
 鲁
 鲜
 麦
 黄
 黑
 默
+鼓
 龄
 ！
 （
@@ -1003,57 +1003,59 @@ x
 ，
 ：
 ？
-##9
-##6
 ##1
-##2
 ##0
-##7
-##e
-##g
 ##a
-##l
-##u
-##r
-##t
-##3
-##k
-##i
 ##n
-##o
-##s
-##m
 ##c
 ##h
+##u
 ##f
+##e
+##k
+##r
+##g
+##s
+##b
+##i
+##l
+##t
+##q
+##3
+##9
 ##8
 ##5
-##×
+##o
+##m
 ##4
-##w
-##d
-##b
+##×
+##2
+##6
+##7
 ##p
+##d
+##v
+##w
 19
 ##00
 00
 20
 ##88
-##er
 ##cm
+##er
 10
 188
 ##000
 202
 al
-##go
-##ago
-##hago
-##phago
+##ag
+##hag
+##phag
 199
 198
 007
 1889
+alphag
 alphago
 000
 8000
@@ -1067,44 +1069,44 @@ alphago
 30
 90
 ##in
-197
 193
-16
+197
 18
-22
+16
 25
 24
+22
 31
 3000
 95
-##90
 ##19
-##22
 ##an
 ##as
-##ll
-##ker
 ##ff
+##ker
+##ll
+##90
+##22
 1984
 9500
-06
 01
 03
 05
 04
-17
+06
 15
+17
 200
-32
 38
 35
 34
+32
 40
-76
 71
-72
 70
 73
+72
+76
 80
 91
 de
@@ -1113,21 +1115,21 @@ ht
 mu
 mas
 off
-##92
+##ar
+##cker
 ##eu
 ##ew
-##ar
-##ter
 ##kin
-##cker
+##ter
+##92
 1988
 1888
 2022
 1991
 1961
 ##cm×6
-167
 1890
+167
 ##198
 ##ller
 2004
@@ -1136,6 +1138,8 @@ master
 offer
 ##king
 啊
+阿
+埃
 挨
 哎
 唉
@@ -1175,12 +1179,10 @@ offer
 靶
 耙
 坝
-霸
 罢
 爸
 佰
 稗
-斑
 班
 搬
 扳
@@ -1308,6 +1310,7 @@ offer
 材
 睬
 踩
+彩
 菜
 蔡
 餐
@@ -1324,9 +1327,7 @@ offer
 槽
 厕
 策
-册
 蹭
-插
 叉
 茬
 茶
@@ -1334,7 +1335,6 @@ offer
 搽
 察
 岔
-差
 诧
 拆
 柴
@@ -1398,6 +1398,7 @@ offer
 耻
 齿
 侈
+尺
 赤
 翅
 斥
@@ -1408,7 +1409,6 @@ offer
 崇
 宠
 抽
-酬
 畴
 踌
 稠
@@ -1430,7 +1430,7 @@ offer
 矗
 搐
 揣
-穿
+川
 椽
 船
 喘
@@ -1461,6 +1461,7 @@ offer
 慈
 瓷
 词
+刺
 赐
 聪
 葱
@@ -1468,7 +1469,6 @@ offer
 匆
 丛
 凑
-粗
 醋
 簇
 促
@@ -1538,7 +1538,6 @@ offer
 涤
 翟
 嫡
-抵
 底
 蒂
 帝
@@ -1547,6 +1546,7 @@ offer
 掂
 滇
 碘
+典
 靛
 垫
 佃
@@ -1593,7 +1593,6 @@ offer
 逗
 痘
 督
-毒
 犊
 独
 堵
@@ -1641,7 +1640,6 @@ offer
 遏
 鄂
 饿
-耳
 饵
 洱
 贰
@@ -1653,12 +1651,12 @@ offer
 珐
 藩
 帆
-翻
 樊
 矾
 钒
 繁
 烦
+返
 贩
 犯
 饭
@@ -1666,6 +1664,7 @@ offer
 芳
 肪
 妨
+仿
 纺
 菲
 啡
@@ -1698,7 +1697,6 @@ offer
 讽
 凤
 佛
-否
 敷
 肤
 孵
@@ -1706,7 +1704,6 @@ offer
 拂
 辐
 氟
-符
 伏
 俘
 浮
@@ -1725,6 +1722,7 @@ offer
 府
 腐
 副
+覆
 赋
 傅
 阜
@@ -1781,7 +1779,6 @@ offer
 梗
 恭
 龚
-躬
 宫
 弓
 巩
@@ -1799,14 +1796,12 @@ offer
 菇
 咕
 箍
-估
 沽
 孤
 姑
-鼓
-古
 蛊
 骨
+故
 固
 雇
 刮
@@ -1830,6 +1825,7 @@ offer
 龟
 闺
 轨
+鬼
 诡
 癸
 桂
@@ -1876,8 +1872,6 @@ offer
 耗
 浩
 呵
-喝
-荷
 菏
 核
 禾
@@ -1898,7 +1892,6 @@ offer
 恒
 哄
 烘
-虹
 鸿
 洪
 宏
@@ -1907,6 +1900,7 @@ offer
 侯
 猴
 吼
+呼
 忽
 瑚
 壶
@@ -1922,13 +1916,12 @@ offer
 哗
 猾
 滑
+划
 槐
 徊
 淮
-坏
 环
 桓
-缓
 换
 唤
 痪
@@ -1974,6 +1967,7 @@ offer
 浑
 豁
 伙
+火
 惑
 霍
 货
@@ -1989,6 +1983,7 @@ offer
 讥
 鸡
 姬
+绩
 缉
 吉
 极
@@ -2046,7 +2041,6 @@ offer
 减
 荐
 槛
-鉴
 践
 贱
 键
@@ -2094,6 +2088,7 @@ offer
 揭
 皆
 秸
+街
 截
 桔
 杰
@@ -2113,6 +2108,7 @@ offer
 斤
 津
 襟
+紧
 锦
 谨
 靳
@@ -2152,6 +2148,7 @@ offer
 舅
 咎
 疚
+鞠
 拘
 狙
 疽
@@ -2162,6 +2159,7 @@ offer
 沮
 聚
 拒
+巨
 距
 踞
 锯
@@ -2193,6 +2191,7 @@ offer
 骏
 喀
 咖
+卡
 咯
 揩
 楷
@@ -2232,6 +2231,7 @@ offer
 枯
 哭
 窟
+酷
 裤
 夸
 垮
@@ -2277,6 +2277,7 @@ offer
 婪
 栏
 拦
+篮
 阑
 兰
 澜
@@ -2326,6 +2327,7 @@ offer
 栗
 丽
 厉
+励
 砾
 历
 僳
@@ -2336,6 +2338,7 @@ offer
 隶
 璃
 哩
+俩
 莲
 廉
 怜
@@ -2478,8 +2481,10 @@ offer
 瞒
 馒
 蛮
+满
 蔓
 曼
+慢
 漫
 谩
 芒
@@ -2490,6 +2495,7 @@ offer
 猫
 茅
 锚
+毛
 矛
 铆
 卯
@@ -2517,15 +2523,14 @@ offer
 盟
 锰
 猛
-梦
 孟
 眯
 醚
 靡
 糜
-迷
 谜
 弥
+秘
 觅
 泌
 蜜
@@ -2548,6 +2553,7 @@ offer
 灭
 抿
 皿
+敏
 悯
 闽
 螟
@@ -2571,7 +2577,6 @@ offer
 陌
 谋
 牟
-某
 拇
 牡
 亩
@@ -2624,7 +2629,6 @@ offer
 涅
 柠
 狞
-凝
 宁
 拧
 泞
@@ -2639,6 +2643,7 @@ offer
 奴
 努
 怒
+女
 暖
 虐
 疟
@@ -2659,7 +2664,6 @@ offer
 爬
 帕
 琶
-牌
 徘
 湃
 攀
@@ -2670,6 +2674,7 @@ offer
 叛
 乓
 庞
+旁
 耪
 胖
 抛
@@ -2699,6 +2704,7 @@ offer
 硼
 篷
 膨
+朋
 鹏
 捧
 碰
@@ -2731,6 +2737,7 @@ offer
 乒
 坪
 苹
+凭
 瓶
 屏
 坡
@@ -2762,6 +2769,7 @@ offer
 漆
 柒
 沏
+奇
 歧
 畦
 崎
@@ -2788,6 +2796,7 @@ offer
 牵
 扦
 钎
+千
 迁
 仟
 谦
@@ -2956,7 +2965,6 @@ offer
 晒
 珊
 苫
-删
 煽
 衫
 闪
@@ -2996,6 +3004,7 @@ offer
 伸
 娠
 绅
+审
 婶
 甚
 肾
@@ -3026,6 +3035,7 @@ offer
 仕
 侍
 释
+饰
 恃
 守
 寿
@@ -3077,7 +3087,6 @@ offer
 烁
 撕
 嘶
-丝
 肆
 寺
 嗣
@@ -3085,6 +3094,7 @@ offer
 似
 饲
 巳
+松
 耸
 怂
 颂
@@ -3098,10 +3108,10 @@ offer
 苏
 酥
 俗
+速
 粟
 塑
 溯
-宿
 肃
 酸
 蒜
@@ -3119,7 +3129,6 @@ offer
 蓑
 梭
 唆
-缩
 琐
 索
 锁
@@ -3143,6 +3152,7 @@ offer
 滩
 檀
 痰
+潭
 谭
 谈
 坦
@@ -3186,6 +3196,7 @@ offer
 嚏
 惕
 涕
+剃
 屉
 添
 填
@@ -3195,6 +3206,7 @@ offer
 腆
 迢
 眺
+跳
 贴
 铁
 帖
@@ -3215,6 +3227,7 @@ offer
 捅
 筒
 偷
+透
 凸
 秃
 途
@@ -3222,6 +3235,7 @@ offer
 屠
 土
 吐
+兔
 湍
 推
 颓
@@ -3249,7 +3263,6 @@ offer
 歪
 豌
 弯
-湾
 玩
 顽
 丸
@@ -3261,6 +3274,7 @@ offer
 宛
 婉
 腕
+汪
 亡
 枉
 旺
@@ -3319,6 +3333,7 @@ offer
 吾
 毋
 捂
+午
 舞
 伍
 侮
@@ -3330,7 +3345,6 @@ offer
 悟
 昔
 熙
-析
 西
 硒
 矽
@@ -3360,11 +3374,11 @@ offer
 虾
 匣
 霞
-辖
 峡
 侠
 狭
 厦
+夏
 吓
 掀
 锨
@@ -3372,7 +3386,6 @@ offer
 纤
 咸
 贤
-衔
 舷
 闲
 涎
@@ -3387,7 +3400,6 @@ offer
 限
 厢
 镶
-香
 箱
 襄
 湘
@@ -3395,6 +3407,7 @@ offer
 翔
 祥
 响
+享
 巷
 橡
 萧
@@ -3433,19 +3446,15 @@ offer
 腥
 猩
 惺
-兴
 刑
 型
 邢
-幸
 杏
 姓
 凶
-胸
 匈
 汹
 雄
-熊
 羞
 朽
 嗅
@@ -3536,7 +3545,6 @@ offer
 羊
 洋
 阳
-氧
 仰
 痒
 养
@@ -3571,6 +3579,7 @@ offer
 颐
 夷
 移
+仪
 胰
 沂
 宜
@@ -3619,9 +3628,9 @@ offer
 迎
 盈
 颖
+硬
 映
 哟
-拥
 佣
 臃
 痈
@@ -3643,6 +3652,7 @@ offer
 铀
 犹
 酉
+右
 佑
 釉
 诱
@@ -3663,7 +3673,6 @@ offer
 隅
 予
 娱
-雨
 屿
 禹
 羽
@@ -3678,6 +3687,7 @@ offer
 欲
 狱
 育
+誉
 浴
 寓
 裕
@@ -3767,11 +3777,9 @@ offer
 寨
 瞻
 毡
-詹
 粘
 沾
 盏
-斩
 辗
 崭
 蘸
@@ -3854,6 +3862,7 @@ offer
 肿
 仲
 舟
+周
 州
 洲
 诌
@@ -3873,7 +3882,6 @@ offer
 猪
 诸
 诛
-逐
 竹
 烛
 煮
@@ -3882,6 +3890,7 @@ offer
 柱
 蛀
 贮
+铸
 筑
 驻
 抓
@@ -3931,10 +3940,8 @@ offer
 邹
 奏
 揍
-租
 足
 卒
-族
 诅
 阻
 组