Upload tokenizer

special_tokens_map.json

@@ -1,7 +1,7 @@
 {
-  "cls_token": "[CLS]",
-  "mask_token": "[MASK]",
-  "pad_token": "[PAD]",
-  "sep_token": "[SEP]",
-  "unk_token": "[UNK]"
+  "cls_token": "<cls>",
+  "mask_token": "<mask>",
+  "pad_token": "<pad>",
+  "sep_token": "<sep>",
+  "unk_token": "<unk>"
 }

tokenizer_config.json

@@ -1,12 +1,12 @@
 {
-  "cls_token": "[CLS]",
+  "cls_token": "<cls>",
   "do_lower_case": true,
-  "mask_token": "[MASK]",
+  "mask_token": "<mask>",
   "model_max_length": 1000000000000000019884624838656,
-  "pad_token": "[PAD]",
-  "sep_token": "[SEP]",
+  "pad_token": "<pad>",
+  "sep_token": "<sep>",
   "strip_accents": null,
   "tokenize_chinese_chars": true,
   "tokenizer_class": "BertTokenizer",
-  "unk_token": "[UNK]"
+  "unk_token": "<unk>"
 }

vocab.txt

@@ -40,7 +40,6 @@ r
 s
 t
 u
-v
 w
 x
 ·
@@ -66,13 +65,13 @@ x
 世
 丘
 业
-东
 两
 严
 个
 中
 为
 主
+丽
 举
 久
 么
@@ -92,6 +91,7 @@ x
 互
 五
 些
+亡
 交
 产
 京
@@ -120,7 +120,7 @@ x
 传
 伤
 伪
-估
+似
 但
 位
 住
@@ -136,9 +136,10 @@ x
 便
 保
 信
-俩
 修
 候
+借
+债
 值
 假
 做
@@ -150,7 +151,6 @@ x
 先
 光
 克
-兔
 党
 入
 全
@@ -160,23 +160,22 @@ x
 兰
 共
 关
+兴
 兵
 其
 具
-典
 内
-册
 再
 写
 军
 冠
 决
+况
 冷
 准
-凝
+减
 几
 凡
-凭
 凯
 出
 击
@@ -213,6 +212,7 @@ x
 区
 医
 十
+千
 升
 半
 华
@@ -264,23 +264,19 @@ x
 员
 呢
 周
-呼
 命
 和
 咨
 品
-哈
 哉
 哲
 商
 善
-喝
 嘱
 四
 回
 因
 团
-园
 围
 国
 图
@@ -293,7 +289,6 @@ x
 坐
 块
 坛
-垢
 城
 域
 基
@@ -302,6 +297,7 @@ x
 壮
 声
 处
+备
 复
 外
 多
@@ -318,13 +314,14 @@ x
 奉
 奖
 奥
+女
 她
 好
 如
 妖
+妹
 姆
 始
-委
 媒
 子
 孔
@@ -333,6 +330,7 @@ x
 季
 学
 孩
+它
 宇
 安
 完
@@ -340,7 +338,6 @@ x
 定
 宝
 实
-审
 客
 宣
 室
@@ -355,11 +352,13 @@ x
 封
 射
 将
+尊
 小
 少
 尔
 尖
 就
+尴
 尺
 尽
 局
@@ -376,7 +375,7 @@ x
 巅
 工
 左
-差
+巨
 己
 已
 巴
@@ -393,6 +392,7 @@ x
 平
 年
 并
+幸
 广
 庆
 序
@@ -406,11 +406,13 @@ x
 建
 开
 异
+弃
 式
 引
 弟
 张
 强
+归
 当
 录
 形
@@ -418,6 +420,7 @@ x
 役
 往
 征
+待
 很
 律
 徐
@@ -428,9 +431,9 @@ x
 心
 必
 志
-忘
 忙
 快
+念
 怀
 态
 怕
@@ -453,6 +456,7 @@ x
 我
 或
 战
+截
 户
 房
 所
@@ -461,6 +465,7 @@ x
 打
 托
 执
+扫
 扬
 批
 找
@@ -472,13 +477,14 @@ x
 折
 护
 报
-抵
+抱
 担
 拉
 拍
 招
 拜
 拟
+拥
 括
 拿
 持
@@ -488,7 +494,6 @@ x
 挑
 挥
 据
-掌
 排
 接
 控
@@ -496,7 +501,6 @@ x
 提
 插
 握
-搏
 摆
 摇
 播
@@ -508,13 +512,14 @@ x
 放
 效
 敌
+救
 敢
 敬
 数
 整
 文
+斑
 料
-斩
 断
 斯
 新
@@ -530,7 +535,6 @@ x
 明
 星
 春
-昭
 是
 显
 晓
@@ -545,7 +549,6 @@ x
 最
 月
 有
-朋
 服
 望
 期
@@ -565,6 +568,7 @@ x
 杯
 松
 构
+析
 林
 果
 柏
@@ -578,11 +582,9 @@ x
 根
 格
 桥
-梦
 梵
 检
 棋
-概
 横
 次
 款
@@ -601,7 +603,6 @@ x
 民
 气
 水
-求
 江
 沈
 沉
@@ -625,22 +626,27 @@ x
 消
 涉
 涵
+淡
 深
 混
+添
 清
 游
 湖
+湾
 源
+满
 演
 激
 濑
+灰
 灵
+炸
 点
 烧
 热
 然
 照
-爬
 爱
 父
 片
@@ -648,6 +654,7 @@ x
 牌
 物
 特
+献
 王
 现
 理
@@ -687,7 +694,6 @@ x
 相
 看
 真
-眠
 眼
 着
 睿
@@ -704,29 +710,25 @@ x
 祝
 神
 票
+福
 离
 秀
 私
 种
 科
 秒
-租
 称
 程
 稿
-穆
 究
 空
-穿
 突
 立
 站
 竟
 章
-端
 笑
 笔
-符
 第
 等
 答
@@ -736,7 +738,6 @@ x
 管
 米
 类
-粗
 精
 系
 素
@@ -757,13 +758,13 @@ x
 续
 维
 绿
-缓
 网
 罗
 置
 美
 群
 翰
+翻
 老
 考
 者
@@ -775,6 +776,7 @@ x
 股
 背
 胜
+胸
 能
 脑
 脱
@@ -783,6 +785,7 @@ x
 至
 致
 舒
+般
 色
 艺
 节
@@ -793,9 +796,9 @@ x
 苦
 英
 范
+草
 荡
 荣
-荷
 获
 萍
 营
@@ -812,7 +815,7 @@ x
 虽
 血
 行
-街
+衔
 表
 被
 裁
@@ -825,11 +828,10 @@ x
 规
 视
 觉
-角
 解
 触
 言
-誓
+詹
 计
 订
 认
@@ -889,29 +891,27 @@ x
 轰
 轻
 较
-辈
 输
 边
 达
 过
+迎
 运
 近
+返
 还
 这
 进
 远
 连
 迫
-迷
 迹
 追
 退
 送
 选
 递
-途
 通
-速
 造
 遇
 遍
@@ -925,6 +925,7 @@ x
 都
 配
 酒
+酷
 醒
 采
 里
@@ -932,6 +933,7 @@ x
 野
 量
 金
+针
 钟
 钱
 铅
@@ -952,6 +954,7 @@ x
 防
 阵
 阶
+阿
 陈
 降
 院
@@ -961,8 +964,8 @@ x
 隐
 障
 难
+雄
 集
-雨
 零
 雷
 需
@@ -975,7 +978,6 @@ x
 顶
 项
 顺
-顽
 顾
 领
 频
@@ -986,16 +988,14 @@ x
 飞
 馆
 首
-香
 马
 高
+鬼
 鲁
 鲜
 麦
 黄
 黑
-默
-鼓
 龄
 ！
 （
@@ -1003,58 +1003,57 @@ x
 ，
 ：
 ？
-##e
-##g
-##a
-##l
+##9
 ##6
 ##3
-##7
-##2
-##n
-##9
-##0
-##o
-##m
 ##c
+##m
+##×
+##5
+##o
+##g
 ##h
-##u
-##f
-##k
+##0
+##2
+##4
+##7
+##t
+##l
 ##r
+##e
 ##1
-##8
-##d
-##v
-##i
-##5
+##a
+##n
 ##s
-##t
-##w
-##×
 ##p
-##4
 ##b
+##k
+##i
+##d
+##8
+##u
+##w
+##f
 19
 ##00
 00
 20
 ##88
-##er
 ##cm
+##er
 10
 188
 ##000
 202
 al
 ##go
-##ago
-##hago
-##phago
+##ha
+##pha
 199
 198
 007
 1889
+alpha
 alphago
 000
 8000
@@ -1072,39 +1071,39 @@ alphago
 197
 16
 18
-22
 25
+22
 24
 31
 3000
 95
+##90
+##22
+##ll
+##19
 ##an
 ##as
-##ll
-##22
-##90
-##ff
 ##ker
-##19
+##ff
 1984
 9500
 06
 03
-01
 05
 04
-17
+01
 15
+17
 200
-32
-38
 35
+32
 34
+38
 40
 76
 73
-72
 70
+72
 71
 80
 91
@@ -1114,13 +1113,13 @@ ht
 mu
 mas
 off
+##92
+##cker
+##ter
 ##eu
 ##ew
 ##ar
-##92
-##cker
 ##kin
-##ter
 1988
 1888
 2022
@@ -1137,7 +1136,6 @@ master
 offer
 ##king
 啊
-阿
 埃
 挨
 哎
@@ -1183,11 +1181,9 @@ offer
 爸
 佰
 稗
-斑
 班
 搬
 扳
-般
 颁
 板
 扮
@@ -1213,7 +1209,6 @@ offer
 雹
 堡
 饱
-抱
 暴
 豹
 鲍
@@ -1221,11 +1216,11 @@ offer
 碑
 悲
 卑
+辈
 贝
 钡
 倍
 狈
-备
 惫
 焙
 奔
@@ -1286,6 +1281,7 @@ offer
 钵
 波
 勃
+搏
 铂
 箔
 伯
@@ -1323,9 +1319,9 @@ offer
 操
 糙
 槽
-草
 厕
 策
+册
 蹭
 叉
 茬
@@ -1334,6 +1330,7 @@ offer
 搽
 察
 岔
+差
 诧
 拆
 柴
@@ -1430,6 +1427,7 @@ offer
 搐
 揣
 川
+穿
 椽
 船
 喘
@@ -1468,6 +1466,7 @@ offer
 匆
 丛
 凑
+粗
 醋
 簇
 促
@@ -1497,7 +1496,6 @@ offer
 殆
 贷
 袋
-待
 逮
 怠
 耽
@@ -1508,7 +1506,6 @@ offer
 旦
 氮
 惮
-淡
 诞
 弹
 蛋
@@ -1537,6 +1534,7 @@ offer
 涤
 翟
 嫡
+抵
 底
 蒂
 帝
@@ -1545,6 +1543,7 @@ offer
 掂
 滇
 碘
+典
 靛
 垫
 佃
@@ -1575,6 +1574,7 @@ offer
 鼎
 锭
 丢
+东
 冬
 董
 懂
@@ -1602,6 +1602,7 @@ offer
 肚
 渡
 妒
+端
 短
 锻
 缎
@@ -1650,13 +1651,11 @@ offer
 珐
 藩
 帆
-翻
 樊
 矾
 钒
 繁
 烦
-返
 贩
 犯
 饭
@@ -1706,11 +1705,11 @@ offer
 拂
 辐
 氟
+符
 伏
 俘
 浮
 涪
-福
 袱
 弗
 甫
@@ -1735,6 +1734,7 @@ offer
 咐
 噶
 嘎
+概
 钙
 溉
 甘
@@ -1791,14 +1791,17 @@ offer
 沟
 苟
 狗
+垢
 购
 辜
 菇
 咕
 箍
+估
 沽
 孤
 姑
+鼓
 古
 蛊
 骨
@@ -1822,11 +1825,9 @@ offer
 瑰
 圭
 硅
-归
 龟
 闺
 轨
-鬼
 诡
 癸
 桂
@@ -1840,6 +1841,7 @@ offer
 锅
 郭
 裹
+哈
 骸
 氦
 亥
@@ -1872,6 +1874,8 @@ offer
 耗
 浩
 呵
+喝
+荷
 菏
 核
 禾
@@ -1901,6 +1905,7 @@ offer
 侯
 猴
 吼
+呼
 忽
 瑚
 壶
@@ -1923,6 +1928,7 @@ offer
 欢
 环
 桓
+缓
 换
 唤
 痪
@@ -1944,7 +1950,6 @@ offer
 幌
 恍
 谎
-灰
 辉
 徽
 恢
@@ -2037,7 +2042,6 @@ offer
 捡
 俭
 剪
-减
 荐
 槛
 鉴
@@ -2076,6 +2080,7 @@ offer
 侥
 脚
 狡
+角
 饺
 缴
 绞
@@ -2087,7 +2092,7 @@ offer
 揭
 皆
 秸
-截
+街
 桔
 杰
 捷
@@ -2097,7 +2102,6 @@ offer
 戒
 藉
 芥
-借
 介
 疥
 诫
@@ -2141,7 +2145,6 @@ offer
 韭
 灸
 厩
-救
 旧
 臼
 舅
@@ -2158,7 +2161,6 @@ offer
 沮
 聚
 拒
-巨
 距
 踞
 锯
@@ -2230,7 +2232,6 @@ offer
 枯
 哭
 窟
-酷
 裤
 夸
 垮
@@ -2247,7 +2248,6 @@ offer
 矿
 眶
 旷
-况
 亏
 盔
 岿
@@ -2323,7 +2323,6 @@ offer
 荔
 吏
 栗
-丽
 厉
 砾
 历
@@ -2336,6 +2335,7 @@ offer
 隶
 璃
 哩
+俩
 莲
 廉
 怜
@@ -2477,7 +2477,6 @@ offer
 瞒
 馒
 蛮
-满
 蔓
 曼
 慢
@@ -2510,7 +2509,6 @@ offer
 镁
 昧
 寐
-妹
 媚
 闷
 萌
@@ -2519,11 +2517,13 @@ offer
 盟
 锰
 猛
+梦
 孟
 眯
 醚
 靡
 糜
+迷
 谜
 弥
 秘
@@ -2532,6 +2532,7 @@ offer
 蜜
 幂
 棉
+眠
 绵
 冕
 免
@@ -2566,6 +2567,7 @@ offer
 抹
 莫
 墨
+默
 沫
 漠
 寞
@@ -2581,6 +2583,7 @@ offer
 慕
 睦
 牧
+穆
 哪
 呐
 钠
@@ -2612,7 +2615,6 @@ offer
 碾
 撵
 捻
-念
 娘
 酿
 鸟
@@ -2625,6 +2627,7 @@ offer
 涅
 柠
 狞
+凝
 宁
 拧
 泞
@@ -2639,7 +2642,6 @@ offer
 奴
 努
 怒
-女
 暖
 虐
 疟
@@ -2657,6 +2659,7 @@ offer
 沤
 啪
 趴
+爬
 帕
 琶
 徘
@@ -2699,6 +2702,7 @@ offer
 硼
 篷
 膨
+朋
 鹏
 捧
 碰
@@ -2731,6 +2735,7 @@ offer
 乒
 坪
 苹
+凭
 瓶
 屏
 坡
@@ -2780,7 +2785,6 @@ offer
 砌
 器
 迄
-弃
 汽
 泣
 讫
@@ -2789,7 +2793,6 @@ offer
 牵
 扦
 钎
-千
 迁
 仟
 谦
@@ -2851,6 +2854,7 @@ offer
 秋
 邱
 球
+求
 囚
 酋
 泅
@@ -2940,7 +2944,6 @@ offer
 丧
 搔
 骚
-扫
 嫂
 瑟
 涩
@@ -2996,6 +2999,7 @@ offer
 伸
 娠
 绅
+审
 婶
 甚
 肾
@@ -3019,6 +3023,7 @@ offer
 驶
 柿
 拭
+誓
 逝
 嗜
 噬
@@ -3084,7 +3089,6 @@ offer
 寺
 嗣
 伺
-似
 饲
 巳
 耸
@@ -3099,6 +3103,7 @@ offer
 嗽
 酥
 俗
+速
 粟
 塑
 溯
@@ -3125,7 +3130,6 @@ offer
 索
 锁
 塌
-它
 塔
 獭
 挞
@@ -3190,7 +3194,6 @@ offer
 涕
 剃
 屉
-添
 填
 甜
 恬
@@ -3222,10 +3225,12 @@ offer
 透
 凸
 秃
+途
 涂
 屠
 土
 吐
+兔
 湍
 推
 颓
@@ -3253,8 +3258,8 @@ offer
 歪
 豌
 弯
-湾
 玩
+顽
 丸
 烷
 碗
@@ -3265,9 +3270,9 @@ offer
 婉
 腕
 汪
-亡
 枉
 旺
+忘
 妄
 威
 巍
@@ -3279,6 +3284,7 @@ offer
 潍
 苇
 萎
+委
 伟
 尾
 纬
@@ -3333,7 +3339,6 @@ offer
 悟
 昔
 熙
-析
 西
 硒
 矽
@@ -3376,13 +3381,11 @@ offer
 纤
 咸
 贤
-衔
 舷
 闲
 涎
 弦
 嫌
-献
 县
 腺
 馅
@@ -3391,6 +3394,7 @@ offer
 限
 厢
 镶
+香
 箱
 襄
 湘
@@ -3437,18 +3441,14 @@ offer
 腥
 猩
 惺
-兴
 刑
 型
 邢
-幸
 杏
 姓
 凶
-胸
 匈
 汹
-雄
 熊
 羞
 朽
@@ -3621,13 +3621,11 @@ offer
 萤
 荧
 蝇
-迎
 盈
 颖
 硬
 映
 哟
-拥
 佣
 臃
 痈
@@ -3670,6 +3668,7 @@ offer
 隅
 予
 娱
+雨
 屿
 禹
 羽
@@ -3698,6 +3697,7 @@ offer
 袁
 援
 辕
+园
 圆
 猿
 缘
@@ -3764,20 +3764,18 @@ offer
 榨
 咋
 乍
-炸
 诈
 摘
 斋
 宅
 窄
-债
 寨
 瞻
 毡
-詹
 粘
 沾
 盏
+斩
 辗
 崭
 蘸
@@ -3787,6 +3785,7 @@ offer
 樟
 彰
 漳
+掌
 涨
 杖
 丈
@@ -3794,6 +3793,7 @@ offer
 仗
 胀
 瘴
+昭
 沼
 罩
 兆
@@ -3811,7 +3811,6 @@ offer
 砧
 臻
 贞
-针
 侦
 枕
 疹
@@ -3936,6 +3935,7 @@ offer
 邹
 奏
 揍
+租
 足
 卒
 族
@@ -3947,7 +3947,6 @@ offer
 嘴
 醉
 罪
-尊
 遵
 昨
 佐