Upload tokenizer

vocab.txt

@@ -1,8 +1,8 @@
-<s>
-<pad>
-</s>
-<unk>
-<mask>
+[PAD]
+[UNK]
+[CLS]
+[SEP]
+[MASK]
 %
 +
 -
@@ -40,7 +40,6 @@ r
 s
 t
 u
-v
 w
 x
 ·
@@ -66,7 +65,6 @@ x
 世
 丘
 业
-丝
 两
 严
 个
@@ -74,6 +72,7 @@ x
 临
 为
 主
+丽
 举
 久
 么
@@ -92,7 +91,6 @@ x
 互
 五
 些
-亡
 交
 产
 京
@@ -122,8 +120,7 @@ x
 传
 伤
 伪
-估
-似
+伸
 但
 位
 住
@@ -133,16 +130,15 @@ x
 作
 你
 使
-例
 供
 依
 侧
 便
 保
 信
+俩
 修
 候
-债
 值
 假
 做
@@ -193,6 +189,7 @@ x
 制
 刺
 刻
+剃
 前
 割
 力
@@ -203,7 +200,6 @@ x
 动
 助
 劫
-励
 势
 勇
 勋
@@ -245,6 +241,7 @@ x
 受
 变
 口
+古
 句
 另
 只
@@ -252,6 +249,7 @@ x
 可
 台
 史
+右
 号
 司
 叹
@@ -261,12 +259,14 @@ x
 后
 向
 君
+否
 吧
 听
 吴
 告
 员
 呢
+周
 命
 和
 咨
@@ -275,6 +275,8 @@ x
 哲
 商
 善
+喜
+喷
 嘱
 四
 回
@@ -292,7 +294,7 @@ x
 坐
 块
 坛
-埃
+垢
 城
 域
 基
@@ -314,7 +316,6 @@ x
 失
 头
 夺
-奇
 奉
 奖
 奥
@@ -325,8 +326,7 @@ x
 妖
 姆
 始
-委
-媒
+姓
 子
 孔
 字
@@ -334,6 +334,7 @@ x
 季
 学
 孩
+它
 宇
 安
 完
@@ -346,7 +347,6 @@ x
 宣
 室
 宪
-害
 家
 容
 寄
@@ -363,7 +363,9 @@ x
 少
 尔
 尖
+尬
 就
+尴
 尽
 局
 层
@@ -376,10 +378,8 @@ x
 岗
 峰
 崔
-巅
 工
 左
-巨
 己
 已
 巴
@@ -442,7 +442,6 @@ x
 急
 性
 总
-恢
 恨
 恩
 息
@@ -450,7 +449,6 @@ x
 您
 情
 惊
-惜
 惯
 想
 意
@@ -486,6 +484,7 @@ x
 招
 拜
 拟
+择
 括
 拿
 持
@@ -494,7 +493,6 @@ x
 按
 挑
 挥
-换
 据
 排
 接
@@ -502,23 +500,24 @@ x
 描
 提
 握
+搏
 摆
 摇
-撼
 擂
 支
 收
 改
 攻
 放
+故
 效
 敌
+救
 敢
 敬
 数
 整
 文
-斗
 料
 断
 斯
@@ -536,7 +535,6 @@ x
 明
 星
 春
-昭
 是
 显
 晓
@@ -551,6 +549,7 @@ x
 最
 月
 有
+朋
 服
 望
 期
@@ -572,6 +571,7 @@ x
 林
 果
 柏
+某
 查
 柯
 标
@@ -581,12 +581,13 @@ x
 根
 格
 桥
+梦
 梵
 检
 棋
+楼
 横
 次
-欢
 款
 止
 正
@@ -597,12 +598,15 @@ x
 段
 母
 每
+毒
 比
 毕
+毛
 氏
 民
 气
 水
+求
 江
 沈
 沉
@@ -613,7 +617,6 @@ x
 治
 泄
 法
-波
 注
 泽
 洁
@@ -629,10 +632,12 @@ x
 涵
 深
 混
+添
 清
 游
 湖
 源
+满
 演
 激
 濑
@@ -641,13 +646,14 @@ x
 热
 然
 照
+爬
 爱
 父
 片
 版
+牌
 物
 特
-犯
 王
 现
 理
@@ -656,7 +662,6 @@ x
 用
 田
 由
-甲
 电
 男
 画
@@ -678,6 +683,7 @@ x
 的
 皓
 皮
+盈
 益
 盖
 盘
@@ -685,13 +691,12 @@ x
 目
 直
 相
+省
 看
 真
-眠
 眼
 着
 知
-短
 石
 码
 研
@@ -711,20 +716,20 @@ x
 种
 科
 秒
+秘
 称
 程
 稿
 究
 空
-穿
 突
 立
 站
 竟
 章
+端
 笑
 笔
-符
 第
 等
 答
@@ -734,16 +739,15 @@ x
 管
 米
 类
-粗
 精
 系
 素
-紧
 红
 约
 级
 纪
 线
+练
 细
 终
 经
@@ -774,7 +778,6 @@ x
 股
 背
 胜
-胸
 能
 脑
 脱
@@ -783,7 +786,6 @@ x
 至
 致
 舒
-般
 色
 艺
 节
@@ -826,15 +828,15 @@ x
 解
 触
 言
-詹
+警
 计
 订
 认
 让
-训
 议
 讯
 记
+讲
 许
 论
 设
@@ -861,6 +863,7 @@ x
 谱
 谷
 象
+貌
 负
 财
 败
@@ -871,6 +874,7 @@ x
 赌
 赛
 赝
+赠
 赢
 走
 赴
@@ -879,9 +883,9 @@ x
 起
 超
 越
-趋
 跟
 路
+跳
 身
 车
 转
@@ -892,25 +896,25 @@ x
 边
 达
 过
+迎
 运
 近
-返
 还
 这
 进
 远
 连
 迫
+迷
 迹
 追
 退
 送
-逆
 选
-透
 逐
 递
 通
+速
 造
 遇
 遍
@@ -920,11 +924,11 @@ x
 避
 那
 邦
-郎
 部
 都
 配
 酒
+酬
 醒
 采
 里
@@ -932,6 +936,7 @@ x
 野
 量
 金
+鉴
 钟
 钱
 铅
@@ -939,21 +944,18 @@ x
 银
 锌
 错
-镇
 镐
 镰
 长
 门
 闭
 问
-闯
 间
 闻
 队
 防
 阵
 阶
-际
 陈
 降
 院
@@ -972,7 +974,6 @@ x
 青
 非
 面
-鞠
 韩
 音
 顶
@@ -986,7 +987,6 @@ x
 额
 风
 飞
-饰
 馆
 首
 马
@@ -1003,38 +1003,37 @@ x
 ，
 ：
 ？
-##9
-##6
 ##3
-##8
-##1
+##2
+##6
+##4
+##m
+##i
+##l
+##e
+##5
 ##0
+##9
+##1
+##c
+##×
 ##o
-##m
+##g
+##h
 ##7
-##5
-##2
-##f
-##e
-##r
-##i
-##s
+##8
 ##a
-##k
+##u
 ##n
-##g
-##c
-##×
-##l
+##r
 ##t
-##4
-##u
-##b
+##f
 ##w
+##s
 ##p
+##k
 ##d
-##v
-##h
+##b
 19
 ##00
 00
@@ -1047,14 +1046,14 @@ x
 ##000
 202
 al
-##ag
-##ph
+##go
+##ha
+##pha
 199
 198
 007
 1889
-alph
-##ago
+alpha
 alphago
 000
 8000
@@ -1072,40 +1071,40 @@ alphago
 197
 16
 18
-25
 22
 24
+25
 31
 3000
 95
+##22
+##ll
 ##90
 ##19
-##22
-##ff
-##as
 ##an
+##as
+##ff
 ##ker
-##ll
 1984
 9500
-06
 03
-01
-05
+06
 04
-17
+05
+01
 15
+17
 200
-38
-35
 32
 34
+35
+38
 40
-76
 73
-71
-70
 72
+76
+70
+71
 80
 91
 de
@@ -1114,23 +1113,24 @@ ht
 mu
 mas
 off
-##92
 ##eu
 ##ew
-##ar
-##kin
+##59
 ##cker
+##ar
 ##ter
+##kin
 1988
 1888
 2022
 1991
 1961
 ##cm×6
+##cm×9
 167
 1890
-##198
 ##ller
+##198
 2004
 763
 master
@@ -1138,6 +1138,7 @@ offer
 ##king
 啊
 阿
+埃
 挨
 哎
 唉
@@ -1186,6 +1187,7 @@ offer
 班
 搬
 扳
+般
 颁
 板
 扮
@@ -1284,8 +1286,8 @@ offer
 播
 拨
 钵
+波
 勃
-搏
 铂
 箔
 伯
@@ -1411,7 +1413,6 @@ offer
 崇
 宠
 抽
-酬
 畴
 踌
 稠
@@ -1433,6 +1434,7 @@ offer
 搐
 揣
 川
+穿
 椽
 船
 喘
@@ -1441,6 +1443,7 @@ offer
 窗
 幢
 床
+闯
 吹
 炊
 捶
@@ -1469,6 +1472,7 @@ offer
 匆
 丛
 凑
+粗
 醋
 簇
 促
@@ -1588,12 +1592,12 @@ offer
 洞
 兜
 抖
+斗
 陡
 豆
 逗
 痘
 督
-毒
 犊
 独
 堵
@@ -1603,7 +1607,7 @@ offer
 肚
 渡
 妒
-端
+短
 锻
 缎
 堆
@@ -1656,7 +1660,9 @@ offer
 钒
 繁
 烦
+返
 贩
+犯
 饭
 泛
 芳
@@ -1696,7 +1702,6 @@ offer
 讽
 凤
 佛
-否
 敷
 肤
 孵
@@ -1704,6 +1709,7 @@ offer
 拂
 辐
 氟
+符
 伏
 俘
 浮
@@ -1790,20 +1796,18 @@ offer
 沟
 苟
 狗
-垢
 购
 辜
 菇
 咕
 箍
+估
 沽
 孤
 姑
 鼓
-古
 蛊
 骨
-故
 固
 雇
 刮
@@ -1844,6 +1848,7 @@ offer
 骸
 氦
 亥
+害
 骇
 酣
 憨
@@ -1853,6 +1858,7 @@ offer
 函
 喊
 罕
+撼
 捍
 旱
 憾
@@ -1921,9 +1927,11 @@ offer
 徊
 淮
 坏
+欢
 环
 桓
 缓
+换
 唤
 痪
 豢
@@ -1947,6 +1955,7 @@ offer
 灰
 辉
 徽
+恢
 蛔
 毁
 悔
@@ -2004,6 +2013,7 @@ offer
 寂
 既
 忌
+际
 妓
 嘉
 枷
@@ -2012,6 +2022,7 @@ offer
 荚
 颊
 贾
+甲
 钾
 稼
 架
@@ -2036,7 +2047,6 @@ offer
 剪
 荐
 槛
-鉴
 践
 贱
 键
@@ -2053,7 +2063,6 @@ offer
 浆
 蒋
 桨
-讲
 匠
 酱
 蕉
@@ -2104,6 +2113,7 @@ offer
 斤
 津
 襟
+紧
 锦
 谨
 靳
@@ -2120,7 +2130,6 @@ offer
 鲸
 粳
 井
-警
 颈
 静
 境
@@ -2138,12 +2147,12 @@ offer
 韭
 灸
 厩
-救
 旧
 臼
 舅
 咎
 疚
+鞠
 拘
 狙
 疽
@@ -2154,6 +2163,7 @@ offer
 沮
 聚
 拒
+巨
 距
 踞
 锯
@@ -2285,6 +2295,7 @@ offer
 琅
 榔
 狼
+郎
 朗
 浪
 捞
@@ -2318,11 +2329,12 @@ offer
 荔
 吏
 栗
-丽
 厉
+励
 砾
 历
 僳
+例
 俐
 痢
 粒
@@ -2330,7 +2342,6 @@ offer
 隶
 璃
 哩
-俩
 莲
 廉
 怜
@@ -2341,7 +2352,6 @@ offer
 链
 恋
 炼
-练
 粮
 凉
 梁
@@ -2400,7 +2410,6 @@ offer
 垄
 拢
 陇
-楼
 娄
 搂
 篓
@@ -2471,7 +2480,6 @@ offer
 瞒
 馒
 蛮
-满
 蔓
 曼
 慢
@@ -2485,14 +2493,12 @@ offer
 猫
 茅
 锚
-毛
 矛
 铆
 卯
 茂
 冒
 帽
-貌
 贸
 玫
 枚
@@ -2501,6 +2507,7 @@ offer
 霉
 煤
 眉
+媒
 镁
 昧
 寐
@@ -2513,21 +2520,19 @@ offer
 盟
 锰
 猛
-梦
 孟
 眯
 醚
 靡
 糜
-迷
 谜
 弥
-秘
 觅
 泌
 蜜
 幂
 棉
+眠
 绵
 冕
 免
@@ -2569,7 +2574,6 @@ offer
 陌
 谋
 牟
-某
 拇
 牡
 亩
@@ -2604,6 +2608,7 @@ offer
 尼
 匿
 腻
+逆
 溺
 蔫
 拈
@@ -2654,10 +2659,8 @@ offer
 沤
 啪
 趴
-爬
 帕
 琶
-牌
 徘
 湃
 攀
@@ -2686,7 +2689,6 @@ offer
 陪
 佩
 沛
-喷
 盆
 砰
 抨
@@ -2698,7 +2700,6 @@ offer
 硼
 篷
 膨
-朋
 鹏
 捧
 碰
@@ -2762,6 +2763,7 @@ offer
 漆
 柒
 沏
+奇
 歧
 畦
 崎
@@ -2849,10 +2851,10 @@ offer
 秋
 邱
 球
-求
 囚
 酋
 泅
+趋
 蛆
 曲
 躯
@@ -2992,7 +2994,6 @@ offer
 砷
 申
 呻
-伸
 娠
 绅
 婶
@@ -3003,7 +3004,6 @@ offer
 甥
 牲
 绳
-省
 剩
 狮
 湿
@@ -3026,6 +3026,7 @@ offer
 仕
 侍
 释
+饰
 恃
 守
 寿
@@ -3078,9 +3079,11 @@ offer
 烁
 撕
 嘶
+丝
 肆
 嗣
 伺
+似
 饲
 巳
 松
@@ -3097,7 +3100,6 @@ offer
 苏
 酥
 俗
-速
 粟
 塑
 溯
@@ -3124,7 +3126,6 @@ offer
 索
 锁
 塌
-它
 塔
 獭
 挞
@@ -3187,9 +3188,7 @@ offer
 嚏
 惕
 涕
-剃
 屉
-添
 填
 甜
 恬
@@ -3197,7 +3196,6 @@ offer
 腆
 迢
 眺
-跳
 贴
 铁
 帖
@@ -3218,6 +3216,7 @@ offer
 捅
 筒
 偷
+透
 凸
 秃
 途
@@ -3266,6 +3265,7 @@ offer
 婉
 腕
 汪
+亡
 枉
 旺
 忘
@@ -3280,6 +3280,7 @@ offer
 潍
 苇
 萎
+委
 伟
 尾
 纬
@@ -3346,6 +3347,7 @@ offer
 悉
 膝
 夕
+惜
 熄
 烯
 溪
@@ -3355,7 +3357,6 @@ offer
 袭
 席
 媳
-喜
 铣
 隙
 瞎
@@ -3444,8 +3445,8 @@ offer
 邢
 幸
 杏
-姓
 凶
+胸
 匈
 汹
 雄
@@ -3488,6 +3489,7 @@ offer
 巡
 殉
 汛
+训
 逊
 迅
 押
@@ -3621,8 +3623,6 @@ offer
 萤
 荧
 蝇
-迎
-盈
 颖
 硬
 映
@@ -3648,7 +3648,6 @@ offer
 铀
 犹
 酉
-右
 佑
 釉
 诱
@@ -3747,11 +3746,9 @@ offer
 灶
 燥
 责
-择
 贼
 怎
 憎
-赠
 扎
 喳
 渣
@@ -3770,9 +3767,11 @@ offer
 斋
 宅
 窄
+债
 寨
 瞻
 毡
+詹
 粘
 沾
 盏
@@ -3794,6 +3793,7 @@ offer
 仗
 胀
 瘴
+昭
 沼
 罩
 兆
@@ -3818,6 +3818,7 @@ offer
 诊
 震
 振
+镇
 蒸
 挣
 睁
@@ -3858,7 +3859,6 @@ offer
 肿
 仲
 舟
-周
 州
 洲
 诌