| task: token-classification | |
| widget: | |
| - text: "Hello, this is a test of my BPE tokenizer." | |
| example_title: "英文分词示例" | |
| - text: "我爱自然语言处理，这是我的分词器测试。" | |
| example_title: "中文分词示例" | |
| # My Tokenizer | |
| 这是一个基于BPE算法训练的分词器，支持中英文混合文本。 | |
| ## 如何使用 | |
| ```python | |
| from tokenizers import Tokenizer | |
| # 加载分词器 | |
| tokenizer = Tokenizer.from_pretrained("你的用户名/my-tokenizer") | |
| # 分词示例 | |
| text = "Hello, world!" | |
| output = tokenizer.encode(text) | |
| print("分词结果:", output.tokens) | |
| ``` | |