tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm2-6b", trust_remote_code=True)
print(tokenizer._tokenize("你好"))

输出：['▁你', '好', '</', 's', '>']

错误点： 并没有把整体当成一个结束字符处理。