Tokenizer参数保存到本地之后再重新读入会所改变？
#35
by Tonynan - opened
我使用了参考程序：
如果使用
则不会出现任何问题。
但当我将刚才在下载好的tokenizer存入到本地，并再次读入的时候
对于样例程序却会有如下的错误产生：
这显示我产生了一个NoneType的东西。
但实际上，除了将tokenizer参数从本地重新load一遍外，没有任何额外的改变，我不清楚这个问题是我自己的问题还是tokenizer在保存的过程中会有一些其他的东西没有跟随保存，不知道是否有人能够帮助我
