Upload korscideberta-abstractcls.ipynb
Browse files
korscideberta-abstractcls.ipynb
CHANGED
|
@@ -162,7 +162,7 @@
|
|
| 162 |
"\n",
|
| 163 |
"model_repository = \"kisti/korscideberta\" #Huggingface 모델명 설정\n",
|
| 164 |
"from transformers import AutoTokenizer\n",
|
| 165 |
-
"from
|
| 166 |
"tokenizer = DebertaV2Tokenizer.from_pretrained(model_repository)\n",
|
| 167 |
"out = tokenizer.tokenize(\"<cls> 한국어 모델을 <s> 한국어 모델을 공유합니다. <s>\")\n",
|
| 168 |
"print(str(out))\n",
|
|
|
|
| 162 |
"\n",
|
| 163 |
"model_repository = \"kisti/korscideberta\" #Huggingface 모델명 설정\n",
|
| 164 |
"from transformers import AutoTokenizer\n",
|
| 165 |
+
"from tokenization_korscideberta_v2 import DebertaV2Tokenizer\n",
|
| 166 |
"tokenizer = DebertaV2Tokenizer.from_pretrained(model_repository)\n",
|
| 167 |
"out = tokenizer.tokenize(\"<cls> 한국어 모델을 <s> 한국어 모델을 공유합니다. <s>\")\n",
|
| 168 |
"print(str(out))\n",
|