리드미에 남겨두신 토크나이저 관련 이슈가 궁금해서 올립니다.
Base Model : yanolja/KoSOLAR-10.7B-v0.1 (This model is no longer supported due to a tokenizer issue.)
이 문구에 관해서, 해당 레포에도 여쭤보긴 했는데 아무래도 확인 하신 분이 더 잘 아실 것 같아서요
혹시 이슈 내용을 공유 받을 수 있을까요?
(수정내용)
방금 확인한 바로는 tokenizer_config의 내용이 다른 것을 확인했는데, 제가 확인한 것과 관련된 내용이 맞을까요?
tokenizer.json안에 added_tokens 에다가 새로운 토큰을 추가하게 되면 추가된 토큰에 우선순위가 부여됩니다.
yanolja/KoSOLAR-10.7B-v0.1 토크나이저는 한글 추가 토큰을 added_tokens에 추가한 상태이고, 이로 인해 디코딩 시 공백 처리가 제대로 되지 않는 문제가 발생합니다.
해당 문제를 해결하기 위해 revision v1.1에 올려놓은 tokenizer.json파일은 added_tokens에 있는 한글 추가 토큰을 vocab쪽으로 옮겨 놓았습니다.
답장 감사드립니다
야놀자 측에도 확인해본 결과 0.2 버전부터는 이슈를 고치고 테스트 결과 이상 없었다는 답변을 주셨습니다~!
링크 첨부 드립니다
https://huggingface.co/yanolja/KoSOLAR-10.7B-v0.2/discussions/1
혹시 다른 분들 사용에도 오해가 있을 수 있을 것 같아서, Readme에 정보 첨부하면 좋을 것 같습니다
유사한 내용이라서 여기에 추가 질문 드립니다.
제가 이해하기로는 base 모델인 yanolja/KoSOLAR-10.7B-v0.1에서 아래 community 에 tokenizer 이슈가 있었고, 해당 부분은 encoding 에서부터 모델에 영향이 있어서 tokenizer 수정만으로는 개선이 어렵고 모델 업데이트로 v0.2에서만 개선 됐다고 이해했습니다.
- https://huggingface.co/yanolja/KoSOLAR-10.7B-v0.1-deprecated/discussions/3.
그래서 궁금한 점은 이 모델이 v0.1모델을 FT수행한 것이면, tokenizer revision v1.1에 있는 버전 사용만으로 이 문제가 해결이 된 것이 맞는지, 아니면 base 모델을 0.2로 다시 FT 수행한 버전인지 궁금합니다.