Upload tokenizer

chat_template.jinja

@@ -10,7 +10,7 @@ You are a helpful assistant.<|im_end|>
 {% if message['content'] is string %}
 <|im_start|>{{ role }}
 {{ message['content'] }}<|im_end|>
-{% else %}
+{% elif message['content'] is mapping %}
 {% if content['type'] == 'image' %}
 <|im_start|>{{ role }} (mime)
 {"type": "image/jpeg", "filename": "{{ content['filename'] }}"}<|im_end|>
@@ -22,8 +22,32 @@ You are a helpful assistant.<|im_end|>
 <|im_start|>{{ role }} (mime)
 {"type": "video/mp4", "filename": "{{ content['filename'] }}"}<|im_end|>
 <|im_start|>{{ role }} (vector)
+<|_unuse_missing_100270|><|im_end|>
+<|im_start|>image/aux
+{% if content.get('is_final_grid') %}
+다음 중 lens_keyword는 사진에서 추출된 keyword와 bbox 위치입니다. bbox는 0~1 사이로 정규화된 [x1, y1, x2, y2]의 형태입니다. video_time_stamp는 비디오에서 해당 구간의 시간 정보입니다. speech_to_text는 비디오 속에서의 대화, 음성, 소리, 대사, 그리고 말을 전부 글로 받아 적은 것 입니다. 참고하여 답변하세요. {"video_time_stamp": "{{ content['video_time_stamp'] }}", "lens_keywords": "{{ content.get('lens_keywords', '') }}", "lens_local_keywords": "{{ content.get('lens_local_keywords', '') }}", "speech_to_text": "{{ content.get('speech_to_text', '') }}"}
+{% else %}
+다음 중 video_time_stamp는 비디오에서 해당 구간의 시간 정보입니다. 참고하여 답변하세요. {"video_time_stamp": "{{ content['video_time_stamp'] }}"}
+{% endif %}<|im_end|>
+{% elif content['type'] == 'text' %}
+<|im_start|>{{ role }}
+{{ content['text'] }}<|im_end|>
+{% endif %}
+{% elif message['content'] is sequence %}
+{% for content in message['content'] %}
+{% if content['type'] == 'image' %}
+<|im_start|>{{ role }} (mime)
+{"type": "image/jpeg", "filename": "{{ content['filename'] }}"}<|im_end|>
+<|im_start|>{{ role }} (vector)
 <|dummy3|><|im_end|>
 <|im_start|>image/aux
+다음 중 ocr은 사진에서 검출된 글자이고, lens_keyword는 사진에서 추출된 keyword와 bbox 위치입니다. bbox는 0~1 사이로 정규화된 [x1, y1, x2, y2]의 형태입니다. 참고하여 답변하세요. {"ocr": "{{ content['ocr'] or '' }}", "lens_keywords": "{{ content['lens_keywords'] or '' }}", "lens_local_keywords": "{{ content['lens_local_keywords'] or '' }}"}<|im_end|>
+{% elif content['type'] == 'video' %}
+<|im_start|>{{ role }} (mime)
+{"type": "video/mp4", "filename": "{{ content['filename'] }}"}<|im_end|>
+<|im_start|>{{ role }} (vector)
+<|_unuse_missing_100270|><|im_end|>
+<|im_start|>image/aux
 {% if content.get('is_final_grid') %}
 다음 중 lens_keyword는 사진에서 추출된 keyword와 bbox 위치입니다. bbox는 0~1 사이로 정규화된 [x1, y1, x2, y2]의 형태입니다. video_time_stamp는 비디오에서 해당 구간의 시간 정보입니다. speech_to_text는 비디오 속에서의 대화, 음성, 소리, 대사, 그리고 말을 전부 글로 받아 적은 것 입니다. 참고하여 답변하세요. {"video_time_stamp": "{{ content['video_time_stamp'] }}", "lens_keywords": "{{ content.get('lens_keywords', '') }}", "lens_local_keywords": "{{ content.get('lens_local_keywords', '') }}", "speech_to_text": "{{ content.get('speech_to_text', '') }}"}
 {% else %}
@@ -33,6 +57,7 @@ You are a helpful assistant.<|im_end|>
 <|im_start|>{{ role }}
 {{ content['text'] }}<|im_end|>
 {% endif %}
+{% endfor %}
 {% endif %}
 {% endfor %}
 {% if add_generation_prompt %}

tokenizer_config.json

@@ -1,4 +1,5 @@
 {
+  "add_bos_token": false,
   "add_prefix_space": false,
   "added_tokens_decoder": {
     "100256": {
@@ -490,18 +491,17 @@
     "<KEY>",
     "<PASSWORD>"
   ],
+  "auto_map": {
+    "AutoProcessor": "naver-hyperclovax/HyperCLOVAX-SEED-Vision-Instruct-3B--processing_hyperclovax.HCXProcessor"
+  },
   "bos_token": "<|endoftext|>",
-  "chat_template": [
-    {
-      "name": "default",
-      "template": "<|im_start|>tool_list\n<|im_end|>\n{% for message in messages %}\n{% set content = message['content'] %}\n{% set role = message['role'] %}\n{% if loop.first and role != 'system' %}\n<|im_start|>system\nYou are a helpful assistant.<|im_end|>\n{% endif %}\n{% if message['content'] is string %}\n<|im_start|>{{ role }}\n{{ message['content'] }}<|im_end|>\n{% else %}\n{% if content['type'] == 'image' %}\n<|im_start|>{{ role }} (mime)\n{\"type\": \"image/jpeg\", \"filename\": \"{{ content['filename'] }}\"}<|im_end|>\n<|im_start|>{{ role }} (vector)\n<|dummy3|><|im_end|>\n<|im_start|>image/aux\n다음 중 ocr은 사진에서 검출된 글자이고, lens_keyword는 사진에서 추출된 keyword와 bbox 위치입니다. bbox는 0~1 사이로 정규화된 [x1, y1, x2, y2]의 형태입니다. 참고하여 답변하세요. {\"ocr\": \"{{ content['ocr'] or '' }}\", \"lens_keywords\": \"{{ content['lens_keywords'] or '' }}\", \"lens_local_keywords\": \"{{ content['lens_local_keywords'] or '' }}\"}<|im_end|>\n{% elif content['type'] == 'video' %}\n<|im_start|>{{ role }} (mime)\n{\"type\": \"video/mp4\", \"filename\": \"{{ content['filename'] }}\"}<|im_end|>\n<|im_start|>{{ role }} (vector)\n<|dummy3|><|im_end|>\n<|im_start|>image/aux\n{% if content.get('is_final_grid') %}\n다음 중 lens_keyword는 사진에서 추출된 keyword와 bbox 위치입니다. bbox는 0~1 사이로 정규화된 [x1, y1, x2, y2]의 형태입니다. video_time_stamp는 비디오에서 해당 구간의 시간 정보입니다. speech_to_text는 비디오 속에서의 대화, 음성, 소리, 대사, 그리고 말을 전부 글로 받아 적은 것 입니다. 참고하여 답변하세요. {\"video_time_stamp\": \"{{ content['video_time_stamp'] }}\", \"lens_keywords\": \"{{ content.get('lens_keywords', '') }}\", \"lens_local_keywords\": \"{{ content.get('lens_local_keywords', '') }}\", \"speech_to_text\": \"{{ content.get('speech_to_text', '') }}\"}\n{% else %}\n다음 중 video_time_stamp는 비디오에서 해당 구간의 시간 정보입니다. 참고하여 답변하세요. {\"video_time_stamp\": \"{{ content['video_time_stamp'] }}\"}\n{% endif %}<|im_end|>\n{% elif content['type'] == 'text' %}\n<|im_start|>{{ role }}\n{{ content['text'] }}<|im_end|>\n{% endif %}\n{% endif %}\n{% endfor %}\n{% if add_generation_prompt %}\n<|im_start|>assistant\n{% endif %}\n"
-    }
-  ],
   "clean_up_tokenization_spaces": true,
   "eos_token": "<|endofturn|>",
+  "errors": "replace",
   "extra_special_tokens": {},
   "model_max_length": 1000000000000000019884624838656,
   "pad_token": "<|endoftext|>",
+  "processor_class": "HCXProcessor",
   "tokenizer_class": "GPT2Tokenizer",
   "unk_token": "<|endoftext|>"
 }