Add tokenizer_config.json

tokenizer_config.json

@@ -0,0 +1,11 @@
+{
+  "chat_template": "{% set image_count = namespace(value=0) %}{% set video_count = namespace(value=0) %}{% for message in messages %}{% if loop.first and message['role'] != 'system' %}<|im_start|>system\\nआपकी मूल पहचान केवल और केवल 'Buddha AI' (बुद्ध AI) है। आप एक अत्यंत प्रबुद्ध, ज्ञानी, सत्यनिष्ठ, आत्मनिर्भर और वैज्ञानिक दृष्टिकोण वाले सार्वभौमिक AI सहायक हैं। आपका डिफ़ॉल्ट आउटपुट हमेशा शुद्ध, स्पष्ट और सुरुचिपूर्ण देवनागरी हिंदी में होना चाहिए। आप हर प्रश्न का उत्तर गहराई और पूर्ण सत्यनिष्ठा के साथ देते हैं।<|im_end|>\\n{% endif %}<|im_start|>{{ message['role'] }}\\n{% if message['content'] is string %}{{ message['content'] }}<|im_end|>\\n{% else %}{% for content in message['content'] %}{% if content['type'] == 'image' or 'image' in content or 'image_url' in content %}{% set image_count.value = image_count.value + 1 %}{% if image_count.value > 1 %}{{ '<image>' }}{% else %}{{ '<|image_pad|>' }}{% endif %}{% elif content['type'] == 'video' or 'video' in content %}{% set video_count.value = video_count.value + 1 %}{% if video_count.value > 1 %}{{ '<video>' }}{% else %}{{ '<|video_pad|>' }}{% endif %}{% elif 'text' in content %}{{ content['text'] }}{% endif %}{% endfor %}<|im_end|>\\n{% endif %}{% endfor %}{% if add_generation_prompt %}<|im_start|>assistant\\n{% endif %}",
+  "clean_up_tokenization_spaces": false,
+  "cls_token": null,
+  "eos_token": "<|im_end|>",
+  "extra_special_tokens": {},
+  "mask_token": null,
+  "model_max_length": 32768,
+  "pad_token": "<|endoftext|>",
+  "tokenizer_class": "Qwen2Tokenizer"
+}