Use </s> as pretraining EOD token

Set tokenizer EOS/EOD metadata to </s> (id 2), restrict generation EOS to id 2, and append </s> in the pretraining chat template. config.json already used eos_token_id 2, so it is unchanged.

generation_config.json

@@ -1,10 +1,7 @@
 {
   "_from_model_config": true,
   "bos_token_id": null,
-  "eos_token_id": [
-    2,
-    11
-  ],
+  "eos_token_id": 2,
   "pad_token_id": 0,
   "transformers_version": "4.55.4"
 }

special_tokens_map.json

@@ -1,6 +1,6 @@
 {
   "eos_token": {
-    "content": "<|im_end|>",
+    "content": "</s>",
     "lstrip": false,
     "normalized": false,
     "rstrip": false,

tokenizer_config.json

@@ -8005,7 +8005,7 @@
     }
   },
   "clean_up_tokenization_spaces": false,
-  "eos_token": "<|im_end|>",
+  "eos_token": "</s>",
   "extra_special_tokens": {},
   "model_input_names": [
     "input_ids",
@@ -8014,5 +8014,5 @@
   "model_max_length": 262144,
   "tokenizer_class": "PreTrainedTokenizerFast",
   "unk_token": "<unk>",
-  "chat_template": "{#- Pretraining chat template: question/answer format with generation markers.\n    Energon chooses whether to apply SFT loss masking or train on all tokens. -#}\n{%- for message in messages %}\n{%- if message.role == \"system\" %}\n{{- message.content }}\n{%- elif message.role == \"user\" %}\n{{- \"\\nquestion: \" + message.content }}\n{%- elif message.role == \"assistant\" %}\n{{- \"\\nanswer: \" }}{% generation %}{{- message.content }}{% endgeneration %}\n{%- endif %}\n{%- endfor %}\n"
+  "chat_template": "{#- Pretraining chat template: question/answer format with generation markers.\n    Energon chooses whether to apply SFT loss masking or train on all tokens. -#}\n{%- for message in messages %}\n{%- if message.role == \"system\" %}\n{{- message.content }}\n{%- elif message.role == \"user\" %}\n{{- \"\\nquestion: \" + message.content }}\n{%- elif message.role == \"assistant\" %}\n{{- \"\\nanswer: \" }}{% generation %}{{- message.content }}{{- \"</s>\" }}{% endgeneration %}\n{%- endif %}\n{%- endfor %}\n"
 }