細かいミス修正

package/ai.py

@@ -200,8 +200,8 @@ class AI:
 
                 for idx, prob in zip(top_indices, top_probs):
                     token_id = idx.item()
-                    # Llama 3.2対応: skip_special_tokens=Trueで特殊トークンを除外
-                    token = tokenizer.decode([token_id], skip_special_tokens=True, clean_up_tokenization_spaces=False)
+                    # 正規タグ（<|eot_id|>など）を保持するため、skip_special_tokens=False
+                    token = tokenizer.decode([token_id], skip_special_tokens=False, clean_up_tokenization_spaces=False)
                     token = _clean_text(token)
                     # 空文字列のトークンは除外
                     if not token: